적은 양의 데이터에 적용 가능한계층별 데이터 증강 알고리즘 = A layered-wise data augmenting algorithm for small sampling data

다국어 초록 (Multilingual Abstract)

Data augmentation is a method that increases the amount of data through various algorithms based on a small amount of sample data. When machine learning and deep learning techniques are used to solve real-world problems, there is often a lack of data sets. The lack of data is at greater risk of underfitting and overfitting, in addition to the poor reflection of the characteristics of the set of data when learning a model. Thus, in this paper, through the layer-wise data augmenting method at each layer of deep neural network, the proposed method produces augmented data that is substantially meaningful and shows that the method presented by the paper through experimentation is effective in the learning of the model by measuring whether the method presented by the paper improves classification accuracy.

국문 초록 (Abstract)

데이터 증강(Data Augmentation)은 적은 양의 데이터를 바탕으로 다양한 알고리즘을 통해 데이터의 양을 늘리는 기술이다. 현실 문제를 해결하기 위해 기계학습 및 딥러닝 기법을 사용하는 경우, 데이터 셋이 부족한 경우가 많다. 데이터의 부족은 모델 학습 시, 데이터 셋의 특징을 잘 반영하지 못하는 것 이외에도 과소적합 및 과적합에 빠질 위험이 크다. 따라서 본 논문에서는 오토인코더와 고유값 분해를 기반으로 하는 데이터 증강 기법을 통해 데이터를 증강 시키고 이를 심층 신경망의 각 층 마다 적용하여, 심층 신경망을 효과적으로 사전 학습하는 방법을 제시한다. 이후, WOBC 데이터와 WDBC 데이터에 대해 실험을 통하여 논문에서 제안하는 방법이 분류 정확도를 향상시키는지 측정하고 기존 연구들과 비교함으로써 제안한 방법이 실질적으로 의미가 있는 데이터를 생성하고 모델의 학습에 효과적임을 보인다.

참고문헌 (Reference)

1 임진수, "유방암 분류 성능 향상을 위한 배깅 서포트 벡터 머신" 한국보건정보통계학회 39 (39): 15-24, 2014

2 H. Abdi, "“The eigen-decomposition: Eigenvalues and eigenvectors,” Encyclopedia of measurement and statistics"

3 "UCI Machine Learning Repository" University of California, Center for Machine Learning and Intelligent Systems

4 S. Hochreiter, "The vanishing gradient problem during learning recurrent neural nets and problem solutions" 6 (6): 107-116, 1998

5 N. V. Chawla, "Smote : Synthetic minority oversampling technique" 16 : 321-357, 2002

6 G. E. Hinton, "Reducing the Dimensionality of Data with Neural Networks" 313 (313): 504-507, 2006

7 Finney, D. John, "Probit analysis: a statistical treatment of the sigmoid response curve" Cambridge university press 1952

8 S. Wold, "Principal component analysis" 2 (2): 37-52, 1987

9 C. Rich, "Overfitting in neural nets: Backpropagation, conjugate gradient, and early stopping" 2001

10 S. Hu, "MSMOTE:improving classification performance when training data is imbalanced" 2 : 13-17, 2009

11 H. Cao, "Integrated oversampling for imbalanced time series classification" 25 (25): 2809-2282, 2013

12 Y. Bengio, "Greedy Layer-Wise Training of Deep Networks" 19 (19): 153-160, 2007

13 P. Vincent, "Extracting and composing robust features with denoising autoencoders" 1096-1103, 2008

14 N. Srivastava, "Dropout : A Simple Way to Prevent Neural Networks from Overfitting" 15 (15): 1929-1958, 2014

15 Y. LeCun, "Deep Learning" MIT Press 2016

16 N. S. Altman, "An introduction to kernel and nearestneighbor nonparametric regression" 46 (46): 175-185, 1992

17 C. Shorten, "A survey on Image Data Augmentation for Deep Learning" 6 (6): 60-, 2019

18 G. E. Hinton, "A fast learning algorithm for deep belief nets" 18 (18): 1527-1554, 2006