일반화 신경망의 개선된 학습 과정을 위한 최적화 신경망 학습률들의 효율성 비교 = A Comparison of the Effects of Optimization Learning Rates using a Modified Learning Process for Generalized Neural Network

국문 초록 (Abstract)

본 연구에서는 Liu 등의 학습 알고리즘과 Wu와 Zhang의 초기 가중값의 범위 설정, 그리고 Gunaseeli와 Karthikeyan의 초기 가중값에 관한 연구 결과를 이용하여 일반화 네트워크를 구할 수 있는 개선된 학습을 제안하고, 최적화된 신경망 학습률들을 이용하여 개선된 학습 과정의 학습효율등을 비교해 본다. 제시된 알고리즘을 이용한 학습에서 학습 초기에는 가장 단순한 학습 패턴과 은닉층으로부터 학습을 시작한다. 신경망 학습과정 중에 지역 최소값에 수렴되는 경우에는 가중값 범위 조정을 통하여 지역 최소값 문제를 해결하고, 지역 최소값으로부터 탈출이 용이하지 않으면 은닉노드를 점차적으로 하나씩 추가하면서 학습한다. 각 단계에서 새롭게 추가된 노드에 대한 초기 가중값의 선택은 이차계획법을 이용한 최적 처리절차를 이용한다. 최적 처리절차는 은닉층의 노드가 추가된 후의 새로운 네트워크에서 학습회수를 단순히 증가시키지 않아도 주어진 학습 허용오차를 만족시킬 수 있다. 본 연구에서 적용한 개선된 알고리즘을 이용하면서 초기 가중값들에 관한 기존 연구들을 적용하면 신경망 학습시의 수렴 정도를 높여주고 최소한의 단순 구조를 갖는 일반화 네트워크로 추정할 수 있게 된다. 이러한 학습률들을 변화시키는 모의실험을 통하여 기존의 연구 결과와의 학습 효율을 비교하고 향후 연구 방향을 제시하고자 한다.

참고문헌 (Reference)

1 Diotalevi, F, "Weight Perturbation Learning Algorithm with Local Learning Rate Adaptation for the Classification of Remote-Sensing Images" 217-222, 2001

2 Wu, Y, "The Effect of Initial Weight, Learning Rate and Regularization on Generalization Performance and Efficiency" 1191-1194, 2002

3 Framling, K., "Scaled Gradient Descent Learning Rate: Reinforcement Learning with Light-seeking Robot" 3-11, 2004

4 Sharda, R., "Neural Networks as Forecasting Experts : An Empirical Test" 491-494, 1990

5 Haykin, S., "Neural Networks and Learning Machines" PHI Learning Private Limited 2010

6 Anthony, M, "Neural Network Learning: Theoretical Foundations" Cambridge University Press 2009

7 Al-Shareef, A. J, "Neural Network Initial Weights Optimisation" 57-61, 2010

8 White, H., "Economic Prediction Using Neural Networks : The Case of IBM Stock Prices" 2 : 451-458, 1988

9 RoyChowdhury, P., "Dynamic tunneling technique for efficient training of multilayer perceptrons" 10 : 48-55, 1999

10 Maghami, P. G., "Design of neural networks for fast convergence and accuracy: Dynamics and control" 11 : 113-123, 2000

11 Parekh, R., "Constructive neural-network learning algorithms for pattern classification" 11 : 436-451, 2000

12 Maasoumi, E., "Artificial neural networks for some macroeconomic series : A first report" 13 : 105-122, 1994

13 Zhang, Y, "An Improved Initial Method for Clustering High-Dimensional Data" 1-4, 2010

14 Fukuoka, Y., "A modified back-propagation method to avoid false local minima" 11 : 1059-1072, 1998

15 Yam, J. Y. F., "A Weight Initialization Method for Improving Training Speed in Feedforward Neural Network" 30 : 219-232, 2000

16 Liu, D., "A New Learning Algorithm for Feedforward Neural Networks" 39-44, 2001

17 Gunaseeli, N, "A Constructive Approach of Modified Standard Backpropagation Algorithm with Optimum Initialization for Feedforward Neural Networks" 325-331, 2007