Flexible Incremental 알고리즘을 이용한 신경망의 단계적 구축 방법

국문 초록 (Abstract)

복잡한 비선형 회귀문제들에서 최적의 신경망을 구축하기 위해서는 구조의 선정 및 노이즈에 의한 과잉학습(overtraining) 등에 따른 많은 문제들이 있다. 본 논문에서는 flexible incremental 알고리즘을 이용하여 단계적으로 최적의 신경망을 구축하는 방법을 제안한다. Flexible incremental 알고리즘은 예측 잔류오차를 최소화하기 위해 단계적으로 추가되어지는 은닉노드 개수를 검증데이터를 이용하여 신축성 있게 조절하고, 빠른 학습을 위하여 ELM (Extreme Learning Machine)을 이용한다. 제안된 방법은 신경망의 구축과정에서 사용자의 어떠한 관여 없이도 빠른 학습과 적은 수의 은닉노드들에 의한 범용 근사화 (universal approximation)가 가능한 신경망의 구축이 가능한 장점을 가지고 있다. 다양한 종류의 벤치마크 데이터들을 이용한 실험 결과를 통하여 제안된 방법이 실제 회귀문제들에서 우수한 성능을 가짐을 확인하였다.

다국어 초록 (Multilingual Abstract)

There have been much difficulties to construct an optimized neural network in complex nonlinear regression problems such as selecting the networks structure and avoiding overtraining problem generated by noise. In this paper, we propose a stepwise constructive method for neural networks using a flexible incremental algorithm. When the hidden nodes are added, the flexible incremental algorithm adaptively controls the number of hidden nodes by a validation dataset for minimizing the prediction residual error. Here, the ELM (Extreme Learning Machine) was used for fast training. The proposed neural network can be an universal approximator without user intervene in the training process, but also it has faster training and smaller number of hidden nodes. From the experimental results with various benchmark data sets, the proposed method shows better performance for real-world regression problems than previous methods.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. ELM을 이용한 단일 은닉층을 가지는 전방향 신경망의 증분 알고리즘
• 3. Flexible incremental 알고리즘을 이용한 신경망의 단계적 구축방법
• 4. 실험 및 결과 고찰
• 5. 결론
• 참고문헌
• 저자소개

참고문헌 (Reference)

1 G. B. Huang, "Universal Approximation Using Incremental Constructive Feedforward Networks With Random Hidden Nodes" 17 (17): 879-892, 2006

2 C. Blake, "UCI repository of machine learning databases" University of California

3 H. T. Huynh, "Small Number of Hidden Units for ELM with Two-stage Linear Model" E91 (E91): 1042-1049, 2008

4 F. Han, "Improved Extreme Learning Machine for Function Approximation by Encoding a Priori Information" 69 (69): 2369-2373, 2006

5 G. B. Huang, "Extreme learning machine: a new learning scheme of feedforward neural networks" 2 : 985-990, 2004

6 G. B. Huang, "Enhanced Random Search based Incremental Extreme Learning Machine" 71 : 3460-3468, 2008

7 T. Andersen, "Cross Validation and MLP Architecture Selection" 1999

8 G. B. Huang, "Convex Incremental Extreme Learning Machine" 70 : 3056-3062, 2007

9 조재훈, "Bacterial foraging algorithm 을 이용한 extreme learning machine의 피라미터 최적화" 한국지능시스템학회 17 (17): 807-812, 2007

10 G. Castellano, "An Iterative Pruning Algorithm for Feedforward Neural Networks" 8 (8): 519-531, 1997

11 N. Liang, "A Fast and Accurate Online Sequential Learning Algorithm for Feedforward Networks" 17 (17): 1411-1423, 2006