http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
적응적 가중치 감소항을 적용한 Optimal Brain Surgeon
이현진(Hyunjin Lee),지태창(Taechang Jee),박혜영(Hyeyoung Park),이일병(Yillbyung Lee) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.2Ⅱ
본 논문에서는 다층 퍼셉트론 신경망에서 연결선 수를 최소로 하면서 일반화 성능을 향상시키기 위해 가장 널리 쓰여지고 있는 Optimal Brain Surgeon을 이용한 프루닝(pruning)을 기반으로 하여 오차 함수의 가중치 감소항을 추가 시키는 방법을 사용한다. 이때 학습 및 프루닝의 성능에 많은 영향을 미치는 가중치 감소항의 방영정도를 베이시안 테크닉에 기반하여 적응적으로 최적화 하는 방법을 제안한다. 제안하는 방법의 성능을 검증하기 위해 벤치마크 데이터를 이용하여 실험을 수행하였다. 순수한 OBS 방법과 고정된 반영정도를 가진 가중치 감소항을 추가시킨 OBS, 그리고 제안하는 적응적 가중치 감소항을 적용한 OBS 방법을 비교하여 제한하는 방법이 기존의 두 방법에 비해 신경망 구조의 최적화 능력이 뛰어남을 확인 할 수 있었다.
적응적 정규화 자연기울기 학습과 자연프루닝을 통한 신경망의 일반화 성능 향상
이현진(Hyunjin Lee),박혜영(Hyeyoung Park),지태창(Taechang Jee),이일병(Yillbyung Lee) 한국정보과학회 2002 한국정보과학회 학술발표논문집 Vol.29 No.1B
본 논문에서는 적응적 정규화 자연기울기 학습법과 자연 프루닝(pruning) 방법의 결합을 통하여 일반화 성능이 우수한 신경망을 구성하고자 한다. 먼저 적응적 정규화 자연기울기 학습을 통하여 신경망의 가중치를 최적화 시키고, 자연 프루닝에 의하여 신경망의 구조를 단순화 시킨다. 이러한 모델들 중 최적의 모델은 베이시안 정보 기준에 의해 선택함으로써 일반화 성능이 우수한 신경망을 구성하는 방법을 제안한다. 벤치마크(benchmark) 데이터로 제안하는 방법과 유클리디안(Euclidean) 거리에 기반한 결합 방법과 자연 프루닝만을 적용한 방법을 비교함으로써 우수성을 검증한다.
적응적 정규화 자연 기울기 학습법과 자연 프루닝을 이용한 신경 분류기의 설계 방법
이현진,박혜영,지태창,이일병 한국뇌학회 2001 한국뇌학회지 Vol.1 No.2
본 논문에서는 자연기울기 학습법과 자연 프루닝 방법을 이용한 신경 분류기의 설계 방법을 제안한다. 자연기울기학습법과 자연 프루닝 방법은 리마니안 기하학이라는 공통적인 이론을 바탕으로 하고 있으므로, 두 방법을 적절히 결합함으로 써 효율적인 신경 분류기 설계 방법을 개발할 수 있다. 먼저 적응적 정규화 항을 가지는 자연기울기 학습법을 이용하여 신경 분류기를 학습함으로써 좋은 일반화 성능을 가지는 분류기를 설계할 수 있다. 또한, 학습된 분류기에 자연 프루닝 방법을 적용함으로써 일반화 성능을 유지하면서 최적화된 신경 분류기 구조를 찾아낸다. 벤치마크 문제에 대한 실험을 통해 제안하는 방법의 성능을 확인한다. In this paper, we propose a method for designing feed-forward neural classifiers using natural gradient learning and natural pruning. Since natural gradient learning and the natural pruning can be explained by a common theoretical concept, namely, the Riemannian geometry, the two methods can be combined effectively so as to get an efficient method for designing neural classifiers. By using the natural gradient learning with adaptive regularization, we expect to get a neural classifier that has good generalization performance. In addition, by applying the natural pruning to the trained neural classifier, we expect to get an optimal structure of the classifier. We confirm the performance of the proposed designing method through computational experiments on benchmark problems.