지수함수 및 시그모이드 함수를 이용한 신경회로망 학습효율 개선에 관한 연구

국문 초록 (Abstract)

본 논문에서는 지도 학습(Supervised Learning) 및 자율 학습 (Un-Supervised Learning) 신경회로망의 학습 능률을 향상 시키기 위하여 개선된 학습 알고리즘을 제안하였다. 지수함수를 이용한 지도학습 신경 회로망의 학습 알고리즘을 제안하였고 타당성 검증을 위하여 X-OR 문제, 3-패리티 문제, 그리고 필기체 한글 및 숫자의 기본 획 분류에 적용하였다. 자율학습 신경 회로망의 경우 시그모이드 함수를 이용한 학습 알고리즘을 제안하고 선형 및 2차원 자기 지도 형성 신경 회로망을 구성한 후 향상된 학습 결과를 고찰하였다.
기존의 신경회로망 알고리즘은 학습 패턴이 입력으로 부가되었을 경우, 과도한 학습 및 국소 해(Local Minimum)로 빠지거나 발산하는 문제점을 갖는다. 이러한 문제점을 해결하기 위하여 학습 알고리즘에 대한 연구가 많이 진행되어 왔다. 그 방법들로서 지도 학습 신경 회로망의 경우 EBP(Error Back-Propagation)로부터 Jacobs의 DBD(Delta-Bar-Delta)[8], Minai와 Williams의 EDBD(Extended DBD)[9], Zhang의 ABP(Adaptive Back-Propagation)[10]등이 제안되었다. 이 방법들은 신경 회로망에서 뉴런 사이의 연결 강도 갱신에 사용되는 학습 및 관성 계수를 EBP의 경우 상수인 것을 학습이 반복됨에 따라 발생하는 오차에 대한 함수화 함으로서 적응적인 학습이 가능하도록 한 것이다. 그러나 이러한 방법들은 많은 학습 파라미터를 사용함으로서 학습의 계산 복잡도를 증대시키며, 경우에 따라 초기 학습 파라미터의 설정이 적절치 않은 경우 학습 효율을 저하시킬 뿐만 아니라 국소 해 발산 등 시스템의 안정도를 해치게 된다. 본 논문에서 제안한 방법은 학습 파라미터를 단순화하였고, 학습 및 관성 계수를 오차에 대하여 지수 함수(exponent)화 하였다. 그 결과 학습 파라미터의 설정에 따른 시스템 안정도를 해치지 않으면서 학습 효율을 향상 시킬 수 있었다. 학습 효율의 향상을 위한 부가적인 방법으로서 본 논문에서는 신경회로망의 초기 연결 강도 설정을 위한 초기 연결강도 발생(Initial Weight Generation) 방법을 제안하였다. 기존의 지도학습 신경회로망의 경우 초기 연결강도 설정에 임의의 난수로 발생한데 비하여 본 논문에서 제안하는 초기 연결강도 발생 방법은 학습 패턴과 목표 치와의 차이를 평균 값으로 초기 연결강도 난수 발생 범위를 제한하도록 하였다. 본 논문에서 제안한 개선된 지도 학습 알고리즘을 검증하기 위하여 X-OR, 3-Parity 문제에 대하여 적용하였고, 한글 및 숫자 필기체의 기본 획 분류에 지도 및 자율 신경 회로망 학습에 적용하였다. 실험 결과 역전파 신경회로망의 초기 연결강도를 입력벡터와 목표치를 참고로 하여 발생시키도록 한 WBP(Weighted Back-Prppagation)의 경우, 고전적인 역전파(BP, Back-Prppagation) 알고리즘에 비하여 약 8.3%, 학습계수와 관성계수를 발생한 오차에 따라서 적응적으로 갱신토록 한 EABP(Enhanced Adaptive BP)는 BP에 비하여 29.1%정도 반복횟수가 감소하는 결과를 얻었다. EABP에 초기연결강도 발생에 입력벡터와 교사신호의 차이를 적용(WEABP)한 결과, BP에 비하여 약 32.6% 정도 반복횟수가 감소하였으며, 개선된 역전파 알고리즘(EABP)에 비하여 4.9%정도 학습효율이 향상되었음을 고찰하였다. 또한, 필기체 한글 및 숫자 기본 획 분류를 대상으로 실험한 결과, 논문에서 제안한 WBP는 95.4%의 분류 율을 보였고, 개선된 역전파 알고리즘(EABP)의 경우, 97.7%의 분류 율을 나타내었으며, WEABP는 98.5%의 높은 분류 율을 얻었다.
인간의 신경 처리와 유사한 동작을 하는 자율 신경회로망의 일종인 코호넨(Kohonen) 신경회로망 이론으로부터 구성된 자기조직화 형상지도(SOM, Self-Organizing-Map) 알고리즘은 승자득점(Winner-Take-All)의 원리에 따라 학습된다. 자율 학습 신경회로망의 연결 가중치 갱신에 사용된 학습계수를 Kraaijveld 와 Mao 는 가우시안 연결 가중치 함수[18]를 이용하였으나 시간 함수의 학습 파라미터의 사용으로 인하여 초기값이 적절치 않은 경우, 과도한 반복 학습 뿐만 아니라 올바른 학습이 이루어지지 못하는 문제가 있다. 본 논문에서는 자율 학습 신경 회로망의 학습 효율의 향상을 위하여 연결강도 갱신에 중요한 역할을 수행하는 학습계수를 입력벡터와 연결강도의 차이에 따라서 적응적으로 갱신할 수 있는 알고리즘을 제안하였다. 제안된 방법은 학습계수의 갱신에 시그모이드(Sigmoid) 함수를 사용한 것이다. 본 논문에서 제안된 알고리즘의 검증을 위하여 선형 및 2차원 자기 조직화 신경회로망을 구성한 후 난수 입력에 의한 자기 조직화 지도의 형성을 실험하였다. 실험 결과, 코호넨 학습알고리즘과 Mao 에 의해 제안된 학습알고리즘에 비하여 본 논문에서 제안한 방법은 학습 계수의 변화가 완만하게 나타나, 학습 과정에서 시