Offset 항을 사용한 ALOPEX 알고리즘 = On Offset Representation for ALOPEX Algorithm

국문 초록 (Abstract)

ALOPEX 신경망은 계산이 간편하고, 가중치를 갱신하는 데 있어서 처리 요소들 간에 자체 연결을 요구하지 않는 빠른 방법에 속한다. 가중치 변화는 가체 출력에서 변화화 오차함수에서 변화간에 상관이라 할 수 있는 피드백을 통해 확률적으로 처리된다. 각 가중치 처리기는 전체 오차함수에만 종속되기 때문에 처리기들 간에 어떠한 교호작용도 요구되지 않지만 실제 적용에 있어서 back propagation을 사용하는 것과 유사한 속도로 수렴하게 된다. 이러한 원인들로서 네트워크 위상, 뉴런 형들의 선택도 있지만, 무엇보다도 random walk에 따른 지역적인 최소 점으로의 수렴을 들 수 있다. 특히 전달함수가 saturation 상태에서 학습될 경우에 쉽게 지역적인 최소 점에 빠지게 된다. 본 논문에서는 Moller 등에 의해 제안된 offset 항을 추가하는 방식으로 오차 함수의 적절한 수정을 통해 기존 ALOPEX 신경망을 개선하는 방법을 나타낸다.