학습된 지식의 분석을 통한 신경망 재구성 방법 = Restructuring a Feed-forward Neural Network Using Hidden Knowledge Analysis

국문 초록 (Abstract)

다층신경회로망 구조의 재구성은 회로망의 일반화 능력이나 효율성의 관점에서 중요한 문제로 연구되어왔다. 본 논문에서는 신경회로망에 학습된 은닉 지식들을 추출하여 조합함으로써 신경회로망의 구조를 재구성하는 새로운 방법을 제안한다. 먼저, 각 노드별로 학습된 대표적인 지역 규칙을 추출하여 각 노드의 불필요한 연결구조들을 제거한 후, 이들의 논리적인 조합을 통하여 중복 또는 상충되는 노드와 연결구조를 제거한다. 이렇게 학습된 지식을 분석하여 노드와 연결구조를 재구성한 신경회로망은 처음의 신경회로망에 비하여 월등히 감소된 구조 복잡도를 가지며 일반적으로 더 우수한 일반화 능력을 가지게 됨을 실험결과로서 제시하였다.

다국어 초록 (Multilingual Abstract)

It is known that restructuring feed-forward neural network affects generalization capability and efficiency of the network. In this paper, we introduce a new approach to restructure a neural network using abstraction of the hidden knowledge that the network has teamed. This method involves extracting local rules from non-input nodes and aggregation of the rules into global rule base. The extracted local rules are used for pruning unnecessary connections of local nodes and the aggregation eliminates any possible redundancies arid inconsistencies among local rule-based structures. Final network is generated by the global rule-based structure. Complexity of the final network is much reduced, compared to a fully-connected neural network and generalization capability is improved. Empirical results are also shown.