인공 신경망으로부터 추출한 규칙의 불확실성에 관한 연구 = A study on the uncertainty of rules extracted from artificial neural networks

국문 초록 (Abstract)

인공 신경망(artificial neural network)은 최근 계층을 깊게 쌓는 딥 러닝 (deep learning)으로 진화하면서 영상 및 음성인식이나 번역 등의 다양한 분야에서 뛰어난 성능을 보여주고 있다. 하지만 인공 신경망이 학습한 지 식이 정확히 어떤 내용인지를 사람이 파악하기 어렵다는 문제점이 존재하 는데, 이와 같은 인공 신경망의 문제점을 해결하기 위한 방법 중 하나로 학습된 인공 신경망으로부터 인간이 이해할 수 있는 형태의 규칙을 추출 하는 방법들이 고안되었다.
본 연구에서는 학습된 인공 신경망으로부터 규칙을 추출하는 방법 중 하나인 ordered-attribute search(OAS) 알고리즘을 사용하여 인공 신경망으로 부터 규칙을 추출해보고, 추출된 규칙을 개선하기 위해 규칙들을 분석 하 였다. 그 결과로 은닉 층의 출력 값이 sigmoid함수를 통과한 이후에 0 또 는 1에 가까운 값이 아닌 중간 값을 갖는 경우 규칙의 불확실성 문제가 발생해, 규칙의 정확도에 영향을 주는 것을 파악하였다.
규칙의 불확실성 문제 해결을 위해 은닉 유닛 명확화 기법을 적용하였 고 그 결과로 은닉 층 출력 값을 이진화하여 효율적인 규칙을 추출할 수 있음을 제시하였다. 그리고 학습된 인공 신경망으로부터 중요 데이터 라 우팅 경로(Critical Data Routing Paths)를 추출하였고, 이를 규칙을 가지치 기 하는데 이용하여 결과적으로 규칙의 불확실성 문제가 적게 발생할 수 있음을 보였다.

다국어 초록 (Multilingual Abstract)

Artificial neural networks evolved into deep learning that deepens layers re- cently and perform well in various fields such as image and speech recog- nition and translation. However, there is a problem that it is difficult for a person to understand what exactly the trained knowledge of the artificial neu- ral network is. As one of the methods for solving the problem of the artifi- cial neural network, rule extraction methods have been devised.
In this study, rules are extracted from artificial neural networks using or- dered-attribute search (OAS) algorithm, which is one of the methods of ex- tracting rules from trained neural networks, and the rules are analyzed to im- prove the extracted rules. As a result, we found that when the output value of the hidden layer has an intermediate value that is not close to 0 or 1 af- ter passing through the sigmoid function, the uncertainty of rules occurs and affects the accuracy of the rules.
In order to solve the uncertainty of the rules, we applied the hidden unit clarification method and suggested that it is possible to extract the efficient rule by binarizing the hidden layer output value. In addition, we extracted CDRPs(critical data routing paths) from the trained neural networks and used CDRPs to prune the extracted rules, which showed that the uncertainty of rules can be improved.

목차 (Table of Contents)

• 1. 서론 1
• 1.1 연구의 필요성 1
• 1.2 연구의 내용 3
• 2. 관련 연구 5
• 2.1 규칙추출 알고리즘 5
• 2.2 은닉 유닛 명확화 알고리즘 9
• 2.3 중요 데이터 라우팅 경로(CDRPs) 10
• 3. 모델 12
• 4. 실험 13
• 4.1 데이터 및 전처리 13
• 4.2 학습 15
• 4.3 성능평가 및 분석 16
• 5. 결론 및 향후 연구 27
• 참 고 문 헌 29
• ABSTRACT 31