인공 신경망으로부터 추출한 규칙의 불확실성에 관한 연구

이헌주 고려대학교 대학원 2019 국내석사

인공 신경망(artificial neural network)은 최근 계층을 깊게 쌓는 딥 러닝 (deep learning)으로 진화하면서 영상 및 음성인식이나 번역 등의 다양한 분야에서 뛰어난 성능을 보여주고 있다. 하지만 인공 신경망이 학습한 지 식이 정확히 어떤 내용인지를 사람이 파악하기 어렵다는 문제점이 존재하 는데, 이와 같은 인공 신경망의 문제점을 해결하기 위한 방법 중 하나로 학습된 인공 신경망으로부터 인간이 이해할 수 있는 형태의 규칙을 추출 하는 방법들이 고안되었다. 본 연구에서는 학습된 인공 신경망으로부터 규칙을 추출하는 방법 중 하나인 ordered-attribute search(OAS) 알고리즘을 사용하여 인공 신경망으로 부터 규칙을 추출해보고, 추출된 규칙을 개선하기 위해 규칙들을 분석 하 였다. 그 결과로 은닉 층의 출력 값이 sigmoid함수를 통과한 이후에 0 또 는 1에 가까운 값이 아닌 중간 값을 갖는 경우 규칙의 불확실성 문제가 발생해, 규칙의 정확도에 영향을 주는 것을 파악하였다. 규칙의 불확실성 문제 해결을 위해 은닉 유닛 명확화 기법을 적용하였 고 그 결과로 은닉 층 출력 값을 이진화하여 효율적인 규칙을 추출할 수 있음을 제시하였다. 그리고 학습된 인공 신경망으로부터 중요 데이터 라 우팅 경로(Critical Data Routing Paths)를 추출하였고, 이를 규칙을 가지치 기 하는데 이용하여 결과적으로 규칙의 불확실성 문제가 적게 발생할 수 있음을 보였다. Artificial neural networks evolved into deep learning that deepens layers re- cently and perform well in various fields such as image and speech recog- nition and translation. However, there is a problem that it is difficult for a person to understand what exactly the trained knowledge of the artificial neu- ral network is. As one of the methods for solving the problem of the artifi- cial neural network, rule extraction methods have been devised. In this study, rules are extracted from artificial neural networks using or- dered-attribute search (OAS) algorithm, which is one of the methods of ex- tracting rules from trained neural networks, and the rules are analyzed to im- prove the extracted rules. As a result, we found that when the output value of the hidden layer has an intermediate value that is not close to 0 or 1 af- ter passing through the sigmoid function, the uncertainty of rules occurs and affects the accuracy of the rules. In order to solve the uncertainty of the rules, we applied the hidden unit clarification method and suggested that it is possible to extract the efficient rule by binarizing the hidden layer output value. In addition, we extracted CDRPs(critical data routing paths) from the trained neural networks and used CDRPs to prune the extracted rules, which showed that the uncertainty of rules can be improved.

인공 신경망 기법을 통한 규칙 추출에 관한 연구

정진경 이화여자대학교 대학원 2003 국내석사

인공신경망은 분류 예측 문제의 해결하기 위한 다방면의 문제영역에서 사용하고 있다. 특히 부실 기업 예측 모형, 채권등급 평가 등 재무 관련 자료들을 분석하고 활용하여 결과를 예측함에 있어 그 정확성이 로지스틱 회귀분석(logistic regression), 판별분석 등의 통계기법이나 의사결정나무(decision tree)등의 다른 인공지능 기법보다 우수하여 그 활용 범위가 넓다. 또한 데이터의 잡음에 민감하지 않고 그 구조가 견고하다. 그러나 자료를 학습하는 내부 과정이 복잡한 수학적 모델에 의해서 생성되기 때문에 사용자들이 결과를 이해하기 어렵다. 복잡한 구조에 의한 설명력 부재는 인공신경망의 가장 큰 결점이다. 따라서 대안적으로 C5.0, ID3(Interative Dichotomiser 3), CART(Classification And Regression Tree), CHAID(Chi-squared Automation Interaction Detection), 군집(clustering) 알고리즘 등 연역적으로 규칙을 추론하는 기계학습(learning machine) 알고리즘을 사용하여 사용자가 이해하기 쉬운 패턴과 규칙을 도출했다. 그러나 의사결정나무 기법은 규칙을 만들기 위해 사용되는 데이터베이스에 의해서 영향을 많이 받아 경직되고 탄력성이 없으며 데이터베이스 내부의 모든 데이터를 소화하기 위하여 중복되거나 필요 없는 규칙까지 찾아내어 인공신경망보다 그 정확성이 떨어진다. 이에 본 연구에서는 신경망을 사용하여 규칙을 생성하는 알고리즘에 대해서 살펴보고, 실제 ㅊ은행과 거래하는 외부감사를 받는 제조 기업을 대상으로 부실 기업을 예측하는 규칙 추출 모형을 구축하였다. 먼저 문헌을 통한 규칙 추출 알고리즘 연구하고 신경망과 의사결정나무에 대해서 알아보고 NeuroRule 알고리즘을 이용한 신경망으로부터의 규칙 추론 방법에 대해서 정리하였다. 또한 규칙 도출의 벤치마킹으로 많이 사용되는 의사결정나무를 통해 생성된 규칙과 예측 정확성, 전체적인 규칙의 수 측면 등을 비교해보았다. 모형 구축 결과 NeuroRule 알고리즘에 의해 생성된 규칙과 가지치기 한 후 신경망 자체의 적중률과 큰 차이가 없었으며, NeuroRule 규칙을 사용하여 모형에 사용된 데이터와 사용하지 않았던 데이터의 적중률 평가해 본 결과 그 또한 큰 차이가 없었다. 이는 NeuroRule 알고리즘으로 도출한 규칙들이 신경망을 잘 설명하고 있음을 의미한다. NeuroRule 알고리즘을 사용하여 신경망으로부터 결과 예측에 대한 이해 가능한 규칙을 도출하게 되면 신경망의 설명력을 제고 할 수 있다는 점에서 그 의의가 있다. 따라서 신경망으로부터의 규칙 도출 가능성은 분류와 예측의 정확성 측면에서는 뛰어나지만 사용자가 쉽게 이해할 수 없어 그 사용이 매우 제한적이었던 신경망의 사용 범위를 넓힐 수 있게 된다. Successful applications of neural network techniques in business research have been widely reported in the literature. Neural networks have been used as an alternative methodology for a number of managerial decision problems to predict bank failure, to perform bond rating, to analyze financial data for end users in the planning of the development part of information systems. The most important advantage of artificial neural networks is the high degree of accuracy reported when a neural network solution is used to generalize over a set of previously unseen examples from the problem domain. However, the use of neural networks as tools for data mining has been largely limited, because major drawback of neural networks as tools for predicting is the lack of their explanation capability when trained : it is generally difficult for a user to understand how a network arrives at a particular conclusion due to its complex architecture. Thus decision tree algorithms such as C5.0, ID3 (Interactive Dichotomiser 3), CART(Classification And Regression Tree) are used to achieve its goal of discovering pattern hidden in data. The most attractive feature of these methods is the expressive power of the extracted rules that focuses directly on the actual output presented to the end user. However, the rule from decision tree algorithms depends on the training data, therefore the stability and predictability to classify previously unseen examples is low. The purpose of this paper is to extract the rule from neural network using NeuroRule algorithm. To verify the validity of the extracted rule, the classification and prediction accuracy is compared to those of neural networks as well as rules from decision tree. It can be concluded that the extraction of a comprehensive rule from neural networks improves the power of its explanation as well as allowing neural networks to be applied to various domain.

온톨로지기반 지능형 규칙 구성요소 추출에 관한 연구

채상용 연세대학교 대학원 2006 국내석사

시맨틱 웹 관련연구가 증가함에 따라 하나의 관련분야로 규칙기반 시스템 등과 에이전트등을 기반으로 한 지능적인 웹 환경에 대한 기대 역시 커지고 있다. 하지만 규칙기반 시스템을 활용하기에는 아직도 규칙습득이 많은 제약이 되고 있다. 직접 규칙습득이 어려우므로 단계화된 방법이 필요하다. 그러나 이러한 규칙을 식별하는 작업은 대부분 지식관리자의 수작업에 의해 이루어지고 있다.본 연구의 목적은 웹으로부터 규칙구성요소 식별을 최대한 자동화하고 지식관리자의 수작업을 최소화함으로써 그 부담을 줄여 주는 데 있다. 규칙 식별을 자동화 하기 위하여 이러한 방법으로는 온톨로지를 근간으로 하여 웹 페이지와의 문자열 비교, 이러한 비교의 한계를 극복하기 위한 확장등의 방법이 있다.첫째 온톨로지 기반으로 규칙식별 할 웹페이지와 비교를 통해 지식관리자의 규칙식별과정을 최대한 자동화하고자 하였다. 여기서 만약 현재 규칙을 식별하고자 하는 웹 사이트와 유사한 시스템의 규칙들을 활용하여 일반화된 온톨로지가 구축되었다면, 이 온톨로지를 기반으로 규칙을 식별하고자 하는 웹 사이트와의 비교를 통해 규칙구성요소를 자동화하여 추출할 수 있다.이러한 온톨로지를 기반으로 규칙을 식별하기 위해서는 문자열 비교 기법을 사용하게 된다. 하지만 단순한 문자열 비교 기법으로 비교하여 규칙을 식별하는 데에는 자연어 처리에 대한 한계가 있다. 이를 극복하기 위해 다음의 두 번째 방법을 사용하고자 한다.두 번째 정형화되지 않은 정보들을 확장하여 사용하는 것이다. 우선 찾고자 하는 단어들의 원형을 찾기 위한 스테밍 알고리즘 기법, 워드넷을 이용하여 동의어‧유의어등으로 확장을 하는 워드넷 확장 기법, 의미유사도를 측정하기 위한 방법인 의미 유사도 측정등을 단계적으로 수행하여 자동화되고 정확한 규칙식별을 하고자 한다.이러한 방법들의 조합으로 인하여 규칙구성요소 추출이 되지 않을 후보 단어들의 수를 줄임으로써, 보다 더 정확하고 지능적인 규칙구성요소 추출 방법론을 제시 및 에이전트를 구현하고자 한다. As the research about Semantic Web is increasing, the expectation about intelligent web environment of a rule-based system is growing. However, there are many restrictions of learning rules for using a rule-based system. A learning ruleis the way that it can learn necessary rules from web. It needs to distinguish constructing factors of rules first to learn a rule, but these distinguishing works manually are from knowledge mangers in most of cases.Our research goal is to reduce a load by maximizing automatic works of distinguishing and minimizing manual works from web. There are two ways to achieve our goal. One is to compare web pages with string matching based on ontology and the other is an extension for overcomingthe limit of comparison.The first way is to maximize automatically the distinguishing works of knowledge mangers by comparison based on ontology. If there are the website to distinguish current rules and the generalized ontology by using rules of similar systems, we can gather a constructing factor of rules automatically by comparison with web sites which is for distinguishing rules based on the ontology. We can use the string matching method for distinguishing rules based on the ontology. However, there is the limitation for natural language processing to identify rules with comparison of simple string matching method. To solve this problem, we suggest the second way.The second is to extend not standardized information. We can distinguish rules automatically and accurately using three ways: One is the Stemming Algorithm that is to find the original form of words we want, another is the WordNet Expansion that is to expand a synonym using WordNet, and the other is the Semantic Similarity Measure that is to measure similarity of meaning.We can reduce the number of substitute words not to extract the factor by compounding these ways, and then suggest more accurate and intellectual way to extract the factors. Finally, we can reduce the load of learning rules of a knowledge manager.

설계 전문가 시스템 개발을 위한 규칙 자동추출기법에 관한 연구

정보영 부산대학교 2006 국내석사

Inference rules of the knowledge base, generated by experts or optimization process, may be often inconsistent and incomplete. This paper suggests a systematic and automated procedure that extracts inference rules not from experts' subject but from data. First, input/output linguistic variables are partitioned into several properties by the fuzzy equalization algorithm and each combination of their properties comes to premise of inference rule. Then, the conclusion which is the most suitable for the premise is selected by evaluating consistent measure. This method, automatically from data, derives inference rules which are semantically and experimentally meaningful. It is shown through application that extracts new inference rules between hull dimensions and hull performance.

신경회로망을 이용한 퍼지 제어 규칙의 추출

정유섭 광운대학교 산업정보대학원 1992 국내석사

국문요약 최근, 퍼지 이론에 따른 정보 처리는 여러 분야에서 그 유효성이 기대되어 활발한 연구가 진행되고 있다. 일반적인 퍼지 제어 시스템의 구성은 많은 입출력 변수의 도입으로 퍼지 소속함수 간의 연산 및 추론 시간이 크게 증가 되므로, 퍼지 제어 시스템을 확정하는데 많은 문제점들이 나타나고 있다. 또한, 퍼지 제어 규칙은 퍼지 추론에 있어서 가장 중요한 의미이며, 퍼지 시스템의 구성에 있어서도 시스템을 확정하는데 중요한 것이 된다. 퍼지 제어 시스템에서 퍼지 추론을 처리하기 위해서는 효과적인 제어규칙 선정은 물론, 퍼지 추론을 고속 및 병렬처리 할 수 있는 새로운 퍼지 제어 시스템의 구현이 요구되고 있다. 따라서, 본 논문에서는 학습기능과 비선형 특성을 가진 신격회로망과 퍼지 논리의 장점을 이용하여, Back Error Propagation 알고리즘으로부터 복잡한 전문지식, 경험지식 등의 다양한 입출력 데이타가 주어지므로써 나타나는 수 많은 규칙들을 학습하여 은닉층과 출력층 사이의 신경 연결부의 가중치를 평가하여 신경회로망의 내부지식을 퍼지 제어 규칙으로 변환하였다. 그러므로, 퍼지제어 시스템을 구성하는데 있어서 가장 효과적인 퍼지제어의 규칙들만을 신경회로망의 특성인 학습 알고리즘을 이용하여 얻어냄으로써 빠른 퍼지 추론의 처리는 물론, 저장된 기본 지식이 플랜트 조건의 상황에 따라 변화하는 환경에 적응하기 위하여 새로운 사실을 수용하고, 변화된 환경에 부적절한 것은 무시해 버리는 학습 방법을 제시하였다. Recently, there are lots of research works on fuzzy information theory for many practical applications. Generally construction of the fuzzy control systems become to be sophisticated decision fuzzy control system because of increasing operation of Fuzzy membership functions and inference time by applying of many input/output parameters. Also Fuzzy control rules are the most important significance for fuzzy inference and they are become important significance for fuzzy inference and they are become importance to decide system for composing of fuzzy control system. To process Fuzzy inference we must select effective control rules in fuzzy control system. Fuzzy control inference parallely(or fast). In this paper, Many rules are learned by Back Error Propagation algorithm which has property of learn ability and nonlinearity. Also, those are given by input/output data of complicating expert knowledge. Therefore, an inter knowledge of neural network is exchanged to Fuzzy control rules for evaluated a weight of synapse between hidden layer and output layer. Finally, we are presented learning method which accommodate new knowledge to adapt a variation environment according to a plant condition. Some simulational results are also presented.

관계형 데이타베이스에서 개념계층과 통계를 이용한 분류규칙 추출방법에 관한 연구

박경자 淑明女子大學校 1994 국내석사

본 논문에서는 STECH(Statistical Technique for Extracting classification rule using Concept Hierarchy) 시스템을 제안하고 구현하였다. STECH 시스템은 근사 분류 규칙을 학습하기 위해 개발되었으며, 작업 관련 데이타베이스에 대한 명세, 개념 계층, 자료사전과 같은 지식을 이용하여 다음의 4단계를 수행한다. 1) 개념 트리 상승을 통하여 속성을 일반화한다. 2) 일반화된 속성의 개념을 바탕으로 패턴을 탐지한다. 3) 탐지된 패턴을 기반으로 분류 규칙을 추출한다. 4) 발견된 지식을 규칙 베이스에 저장한다. 본 논문에서는 속성 중심 귀납법과 통계를 혼합한 STECH 시스템이 불완전한 데이타베이스에서 의미 지식을 학습하는데 있어서, 필요한 저장공간이나 계산 측면에서 효율적임을 보여준다. In this paper, a proposal for construction and implementation of STECH(Statistical Technique for Extracting classification rules using Concept Hierarchy) system is made. This system is developed for learning approximate classification rules in relational database. The data may contain inconsistent, errorneous, or missing values. Utilizing the available knowledge on relevant task specifications, concept hierarchies and data dictionaries, the STECH system can be divided into four phases: (1) attributes be are generalized by using an attribute-oriented concept-tree ascending procedure; (2) based on the concepts of generalized attributes, patterns are detected: (3) by employing these detected patterns, classification rules are extracted; (4) discovered rules are stored as a table of rule-base in the relational database. This paper demonstrates that attribute-oriented induction using statistical technique provides a space-efficient and computationally robust system for learning semantic knowledge in relational database with imperfect data.

은행 업무 개발을 위한 비즈니스 규칙 추출 및 BRMS (Business Rule Management System)적용에 관한 연구

김계환 연세대학교 공학대학원 2006 국내석사

Recently, banking community requires some strategies for the changing markets. While banks are obliged to develop diversified commodities meeting customers'' needs, sometimes associated with third party''s commodities, the financial commodities handled by banks are more and more diversified and complicated. In order to develop such diversified and complicated banking services, it is deemed necessary to establish a service-centered cooperative system rather than the conventional cooperation system focusing on communication with field departments and roles.$$a$$aNot only the next-generation system being developed now but also the future systems are expected to feature EAI-based integrated channels, workflow of various processes, rule-based definition of services, integrated service system and intelligent services. One of the approaches to intelligent services in response to such a shift of development paradigm may be the business-rule-based approach.$$a$$aSo far, although our financial community centering around stock and insurance companies are developing their services based on business rule engines, such services have still to be applied to their traditional service sectors (deposit, loan and foreign exchange services).$$a$$aIn such circumstances, this study aimed to find the business rules to control the algorithms and variability of banking services in a ''use case driven'' way applicable to actual banking services, and thereby, use the business rule setting process to determine the business rules for deposit services, particularly time deposit services.$$a$$aThen, the determined business rules were applied to BRMS (Business Rule Management System) to design a case whereby advantages and disadvantages of BRMS were analyzed to test its applicability to banking services.$$a$$a 최근 은행 업계는 많은 변화와 이에 따른 전략을 필요로 하고 있다. 고객의 취향에 맞는 다양한 상품을 필요로 하고 외부와의 연계 상품의 출시로 은행에서 취급하는 금융상품의 다양화, 복잡화가 계속 되고 있다. 이러한 복잡 다양한 은행 업무의 개발을 위한 현업부서와의 커뮤니케이션 전략 및 기존의 Role 중심의 협업이 아닌 서비스 중심의 협업 시스템 체계가 요구되고 있다.$$a$$a현재 개발이 진행되고 있는 차세대 시스템과 향후 개발될 시스템에서는 EAI 기반의 채널 통합, 여러 업무의 프로세스 자동화(Workflow), 룰 기반의 업무정의, 통합된 업무 시스템 및 지능화된 서비스를 제공할 수 있는 시스템으로$$a$$a개발되어 질 것이다. 이러한 개발 패러다임의 변화를 수용하고 지능화된 서비스 제공이 가능한 한가지 방식이 비즈니스 규칙 접근방식이라고 할 수 있다.$$a$$a현재까지 금융권에서는 증권, 보험사를 중심으로 Business Rule 엔진 기반 개발이 많이 이루어 지고 있으나 전통적인 은행업무(수신, 여신, 외환)에 대한 적용 사례가 없는 것이 현실이다.$$a$$a본 논문에서는 실무에서 적용 가능한 Use Case Driven 방식으로 은행 업무의 알고리즘과 가변성 제어를 위한 비즈니스 규칙을 어떻게 추출할 것인가를 제안하고, 제안한 비즈니스 규칙 추출 프로세스를 적용하여 은행 수신업무 중 정기예금 업무와 관련된 비즈니스 규칙을 직접 추출하고자 한다.$$a$$a또한 추출된 비즈니스 규칙을 BRMS(Business Rule Management System)에 적용하여 하나의 사례를 작성하고 BRMS를 적용하였을 때의 장단점을 분석함으로써 BRMS의 은행업무 적용 가능성에 대하여 연구하고자 하였다.$$a$$a

유전자 알고리즘을 사용한 규칙 추출에서 분류 지식의 적용

이상봉 연세대학교 1998 국내석사

다단계 선순열 트리와 개념 계층을 이용한 대용량 관계형 데이터베이스에서의 연관 규칙 추출 기법

이동하 포항공과대학교 2000 국내박사

Rule-based information extraction with automatic knowledge expansion

정한민 Pohang Univ. of Science and Technology 2003 국내박사