http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
Extracting Rules from Neural Networks with Continuous Attributes
Batselem Jagvaral(바트셀렘),Wan-Gon Lee(이완곤),Myung-joong Jeon(전명중),Hyun-Kyu Park(박현규),Young-Tack Park(박영택 ) 한국정보과학회 2018 정보과학회논문지 Vol.45 No.1
지난 수십 년 동안 인공 신경망은 음성 인식에서 이미지 분류에 이르기까지 수많은 분야에서 성공적으로 사용되었다. 그러나 인공 신경망은 특정 결론이 어떻게 도출되었는지 알 필요가 있음에도 불구하고 이러한 결과를 설명할 수 있는 능력이 부족하다. 대부분의 연구는 신경망에서 이진 규칙을 추출하는데 초점을 맞추고 있지만, 기계 학습 응용 프로그램에 사용되는 데이터는 연속된 값이 포함되어 있기 때문에 실용적이지 않은 경우가 있다. 이러한 격차를 줄이기 위해 본 논문에서는 연속된 값이 포함된 데이터로부터 학습된 신경망에서 논리 규칙을 추출하는 알고리즘을 제안한다. 초평면 기반 선형 분류기를 사용하여 입력 및 은닉 층 사이에서 학습된 가중치로부터 규칙을 추출하고, 비선형 분류 규칙을 생성하기 위해 은닉 층과 출력 층에서 학습된 이진 규칙과 분류기를 결합한다. 비선형 연속값으로 구성된 여러 데이터셋을 대상으로 진행한 실험에서 제안하는 방법이 논리적 규칙을 정확하게 추출할 수 있음을 보였다. Over the decades, neural networks have been successfully used in numerous applications from speech recognition to image classification. However, these neural networks cannot explain their results and one needs to know how and why a specific conclusion was drawn. Most studies focus on extracting binary rules from neural networks, which is often impractical to do, since data sets used for machine learning applications contain continuous values. To fill the gap, this paper presents an algorithm to extract logic rules from a trained neural network for data with continuous attributes. It uses hyperplane-based linear classifiers to extract rules with numeric values from trained weights between input and hidden layers and then combines these classifiers with binary rules learned from hidden and output layers to form non-linear classification rules. Experiments with different datasets show that the proposed approach can accurately extract logical rules for data with nonlinear continuous attributes.
생활 패턴 인지를 위한 이벤트 연산 기반 예측 모델 학습 기법
배석현(Seok-Hyun Bae),방성혁(Sung-hyuk Bang),박현규(Hyun-Kyu Park),전명중(Myung-Joong Jeon),김제민(Je-Min Kim),박영택(Young-Tack Park) 한국정보과학회 2018 정보과학회논문지 Vol.45 No.5
기계 학습 알고리즘의 발전에 따라 다양한 영역의 데이터에 대한 분석 및 결과를 예측하는 연구들이 진행되고 있다. 그러나 기존의 데이터 의존적인 기계 학습 기반의 의도 인지 방법론은 노이즈 처리에 대한 어려움이 존재하고, 복합적으로 발생할 수 있는 행위 의도에 대한 인지에서 한계점을 가진다. 본 한계점을 극복하기 위해 본 논문에서는 이벤트 연산(Event Calculus)을 기반으로 3단계의 행위 의도인지 방법론을 제안한다. 첫 번째 단계는 시퀀스 데이터가 어떤 의도인지를 판별하는 의도 추론 단계이다. 두 번째 단계는 새롭게 추론된 행위 의도를 기반으로 이전부터 유지됐던 행위 의도와의 병행 가능 여부를 판단하는 충돌 해결(Conflict Resolution) 단계이다. 마지막으로 많은 노이즈로 인해 발생되는 오류를 추론된 행위 의도들에 반영하는 노이즈 감소(Noise Reduction) 단계로 진행된다. 이벤트 연산 기법에 대한 성능 평가를 위해 실제 수집한 데이터를 재구축한 혼합 가우시안 모델과 휴리스틱 규칙 기반의 범용 데이터 생성 기법을 제안한다. 5개의 의도로 이루어진 약 13시간의 시퀀스 데이터 300개를 사용하여 이벤트 연산의 성능을 측정하였고, 각 의도에 대해 이벤트 연산의 예측 결과와 실제 확률 모델이 평균 89.3%의 일치 도를 보였다. Several studies have been conducted on data analysis and predicting results with the advance of machine learning algorithms. Still, there are many problems of cleaning the noise of the real-life dataset, which is disturbing a clear recognition on complex patterns of human intention. To overcome this limitation, this paper proposes an event calculus methodology with 3 additional steps for the recognition of human intention: intention reasoning, conflict resolution, and noise reduction. Intention reasoning identifies the intention of the living pattern time-series data. In conflict resolution, existing ongoing intentions and inferred intention are checked by a conflict graph, so that the intentions that can occur in parallel are inferred. Finally, for noise reduction, the inferred intention from the noise of living pattern data is filtered by the history of fluent. For the evaluation of the event calculus module, this paper also proposes data generation methodology based on a gaussian mixture model and heuristic rules. The performance estimation was conducted with 300 sequential instances with 5 intentions that were observed for 13 hours. An accuracy of 89.3% was achieved between the probabilistic model and event calculus module.
최현영(Hyun-Young Choi),홍지훈(Ji-Hun Hong),이완곤(Wan-Gon Lee),바트셀렘(Batselem Jagvaral),전명중(Myung-Joong Jeon),박현규(Hyun-Kyu Park),박영택(Young-Tack Park) 한국정보과학회 2018 정보과학회논문지 Vol.45 No.9
최근 웹 데이터를 기반으로 자동적으로 지식베이스를 구축하는 방법들이 연구되고 있지만, 웹데이지터의 불완전성으로 인해 일부 데이터가 누락되거나 다른 데이터와의 연결이 부족한 경우가 발생한다. 이러한 문제를 해결하기 위해 기존 연구들은 자연어 임베딩을 기반으로 인공 신경망을 통해 학습하는 방법들을 제안했다. 하지만 실제로 사용되는 많은 지식베이스의 경우 자연어 말뭉치가 존재하지 않아 엔티티 임베딩에 어려움이 있다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위해 지식 베이스의 RDF 데이터를 문장 형태의 RDF-Sentence로 변환 후 임베딩에 사용하여 단어 벡터를 생성하고 신경망을 사용하는 지식 완성 기법을 제안한다. 본 논문에서는 제안하는 방법의 성능을 측정하기 위해 트리플 분류 실험을 진행했다. 기존 NTN 모델과 비교 실험을 수행하였고, 기존 연구보다 평균적으로 15% 높은 정확도를 얻었다. 또한, 한국어 최대 지식 베이스인 WiseKB 지식 베이스에 적용하여 88%의 정확도를 얻었다. In recent years, a number of studies have been conducted for the purpose of automatically building a knowledge base that is based on web data. However, due to the incomplete nature of web data, there can be missing data or a lack of connections among the data entities that are present. In order to solve this problem, recent studies have proposed methods that train a model to predict this missing data through an artificial neural network based on natural language embedding, but there is a drawback to embedding entities. In practice, natural language corpus is not present in many knowledge bases. Therefore, in this paper, we propose a knowledge completion method that converts the knowledge base of RDF data into an RDF-sentence and uses embedding to create word vectors. We conducted a triple classification experiment in order to measure the performance of the proposed method. The proposed method was then compared with existing NTN models, and on average, 15% accuracy was obtained. In addition, we obtained 88%accuracy by applying the proposed method to the Korean knowledge base known as WiseKB.