클라우드 컴퓨팅 환경에서의 대용량 RDFS 추론을 위한 분산 테이블 조인 기법

이완곤(Wan-Gon Lee),김제민(Je-Min Kim),박영택(Young-Tack Park) 한국정보과학회 2014 정보과학회논문지 Vol.41 No.9

지식 서비스 시스템이 효과적인 서비스를 제공하기 위해서는, 명시된 지식을 바탕으로 새로운 지식을 추론 할 수 있어야 한다. 대부분 지식 서비스 시스템은 온톨로지로 지식을 표현한다. 실 세계의 지식 정보의 양은 점점 방대해지고 있으며, 따라서 대용량 온톨로지를 효과적으로 추론하는 기법이 요구되고 있다. 본 논문은 클라우드 컴퓨팅 환경을 기반으로 대용량 온톨로지를 RDFS수준으로 추론하기 위한 분산테이블 조인 방법을 제안하고, 성능을 평가한다. 본 논문에서 제안하는 RDFS 추론은 분산 파일 시스템 환경에서 RDFS 메타 테이블을 기반으로 맵-리듀스를 적용한 방식과, 맵-리듀스를 사용하지 않고 클라우드 컴퓨터의 메모리만 사용한 방식에 초점을 맞추었다. 따라서 본 논문에서는 제안하는 각 기법에 대한 추론 시스템 구조와 RDFS 추론 규칙에 따른 메타 테이블 설계 및 추론 전략 알고리즘에 대해서 중점적으로 설명한다. 제안하는 기법의 효율성을 검증하기 위해 온톨로지 추론과 검색 속도를 평가하는 공식 데이터인 LUBM1000부터 LUBM6000을 대상으로 실험을 수행 하였다. 가장 큰 LUBM6000(8억 6천만 트리플)의 경우, 메타 테이블 기반의 RDFS 추론 기법은 전체 추론 시간이 13.75분(초당 1,042 트리플 추론)소요된 반면, 클라우드 컴퓨터의 메모리를 적용한 방식은 7.24분(초당 1,979 트리플 추론)이 소모되어 약 2배정도 빠른 추론 속도를 보였다. The Knowledge service system needs to infer a new knowledge from indicated knowledge to provide its effective service. Most of the Knowledge service system is expressed in terms of ontology. The volume of knowledge information in a real world is getting massive, so effective technique for massive data of ontology is drawing attention. This paper is to provide the method to infer massive data-ontology to the extent of RDFS, based on cloud computing environment, and evaluate its capability. RDFS inference suggested in this paper is focused on both the method applying MapReduce based on RDFS meta table, and the method of single use of cloud computing memory without using MapReduce under distributed file computing environment. Therefore, this paper explains basically the inference system structure of each technique, the meta table set-up according to RDFS inference rule, and the algorithm of inference strategy. In order to evaluate suggested method in this paper, we perform experiment with LUBM set which is formal data to evaluate ontology inference and search speed. In case LUBM6000, the RDFS inference technique based on meta table had required 13.75 minutes(inferring 1,042 triples per second) to conduct total inference, whereas the method applying the cloud computing memory had needed 7.24 minutes(inferring 1,979 triples per second) showing its speed twice faster.

인메모리 기반의 클러스터 환경에서 분산 병렬 SWRL 추론에 대한 연구

이완곤(Wan-Gon Lee),배석현(Seok-Hyun Bae),박영택(Young-Tack Park) 한국정보과학회 2018 정보과학회논문지 Vol.45 No.3

최근 들어 대용량 온톨로지를 사용하여 분산 환경에서 사용자 정의 규칙을 기반으로 하는 SWRL 추론엔진에 대한 연구가 다양하게 진행되고 있다. 스키마를 기반으로 하는 공리 규칙과 다르게 SWRL 규칙들은 미리 효율적인 추론 순서를 정의할 수 없다. 또한 불필요한 반복과정으로 인해 많은 양의 네트워크 셔플링이 발생한다. 이러한 문제점들을 해결하기 위해서 본 논문에서는 Map-Reduce 알고리즘과 인메모리 기반의 분산처리 프레임워크를 활용하여 동시에 여러 규칙을 추론할 수 있고, 클러스터의 노드간에 발생하는 데이터 셔플링의 양을 최소화할 수 있는 방법을 제안한다. 제안하는 방법의 성능을 측정하기 위해 약 2억 트리플로 구성된 WiseKB 온톨로지와 36개의 사용자 정의 규칙을 사용하여 실험을 진행했고 약 16분이 소요되었다. 또한 LUBM 벤치 마크 데이터를 이용한 비교 실험에서 기존 연구보다 2.7배 높은 성능을 보였다. Recently, there are many of studies on SWRL reasoning engine based on user-defined rules in a distributed environment using a large-scale ontology. Unlike the schema based axiom rules, efficient inference orders cannot be defined in SWRL rules. There is also a large volumet of network shuffled data produced by unnecessary iterative processes. To solve these problems, in this study, we propose a method that uses Map-Reduce algorithm and distributed in-memory framework to deduce multiple rules simultaneously and minimizes the volume data shuffling occurring between distributed machines in the cluster. For the experiment, we use WiseKB ontology composed of 200 million triples and 36 user-defined rules. We found that the proposed reasoner makes inferences in 16 minutes and is 2.7 times faster than previous reasoning systems that used LUBM benchmark dataset.

분산 처리 환경에서 SWRL 규칙을 이용한 대용량 점증적 추론 방법

이완곤(Wan-Gon Lee),방성혁(Sung-Hyuk Bang),박영택(Young-Tack Park) 한국정보과학회 2017 정보과학회논문지 Vol.44 No.4

빅데이터 시대가 도래 하면서 시맨틱 데이터의 양이 빠른 속도로 증가하고 있다. 이러한 대용량 시맨틱 데이터에서 의미 있는 암묵적 정보를 추론하기 위해서 지식 사용자의 경험적 지식을 기반으로 작성된 SWRL(Semantic Web Rule Language) 규칙들을 활용하는 많은 연구가 진행되고 있다. 그러나 기존의 단일 노드의 추론 시스템들은 대용량 데이터 처리에 한계가 있고, 다중 노드 기반의 분산 추론 시스템들은 네트워크 셔플링으로 인해 성능이 저하되는 문제점들이 존재한다. 따라서 본 논문에서는 기존 시스템들의 한계를 극복하고 보다 효율적인 분산 추론 방법을 제안한다. 또한 네트워크 셔플링을 최소화 할 수 있는 데이터 파티셔닝 전략을 소개하고, 점증적 추론에서 사용되는 추가된 새로운 데이터의 선별과 추론 규칙의 순서결정으로 추론 과정을 최적화 할 수 있는 방법에 대해 설명한다. 제안하는 방법의 성능을 측적하기 위해 약2억 트리플로 구성된 WiseKB 온톨로지와 84개의 사용자 정의 규칙을 이용한 실험에서 32.7분이 소요되었다. 또한 LUBM 벤치 마크 데이터를 이용한 실험에서 맵-리듀스 방식에 비해 최대 2배 높은 성능을 보였다. As we enter a new era of Big Data, the amount of semantic data has rapidly increased. In order to derive meaningful information from this large semantic data, studies that utilize the SWRL(Semantic Web Rule Language) are being actively conducted. SWRL rules are based on data extracted from a user’s empirical knowledge. However, conventional reasoning systems developed on single machines cannot process large scale data. Similarly, multi-node based reasoning systems have performance degradation problems due to network shuffling. Therefore, this paper overcomes the limitations of existing systems and proposes more efficient distributed inference methods. It also introduces data partitioning strategies to minimize network shuffling. In addition, it describes a method for optimizing the incremental reasoning process through data selection and determining the rule order. In order to evaluate the proposed methods, the experiments were conducted using WiseKB consisting of 200 million triples with 83 user defined rules and the overall reasoning task was completed in 32.7 minutes. Also, the experiment results using LUBM bench datasets showed that our approach could perform reasoning twice as fast as MapReduce based reasoning systems.

신뢰 값 기반의 대용량 OWL Horst 온톨로지 추론

이완곤(Wan-Gon Lee),박현규(Hyun-Kyu Park),바트셀렘(Batselem Jagvaral),박영택(Young-Tack Park) 한국정보과학회 2016 정보과학회논문지 Vol.43 No.5

웹으로부터 얻어진 데이터를 통해 자동적으로 온톨로지를 확장하는 많은 기계학습 방법들이 존재한다. 또한 대용량 온톨로지 추론에 대한 관심이 증가하고 있다. 하지만 웹으로부터 얻어진 다양한 데이터의 신뢰성 문제를 고려하지 않으면, 불확실성을 내포하는 추론결과를 초래하는 문제점이 있다. 현재 대용량 온톨로지의 신뢰도를 반영하는 추론에 대한 연구가 부족하기 때문에 신뢰 값 기반의 대용량 온톨로지 추론 방법론이 요구되고 있다. 본 논문에서는 인메모리 기반의 분산 클러스터 프레임워크인 스파크 환경에서 신뢰 값 기반의 대용량 OWL Horst 추론 방법에 대해서 설명한다. 기존의 연구들의 문제점인 중복 추론된 데이터의 신뢰 값을 통합하는 방법을 제안한다. 또한 추론의 성능을 저하시키는 문제를 해결할 수 있는 분산 병렬 추론 알고리즘을 설명한다. 본 논문에서 제안하는 신뢰 값 기반의 추론 방법의 성능을 평가하기 위해 LUBM3000을 대상으로 실험을 진행했고, 기존의 추론엔진인 WebPIE에 비해 약 2배 이상의 성능을 얻었다. Several machine learning techniques are able to automatically populate ontology data from web sources. Also the interest for large scale ontology reasoning is increasing. However, there is a problem leading to the speculative result to imply uncertainties. Hence, there is a need to consider the reliability problems of various data obtained from the web. Currently, large scale ontology reasoning methods based on the trust value is required because the inference-based reliability of quantitative ontology is insufficient. In this study, we proposed a large scale OWL Horst reasoning method based on a confidence value using spark, a distributed in-memory framework. It describes a method for integrating the confidence value of duplicated data. In addition, it explains a distributed parallel heuristic algorithm to solve the problem of degrading the performance of the inference. In order to evaluate the performance of reasoning methods based on the confidence value, the experiment was conducted using LUBM3000. The experiment results showed that our approach could perform reasoning twice faster than existing reasoning systems like WebPIE.

미디어 온톨로지의 시공간 정보 확장을 위한 분산 인메모리 기반의 대용량 RDFS 추론 및 질의 처리 엔진

이완곤(Wan-Gon Lee),이남기(Nam-Gee Lee),전명중(MyungJoong Jeon),박영택(Young-Tack Park) 한국정보과학회 2016 정보과학회논문지 Vol.43 No.9

대용량 미디어 온톨로지를 이용하여 의미 있는 지능형 서비스를 제공하기 위해 기존의 Axiom 추론뿐만 아니라 다양한 추론을 활용하는 지식 확장이 요구되고 있다. 특히 시공간 정보는 인공지능 응용분야에서 중요하게 활용될 수 있고, 시공간 정보의 표현과 추론에 대한 중요도는 지속적으로 증가하고 있다. 따라서 본 논문에서는 공간 정보를 추론에 활용하기 위해서 공공 주소체계에 대한 LOD를 대용량 미디어 온톨로지에 추가하고, 이러한 대용량 데이터 처리를 위해 인메모리 기반의 분산 처리 프레임워크를 활용하는 공간 추론을 포함하는 RDFS 추론 시스템을 제안한다. 또한 추론을 통해 확장된 데이터를 포함하는 대용량 온톨로지 데이터를 대상으로 하는 분산 병렬 시공간 SPARQL 질의 처리 방법에 대해서 설명한다. 제안하는 시스템의 성능을 측정하기 온톨로지 추론과 질의 처리 벤치 마킹을 위한 LUBM과 BSBM 데이터셋을 대상으로 실험을 진행했다. Providing a semantic knowledge system using media ontologies requires not only conventional axiom reasoning but also knowledge extension based on various types of reasoning. In particular, spatio-temporal information can be used in a variety of artificial intelligence applications and the importance of spatio-temporal reasoning and expression is continuously increasing. In this paper, we append the LOD data related to the public address system to large-scale media ontologies in order to utilize spatial inference in reasoning. We propose an RDFS/Spatial inference system by utilizing distributed memory-based framework for reasoning about large-scale ontologies annotated with spatial information. In addition, we describe a distributed spatio-temporal SPARQL parallel query processing method designed for large scale ontology data annotated with spatio-temporal information. In order to evaluate the performance of our system, we conducted experiments using LUBM and BSBM data sets for ontology reasoning and query processing benchmark.

분산 메모리 환경에서의 ABox 실체화 추론

이완곤(Wan-Gon Lee),박영택(Young-Tack Park) 한국정보과학회 2015 정보과학회논문지 Vol.42 No.7

최근 지식 정보의 양이 방대해지면서, 대용량 온톨로지를 효과적으로 추론하는 연구가 활발히 진행되고 있다. 이러한 추론 방법들은 TBox 분류와 ABox 실체화로 나누어진다. TBox 추론은 스키마의 무결성과 종속성을 주로 다룬다면, ABox 추론은 인스턴스 위주의 다양한 문제를 다루어서 실제 응용에서의 중요성이 매우 크다. 따라서 본 논문은 클래스의 제약 조건을 분석하고, 이를 통해 인스턴스가 속하는 클래스를 추론할 수 있는 방법을 제안한다. 객체 지향 언어 기반의 분산 파일 시스템을 활용했던 기존 방법과 달리 함수형 프로그래밍 기반의 인 메모리 시스템인 스파크를 통해 대용량 온톨로지 실체화 방법에 대해서 설명한다. 제안하는 기법의 효율성을 검증하기 위해 W3C의 Wine 온톨로지를 이용해 인스턴스를 생성(1억 2천만~6억개의 트리플)하고 실험을 수행하였다. 6억개의 트리플을 대상으로 진행한 실험의 경우 전체 추론 시간이 51분(696 K Triple/sec)이 소요되었다. As the amount of knowledge information significantly increases, a lot of progress has been made in the studies focusing on how to reason large scale ontology effectively at the level of RDFS or OWL. These reasoning methods are divided into TBox classifications and ABox realizations. A TBox classification mainly deals with integrity and dependencies in schema, whereas an ABox realization mainly handles a variety of issues in instances. Therefore, the ABox realization is very important in practical applications. In this paper, we propose a realization method for analyzing the constraint of the specified class, so that the reasoning system automatically infers the classes to which instances belong. Unlike conventional methods that take advantage of the object oriented language based distributed file system, we propose a large scale ontology reasoning method using spark, which is a functional programming-based in-memory system. To verify the effectiveness of the proposed method, we used instances created from the Wine ontology by W3C(120 to 600 million triples). The proposed system processed the largest 600 million triples and generated 951 million triples in 51 minutes (696 K triple / sec) in our largest experiment.

Spark 데이터프레임을 이용한 대용량 지식 그래프 추론 통합 시스템

이민호(Min-Ho Lee),김민성(Min-Sung Kim),이완곤(Wan-Gon Lee),박영택(Young-Tack Park) 한국정보과학회 2020 정보과학회논문지 Vol.47 No.12

최근 웹으로부터 얻은 빅 데이터들을 활용하여 대용량 온톨로지의 추론 방법에 대한 연구가 활발히 이루어지고 있다. 하지만 데이터의 양이 증가함에 따라 추론 성능 및 처리 속도가 저하되는 문제점이 있다. 본 논문에서는 효과적인 추론 수행을 위해 클라우드 컴퓨팅 환경에서 스파크 데이터프레임을 활용하여 추론을 수행할 수 있는 2단계의 통합 시스템을 제안한다. 첫 번째 단계는 선행 연구인 추론 엔진을 통해 OWL Horst 수준의 공리 규칙 추론을 수행한다. 두 번째 단계는 선행 연구와 마찬가지로 스파크 데이터프레임을 활용한 SWRL 추론 엔진을 통해 사용자 정의 규칙에 대한 추론을 수행한다. Recently, there has been an active study of large-scale ontology reasoning methods using big data obtained from the Web. However, when the amount of data increases, there is a problem with inference performance and processing speed decreasing. In this paper, we propose a two-step integrated system to perform inference using the Spark DataFrame in a cloud computing environment for effective inference. The first step is to perform rule inference on the OWL through a previous study inference engine. The second step, as in the previous study, performs inference on the user-defined rules through the SWRL inference engine using the Spark DataFrame.

동적 분산병렬 하둡시스템 및 분산추론기에 응용한 서버가상화 빅데이터 플랫폼

송동호,신지애,인연진,이완곤,이강세,Song, Dong Ho,Shin, Ji Ae,In, Yean Jin,Lee, Wan Gon,Lee, Kang Se 한국데이터정보과학회 2015 한국데이터정보과학회지 Vol.26 No.5

시멘틱 웹 기술인 RDF 트리플로 표현된 지식을 추론 과정을 거치면 새로운 트리플들이 생성되어 나온다. 초기 입력된 수억개의 트리플로 구성된 빅데이터와 추가로 생성된 트리플 데이터를 바탕으로 질의응답과 같은 다양한 응용시스템이 만들어 진다. 이 추론기가 수행되는 과정에서 더 많은 컴퓨팅 리소스가 필요해 진다. 이 추가 컴퓨팅 리소스는 하부 클라우드 컴퓨팅의 리소스 풀로부터 공급받아 수행시간을 줄일 수 있다. 본 연구에서는 하둡을 이용하는 환경에서 지식의 크기에 따라 런타임에 동적으로 서버 컴퓨팅 노드를 증감 시키는 방법을 연구하였다. 상부는 응용계층이며, 중간부는 트리플들에 대한 분산병렬추론과 하부는 탄력적 하둡시스템 및 가상화 서버로 구성되는 계층적 모델을 제시한다. 이 시스템의 알고리즘과 시험성능의 결과를 분석한다. 하둡 상에 기 개발된 풍부한 응용소프트웨어들은 이 탄력적 하둡 시스템 상에서 수정 없이 보다 빨리 수행될 수 있는 장점이 있다. Inference process generates additional triples from knowledge represented in RDF triples of semantic web technology. Tens of million of triples as an initial big data and the additionally inferred triples become a knowledge base for applications such as QA(question&answer) system. The inference engine requires more computing resources to process the triples generated while inferencing. The additional computing resources supplied by underlying resource pool in cloud computing can shorten the execution time. This paper addresses an algorithm to allocate the number of computing nodes "elastically" at runtime on Hadoop, depending on the size of knowledge data fed. The model proposed in this paper is composed of the layered architecture: the top layer for applications, the middle layer for distributed parallel inference engine to process the triples, and lower layer for elastic Hadoop and server visualization. System algorithms and test data are analyzed and discussed in this paper. The model hast the benefit that rich legacy Hadoop applications can be run faster on this system without any modification.

신뢰값 기반 대용량 트리플 처리를 위한 스파크 환경에서의 RDFS 온톨로지 추론

박현규(Hyun-Kyu Park),이완곤(Wan-Gon Lee),바트셀렘(Batselem Jagvaral),박영택(Young-Tack Park) 한국정보과학회 2016 정보과학회논문지 Vol.43 No.1

최근 인터넷과 디바이스의 발전으로 지식 정보의 양이 방대해 지면서 대용량 온톨로지를 이용한 추론 연구가 활발히 진행되고 있다. 일반적으로 트리플로 표현되는 빅데이터는 기계학습 프로그램이나 지식 공학자가 각 트리플의 신뢰도를 측정하여 제공한다. 하지만 수집된 데이터는 불확실한 데이터를 포함하고 있으며, 이러한 데이터를 추론하는 것은 불확실성을 내포한 추론 결과를 초래할 수 있다. 본 논문에서는 불확실성 문제를 해결하기 위해 수집된 데이터에 대한 신뢰의 정도를 나타내는 신뢰값(Confidence Value)를 이용한 RDFS 규칙 추론 방법에 대하여 설명하고, 메모리 기반의 분산 클러스터 프레임워크인 스파크(Spark)를 기반으로 데이터의 불확실성에 대한 고려를 하지 않는 기존의 추론 방법과 달리 신뢰값 계산에 대한 방법을 응용하여 RDFS 규칙을 통해 추론되는 새로운 데이터의 신뢰값을 계산하며, 계산된 신뢰값은 추론된 데이터에 대한 불확실성을 나타낸다. 제안하는 추론 방법의 성능을 검증하기 위해 온톨로지 추론과 검색 속도를 평가할 때 활용되는 공식 데이터인 LUBM을 대상으로 신뢰값을 추가하여 실험을 수행하였으며, 가장 큰 데이터인 LUBM3000을 수행하였을 때 1179초의 추론시간이 소요되었고, 초당 350K 트리플을 처리할 수 있는 성능을 보였다. Recently, due to the development of the Internet and electronic devices, there has been an enormous increase in the amount of available knowledge and information. As this growth has proceeded, studies on large-scale ontological reasoning have been actively carried out. In general, a machine learning program or knowledge engineer measures and provides a degree of confidence for each triple in a large ontology. Yet, the collected ontology data contains specific uncertainty and reasoning such data can cause vagueness in reasoning results. In order to solve the uncertainty issue, we propose an RDFS reasoning approach that utilizes confidence values indicating degrees of uncertainty in the collected data. Unlike conventional reasoning approaches that have not taken into account data uncertainty, by using the in-memory based cluster computing framework Spark, our approach computes confidence values in the data inferred through RDFS-based reasoning by applying methods for uncertainty estimating. As a result, the computed confidence values represent the uncertainty in the inferred data. To evaluate our approach, ontology reasoning was carried out over the LUBM standard benchmark data set with addition arbitrary confidence values to ontology triples. Experimental results indicated that the proposed system is capable of running over the largest data set LUBM3000 in 1179 seconds inferring 350K triples.

Extracting Rules from Neural Networks with Continuous Attributes

Batselem Jagvaral(바트셀렘),Wan-Gon Lee(이완곤),Myung-joong Jeon(전명중),Hyun-Kyu Park(박현규),Young-Tack Park(박영택 ) 한국정보과학회 2018 정보과학회논문지 Vol.45 No.1

지난 수십 년 동안 인공 신경망은 음성 인식에서 이미지 분류에 이르기까지 수많은 분야에서 성공적으로 사용되었다. 그러나 인공 신경망은 특정 결론이 어떻게 도출되었는지 알 필요가 있음에도 불구하고 이러한 결과를 설명할 수 있는 능력이 부족하다. 대부분의 연구는 신경망에서 이진 규칙을 추출하는데 초점을 맞추고 있지만, 기계 학습 응용 프로그램에 사용되는 데이터는 연속된 값이 포함되어 있기 때문에 실용적이지 않은 경우가 있다. 이러한 격차를 줄이기 위해 본 논문에서는 연속된 값이 포함된 데이터로부터 학습된 신경망에서 논리 규칙을 추출하는 알고리즘을 제안한다. 초평면 기반 선형 분류기를 사용하여 입력 및 은닉 층 사이에서 학습된 가중치로부터 규칙을 추출하고, 비선형 분류 규칙을 생성하기 위해 은닉 층과 출력 층에서 학습된 이진 규칙과 분류기를 결합한다. 비선형 연속값으로 구성된 여러 데이터셋을 대상으로 진행한 실험에서 제안하는 방법이 논리적 규칙을 정확하게 추출할 수 있음을 보였다. Over the decades, neural networks have been successfully used in numerous applications from speech recognition to image classification. However, these neural networks cannot explain their results and one needs to know how and why a specific conclusion was drawn. Most studies focus on extracting binary rules from neural networks, which is often impractical to do, since data sets used for machine learning applications contain continuous values. To fill the gap, this paper presents an algorithm to extract logic rules from a trained neural network for data with continuous attributes. It uses hyperplane-based linear classifiers to extract rules with numeric values from trained weights between input and hidden layers and then combines these classifiers with binary rules learned from hidden and output layers to form non-linear classification rules. Experiments with different datasets show that the proposed approach can accurately extract logical rules for data with nonlinear continuous attributes.