인메모리 기반의 클러스터 환경에서 분산 병렬 SWRL 추론에 대한 연구

이완곤(Wan-Gon Lee),배석현(Seok-Hyun Bae),박영택(Young-Tack Park) 한국정보과학회 2018 정보과학회논문지 Vol.45 No.3

최근 들어 대용량 온톨로지를 사용하여 분산 환경에서 사용자 정의 규칙을 기반으로 하는 SWRL 추론엔진에 대한 연구가 다양하게 진행되고 있다. 스키마를 기반으로 하는 공리 규칙과 다르게 SWRL 규칙들은 미리 효율적인 추론 순서를 정의할 수 없다. 또한 불필요한 반복과정으로 인해 많은 양의 네트워크 셔플링이 발생한다. 이러한 문제점들을 해결하기 위해서 본 논문에서는 Map-Reduce 알고리즘과 인메모리 기반의 분산처리 프레임워크를 활용하여 동시에 여러 규칙을 추론할 수 있고, 클러스터의 노드간에 발생하는 데이터 셔플링의 양을 최소화할 수 있는 방법을 제안한다. 제안하는 방법의 성능을 측정하기 위해 약 2억 트리플로 구성된 WiseKB 온톨로지와 36개의 사용자 정의 규칙을 사용하여 실험을 진행했고 약 16분이 소요되었다. 또한 LUBM 벤치 마크 데이터를 이용한 비교 실험에서 기존 연구보다 2.7배 높은 성능을 보였다. Recently, there are many of studies on SWRL reasoning engine based on user-defined rules in a distributed environment using a large-scale ontology. Unlike the schema based axiom rules, efficient inference orders cannot be defined in SWRL rules. There is also a large volumet of network shuffled data produced by unnecessary iterative processes. To solve these problems, in this study, we propose a method that uses Map-Reduce algorithm and distributed in-memory framework to deduce multiple rules simultaneously and minimizes the volume data shuffling occurring between distributed machines in the cluster. For the experiment, we use WiseKB ontology composed of 200 million triples and 36 user-defined rules. We found that the proposed reasoner makes inferences in 16 minutes and is 2.7 times faster than previous reasoning systems that used LUBM benchmark dataset.

미디어 온톨로지의 시공간 정보 확장을 위한 분산 인메모리 기반의 대용량 RDFS 추론 및 질의 처리 엔진

이완곤(Wan-Gon Lee),이남기(Nam-Gee Lee),전명중(MyungJoong Jeon),박영택(Young-Tack Park) 한국정보과학회 2016 정보과학회논문지 Vol.43 No.9

대용량 미디어 온톨로지를 이용하여 의미 있는 지능형 서비스를 제공하기 위해 기존의 Axiom 추론뿐만 아니라 다양한 추론을 활용하는 지식 확장이 요구되고 있다. 특히 시공간 정보는 인공지능 응용분야에서 중요하게 활용될 수 있고, 시공간 정보의 표현과 추론에 대한 중요도는 지속적으로 증가하고 있다. 따라서 본 논문에서는 공간 정보를 추론에 활용하기 위해서 공공 주소체계에 대한 LOD를 대용량 미디어 온톨로지에 추가하고, 이러한 대용량 데이터 처리를 위해 인메모리 기반의 분산 처리 프레임워크를 활용하는 공간 추론을 포함하는 RDFS 추론 시스템을 제안한다. 또한 추론을 통해 확장된 데이터를 포함하는 대용량 온톨로지 데이터를 대상으로 하는 분산 병렬 시공간 SPARQL 질의 처리 방법에 대해서 설명한다. 제안하는 시스템의 성능을 측정하기 온톨로지 추론과 질의 처리 벤치 마킹을 위한 LUBM과 BSBM 데이터셋을 대상으로 실험을 진행했다. Providing a semantic knowledge system using media ontologies requires not only conventional axiom reasoning but also knowledge extension based on various types of reasoning. In particular, spatio-temporal information can be used in a variety of artificial intelligence applications and the importance of spatio-temporal reasoning and expression is continuously increasing. In this paper, we append the LOD data related to the public address system to large-scale media ontologies in order to utilize spatial inference in reasoning. We propose an RDFS/Spatial inference system by utilizing distributed memory-based framework for reasoning about large-scale ontologies annotated with spatial information. In addition, we describe a distributed spatio-temporal SPARQL parallel query processing method designed for large scale ontology data annotated with spatio-temporal information. In order to evaluate the performance of our system, we conducted experiments using LUBM and BSBM data sets for ontology reasoning and query processing benchmark.

신뢰 값 기반의 대용량 OWL Horst 온톨로지 추론

이완곤(Wan-Gon Lee),박현규(Hyun-Kyu Park),바트셀렘(Batselem Jagvaral),박영택(Young-Tack Park) 한국정보과학회 2016 정보과학회논문지 Vol.43 No.5

웹으로부터 얻어진 데이터를 통해 자동적으로 온톨로지를 확장하는 많은 기계학습 방법들이 존재한다. 또한 대용량 온톨로지 추론에 대한 관심이 증가하고 있다. 하지만 웹으로부터 얻어진 다양한 데이터의 신뢰성 문제를 고려하지 않으면, 불확실성을 내포하는 추론결과를 초래하는 문제점이 있다. 현재 대용량 온톨로지의 신뢰도를 반영하는 추론에 대한 연구가 부족하기 때문에 신뢰 값 기반의 대용량 온톨로지 추론 방법론이 요구되고 있다. 본 논문에서는 인메모리 기반의 분산 클러스터 프레임워크인 스파크 환경에서 신뢰 값 기반의 대용량 OWL Horst 추론 방법에 대해서 설명한다. 기존의 연구들의 문제점인 중복 추론된 데이터의 신뢰 값을 통합하는 방법을 제안한다. 또한 추론의 성능을 저하시키는 문제를 해결할 수 있는 분산 병렬 추론 알고리즘을 설명한다. 본 논문에서 제안하는 신뢰 값 기반의 추론 방법의 성능을 평가하기 위해 LUBM3000을 대상으로 실험을 진행했고, 기존의 추론엔진인 WebPIE에 비해 약 2배 이상의 성능을 얻었다. Several machine learning techniques are able to automatically populate ontology data from web sources. Also the interest for large scale ontology reasoning is increasing. However, there is a problem leading to the speculative result to imply uncertainties. Hence, there is a need to consider the reliability problems of various data obtained from the web. Currently, large scale ontology reasoning methods based on the trust value is required because the inference-based reliability of quantitative ontology is insufficient. In this study, we proposed a large scale OWL Horst reasoning method based on a confidence value using spark, a distributed in-memory framework. It describes a method for integrating the confidence value of duplicated data. In addition, it explains a distributed parallel heuristic algorithm to solve the problem of degrading the performance of the inference. In order to evaluate the performance of reasoning methods based on the confidence value, the experiment was conducted using LUBM3000. The experiment results showed that our approach could perform reasoning twice faster than existing reasoning systems like WebPIE.

분산 메모리 환경에서의 ABox 실체화 추론

이완곤(Wan-Gon Lee),박영택(Young-Tack Park) 한국정보과학회 2015 정보과학회논문지 Vol.42 No.7

최근 지식 정보의 양이 방대해지면서, 대용량 온톨로지를 효과적으로 추론하는 연구가 활발히 진행되고 있다. 이러한 추론 방법들은 TBox 분류와 ABox 실체화로 나누어진다. TBox 추론은 스키마의 무결성과 종속성을 주로 다룬다면, ABox 추론은 인스턴스 위주의 다양한 문제를 다루어서 실제 응용에서의 중요성이 매우 크다. 따라서 본 논문은 클래스의 제약 조건을 분석하고, 이를 통해 인스턴스가 속하는 클래스를 추론할 수 있는 방법을 제안한다. 객체 지향 언어 기반의 분산 파일 시스템을 활용했던 기존 방법과 달리 함수형 프로그래밍 기반의 인 메모리 시스템인 스파크를 통해 대용량 온톨로지 실체화 방법에 대해서 설명한다. 제안하는 기법의 효율성을 검증하기 위해 W3C의 Wine 온톨로지를 이용해 인스턴스를 생성(1억 2천만~6억개의 트리플)하고 실험을 수행하였다. 6억개의 트리플을 대상으로 진행한 실험의 경우 전체 추론 시간이 51분(696 K Triple/sec)이 소요되었다. As the amount of knowledge information significantly increases, a lot of progress has been made in the studies focusing on how to reason large scale ontology effectively at the level of RDFS or OWL. These reasoning methods are divided into TBox classifications and ABox realizations. A TBox classification mainly deals with integrity and dependencies in schema, whereas an ABox realization mainly handles a variety of issues in instances. Therefore, the ABox realization is very important in practical applications. In this paper, we propose a realization method for analyzing the constraint of the specified class, so that the reasoning system automatically infers the classes to which instances belong. Unlike conventional methods that take advantage of the object oriented language based distributed file system, we propose a large scale ontology reasoning method using spark, which is a functional programming-based in-memory system. To verify the effectiveness of the proposed method, we used instances created from the Wine ontology by W3C(120 to 600 million triples). The proposed system processed the largest 600 million triples and generated 951 million triples in 51 minutes (696 K triple / sec) in our largest experiment.

클라우드 컴퓨팅 환경에서의 대용량 RDFS 추론을 위한 분산 테이블 조인 기법

이완곤(Wan-Gon Lee),김제민(Je-Min Kim),박영택(Young-Tack Park) 한국정보과학회 2014 정보과학회논문지 Vol.41 No.9

지식 서비스 시스템이 효과적인 서비스를 제공하기 위해서는, 명시된 지식을 바탕으로 새로운 지식을 추론 할 수 있어야 한다. 대부분 지식 서비스 시스템은 온톨로지로 지식을 표현한다. 실 세계의 지식 정보의 양은 점점 방대해지고 있으며, 따라서 대용량 온톨로지를 효과적으로 추론하는 기법이 요구되고 있다. 본 논문은 클라우드 컴퓨팅 환경을 기반으로 대용량 온톨로지를 RDFS수준으로 추론하기 위한 분산테이블 조인 방법을 제안하고, 성능을 평가한다. 본 논문에서 제안하는 RDFS 추론은 분산 파일 시스템 환경에서 RDFS 메타 테이블을 기반으로 맵-리듀스를 적용한 방식과, 맵-리듀스를 사용하지 않고 클라우드 컴퓨터의 메모리만 사용한 방식에 초점을 맞추었다. 따라서 본 논문에서는 제안하는 각 기법에 대한 추론 시스템 구조와 RDFS 추론 규칙에 따른 메타 테이블 설계 및 추론 전략 알고리즘에 대해서 중점적으로 설명한다. 제안하는 기법의 효율성을 검증하기 위해 온톨로지 추론과 검색 속도를 평가하는 공식 데이터인 LUBM1000부터 LUBM6000을 대상으로 실험을 수행 하였다. 가장 큰 LUBM6000(8억 6천만 트리플)의 경우, 메타 테이블 기반의 RDFS 추론 기법은 전체 추론 시간이 13.75분(초당 1,042 트리플 추론)소요된 반면, 클라우드 컴퓨터의 메모리를 적용한 방식은 7.24분(초당 1,979 트리플 추론)이 소모되어 약 2배정도 빠른 추론 속도를 보였다. The Knowledge service system needs to infer a new knowledge from indicated knowledge to provide its effective service. Most of the Knowledge service system is expressed in terms of ontology. The volume of knowledge information in a real world is getting massive, so effective technique for massive data of ontology is drawing attention. This paper is to provide the method to infer massive data-ontology to the extent of RDFS, based on cloud computing environment, and evaluate its capability. RDFS inference suggested in this paper is focused on both the method applying MapReduce based on RDFS meta table, and the method of single use of cloud computing memory without using MapReduce under distributed file computing environment. Therefore, this paper explains basically the inference system structure of each technique, the meta table set-up according to RDFS inference rule, and the algorithm of inference strategy. In order to evaluate suggested method in this paper, we perform experiment with LUBM set which is formal data to evaluate ontology inference and search speed. In case LUBM6000, the RDFS inference technique based on meta table had required 13.75 minutes(inferring 1,042 triples per second) to conduct total inference, whereas the method applying the cloud computing memory had needed 7.24 minutes(inferring 1,979 triples per second) showing its speed twice faster.

분산 처리 환경에서 SWRL 규칙을 이용한 대용량 점증적 추론 방법

이완곤(Wan-Gon Lee),방성혁(Sung-Hyuk Bang),박영택(Young-Tack Park) 한국정보과학회 2017 정보과학회논문지 Vol.44 No.4

빅데이터 시대가 도래 하면서 시맨틱 데이터의 양이 빠른 속도로 증가하고 있다. 이러한 대용량 시맨틱 데이터에서 의미 있는 암묵적 정보를 추론하기 위해서 지식 사용자의 경험적 지식을 기반으로 작성된 SWRL(Semantic Web Rule Language) 규칙들을 활용하는 많은 연구가 진행되고 있다. 그러나 기존의 단일 노드의 추론 시스템들은 대용량 데이터 처리에 한계가 있고, 다중 노드 기반의 분산 추론 시스템들은 네트워크 셔플링으로 인해 성능이 저하되는 문제점들이 존재한다. 따라서 본 논문에서는 기존 시스템들의 한계를 극복하고 보다 효율적인 분산 추론 방법을 제안한다. 또한 네트워크 셔플링을 최소화 할 수 있는 데이터 파티셔닝 전략을 소개하고, 점증적 추론에서 사용되는 추가된 새로운 데이터의 선별과 추론 규칙의 순서결정으로 추론 과정을 최적화 할 수 있는 방법에 대해 설명한다. 제안하는 방법의 성능을 측적하기 위해 약2억 트리플로 구성된 WiseKB 온톨로지와 84개의 사용자 정의 규칙을 이용한 실험에서 32.7분이 소요되었다. 또한 LUBM 벤치 마크 데이터를 이용한 실험에서 맵-리듀스 방식에 비해 최대 2배 높은 성능을 보였다. As we enter a new era of Big Data, the amount of semantic data has rapidly increased. In order to derive meaningful information from this large semantic data, studies that utilize the SWRL(Semantic Web Rule Language) are being actively conducted. SWRL rules are based on data extracted from a user’s empirical knowledge. However, conventional reasoning systems developed on single machines cannot process large scale data. Similarly, multi-node based reasoning systems have performance degradation problems due to network shuffling. Therefore, this paper overcomes the limitations of existing systems and proposes more efficient distributed inference methods. It also introduces data partitioning strategies to minimize network shuffling. In addition, it describes a method for optimizing the incremental reasoning process through data selection and determining the rule order. In order to evaluate the proposed methods, the experiments were conducted using WiseKB consisting of 200 million triples with 83 user defined rules and the overall reasoning task was completed in 32.7 minutes. Also, the experiment results using LUBM bench datasets showed that our approach could perform reasoning twice as fast as MapReduce based reasoning systems.

SWAT: 분산 인-메모리 시스템 기반 SWRL과 ATMS의 효율적 결합 연구

전명중,이완곤,바트셀렘 작바랄,박현규,박영택 한국정보과학회 2018 정보과학회논문지 Vol.45 No.2

Recently, with the advent of the Big Data era, we have gained the capability of acquiring vast amounts of knowledge from various fields. The collected knowledge is expressed by well-formed formula and in particular, OWL, a standard language of ontology, is a typical form of well-formed formula. The symbolic reasoning is actively being studied using large amounts of ontology data for extracting intrinsic information. However, most studies of this reasoning support the restricted rule expression based on Description Logic and they have limited applicability to the real world. Moreover, knowledge management for inaccurate information is required, since knowledge inferred from the wrong information will also generate more incorrect information based on the dependencies between the inference rules. Therefore, this paper suggests that the SWAT, knowledge management system should be combined with the SWRL (Semantic Web Rule Language) reasoning based on ATMS (Assumption-based Truth Maintenance System). Moreover, this system was constructed by combining with SWRL reasoning and ATMS for managing large ontology data based on the distributed In-memory framework. Based on this, the ATMS monitoring system allows users to easily detect and correct wrong knowledge. We used the LUBM (Lehigh University Benchmark) dataset for evaluating the suggested method which is managing the knowledge through the retraction of the wrong SWRL inference data on large data. 최근 빅데이터의 시대가 도래하여 다양한 분야로부터 다량의 지식을 얻을 수 있다. 수집된 지식은 정형화된 형태의 지식으로 가공하여 표현되며, 그 중 W3C의 온톨로지 표준 언어인 OWL이 대표적인 정형화 표현 형식이다. 이렇게 표현된 대용량의 온톨로지로부터 내재된 정보를 도출하기 위해 다양한 방법의 심볼릭 추론(Symbolic Reasoning) 연구가 활발하게 진행되고 있다. 그러나 대부분의 추론 연구들은 서술논리(Description Logic)표현 기반의 제한적인 규칙표현을 지원하며 실생활 기반의 서비스를 구축하기에는 많은 제약이 따른다. 또한 잘못된 지식으로부터 도출된 결과는 규칙들 사이의 종속관계에 따라 연쇄적으로 잘못된 지식이 생산될 수 있기 때문에 이러한 잘못된 지식에 대한 처리를 위한 지식관리가 필요하다. 따라서 본 논문에서는 해당 문제를 해결하기 위해 SWRL(Semantic Web Rule Language) 기반의 추론과 ATMS(Assumption-based Truth Maintenance System)간의 결합을 통해 새롭게 도출된 지식에 대한 관리를 할 수 있는 SWAT(SWRL + ATMS) 시스템을 제안한다. 또한 이 시스템은 대용량 데이터를 처리하기 위해 분산 인-메모리 프레임워크 기반의 SWRL추론과 ATMS를 병합 구축하였으며 이를 바탕으로 웹 형태의 ATMS 모니터링 시스템을 통하여 사용자가 손쉽게 잘못된 지식을 검색 및 수정할 수 있도록 한다. 본 논문에서 제안하는 방법에 대한 평가를 위해 LUBM(Lehigh University Benchmark)데이터 셋을 사용하였으며, 대용량 데이터에 대한 SWRL 추론과 잘못 추론된 정보에 대한 삭제를 통해 효율적인 추론과 관리가 가능한 결합 방법임을 증명한다.

연속형 속성을 갖는 인공 신경망의 규칙 추출

바트셀렘 작바랄,이완곤,전명중,박현규,박영택 한국정보과학회 2018 정보과학회논문지 Vol.45 No.1

Over the decades, neural networks have been successfully used in numerous applications from speech recognition to image classification. However, these neural networks cannot explain their results and one needs to know how and why a specific conclusion was drawn. Most studies focus on extracting binary rules from neural networks, which is often impractical to do, since data sets used for machine learning applications contain continuous values. To fill the gap, this paper presents an algorithm to extract logic rules from a trained neural network for data with continuous attributes. It uses hyperplane-based linear classifiers to extract rules with numeric values from trained weights between input and hidden layers and then combines these classifiers with binary rules learned from hidden and output layers to form non-linear classification rules. Experiments with different datasets show that the proposed approach can accurately extract logical rules for data with nonlinear continuous attributes. 지난 수십 년 동안 인공 신경망은 음성 인식에서 이미지 분류에 이르기까지 수많은 분야에서 성공적으로 사용되었다. 그러나 인공 신경망은 특정 결론이 어떻게 도출되었는지 알 필요가 있음에도 불구하고 이러한 결과를 설명할 수 있는 능력이 부족하다. 대부분의 연구는 신경망에서 이진 규칙을 추출하는데 초점을 맞추고 있지만, 기계 학습 응용 프로그램에 사용되는 데이터는 연속된 값이 포함되어 있기 때문에 실용적이지 않은 경우가 있다. 이러한 격차를 줄이기 위해 본 논문에서는 연속된 값이 포함된 데이터로부터 학습된 신경망에서 논리 규칙을 추출하는 알고리즘을 제안한다. 초평면 기반 선형 분류기를 사용하여 입력 및 은닉 층 사이에서 학습된 가중치로부터 규칙을 추출하고, 비선형 분류 규칙을 생성하기 위해 은닉 층과 출력 층에서 학습된 이진 규칙과 분류기를 결합한다. 비선형 연속값으로 구성된 여러 데이터셋을 대상으로 진행한 실험에서 제안하는 방법이 논리적 규칙을 정확하게 추출할 수 있음을 보였다.

질의문과 지식 그래프 관계 학습을 통한 지식 완성 시스템

김민성,이민호,이완곤,박영택 한국정보과학회 2021 정보과학회논문지 Vol.48 No.6

The knowledge graph is a network comprising of relationships between the entities. In a knowledge graph, there exists a problem of missing or incorrect relationship connection with the specific entities. Numerous studies have proposed learning methods using artificial neural networks based on natural language embedding to solve the problems of the incomplete knowledge graph. Various knowledge graph completion systems are being studied using these methods. In this paper, a system that infers missing knowledge using specific queries and knowledge graphs is proposed. First, a topic is automatically extracted from a query, and topic embedding is obtained from the knowledge graph embedding module. Next, a new triple is inferred by learning the relationship between the topic from the knowledge graph and the query by using Query embedding and knowledge graph embedding. Through this method, the missing knowledge was inferred and the predicate embedding of the knowledge graph related to a specific query was used for good performance. Also, an experiment was conducted using the MetaQA dataset to prove the better performance of the proposed method compared with the existing methods. For the experiment, we used a knowledge graph having movies as a domain. Based on the assumption of the entire knowledge graph and the missing knowledge graph, we experimented on the knowledge graph in which 50% of the triples were randomly omitted. Apparently, better performance than the existing method was obtained. 지식 그래프는 개체들 사이의 관계로 구성된 네트워크를 뜻한다. 이러한 지식 그래프에서 특정 개체들에 대한 관계가 누락되거나 잘못된 관계 연결과 같은 문제로 불완전한 지식 그래프의 문제점이 존재한다. 불완전한 지식 그래프의 문제를 해결하기 위한 많은 연구는 자연어 임베딩 기반으로 인공 신경망을 이용한 학습 방법들을 제안했다. 이러한 방법들로 다양한 지식 그래프 완성 시스템들이 연구되고 있는데 본 논문에서는 특정 질의와 지식 그래프를 활용해 누락된 지식을 추론하는 시스템을 제안하였다. 먼저 의문형의 Query로부터 topic을 자동으로 추출하여 해당 topic 임베딩을 지식 그래프 임베딩 모듈로부터 얻는다. 그 다음 Query 임베딩과 지식 그래프 임베딩을 활용하여 지식 그래프로부터의 topic과 질의문 사이의 관계를 학습하여 새로운 트리플을 추론한다. 이와 같은 방식을 통해 누락된 지식들을 추론하고 좋은 성능을 위해 특정 질의와 관련된 지식 그래프의 술어부 임베딩을 같이 활용하였고 기존 방법보다 더 좋은 성능을 보임을 증명하기 위해 MetaQA 데이터셋을 사용하여 실험을 진행하였다. 지식 그래프는 영화를 도메인으로 갖는 지식 그래프를 사용하였다. 실험 결과로 지식 그래프 전체와 누락된 지식 그래프를 가정하여 트리플들을 임의로 50% 누락시킨 지식 그래프에서 실험하여 기존 방법보다 더 좋은 성능을 얻었다.

지식베이스 임베딩 및 관계 모델을 활용한 오류 트리플 검출

홍지훈,최현영,이완곤,박영택 한국정보과학회 2019 정보과학회논문지 Vol.46 No.2

Recently, with the increase of the amount of information due to the development of the Internet, there has been an increased interest in research using a large-capacity knowledge base. Additionally, studies are being conducted to complete the knowledge base as it uses become widely used in various studies. However, there has been lack of research to detect error triples in the knowledge base. This paper, we proposes the embedding of an algorithm to detect the error triple in the knowledge base, the utilization of the clustered embedding model and the four relational models, which are typical algorithms of triple classification. Additionally, a relation ensemble model was generated using the results of the single embedding models and the embedding ensemble model similarly generated using the results of the single embedding models. The error triple detection results were then compared and measured through the model verification indexes. 최근 인터넷의 발전으로 정보의 양이 늘어나면서 대용량 지식베이스를 이용한 연구에 관심이 많아지는 추세이다. 또한 지식베이스가 다양한 연구에 많이 활용됨에 따라 지식베이스를 완성하는 연구가 진행되고 있다. 하지만 지식베이스 내 오류 트리플을 검출하는 연구가 부족하다. 본 논문에서는 지식베이스 내의 오류 트리플을 검출하기 위해 임베딩 알고리즘을 사용하여 임베딩을 진행한 뒤 클러스터링 한 임베딩 모델과, 트리플 분류의 대표적인 알고리즘인 4가지의 릴레이션 모델을 활용하는 것을 제안한다. 또한, 싱글 임베딩 모델들의 결과를 사용한 임베딩 앙상블 모델과 싱글 릴레이션 모델들의 결과를 사용한 릴레이션 앙상블 모델을 생성하여 모델 검증 지표를 통해 오류 트리플 검출 결과를 비교 측정하였다.