SQL-맵리듀스 통합을 위한 질의 인터페이스 및 질의 최적화 연구 현황

이태휘 ( Taewhi Lee ),정문영 ( Moonyoung Chung ),임동혁 ( Dong-hyuk Im ),원종호 ( Jongho Won ) 한국정보처리학회 2015 한국정보처리학회 학술대회논문집 Vol.22 No.1

SQL의 사용자 편의성과 맵리듀스의 함수형 분산 처리 능력을 동시에 활용하기 위한 통합 작업이 이루어지고 있다. 본 논문에서는 최근 이루어진 관련 연구를 질의 인터페이스 측면과 질의 최적화 측면으로 나누어 살펴보고, 향후 연구 과제에 대해 알아본다.

하이퍼 그래프 기반 Temporal RDF 모델링 기법

이태휘 ( Taewhi Lee ),임동혁 ( Dong-hyuk Im ) 한국정보처리학회 2015 한국정보처리학회 학술대회논문집 Vol.22 No.1

RDF 데이터에 대한 시간 속성에 대한 연구는 트리플의 속성에 시간을 부여하는 방법이 많이 사용되고 있다. 하지만 트리플마다 시간 속성을 부여하는 방법은 저장 및 관리 측면에서 비효율적이다. 본 논문에서는 하이퍼그래프 기반의 RDF 시간 속성 모델링 방법을 제안한다. 하나의 트리플마다 시간 속 성을 부여하는 것이 아닌 여러 개의 트리플을 하나의 하이퍼 간선으로 연결하여 시간 속성을 부여하는 방법으로 기존 방법보다 RDF 데이터가 가지는 의미에 적합하며 직관적으로 이해하기가 쉽다. 또한 시간 속성 RDF에서 지원해야 하는 시간 관계를 하이퍼그래프의 여러 속성을 이용하여 처리할 수 있는 장점을 가지게 된다.

TripleDiff: 트리플 저장소에서 RDF 문서에 대한 점진적 갱신 알고리즘

이태휘(Taewhi Lee),김기성(Kisung Kim),유상원(Sangwon Yoo),김형주(Hyoung-Joo Kim) 한국정보과학회 2006 정보과학회논문지 : 데이타베이스 Vol.33 No.5

시멘틱 웹(semantic web)과 함께 등장한 RDF는 웹 상의 메타데이타 및 데이타를 나타내는 표준으로 자리매김 하고 있다. 이에 따라 RDF에 대한 저장 및 질의 처리에 대한 연구가 많이 이루어졌으며, 대표적인 시스템으로 Sesame, Jena 등이 있다. 그러나 아직 갱신 방법에 대한 연구는 부족하다. RDF 데이타가 지속적으로 갱신이 이루어지는 경우에는 저장된 RDF를 갱신해야 하는 상황이 발생한다. 현존하는 RDF 저장소에서 데이타를 갱신하기 위해서는 기존의 데이타를 모두 삭제한 후 새로운 데이타를 처음부터 다시 저장해야 하는데, 이러한 상황에서는 매우 비효율적이다. 또한 한 RDF 저장소에 여러 RDF가 저장되어 있는 경우에는 갱신 문제가 더욱 복잡해진다. 이에 본 논문에서는 RDF 데이타를 점진적으로 갱신하는 기법을 제안하고자 한다. 제안한 기법은 텍스트 비교 알고리즘을 통해 얻은 결과를 보완하여 기존 RDF 데이타에서 변화된 트리플 문장만을 추출하여 갱신한다. 실제 RDF 데이타를 이용한 실험을 통해 제안한 방법을 사용하여 갱신을 효율적으로 할 수 있음을 보였다. The Resource Description Framework(RDF), which emerged with the semantic web, is settling down as a standard for representing information about the resources in the World Wide Web. Hence, a lot of research on storing and query processing RDF documents has been done and several RDF storage systems, such as Sesame and Jena, have been developed. But the research on updating RDF documents is still insufficient. When a RDF document is changed, data in the RDF triple store also needs to be updated. However, current RDF triple stores don’t support incremental update. So updating can be performed only by deleting the old version and then storing the new document. This updating method is very inefficient because RDF documents are steadily updated. Furthermore, it makes worse when several RDF documents are stored in the same database. In this paper, we propose an incremental update algorithm on RDF documents in triple stores. We use a text matching technique for two versions of a RDF document and compensate for the text matching result to find the right target triples to be updated. We show that our approach efficiently update RDF documents through experiments with real-life RDF datasets.

지역 집계를 활용한 NUMA 기반의 효율적인 집계 질의 처리

이상우(Sangwoo Lee),이태휘(Taewhi Lee),김창수(Chang Soo Kim),임동혁(Dong-Hyuk Im),안진현(Jinhyun Ahn) 한국정보과학회 2019 한국정보과학회 학술발표논문집 Vol.2019 No.6

사용자의 활동과 영향력을 이용한 트위터의 URL 추천 시스템

이성윤(Seong-Yun Lee),이태휘(Taewhi Lee),김형주(Hyoung-Joo Kim) 한국정보과학회 2011 정보과학회 컴퓨팅의 실제 논문지 Vol.17 No.8

트위터는 최근 가장 각광 받는 마이크로블로깅 서비스로 전세계인들에게 정보 교류의 장으로 활용되고 있다. 그러나 사용자 수가 급증하고 있어 사용자들이 생산하는 막대한 양의 정보로부터 개인이 유용한 내용을 찾아내기가 어렵다. 이러한 문제를 해결하고자 트위터에서의 URL 추천 시스템이 등장하였으나 이전 연구들은 트위터의 특성을 고려하지 않는 단점을 지닌다. 본 논문에서는 사용자의 활동과 영향력을 고려하여 기존 시스템을 개선한다. 추천 결과를 향상시키는 요인들을 탐구하고 사용자 활동과 영향력을 측정하는 방법을 고안한다. 이를 기존 시스템에 결합한 새로운 URL 추천 시스템을 제안하고, 실험을 통해 실제로 사용자의 만족도가 높아짐을 확인한다. Twitter is one of the most attractive microblogging services and has been used as information net-work by people worldwide. But since the number of users is increasing rapidly, it is hard for each individual user to find useful contents from the huge amount of information generated by the users. To solve this problem, URL link recommendation system for Twitter has been proposed, but no previous work has considered the characteristics of Twitter itself. In this paper, we improve the existing system by considering user activity and user influence. We explore factors that improve the quality of recommendations and design methods to measure user activity and influence. We propose a novel URL recommendation system that combines these factors with the existing system. The experiments show that our system increases user satisfaction.

모바일 통합 검색에서 온톨로지를 활용한 컬렉션 순서의 정확도 향상

송효진(Hyojin Song),이태휘(Taewhi Lee),김형주(Hyoung-Joo Kim) 한국정보과학회 2012 정보과학회 컴퓨팅의 실제 논문지 Vol.18 No.3

통합 검색은 단일 인터페이스 내에서 여러 정보 소스를 동시에 검색하여 그 결과를 모아서 보여주는 검색 방법이다. 구글, 야후, 네이버, 다음 등 대부분의 국내외 메이저 포털 사이트들은 통합 검색을 도입하여 서비스하고 있다. 통합 검색 결과 내에서 각 컬렉션(뉴스, 블로그, 이미지 등)의 순서는 사용자가 빠르게 원하는 정보를 찾아내는 데 매우 중요한 역할을 한다. 특히 모바일 환경에서는 PC 환경에 비해 작은 화면과 조작의 불편함이 수반되기 때문에 컬렉션 순서의 영향력은 더 증대된다. 검색 결과 내의 컬렉션 순서는 클릭 로그를 기반으로 결정되는데, 클릭 로그가 충분하지 못한 대다수의 롱테일 키워드에 대해서는 효과적으로 컬렉션 순서를 정렬하지 못한다. 본 논문에서는 온톨로지를 활용하여 의미적 관련이 있는 다른 키워드의 클릭 로그를 참조함으로써 검색 결과를 개선하는 프레임워크를 제안한다. 질의 축소기법을 적용하여 복수 키워드 질의의 경우를 효과적으로 처리하고, 추가적으로 사용자 프로파일을 활용하여 컬렉션 순서의 정확도를 높인다. 실험을 통해 제안한 프레임워크가 검색 결과의 개선과 모바일 환경에서 네트워크 트래픽 감소 효과가 있음을 확인한다. Aggregated search is a technique to search and assemble information from a variety of sources, within a single interface. This method has been adopted in most domestic and foreign portal sites such as Google, Yahoo, Naver and Daum. How to order the collections(news, blogs, images, etc.) in the aggregated search result is very important for finding relevant information quickly. In mobile environment, the influence of collection order is considerably enlarged due to small screen and limited interface. The collection order is usually decided based on click logs, but it is not effective for most long-tail keywords which have not enough click logs. In this paper, we propose a new framework to enhance the aggregated search result by referencing the click logs of semantically related keywords using an ontology. We apply query reduction methods into collection ordering to efficiently process multi-keyword queries. In addition, we exploit user profiles to improve the precision of the collection order. The experiments show that our framework enhances aggregated search results and reduces network traffic in mobile environment.

맵리듀스 환경에서 블룸 필터를 사용한 적응적 조인 처리

배혜찬(Hye-Chan Bae),이태휘(Taewhi Lee),김형주(Hyoung-Joo Kim) 한국정보과학회 2013 정보과학회논문지 : 데이타베이스 Vol.40 No.4

대용량 데이터의 처리, 분석을 위해 분산 프로그래밍 모델인 맵리듀스가 여러 분야에서 활용되고 있다. 그러나 맵리듀스는 조인 연산을 처리할 때 조인되지 않는 레코드들까지 맵퍼에서 리듀서로 전송하는데, 이는 불필요한 네트워크 비용을 발생시켜 조인 성능을 저하시킨다. 이러한 문제를 개선하기 위해 맵리듀스에서 블룸 필터를 사용하여 리듀서로 전송되는 레코드를 미리 여과하는 조인 방법이 제안되었다. 하지만 블룸 필터에 삽입되는 원소 데이터의 개수가 너무 많아지는 경우, 필터의 이점을 기대할 수 없으며 필터를 사용하기 위한 추가적인 비용으로 인하여 블룸 필터를 사용하지 않고 처리하는 것보다 오히려 성능이 더 저하될 수 있다. 이에 본 논문은 주기적으로 블룸 필터의 효율성을 검사하여 필터의 사용여부를 동적으로 결정하는 적응적 조인 연산 기법을 제안한다. 이를 위해, 우리는 필터에 삽입된 키의 개수를 활용하여 블룸 필터의 양성 오류율을 추정하고, 필터가 비효율적이라고 판단된 경우, 그 시점 이후로는 필터를 사용하지 않고 조인 연산을 처리하도록 한다. 실험을 통하여, 제안한 기법이 기본 맵리듀스 조인과 블룸 필터를 사용한 조인 중 보다 나은 성능을 보이는 연산 방법을 적응적으로 선택함으로써 안정적인 조인 성능을 보장함을 확인한다. MapReduce, a distributed programming model, has been used in many fields to process and analyze large volumes of data. However, MapReduce has a limitation to process join operations in that it transmits all the records, including ones that are not joined, from mappers to reducers. This causes unnecessary network costs and degrades the join performance. To handle this problem, the join technique that filters out the redundant records using Bloom filters was proposed. Nevertheless, if the number of data elements inserted into Bloom filter is too large, the performance of the join processing with Bloom filters can be worse than that without Bloom filters, because of additional costs to use them. This paper proposes an adaptive join processing technique that dynamically determines whether to use Bloom filters by checking the efficiency of them periodically. For this purpose, we estimate the false positive rate of Bloom filters with the numbers of the elements inserted into them. If it is judged that the filters are inefficient, the join operation is processed without them. The experiments show that the proposed technique ensures the stable performance of the join processing by choosing the better technique adaptively between the basic MapReduce join and the join using Bloom filter.

시그널링크(주)의 생산, 품질 및 시험관련부서를 위한 다양한 소음, 진동 품질검사제품

최현(Hyun Choi),이태휘(Taewhi, Lee),이재원(Jaewon, Lee) 한국소음진동공학회 2004 한국소음진동공학회 학술대회논문집 Vol.2004 No.5

대용량 데이터 처리를 위한 질의 컬럼셋과 수평 파티션의 통합 방법

정문영 ( Moonyoung Chung ),이태휘 ( Taewhi Lee ),김성수 ( Sung-soo Kim ),송혜원 ( Hyewon Song ),원종호 ( Jongho Won ) 한국정보처리학회 2016 한국정보처리학회 학술대회논문집 Vol.23 No.2

분산된 데이터에 대한 질의 처리에서는 중간 데이터를 전송하는 단계에서 많은 디스크 I/O 및 네트워크 트래픽을 야기할 수 있다. 따라서, 질의에 필요하지 않은 데이터를 미리 필터링하면 불필요한 I/O 및 네트워크 전송을 줄일 수 있어 질의 처리 성능을 높일 수 있다. 이 논문에서는 질의 컬럼셋과 수평 파티션 방법을 통합하여 질의 처리에 불필요한 데이터를 초기 단계에 미리 필터링하여 질의 처리 성능을 높이는 방법을 제안한다.

온톨로지 어노테이션을 이용한 유사이미지 검색 시스템의 설계

노현덕 ( Hyun-deok No ),이태휘 ( Taewhi Lee ),임동혁 ( Dong-hyuk Im ) 한국정보처리학회 2015 한국정보처리학회 학술대회논문집 Vol.22 No.1

최근 이미지가 가지는 의미적 정보를 온톨로지로 어노테이션한 후 이미지를 분류하고 검색하는 방법들이 제안되고 있다. 하지만 이미지 검색이 어노테이션된 데이터에 SPARQL 질의를 통해 이루어지기 때문에 질의 결과와 일치하는 이미지들만 검색이 된다. 본 논문에서는 기존의 의미 기반 질의 방식이 아닌 이미지에 어노테이션된 온톨로지를 이용하여 유사 이미지를 검색하는 시스템을 제안한다. 설계된 시스템은 이미지가 가지는 태그 정보를 RDF 온톨로지로 확장하는 기존 연구에 추가적으로 온톨로지 유사 매칭 알고리즘을 사용하여 사용자가 원하는 유사 이미지를 검색할 수 있도록 한다.