R - tree에서 Seeded 클러스터링을 이용한 다량 삽입

이태원(Taewon Lee),문봉기(Bongki Moon),이석호(Sukho Lee) 한국정보과학회 2004 정보과학회논문지 : 데이타베이스 Vol.31 No.1

지구 관측 시스템(EOSDIS)나 많은 수의 클라이언트를 추적하는 이동전화 서비스 등 많은 응용에서는 지속적으로 생겨나는 대량의 복잡한 데이타들을 보관하고 인덱싱하는 것이 매우 어려운 일이다. 다차원 데이타를 효과적으로 관리하기 위해 R-tree에 기반한 인덱스 구조가 널리 사용되어 왔다. 본 논문에서는 빠른 데이타 생성 속도를 따라잡으면서 대량 삽입을 통해 R-tree를 관리할 수 있는 seeded clustering이라는 확장성있는 기법을 제안한다. 이 기법에서는 삽입할 대상 R-tree의 상위 k레벨의 구조를 활용하여 시드 트리를 만들어 삽입 데이타를 분류해 클러스터를 생성한다. 그리고 각 클러스터로부터 삽입 R-tree를 생성하고 이를 대상 R-tree에 한 번에 하나씩 삽입한다. 논문에서는 자세한 알고리즘과 함께 다양한 실험 결과를 보여준다. 실험 결과를 통해 seeded clustering을 이용한 대량 삽입이 기존의 대량 삽입 기법들과 비교해 삽입이나 질의 처리 모두에서 우수함을 알 수 있다. In many scientific and commercial applications such as Earth Observation System (EOSDIS) and mobile phone services tracking a large number of clients, it is a daunting task to archive and index ever increasing volume of complex data that are continuously added to databases. To efficiently manage multidimensional data in scientific and data warehousing environments, R-tree based index structures have been widely used. In this paper, we propose a scalable technique called seeded clustering that allows us to maintain R-tree indexes by bulk insertion while keeping pace with high data arrival rates. Our approach uses a seed tree, which is copied from the top k levels of a target R-tree, to classify input data objects into clusters. We then build an R-tree for each of the clusters and insert the input R-trees into the target R-tree in bulk one at a time. We present detailed algorithms for the seeded clustering and bulk insertion as well as the results from our extensive experimental study. The experimental results show that the bulk insertion by seeded clustering outperforms the previously known methods in terms of insertion cost and the quality of target R-trees measured by their query performance.

다중 XML 문서 인덱싱을 위한 전역 인코딩 기법

배진욱(Jinuk Bae),문봉기(Bongki Moon),이석호(Sukho Lee) 한국정보과학회 2005 한국정보과학회 학술발표논문집 Vol.32 No.1

지금까지 제안된 구조조인 알고리즘들은 하나의 XML 문서에 대해 복잡한 질의를 빠르게 처리할 수 있다는 장점이 있다. 하지만, 다중 문서를 처리할 때 각 문서에 부여된 문서식별자에 의해 문서별 질의 처리를 하기 때문에, 문서의 수가 증가한다면 질의 처리 시간도 길어진다는 문제점이 발생한다. 이 논문에서는 이 문제를 해결하기 위해 XML 문서를 XMAS 트리로 병합한 뒤 전역적으로 인코딩을 하는 기법을 제안한다. XMAS 트리는 각 문서의 구조 정보를 유지한 채 공통된 부분을 공유하는 트리이다. 이 공유에 의해서 질의 처리시에 성능 향상을 얻을 수 있다. 실험 결과, 선형 질의에 대해 수백 배, 가지모양 질의에 대해 수십 배 빠르게 질의를 처리할 수 있었다.

관계형 XML 가지 패턴 질의를 위한 비트맵 인덱스와 질의 처리 기법

이경하(Kyong-Ha Lee),문봉기(Bongki Moon),이규철(Kyu-Chul Lee) 한국정보과학회 2010 정보과학회논문지 : 데이타베이스 Vol.37 No.3

XML 데이터 량의 증가에 따라 DBMS를 이용한 XML 데이터의 저장 관리 기법들이 고안되었다. 하지만, 현재의 가지 패턴 질의 처리 알고리즘들은 XML 데이터를 태그 또는 임의 단위로 분할되고, 각 항목들이 특정 순서로 정렬된 역 리스트들을 입력으로 한다. 이러한 저장 기법의 불일치는 관계형 테이블에 나뉘어 저장되는 XML 데이터의 질의 처리에 이 알고리즘들의 적용을 어렵게 한다. 이 논문에서는 관계형 테이블에 저장된 XML 데이터에 대한 홀리스틱 가지 조인을 지원하기 위한 비트맵 인덱스와 이를 이용한 질의 처리 기법을 제안한다. 비트맵 인덱스는 많은 데이터베이스 시스템에서 지원하므로, 제안하는 인덱스와 가지 질의 처리 기법은 관계형 질의 처리 프레임워크에서 보다 이식이 용이하다. 제안하는 인덱스 기법은 압축을 통해 인덱스 크기를 줄이면서도 질의 처리시 압축해제가 불필요해 시간과 공간 효율적이다. 또한, 이 논문에서는 비트맵 인덱스만을 이용해 XML 노드들 간의 관계성을 식별함으로써, 가지 패턴 질의 처리를 레코드에 저장된 XML 데이터의 접근 없이 수행할 수 있는 혼합 인덱스를 제시한다. Due to an increasing volume of XML data, it is considered prudent to store XML data on an industry-strength database system instead of relying on a domain specific application or a file system. For shredded XML data stored in relational tables, however, it may not be straightforward to apply existing algorithms for twig query processing, since most of the algorithms require XML data to be accessed in a form of streams of elements grouped by their tags and sorted in a particular order. In order to support XML query processing within the common framework of relational database systems, we first propose several bitmap indexes and their strategies for supporting holistic twig joining on XML data stored in relational tables. Since bitmap indexes are well supported in most of the commercial and open-source database systems, the proposed bitmapped indexes and twig query processing strategies can be incorporated into relational query processing framework with more ease. The proposed query processing strategies are efficient in terms of both time and space, because the compressed bitmap indexes stay compressed during data access. In addition, we propose a hybrid index which computes twig query solutions with only bit-vectors, without accessing labeled XML elements stored in the relational tables.

XML 데이타의 경로 유사성에 기반한 클러스터링 기법

최일환(Ilhwan Choi),문봉기(Bongki Moon),김형주(Hyoung-Joo Kim) 한국정보과학회 2006 정보과학회논문지 : 데이타베이스 Vol.33 No.3

Current studies on storing XML data are focused on either mapping XML data to existing RDBMS efficiently or developing a native XML storage. Some native XML storages store each XML node with parsed object form. Clustering, the physical arrangement of each object, can be an important factor to increase the performance with this storing method. In this paper, we propose re-clustering techniques that can store an XML document efficiently. Proposed clustering technique uses path similarities among data nodes, which can reduce page I/Os when returning query results. And proposed technique can process a path query only using small number of clusters as possible instead of using all clusters. This enables efficient processing of path query because we can reduce search space by skipping unnecessary data. Finally, we apply existing clustering techniques to store XML data and compare the performance with proposed technique. Our results show that the performance of XML storage can be improved by using a proper clustering technique. 최근의 XML 저장소에 관한 연구들은 기존의 데이타 저장을 위해 주로 사용해 왔던 관계형 데이타베이스에 효율적으로 XML 데이타를 매핑하는 기법이나 XML 데이타를 위한 새로운 전용 저장소에 대한 연구들이 주를 이룬다. XML 전용 저장소에서 많이 사용되는 방식으로 XML 문서를 파싱하여 각 노드들을 개별적인 객체로 생성한 후 이를 저장하는 방식이 있다. 이러한 저장 방식에서는 개별적인 객체들의 물리적 배치, 즉 클러스터링이 성능에 영향을 미칠 수 있다. 본 논문에서는 하나의 XML 문서를 보다 효율적으로 저장하는 클러스터링 기법을 제안한다. 제안하는 기법은 데이타 노드들의 경로 유사도를 기반으로 클러스터링을 수행하여 질의 요청에 대한 결과를 반환할 때 발생하는 페이지 I/O를 줄인다. 또한 경로 질의 처리시 필요한 클러스터만을 이용하여 질의 처리를 수행하는 방법을 제안한다. 이는 질의 처리 과정에서 불필요한 데이타를 제외함으로써 결과적으로 탐색 공간의 크기를 줄일 수 있어 보다 효율적인 경로 질의 처리를 가능하게 한다. 이밖에 본 논문에서는 기존의 다른 클러스터링 기법들과 제안한 기법들과의 성능 비교를 수행하고, 이를 통해 적절한 클러스터링 기법을 이용하면 XML 저장소의 성능을 향상시킬 수 있음을 보인다.

빠른 XML 질의 처리를 위한 세그먼트 조인 기법

배진욱(Jinuk Bae),문봉기(Bongki Moon),이석호(Sukho Lee) 한국정보과학회 2005 정보과학회논문지 : 데이타베이스 Vol.32 No.3

Complex queries such as path and twig patterns have been the focus of much research on processing XML data. Structural join algorithms use a form of encoded structural information for elements in an XML document to facilitate join processing. Recently, structural join algorithms such as TwigStack and TSGeneric+ have been developed to process such complex queries, and they have been shown that the processing costs of the algorithms are linearly proportional to the sum of input data. However, the algorithms have a shortcoming that their processing costs increase with the length of a query. To overcome the shortcoming, we propose the segment join technique to augment the structural join with structural indexes such as the 1-Index. The SegmentTwig algorithm based on the segment join technique performs joins between a pair of segments, which is a series of query nodes, rather than joins between a pair of query nodes. Consequently, the query can be processed by reading only a query node per segment. Our experimental study shows that segment join algorithms outperform the structural join methods consistently and considerably for various data sets. XML 데이타를 대상으로 선형 질의나 가지모양 질의 같은 복잡한 질의가 많이 연구되고 있다. 이와 같은 질의를 처리하기 위해 XML 데이타를 구조정보에 의해 미리 인코딩한 후, 질의 처리시 구조정보를 이용하여 빠르게 질의를 수행하는 구조 조인 알고리즘들이 제안되었다. 그 중 최근에 제안된 TwigStack 알고리즘과 TSGeneric 알고리즘은 각각 인덱스가 없는 환경과 있는 환경에서 수행시간이 입력 데이타의 양과 비례하는 최적의 성능을 보여주었다. 하지만 이들 알고리즘은 질의의 길이(질의에 나타난 엘리먼트 개수)에 비례하여 입력 데이타의 양이 증가하고, 따라서 수행시간이 길어진다는 제한점이 있다. 이 논문에서는 기존의 구조 조인 알고리즘들에 구조 인덱스를 결합한 세그먼트 조인 기법을 제안한다. 이 기법은 질의 노드와 노드 간의 구조 조인과는 달리, 구조 인덱스를 이용하여 일련의 질의 노드들을 하나의 세그먼트로 식별한 후 세그먼트와 세그먼트 사이의 조인을 수행한다. 그 결과 세그먼트마다 하나의 질의 노드만을 읽음에 의해 질의를 처리할 수 있게 되어 수행성능이 향상된다. 다양한 데이타셋에 대해 인덱스가 없는 환경에서 실험 결과, 세그먼트 조인 기법을 적용한 SegmentTwig 알고리즘은 TwigStack 알고리즘보다 우수한 성능을 보였다.

가지형 패턴의 시퀀스화를 이용한 XML 문서 필터링

권준호(Joonho Kwon),Praveen Rao,문봉기(Bongki Moon),이석호(Sukho Lee) 한국정보과학회 2006 정보과학회논문지 : 데이타베이스 Vol.33 No.4

최근 XML 문서 필터링에 기반한 출판-구독(publish-subscribe) 시스템이 많은 관심을 받고 있다. 전형적인 출판-구독 시스템에서, 구독자들은 XPath 언어로 명세된 프로파일로 자신들의 관심을 표현하고, 새로운 내용들은 사용자 프로파일에 대하여 매칭 여부를 판단하여 관심을 가지고 있는 사용자들에게만 배달된다. 구독자의 수와 그들의 프로파일이 증가할수록, 시스템의 확장성이 출판-구독 시스템의 중요한 성공 요소가 된다. 이 논문에서는 XPath로 명세된 가지형 패턴과 입력 XML 문서들을 Prufer의 방법을 사용하여 시퀀스로 변환하는 FiST라 불리는 새로운 필터링 시스템을 제안한다. FiST 시스템은 가지형 패턴을 구성하는 선형 경로들에 대하여 각각 매칭을 수행하고 후처리 과정에서 그 결과들을 병합하는 방법을 이용하는 대신에 가지형 패턴 전체를 사용하여 입력 문서에 대하여 매칭을 수행한다. 또한 효율적인 필터링을 위하여 시퀀스들을 해시 기반의 동적 인덱스로 구성한다. 실험 결과를 통해 전체 매칭 접근 방법이 다양한 환경에서 낮은 필터링 비용과 좋은 확장성을 가짐을 알 수 있다. In recent years, publish-subscribe (pub-sub) systems based on XML document filtering have received much attention. In a typical pub-sub system, subscribing users specify their interest in profiles expressed in the XPath language, and each new content is matched against the user profiles so that the content is delivered only to the interested subscribers. As the number of subscribed users and their profiles can grow very large, the scalability of the system is critical to the success of pub-sub services. In this paper, we propose a novel scalable filtering system called FiST(Filtering by Sequencing Twigs) that transforms twig patterns expressed in XPath and XML documents into sequences using Pr?fer's method. As a consequence, instead of matching linear paths of twig patterns individually and merging the matches during post-processing, FiST performs holistic matching of twig patterns with incoming documents. FiST organizes the sequences into a dynamic hash based index for efficient filtering. We demonstrate that our holistic matching approach yields lower filtering cost and good scalability under various situations.

세그먼트 기반의 XML 문서 필터링

권준호(Joonho Kwon),Praveen Rao,문봉기(Bongki Moon),이석호(Sukho Lee) 한국정보과학회 2008 정보과학회논문지 : 데이타베이스 Vol.35 No.4

최근 XML 문서 필터링에 기반한 출판-구독(publish-subscribe) 시스템이 많은 관심을 받고있다. 전형적인 출판-구독 시스템에서, 구독자들은 XPath 언어로 명세된 프로파일로 자신들의 관심을 표현하고, 새로운 내용들은 사용자 프로파일에 대하여 매칭 여부를 판단하여 관심을 가지고 있는 사용자들에게만 배달된다. 구독자의 수와 그들의 프로파일이 증가할수록, 시스템의 확장성이 출판-구독 시스템의 중요한 성공 요소가 된다. 이 논문에서는 FiST 시스템을 확장한 세그먼트 기반의 XML 문서 필터링 시스템인 SFiST 시스템을 제안한다. SFiST 시스템은 XML 문서 필터링에서 중복된 처리를 없애기 위해서 가지형 패턴의 사용자 프로파일에서 세그먼트를 추출하여 해시 기반의 세그먼트 테이블에 저장하고 유지한다. 이 세그먼트는 사용자 프로파일을 터스 시퀀스 형태로 표현하는데 이용되고, 효율적인 필터링을 위한 컴팩트 시퀀스 인덱스에도 사용된다. 실험을 통하여 세그먼트 기반의 SFiST 시스템이 이전의 연구인 FiST 시스템보다 좋은 성능을 가지고 있음을 보였다. In recent years, publish-subscribe (pub-sub) systems based on XML document filtering have received much attention. In a typical pub-sub system, subscribed users specify their interest in profiles expressed in the XPath language, and each new content is matched against the user profiles so that the content is delivered to only the interested subscribers. As the number of subscribed users and their profiles can grow very large, the scalability of the system is critical to the success of pub-sub services. In this paper, we propose a fast and scalable XML filtering system called SFiST which is an extension of the FiST system. Sharable segments are extracted from twig patterns and stored into the hash-based Segment Table in SFiST system. Segments are used to represent user profiles as Terse Sequences and stored in the Compact Segment Index during filtering. Our experimental study shows that SFiST system has better performance than FiST system in terms of filtering time and memory usage.

세그먼트 기반 XML 문서 필터링

권준호(Joonho Kwon),Praveen Rao,문봉기(Bongki Moon),이석호(Sukho Lee) 한국정보과학회 2007 한국정보과학회 학술발표논문집 Vol.34 No.1A

플래시메모리 SSD를 이용한 확장형 버퍼 관리

심도윤(Doyoon Sim),박장우(Jangwoo Park),김성탄(Sungtan Kim),이상원(Sangwon Lee),문봉기(Bongki Moon) 한국정보과학회 2010 정보과학회논문지 : 데이타베이스 Vol.37 No.6

최근 들어, 플래시메모리의 가격이 지속적으로 낮춰지고, 플래시메모리 기반 SSD 컨트롤러 기술이 급격하게 발전하면서 중저가의 고성능 플래시 SSD가 시장에 널리 보급되고 있다. 하지만, 데이터베이스 분야에서 가격 등의 이유로 당분간 플래시 SSD가 하드디스크를 완전히 대체하기는 쉽지 않을 것이다. 대신 플래시 SSD의 빠른 성능을 캐시 용도로 활용하는 접근법이 현실적이고, 실제로 하드디스크와 플래시메모리를 하이브리드 형태로 사용하는 접근법들이 제시되었다. 본 논문에서는 기존의 접근법들과는 달리, 플래시 SSD를 데이터베이스의 버퍼에서 밀려나는 페이지들을 순차적으로 저장하고, 재 참조될 때 하드디스크 대신 플래시 SSD에서 읽혀지도록 하는 확장 버퍼 아키텍처를 제안한다. 플래시 SSD를 저장장치 레벨에서 캐시로 사용하는 기존 방법들에 비해, 플래시 SSD를 호스트 시스템에서 확장 버퍼로 사용함으로써 읽기 측면에서 주 버퍼에서 밀려나는 웜 페이지(warm page)들에 대해 상당한 성능 개선을 이룰 수 있다. TPC-C 트레이스를 사용한 시뮬레이션 결과, 주 버퍼에 없는 페이지들이 확장 버퍼에서 찾아지는 적중률이 60%를 넘는 사실을 알 수 있었다. 이 확장 버퍼아키텍처는, 동일한 비용을 지불하는 다른 접근법, 즉 DRAM을 버퍼로 추가하는 기법과 하드디스크를 추가하는 기법에 비해 가격 대비 성능 개선 효과가 높다. As the price of flash memory continues to drop and the technology of flash SSD controller innovates, high performance flash SSDs with affordable prices flourish in the storage market. Nevertheless, it is hard to expect that flash SSDs will replace harddisks completely as database storage. Instead, the approach to use flash SSD as a cache for harddisks would be more practical, and, in fact, several hybrid storage architectures for flash memory and harddisk have been suggested in the literature. In this paper, we propose a new approach to use flash SSD as an extended buffer for main buffer in database systems, which stores the pages replaced out from main buffer and returns the pages which are re-referenced in the upper buffer layer, improving the system performance drastically. In contrast to the existing approaches to use flash SSD as a cache in the lower storage layer, our approach, which uses flash SSD as an extended buffer in the upper host, can provide fast random read speed for the warm pages which are being replaced out from the limited main buffer. In fact, for all the pages which are missing from the main buffer in a real TPC-C trace, the hit ratio in the extended buffer could be more than 60%, and this supports our conjecture that our simple extended buffer approach could be very effective as a cache. In terms of performance/price, our extended buffer architecture outperforms two other alternative approaches with the same cost, 1) large main buffer and 2) more harddisks.

알티베이스 DBMS의 복구 가능한 플래시 캐시

구슬기(Seul-Ki Koo),강운학(Woon-Hak Kang),이상원(Sang-Won Lee),문봉기(Bongki Moon) 한국정보과학회 2013 정보과학회논문지 : 데이타베이스 Vol.40 No.1

지난 10년간 플래시 메모리 저장 장치의 용량당 가격은 크게 감소했다. 그러나 아직도 하드디스크와 플래시 메모리 저장장치 사이에 큰 가격차이가 있기 때문에 플래시 메모리 저장장치가 완전히 하드디스크를 대체하는 것 보다는 하드디스크의 성능을 보완하기 위해 플래시 메모리 저장장치를 사용하는것이 더 경제적이다. 최근 제안된 Flash-aware Cache Extension(이하 FaCE)는 낮은 오버헤드로 플래시 메모리를 램 버퍼의 확장으로 사용하는 캐싱 전략이다. FaCE는 기본적인 FIFO 알고리즘을 플래시 캐시관리 정책으로 선택하여 랜덤 쓰기를 순차 쓰기로 변환하며 이는 플래시 쓰기 측면에서 매우 효율적이다. 또한 FaCE는 완전한 데이터베이스 복원과 원자 페이지 쓰기를 보장하기 위해 플래시 메모리의 비휘발성을 이용하였다. 이를 통해 복구 시간을 단축시킬 수 있다. 본 논문은 상용 DBMS인 알티베이스에 FaCE를 구현한 내용을 다루며 원자 페이지 쓰기를 위한 이중쓰기(doublewrite) 버퍼를 해지하여 입출력 병목현상을 해결한 FaCE의 확장을 제안한다. 실험결과 소량의 플래시 메모리를 플래시 캐시로 사용한 FaCE는 4-RAID로 구성된 하드디스크의 성능을 2배 향상시켰으며 재시작 시간을 77%∼85% 감소시켰다. For the last decade, we have witnessed the relentless performance improvements and the ever-decreasing cost per capacity of flash memory storage devices. But, considering the current price gap between harddisk and flash memory drives, it will be more economical to use flash memory drives to supplement harddisks rather than to replace them. Recently, a flash-aware cache extension(for short, FaCE) scheme was proposed, which is FaCE is a low-overhead caching strategy that uses flash memory as an extension to the RAM buffer. It adopts a simple FIFO algorithm as flash cache management policy. In terms of flash write optimization, FaCE is effective because the former generates sequential writes while the latter does random writes in flash cache. Also, FaCE takes advantage of the non-volatility of flash memory to fully support database recovery and to guarantee the atomic page write. Therefore, it can considerably shorten the recovery time. In this paper, we presents an implementation of FaCE, in a commercial DBMS, Altibase. Also, we propose an extension of FaCE mechanism which allows to turn off the doublewrite buffer area dedicated for atomic write incurring IO bottleneck. We show that FaCE with a small flash memory drive as flash cache can deliver 2x performance improvement over 4-RAIDed harddisk storage and can reduce the restart time from 77 to 85 percent.