카운팅 블룸 필터를 활용한 FTL 로그영역 탐색 비용 감소

강운학 ( Woon-hak Kang ),이상원 ( Sang-won Lee ) 한국정보처리학회 2009 한국정보처리학회 학술대회논문집 Vol.16 No.2

플래시 메모리은 많은 부분에서 기존의 저장장치인 HDD에 비해 좋은 성능을 지녔다. 하지만 HDD와는 달리 데이터의 덮어쓰기가 허용 되지 않는다. 이 문제를 해결하기 위해 플래시 메모리는 FTL(Flash Translation Layer)을 사용하고 있으며, FTL을 통해 기존의 저장장치와 동일하게 사용할 수 있다. FTL들 중 로그영역을 사용하여 성능을 개선한 것들이 많은데, 로그영역의 사용으로 인해 읽기/쓰기 작업시 반드시 로그영역을 탐색을 해야만 했다. 본 논문에서는 카운팅 블룸필터(Counting bloom filter)를 활용하여 불필요한 로그영역 탐색을 줄이는 기법을 제안하였고, 실험을 통해 로그영역에 최신 데이터가 없는 경우 탐색횟수를 크게 줄일 수 있는 것을 확인하였다.

쓰기 지연을 활용한 플래시 SSD 기반 DBMS의 저장 장치 관리 기법

김강년(Kang-Nyeon Kim),강운학(Woon-Hak Kang),이상원(Sang-Won Lee) 한국정보과학회 2010 한국정보과학회 학술발표논문집 Vol.37 No.1A

해시테이블 로드 팩터에 따른 PostgreSQL 인-메모리 해시 조인 성능 연구

홍대용(Dae-yong Hong),강운학(Woon-Hak Kang),이상원(Sang-Won Lee) 한국정보과학회 2014 한국정보과학회 학술발표논문집 Vol.2014 No.6

알티베이스 데이터베이스 서버를 위한 PHP 확장 모듈 구현

홍대용 ( Dae-yong Hong ),강운학 ( Woon-hak Kang ),이상원 ( Sang-won Lee ) 한국정보처리학회 2012 한국정보처리학회 학술대회논문집 Vol.19 No.2

PHP는 널리 쓰이는 웹 개발 언어이고, 다양한 데이터베이스 관리 시스템(DBMS)을 위하여 C로 작성된 인터페이스들을 갖고 있다. 특히 ODBC라는 표준화된 인터페이스를 통해 DBMS를 이용할 수 있지만, 이는 DBMS 고유의 인터페이스를 구현하여 사용하는 것에 비해 시스템을 활용하는 면에서 한계를 가진다. 국산 DBMS인 알티베이스는 고유의 C 인터페이스를 제공하고 있으며 본 논문에서는 이를 이용한 전용 PHP 인터페이스 구현에 대해 다루고, 구현의 결과 PHP스크립트에서 데이터베이스 연결 및 데이터 운용을 할 수 있었다.

하드디스크와 플래시SSD상에서 열-지향 저장 모델 고찰

박지영 ( Ji-young Park ),강운학 ( Woon-hak Kang ),이상원 ( Sang-won Lee ) 한국정보처리학회 2012 한국정보처리학회 학술대회논문집 Vol.19 No.1

열-지향 데이터베이스 시스템인 C-Store는 많은 상용 데이터베이스 시스템과는 달리 데이터를 행(row) 위주가 아닌 열(column) 위주로 저장을 하여, 데이터 웨어하우스와 같이 주로 읽기 IO를 유발하는 환경에서 데이터의 전송량을 줄임으로써, 높은 성능을 보였다. 본 논문에서는 대표적인 열 지향 저장 DBMS인 C-Store와 행 위주의 저장구조를 사용하는 기존 DBMS와의 차이점을 알아보고, C-Store의 저장장치로 하드디스크와 차세대 저장장치로 주목받고 있는 플래시 SSD(Solid State Disk)를 사용하였을 때, 발생할 수 있는 장단점에 대해 분석하였다.

SSD 환경의 서브쿼리상에서 조인연산의 연구

이규형 ( Kyu-hyoung Lee ),강운학 ( Kang-woon Hak ),이상원 ( Sang-won Lee ) 한국정보처리학회 2009 한국정보처리학회 학술대회논문집 Vol.16 No.2

SSD 가 기존의 데이터베이스 저장매체인 하드디스크를 대체할 것이라는 전망이 나오는 가운데 SSD 환경에서 직접 DBMS 를 가동하여 몇 가지 상황을 제시하고 원하는 결과를 얻을 수 있는 쿼리를 작성하여 성능측정을 한다. 동일한 결과를 얻을 수 있는 쿼리문 들을 비교하여 어떤 방식이 SSD환경에서 가장 최적의 성능을 발휘하는지를 확인하여 미래의 SSD 데이터베이스 환경에 대비한다.

BAR: 실체화된 비트맵 기반의 연관 규칙 알고리즘

김동현(Dong-Hyun Kim),강운학(Woon-Hak Kang),이상원(Sang-Won Lee) 한국정보과학회 데이터베이스 소사이어티 2004 데이타베이스 연구 Vol.20 No.4

정보기술과 인터넷의 계속적인 발달로 데이터 마이닝은 다양한 분야에서 활용되고 있으며, 그 중 연관규칙 마이닝은 주어진 트랜잭션 데이터 집합에서 공통적으로 자주 발생하는 항목들을 찾아내는 기법이다. 대표적인 연관규칙 알고리즘으로는 Apriori가 있는데, 지난 10년 동안 지속적인 연구를 통해 많은 성능개선이 이루어졌다. 하지만, 기본적으로 빈발항목집합을 구할 때 매번 모든 항목집합들에 대해 계산을 하기 때문에, 여전히 시간이 많이 걸린다. 본 논문에서는 실체화된 비트맵 개념을 활용해 Apriori 알고리즘을 계산함으로써 획기적으로 연관규칙 성능을 개선하는 방안을 제시한다. 이를 위해 우선 비트맵 개념을 이용한 Apriori 알고리즘 수행방식을 제안하고, 또한 매번 비트맴을 새로 계산하는 대신에 실체화시킴으로써 빈발항목집합을 획기적으로 빨리 찾아내는 방법을 제안한다. 더불어서, 한정된 저장 공간을 활용해서 실체화시킬 비트맵들을 선택하는 방안과 트랜잭션 테이블에 변화가 생길 때 이를 실체화된 비트맵들을 점진적으로 관리하는 기법을 제안한다. With the rapid progress in information technology and the Internet, the data mining technique has been exploited in various applications. The association rule(hereafter, AR) mining, one of the most popular data mining techniques, is to find the frequent itemsets which occur commonly in transaction database. Of the various AR algorithms, the Apriori is most popular, and it has been continuously improved during the past decade. Even with the most recent version, however, it is very time consuming for the Apriori-based algorithms to count frequent itemset since, basically for each k-size item set, we need to compute its support on the fly. In this paper, we propose the mBAR approach to AR mining, which drastically improves the Apriori algorithm by exploiting materialized bitmaps. First, we present a bitmap-base Apriori algorithm. And, we suggest, in order to boost the performance of finding the frequent itemsets, how to store(i.e. materialize) the bitmaps, instead of computing the bitmaps on-the-fly. Related to the materialized bitmaps, we suggest a way to choose the bitmaps selectively, instead of full bitmaps, and propose an incremental maintenance technique for materialized bitmaps against the changes in transaction database.

SSD를 사용한 맵리듀스 정렬 성능개선

강석훈 ( Seok-hoon Kang ),강운학 ( Woon-hak Kang ),이상원 ( Sang-won Lee ) 한국정보처리학회 2012 한국정보처리학회 학술대회논문집 Vol.19 No.1

컴퓨터 메모리의 용량이 커지고 기술이 발전하며 메모리와 저장장치의 데이터 처리속도 차이는 나날이 커지고 있다. 이를 보완하고자 데이터 처리를 가급적 메모리에서 해결하여 처리속도를 높이고자 하는 연구가 많이 있다. 그 중 MapReduce에 대한 연구는 현재 주목이 되고 있는 분야이다. MapReduce는 빅데이터를 클러스터 환경에서 처리하기에 대중적인 프로그래밍 모델이다. 본 논문은 MapReduce 기반의 Hadoop을 SSD를 적용하여 실행속도를 증진시키려 한다. 전통적인 MapReduce 모델은 데이터를 정렬하는데에 I/O가 크게 발생하는데, MapRedce가 사용하는 병합정렬의 I/O 병목현상을 개선하고자 SSD를 사용하였다.

매개변수 환경설정에 따른 타조의 외부합병정렬 성능 연구

이종백(Jongbaeg Lee),강운학(Woon-hak Kang),이상원(Sang-won Lee) 한국정보과학회 2016 정보과학회논문지 Vol.43 No.7

거대한 데이터로부터 가치 있는 정보를 추출해 내는 빅데이터 기술의 필요성은 나날이 커지고 있다. 빅데이터 분석을 위해 사용되는 하둡 시스템은 맵리듀스를 통해 데이터를 처리하였으나, 맵리듀스 프레임워크는 코드 재사용성의 한계, 질의 최적화 기술의 부재 등의 단점을 보인다. 이를 극복하기 위해 SQL-on-Hadoop이라 불리는 하둡 기반의 SQL 질의 처리 기술이 주목받고 있다. SQL-on-Hadoop 기술중 타조(Tajo)는 국내 개발진이 주축이 되어 개발되었다. 타조는 데이터 분석을 위해 외부합병정렬 알고리즘을 사용하며, 정렬 연산에 영향을 주는 매개변수로 정렬 버퍼 사이즈와 팬-아웃을 가진다. 본 논문은 타조의 정렬 연산에 영향을 미치는 매개변수인 정렬 버퍼 사이즈와 팬-아웃 값에 따른 정렬의 성능 차이를 보인다. 또한 측정한 성능에 대하여 정렬 버퍼 사이즈가 증가함에 따른 CPU 캐시 미스의 비율 증가, 팬-아웃에 따른 합병 단계 수의 변화가 성능 차이의 원인임을 보인다. There is a growing requirement for big data processing which extracts valuable information from a large amount of data. The Hadoop system employs the MapReduce framework to process big data. However, MapReduce has limitations such as inflexible and slow data processing. To overcome these drawbacks, SQL query processing techniques known as SQL-on-Hadoop were developed. Apache Tajo, one of the SQL-on-Hadoop techniques, was developed by a Korean development group. External merge sort is one of the heavily used algorithms in Tajo for query processing. The performance of external merge sort in Tajo is influenced by two parameters, sort buffer size and fanout. In this paper, we analyzed the performance of external merge sort in Tajo with various sort buffer sizes and fanouts. In addition, we figured out that there are two major causes of differences in the performance of external merge sort: CPU cache misses which increase as the sort buffer size grows; and the number of merge passes determined by fanout.

알티베이스 DBMS의 복구 가능한 플래시 캐시

구슬기(Seul-Ki Koo),강운학(Woon-Hak Kang),이상원(Sang-Won Lee),문봉기(Bongki Moon) 한국정보과학회 2013 정보과학회논문지 : 데이타베이스 Vol.40 No.1

지난 10년간 플래시 메모리 저장 장치의 용량당 가격은 크게 감소했다. 그러나 아직도 하드디스크와 플래시 메모리 저장장치 사이에 큰 가격차이가 있기 때문에 플래시 메모리 저장장치가 완전히 하드디스크를 대체하는 것 보다는 하드디스크의 성능을 보완하기 위해 플래시 메모리 저장장치를 사용하는것이 더 경제적이다. 최근 제안된 Flash-aware Cache Extension(이하 FaCE)는 낮은 오버헤드로 플래시 메모리를 램 버퍼의 확장으로 사용하는 캐싱 전략이다. FaCE는 기본적인 FIFO 알고리즘을 플래시 캐시관리 정책으로 선택하여 랜덤 쓰기를 순차 쓰기로 변환하며 이는 플래시 쓰기 측면에서 매우 효율적이다. 또한 FaCE는 완전한 데이터베이스 복원과 원자 페이지 쓰기를 보장하기 위해 플래시 메모리의 비휘발성을 이용하였다. 이를 통해 복구 시간을 단축시킬 수 있다. 본 논문은 상용 DBMS인 알티베이스에 FaCE를 구현한 내용을 다루며 원자 페이지 쓰기를 위한 이중쓰기(doublewrite) 버퍼를 해지하여 입출력 병목현상을 해결한 FaCE의 확장을 제안한다. 실험결과 소량의 플래시 메모리를 플래시 캐시로 사용한 FaCE는 4-RAID로 구성된 하드디스크의 성능을 2배 향상시켰으며 재시작 시간을 77%∼85% 감소시켰다. For the last decade, we have witnessed the relentless performance improvements and the ever-decreasing cost per capacity of flash memory storage devices. But, considering the current price gap between harddisk and flash memory drives, it will be more economical to use flash memory drives to supplement harddisks rather than to replace them. Recently, a flash-aware cache extension(for short, FaCE) scheme was proposed, which is FaCE is a low-overhead caching strategy that uses flash memory as an extension to the RAM buffer. It adopts a simple FIFO algorithm as flash cache management policy. In terms of flash write optimization, FaCE is effective because the former generates sequential writes while the latter does random writes in flash cache. Also, FaCE takes advantage of the non-volatility of flash memory to fully support database recovery and to guarantee the atomic page write. Therefore, it can considerably shorten the recovery time. In this paper, we presents an implementation of FaCE, in a commercial DBMS, Altibase. Also, we propose an extension of FaCE mechanism which allows to turn off the doublewrite buffer area dedicated for atomic write incurring IO bottleneck. We show that FaCE with a small flash memory drive as flash cache can deliver 2x performance improvement over 4-RAIDed harddisk storage and can reduce the restart time from 77 to 85 percent.