Buffer management in a real-time shared disks cluster

Cho, Haengrae,Yoo, Kook-yeol Springer-Verlag 2010 The Journal of supercomputing Vol.53 No.2

데이타베이스 공유 시스템에서 버전 캐싱을 이용한 단일 노드 고장 회복 기법

조행래(Haengrae Cho),정용석(Yongseok Jeong),이상호(Sangho Lee) 한국정보과학회 2004 정보과학회논문지 : 데이타베이스 Vol.31 No.4

데이타베이스 공유 시스템(DSS)은 고성능 트랜잭션 처리를 위하여 여러 개의 처리 노드를 연결한 구조로서, 각 노드는 데이타베이스를 저장한 디스크를 공유한다. DSS를 구성하는 노드들이 고장날 경우 데이타베이스를 정확한 상태로 복구하기 위한 회복 과정이 필요한데 DSS에서 회복 작업은 하나의 노드로 구성된 일반적인 데이타베이스 시스템보다 많은 시간이 소요된다. 그 이유는 데이타베이스를 회복하기 위해 여러 노드에 나누어 저장된 로그들을 병합하여야 하며, 병합된 로그들을 이용하여 REDO 작업을 수행하여야 하기 때문이다. 본 논문에서는 Oracle 9i Real Application Cluster (ORAC)에서 제안된 캐쉬 연합 알고리즘의 성능을 개선한 2VC(Two Version Caching) 알고리즘을 제안한다. 2VC는 단일 노드 고장에 대한 회복 작업에서 로그 병합 과정을 생략할 수 있으므로 빠른 데이타베이스 회복을 지원할 수 있다는 장점을 갖는다. 뿐만 아니라, ORAC에서 발생하는 불필요한 디스크 기록 오버헤드를 줄임으로써 정상적인 트랜잭션 처리의 성능을 향상시킬 수 있다. A database sharing system (DSS) couples a number of computing nodes for high performance transaction processing, and each node in DSS shares database at the disk level. In case of node failures in DSS, database recovery algorithms are required to recover the database in a consistent state. A database recovery process in DSS takes rather longer time compared with single database systems, since it should include merging of discrete log records in several nodes and perform REDO tasks using the merged log records. In this paper, we propose a two version caching (2VC) algorithm that improves the cache fusion algorithm introduced in Oracle 9i Real Application Cluster (ORAC). The 2VC algorithm can achieve faster database recovery by eliminating the use of merged log records in case of single node failure. Furthermore, it can improve the performance of normal transaction processing by reducing the amount of unnecessary disk force overhead that occurs in ORAC.

자치성을 보장하는 이질형 분산 데이타베이스 시스템 DIME의 설계 및 구현

조행래(Haengrae Cho),김유성(Yoo Sung Kim),문송천(Songchun Moon) 한국정보과학회 1995 정보과학회논문지 Vol.22 No.3

본 연구에서는 지역 데이타베이스의 자치성을 보장하는 이질형 분산 데이타베이스 시스템인 DIME의 설계와 구현에 대해 설명한다. DIME은 다음과 같은 장점을 갖는다. 첫째로, DIME은 지역 데이타베이스 시스템들에서 사용되는 동시성 제어 기법이 상이할 경우에도 전역 판독 연산과 전역 갱신 연산을 허용한다. 둘째로, DIME은 분산 트랜잭션 처리와 원거리 데이타 베이스 액세스에 대한 국제 표준 프로토콜을 구현하였다. 마지막으로, DIME은 분산 은폐성을 지원하며 사용자는 데이타 분산에 대한 자세한 내용을 모르는 상태에서도 사이트간 죠인 질의를 포함하는 다양한 형태의 질의를 생성할 수 있다. In this paper, we design and implement a prototypical heterogeneous distributed database system, named DIME (Distributed Information Management). DIME has the following salient properties. First, DIME allows both global retrieval operations and global update operations where different concurrency control schemes are used in different local database systems (LDBSs). Second, DIME implements international standard protocols on the distributed transaction processing and the remote database access. Last, DIME provides distribution transparency, and thus users can generate not only single site queries (including remote site queries) but also inter-site queries without considering data distribution in LDBSs.

미세 단위 로킹을 지원하는 데이타베이스 공유 시스템에서 빠른 회복 기법

조행래(Haengrae Cho) 한국정보과학회 1999 정보과학회논문지(B) Vol.26 No.2

데이타베이스 공유 시스템(Database Sharing System: DDS)은 고성능의 트랜잭션 처리를 위해 제안된 구조이다. DSS에서 고속의 통신망으로 연결된 노드들은 별도의 메모리와 운영체제, 그리고 DBMS를 가지며, 데이타베이스를 저장하고 있는 디스크는 모든 노드에 의해 공유된다. 빈번한 디스크 액세스 피하기 위해 각 노드는 자신의 메모리 버퍼에 최근에 액세스한 페이지들을 캐싱한다. 본 논문에서는 레코드와 같은 미세 단위의 로킹을 지원하는 DSS에서 데이타베이스를 정확한 상태로 복구할 수 있는 회복 기법인 DRCP(Database Recovery using Cached Pages)를 제안한다. DRCP는 정상적으로 동작하고 있는 다른 노드에 캐싱된 페이지의 내용을 참조하여 회복 작업을 수행함으로써 디스크 액세스 수와 회복 과정에서 필요한 로그 스캔의 범위를 줄일 수 있고, 그 결과 데이타베이스를 빨리 복구할 수 있다는 장점을 갖는다. A database sharing system (DSS) refers to a system for high performance transaction processing. In the DSS, the processing nodes are coupled via a high speed network and share a common database at the disk level. Each node has a local memory, a separate copy of operating system, and a DBMS. To reduce the number of disk accesses, the node caches database pages in its local memory buffer. In this paper, we propose a new database recovery scheme, named DRCP (Database Recovery using Cached Pages), for a DSS with fine-granularity (e.g., record-level) locking. DRCP can reduce the number of disk accesses and the number of log records that need to be scanned during recovery by using page versions cached in other active nodes; hence, the recovery time of DRCP can be decreased significantlv.

PHLOX: 데이타를 공유하는 워크스테이션 클러스터 환경 기반 고성능 트랜잭션 처리 시스템

조행래(Haengrae Cho),문애경(Aekyung Moon),정재규(Jaegyu Chung),박재용(Jaeyong Park),김태우(Taewoo Kim),이우범(Woobum Lee) 한국정보과학회 1999 정보과학회 컴퓨팅의 실제 논문지 Vol.5 No.1

은행이나 증권 시장, 혹은 통신 분야와 같은 온라인 트랜잭션 처리(OLTP) 응용 분야들이 계속 증가하고 있으며, 그 규모와 복잡성은 매년 40%에서 50% 이상 증가하고 있는 것으로 평가되고 있다. 이러한 복잡한 OLTP 응용 분야들은 한 대의 개인용 컴퓨터나 워크스테이션으로는 처리가 불가능하며, 슈퍼 컴퓨터나 MPP와 같은 고성능의 컴퓨터를 이용하는 경우에는 방대한 예산이 소요될 것이다. 본 논문에서는 데이타를 공유하는 워크스테이션 클러스터에서 트랜잭션을 병렬로 처리할 수 있는 고성능 트랜잭션 처리 시스템인 PHLOX를 개발한다. PHLOX는 네트워크 화일 시스템을 이용하여 데이타를 공유함으로써 확장성이 뛰어나며, 각 워크스테이션의 메모리 버퍼간에 직접 데이타 전송을 지원함으로써 디스크 액세스 빈도 수를 줄일 수 있다는 장점을 갖는다. There has been an increasing growth of online transaction processing (OLTP) applications, such as banking, stock trading, communication applications, and so on. Specifically, the scale and the complexity of the OLTP applications are evaluated to be increased as 40% to 50% for each year. Note that a personal computer or a workstation cannot support the complex OLTP applications, and it must be very expensive to use high performance computer systems, such as supercomputer and MPP. In this paper, we develop a high performance transaction processing system, named PHLOX, which can support the parallel transaction processing in a workstation cluster with data sharing. PHLOX is scalable in the sense that it can share data with a network file system. Furthermore, PHLOX supports direct data transfer between memory buffers of each workstation; hence. it can reduce the number of disk accesses.

디스크를 공유하는 다중 DBMS에서 미세 단위 로킹을 위한 캐쉬 일관성 기법

조행래(Haengrae Cho) 한국정보과학회 1996 정보과학회논문지(B) Vol.23 No.7

디스크를 공유하는 다중 DBMS(Multi-DBMSs With Shared Disks 약칭 SD) 환경은 고성능의 트랜잭션 처리를 위해 제안된 구조이다. SD 환경에서 DBMS들은 고속의 통신망으로 연결되며, 데이타베이스를 저장하고 있는 디스크는 모든 DBMS에 의해 공유된다. 빈번한 디스크 액세스를 피하기 위해 각각의 DBMS는 자신의 메모리 버퍼에 최근에 액세스한 페이지들을 캐싱한다. 그러나 동일한 페이지가 여러 DBMS에 의해 동시에 캐싱될 수 있으므로, DBMS가 최신의 내용을 항상 액세스하기 위해서는 캐싱된 데이타의 일관성이 유지되어야 한다. 본 논문에서는 SD 환경에서 미세 단위 로킹을 지원하기 위해 필요한 효율적인 캐쉬 일관성 기법들을 제안한다. 제안된 기법들은 캐쉬 일관성을 위해 소요되는 메세지 전송량을 줄이거나 디스크 액세스 수를 줄임으로써 성능을 향상시킨다. Multi DBMSs with shared disks (SD) environment refers to a structure for high performance transactions processing. In SD environment, all the DBMSs are locally coupled via a high speed network and share a common database at the disk level. To reduce the number of disk I/Os, each DBMS caches database pages in its main memory buffer However, since a particular page may be simultaneously cached in different DBMSs, cache consistency should be maintained to ensure that DBMSs can always access the most recent version of database pages. In this paper, we propose efficient cache coherency schemes for fine granularity locking in SD environment The proposed schemes improve performance by alleviating the required message traffic for the cache consistency or by reducing the number of disk accesses.

공유 디스크 클러스터에서 버퍼 교체 알고리즘의 성능 평가

조행래(Haengrae Cho) 한국정보과학회 2008 정보과학회논문지 : 데이타베이스 Vol.35 No.6

공유 디스크(Shared Disk: SD) 클러스터는 온라인 트랜잭션 처리를 위해 다수 개의 처리 노드들을 연동하는 방식으로, 모든 노드는 디스크 계층에서 데이타베이스를 공유한다. 빈번한 디스크 액세스를 피하기 위하여 각 노드는 자신의 메모리 버퍼에 최근에 액세스한 페이지들을 캐싱한다. 이때 동일한 페이지가 여러 노드의 메모리 버퍼에 동시에 캐싱될 수 있으므로 각 노드가 최신의 내용을 액세스하기 위해서는 캐싱된 페이지의 일관성이 유지되어야 한다. SD 클러스터에서 기존에 제안된 대부분의 캐쉬 일관성 기법들은 버퍼 교체 알고리즘으로 LRU를 가정하였다. 이와는 달리 본 논문에서는 SD 클러스터의 특징을 고려한 네 가지의 버퍼 교체 알고리즘들을 제안하고 성능을 평가한다. 클러스터 구성과 데이타베이스 부하를 다양하게 변경하면서 실험을 수행하였고, 제안한 알고리즘은 LRU에 비해 최대 5배까지 성능이 향상됨을 확인할 수 있었다. A shared disk (SD) cluster couples multiple nodes for high performance transaction processing, and all the coupled nodes share a common database at the disk level. To reduce the number of disk accesses, each node caches database pages in its memory buffer. Since a particular page may be cached simultaneously in different nodes, cache consistency should be maintained to ensure that nodes can always access the most recent version of database pages. Most cache consistency schemes proposed in the SD cluster adopted LRU as a buffer replacement algorithm. In this paper, we first present four buffer replacement algorithms that consider the characteristics of the SD cluster. Then we compare the performance of the buffer replacement algorithms. We perform the experiments on a variety of cluster configurations and database workloads. The experiment results show that the proposed algorithms achieve performance improvement up to 5 times of LRU algorithm.

Popularity-based covering sets for energy proportionality in shared-nothing clusters

Kim, Minki,Cho, Haengrae Kluwer Academic Publishers 2018 The Journal of supercomputing Vol.74 No.5

방송 디스크 환경에서 읽기 전용 트랜잭션을 위한 타임스탬프기반 동시성 제어

임성준(Sungjun Lim),조행래(Haengrae Cho) 한국통신학회 2003 한국통신학회 학술대회논문집 Vol.2003 No.7

데이타베이스 공유 환경에서 빠른 회복을 위한 버전 관리

정용석(Yongseok Jeong),조행래(Haengrae Cho) 한국정보과학회 2002 한국정보과학회 학술발표논문집 Vol.29 No.2Ⅰ

데이타베이스 공유 시스템(Database Sharing System : DSS)은 고성능 트랜잭션 처리를 위해 다수 개의 노드들을 연동하며, 각 노드는 디스크 계층에서 데이타베이를 공유한다. DSS를 구성하는 노드들이 고장날 경우, 데이타베이스를 정확한 상태로 복구하기 위한 회복 기법이 필요하다. DD에서의 데이타베이스 회복 과정은 여러 노드에 분산된 로그 레코드의 병합 작업을 포함하며, 병합된 로그 레코드를 이용한 REDO 작업을 수행하여야 하므로 일반적인 단일 데이타베이스 시스템에 비해 많은 시간이 소요된다. 본 논문에서는 Oracle 9i에서 개발된 캐쉬 연합(cache fusion) 기법을 개선한 버전 관리 기법을 제안한다. 제안한 기법은 DSS를 구성하는 단일 노드의 고장 시 로그 병합 과정이 필요 없으므로 빠른 회복을 지원할 수 있으며, Oracle 9i에서 발생하는 빈번한 디스크 저장 오버헤드를 줄일 수 있다는 장점을 갖는다.