차세대 저장 장치를 위한 메모리 확장

한혁(Hyuck Han) 한국콘텐츠학회 2014 한국콘텐츠학회 종합학술대회 논문집 Vol.2014 No.11

상황 중심 프로그래밍을 기법을 이용한 결함 내성 MPI 시스템

한혁 ( Hyuck Han ),정형수 ( Hyungsoo Jung ),김신규 ( Shin Gyu Kim ),염헌영 ( Heon Y. Yeom ) 한국정보처리학회 2007 한국정보처리학회 학술대회논문집 Vol.14 No.2

최근 상황 중심 프로그래밍(Aspect-Oriented Programming)에 관한 연구가 활발해져서 분산 및 병렬 시스템의 설계를 더 효과적으로 할 수 있게 되었다. 이 논문에서는 상황 중심 프로그래밍을 활용하여 분산 시스템의 전통적인 이슈 중의 하나인 결함 내성 시스템을 구축해보고자 한다.

산업용 IoT 환경을 위한 고성능 키-값 저장소의 설계 및 평가

한혁(Hyuck Han) 한국콘텐츠학회 2021 한국콘텐츠학회논문지 Vol.21 No.7

산업용 IoT 환경에서 센서들은 감지하고 있는 대상의 데이터들을 연속으로 생성하며, IoT 게이트웨이에 전달한다. 따라서 대량의 실시간 센서 데이터를 관리하는 것은 IoT 게이트웨이에 필수적인 기능이며 이러한 센서 데이터를 관리하기 위해 키-값 스토리지 엔진들이 널리 사용되고 있다. 그러나 IoT 게이트웨이에 사용되는 키-값 스토리지 엔진들은 산업용 IoT 환경에서 생성되는 센서 데이터들의 특징을 고려하지 않고 있으며 이 때문에 제한된 성능을 보인다. 본 논문에서는 산업용 IoT 환경에서 센서 데이터의 특징을 활용하여 키-값 스토리지 엔진을 최적화한다. 제안하는 최적화 기법은 키-값 스토리지 엔진의 입력인 키를 분리하여 계층적인 색인화 작업을 하는 것이다. 이를 통해 과도하게 발생하는 쓰기 증폭을 줄이며 성능을 향상 시킬 수 있다. 이러한 최적화 기법을 LevelDB에 구현하였으며, 제안하는 기법을 평가하기 위해 TPCx-IoT의 워크로드를 사용했다. 실험 결과에 따르면 제안하는 기법의 성능은 기존의 방법보다 21배 더 좋으며 이는 제안하는 기법이 산업용 IoT 환경에서 데이터 수집을 고속으로 처리할 수 있음을 보인다. In industrial IoT environments, sensors generate data for their detection targets and deliver the data to IoT gateways. Therefore, managing large amounts of real-time sensor data is an essential feature for IoT gateways, and key-value storage engines are widely used to manage these sensor data. However, key-value storage engines used in IoT gateways do not take into account the characteristics of sensor data generated in industrial IoT environments, and this limits the performance of key-value storage engines. In this paper, we optimize the key-value storage engine by utilizing the features of sensor data in industrial IoT environments. The proposed optimization technique is to analyze the key, which is the input of a key-value storage engine, for further indexing. This reduces excessive write amplification and improves performance. We implement our optimization scheme in LevelDB and use the workload of the TPCx-IoT benchmark to evaluate our proposed scheme. From experimental results we show that our proposed technique achieves up to 21 times better than the existing scheme, and this shows that the proposed technique can perform high-speed data ingestion in industrial IoT environments.

멀티코어 및 고성능 플래시 SSD 환경에서 저널링 파일 시스템의 성능 평가 및 최적화

한혁(Hyuck Han) 한국콘텐츠학회 2018 한국콘텐츠학회논문지 Vol.18 No.4

최근 클라우드 컴퓨팅, 슈퍼컴퓨팅, 기업용 스토리지/데이터베이스 등의 분야에서 멀티코어 CPU와 고성능 플래시 메모리 기반 저장 장치(플래시 SSD)를 장착한 컴퓨더 시스템에 대한 수요가 크게 증가하고 있다. 이러한 고성능 시스템에서 구동되고 있는 대표적인 운영체제 파일 시스템인 저널링 파일 시스템은 저장장치의 입출력 성능을 최대로 활용하고 있지 못하다. 본 논문에서는 고성능 플래시 SSD와 멀티코어 CPU기반의 컴퓨터 시스템에서 리녹스 운영체제의 EXT4 저널링 파일 시스템의 성능을 평가하고 분석하고자 한다. 성능 평가에 사용된 72-코어 컴퓨터 시스템은 인텔의 고성능 NVMe 기반 플래시 SSD를 장착하고 있으며 이 장치의 연속 읽기/쓰기 성능은 2800/1900 MB/s 이다. 실험 결과는 EXT4 파일 시스템의 체크포인팅 연산이 성능상의 큰 오버헤드임을 보여준다. 이 결과를 바탕으로 체크포인팅을 여러 쓰레드가 수행할 수 있는 최적화 기법을 제안하였고, 최적화된 EXT4 파일 시스템은 기존 EXT4 파일 시스템 대비 최대 92%의 성능 향상을 보여준다. Recently, demands for computer systems with multicore CPUs and high-performance flash-based storage devices (i.e., flash SSD) have rapidly grown in cloud computing, surer-computing, and enterprise storage/database systems. Journaling file systems running on high-performance systems do not exploit the full I/O bandwidth of high-performance SSDs. In this article, we evaluate and analyze the performance of the Linux EXT4 file system with high-performance SSDs and multicore CPUs. The system used in this study has 72 cores and Intel NVMe SSD, and the flash SSD has performance up to 2800/1900 MB/s for sequential read/write operations. Our experimental results show that checkpointing in the EXT4 file system is a major overhead. Furthermore, we optimize the checkpointing procedure and our optimized EXT4 file system shows up to 92% better performance than the original EXT4 file system.

Key-Value Storage Service를 위한 AOP기반 Object-Replication기법

한혁(Hyuck Han),엄현상(Hyeonsang Eom),염헌영(Heon Y. Yeom) 한국통신학회 2009 한국통신학회 학술대회논문집 Vol.2009 No.11

고성능 플래시 SSD 환경에서 NoSQL 데이터베이스의 성능 평가 및 최적화

한혁(Hyuck Han) 한국콘텐츠학회 2017 한국콘텐츠학회논문지 Vol.17 No.7

최근 사회 관계망 서비스, 클라우드 컴퓨팅, 슈퍼컴퓨팅, 기업용 스토리지 시스템 등의 분야에서 고성능 플래시 메모리 기반 저장 장치(플래시 SSD)에 대한 수요가 크게 증가하고 있다. 이러한 환경에서 최근 산업계 및 학계에서는 고성능 플래시 SSD를 위한 NVMe 규약을 만들었고, NVMe 규약을 따르는 고성능 플래시 SSD는 현재 시장에서 구할 수 있다. 본 논문에서는 NVMe 플래시 SSD를 이용하여 클라우드 컴퓨팅, 사회 관계망 서비스 등에서 많이 활용되고 있는 NoSQL 데이터베이스의 성능을 평가하고 분석하고자 한다. 성능 평가에 사용된 저장 장치는 삼성전자가 최근에 개발한 NVMe 기반 플래시 SSD이며 이 장치의 연속 읽기/쓰기 성능은 3.5GB/s 이다. NoSQL 데이터베이스는 MongoDB의 기본 스토리지 엔진으로 채택된 WiredTiger를 사용하였다. 실험 결과는 고성능 NVMe 플래시 SSD 환경에서 NoSQL 데이터베이스의 로그 처리 부분이 성능상의 가장 큰 오버헤드임을 보여준다. 이 결과를 바탕으로 로그 처리 부분을 최적화하였고 최적화된 WiredTiger는 기존 대비 최대 15배의 성능 향상을 보여준다. Recently, demands for high-performance flash-based storage devices (i.e., flash SSD) have rapidly grown in social network services, cloud computing, super-computing, and enterprise storage systems. The industry and academic communities made the NVMe specification for high-performance storage devices, and NVMe-based flash SSDs can be now obtained in the market. In this article, we evaluate performance of NoSQL databases that social network services and cloud computing services heavily adopt by using NVMe-based flash SSDs. To this end, we use NVMe SSD that Samsung Electronics recently developed, and the SSD used in this study has performance up to 3.5GB/s for sequential read/write operations. We use WiredTiger for NoSQL databases, and it is a default storage engine for MongoDB. Our experimental results show that log processing in NoSQL databases is a major overhead when high-performance NVMe-based flash SSDs are used. Furthermore, we optimize components of log processing and optimized WiredTiger show up to 15 times better performance than original WiredTiger.

락의 실제

한혁(Hyuck Han) 한국콘텐츠학회 2014 한국콘텐츠학회논문지 Vol.14 No.8

락은 멀티프로세서 환경에서 공유 데이터에 대한 접근을 안전하게 하는 잘 알려진 일반적인 방법이다. 1960년대에 상호 배제가 소개된 후에 많은 스핀락 알고리즘이 제안되었고 운영체제나 데이터베이스 시스템에 사용되어 왔다. 이 연구에서 고성능 멀티코어 시스템 상에서 락 알고리즘이 데이터베이스 시스템에 미치는 영향을 측정하였다. 평가를 위해 그 동안 멀티코어 상에서 성능 개선을 위해 재구조화된 최신 MySQL 5.6 및 MySQL에 탑재된 InnoDB 엔진을 사용하였다. InnoDB의 스핀락 함수를 수정하여 다양한 락 알고리즘들을 구현하였고 구현된 락 알고리즘들을 멀티코어 환경에서 평가하였다. A lock is a general and popular way of serializing accesses to shared data in multiprocessor environments. After the mutual exclusion was first introduced in 1960s, many spinlock algorithms have been proposed and deployed to real systems such as operating systems and (transactional) database systems. In this study, we measure impacts of a lock mechanism on a database system under various CPU configurations using a high-end multicore system. For the evaluation, we use the most up-to-date version of MySQL (version 5.6) with InnoDB engine, which has been substantially re-architected to improve scalability on multicore machines. We changed the original spinlock function of InnoDB to evaluate various spinlock mechanisms on multicore machines.

차세대 저장 장치에 최적화된 SWAP 시스템 설계

한혁(Hyuck Han) 한국콘텐츠학회 2015 한국콘텐츠학회논문지 Vol.15 No.4

Linux와 같은 발전된 운영 체제의 가상 메모리 관리 기술은 메인 메모리와 하드디스크와 같은 저장 장치를 이용하여 응용 프로그램에게 가상의 큰 주소 공간을 제공해준다. 최근 저장 장치는 속도의 측면에서 비약적인 발전을 보이고 있기 때문에 고속의 차세대 저장 장치를 메모리 확장에 이용하면 메모리를 많이 사용하는 응용의 성능이 좋아질 것이다. 그러나 기존 운영체제의 가상 메모리 관리 오버헤드 때문에 응용의 성능을 극대화시킬 수 없다. 이러한 문제를 해결하기 위해 본 논문은 차세대 저장 장치를 메모리 확장에 사용했을 때 쓰기 연산을 위한 블록 주소를 할당하는 향상된 알고리즘 및 시스템 튜닝 기법들에 대해 제안하였고, 제안된 기법들을 Linux 3.14.3의 가상 메모리 관리 시스템에 구현하였다. 그리고 구현된 시스템을 벤치마크를 이용하여 실험을 하였고, 마이크로 벤치마크의 경우에 평균 3배, 과학 계산 벤치마크 응용의 경우에 24%의 성능 향상이 있음을 보였다. On modern operating systems such as Linux, virtual memory is a general way to provide a large address space to applications by using main memory and storage devices. Recently, storage devices have been improved in terms of latency and bandwidth, and it is expected that applications with large memory show high-performance if next-generation storage devices are considered. However, due to the overhead of virtual memory subsystem, the paging system can not exploit the performance of next-generation storage devices. In this study, we propose several optimization techniques to extend memory with next-generation storage devices. The techniques are to allocate block addresses of storage devices for write-back operations as well as to configure the system parameters, and we implement the techniques on Linux 3.14.3. Our evaluation through using multiple benchmarks shows that our system has 3 times (/24%) better performance on average than the baseline system in the micro(/macro)-benchmark.

Tele-Monitoring: 그리드를 활용한 원격지 장치 관리

한혁(Hyuck Han),정형수(Hyungsoo Jung),김신규(Shin-gyu Kim),염헌영(Heon Y. Yeom) 한국정보과학회 2009 한국정보과학회 학술발표논문집 Vol.36 No.1D

본 논문에서는 그리드 기술을 활용한 장치 가상화를 통한 장치 관리에 대해 소개한다. 장치 가상화를 통해 원격지에 위치한 장치를 관리하는 것을 Tele-Monitoring이라 하고, Tele-Monitoring의 기반 기술인그리드와 Tele-Monitoring을 위한 핵심 기술을 소개한다. 또한, 본 연구진이 2006년부터 개발해온 청계천수질/수량 관리 시스템에서 Tele-Monitoring의 기반 기술과 핵심 기술이 어떻게 활용되었는지 소개한다.

고속 저장 장치를 위한 입출력 스택 최적화

한혁(Hyuck Han) 한국콘텐츠학회 2016 한국콘텐츠학회논문지 Vol.16 No.5

최근 클라우드 컴퓨팅, 사회 관계망 서비스 등의 분야에서 고속 저장 장치에 대한 수요가 크게 증가하고 있다. 성능이 우수한 고속 저장 장치가 개발되고 있지만 현재 리눅스 운영체제의 입출력 스택은 하드 디스크 드라이브를 고려해서 설계되었기 때문에 고속 저장 장치를 충분히 활용하고 있지 못하다. 이 논문에서는 고속 저장 장치의 입출력 대역폭과 입출력 지연시간을 최대로 활용할 수 있는 최적화된 입출력 스택을 제안한다. 이를 위해 기존 리눅스의 블록 입출력 계층을 새로운 인터페이스를 가지는 입출력 계층으로 대체하고 최적화한다. 제안된 입출력 계층은 기존의 하드 디스크 드라이브를 고려한 블록 계층을 우회하고 디바이스 드라이버를 최적화하여 고속 저장 장치의 성능을 최대한 이용할 수 있게 해준다. 또한, 리눅스의 ext2/ext4 파일 시스템을 제안된 입출력 계층 위에서 동작할 수 있도록 최적화하였고, 벤치마크 실험 결과를 통해서 제안하는 입출력 스택은 기존 리눅스 입출력 스택과 비교하여 1.7배 정도의 성능 향상이 있음을 확인할 수 있었다. Recently, the demand for fast storage devices is rapidly increasing in cloud platforms, social network services, etc. Despite the development of fast storage devices, the traditional Linux I/O stack is not able to exploit the full extent of the performance improvement since it has been optimized for disk-based storage devices. In this paper, we propose an optimized I/O stack which can fully utilize the I/O bandwidth and latency of fast storage devices. To this end, we design a new I/O interface to replace the current block I/O interface and optimize our I/O interface. Our optimized I/O interface bypasses operations/layers in block I/O subsystems of the current Linux I/O stack to fully exploit fast storage devices. We also optimize the Linux file systems such as ext2 and ext4 to run on our I/O interface. We evaluate our I/O stack with multiple benchmarks and the experimental results show that our I/O stack achieves 1.7 times better throughput compared to traditional Linux I/O stack.