병렬 시스템 환경 하에서 비정형 응용 프로그램을 위한 입출력 시스템의 설계 및 구현

노재춘(Jaechun No),박성순(Sung-Soon Park),알록샤우드리(Alok Choudhary),권오영(Oh-Young Kwon) 한국정보과학회 1999 정보과학회논문지 : 시스템 및 이론 Vol.26 No.11

본 논문에서는 입출력 응용을 위해 collective I/O 기법을 기반으로 한 실행시간 시스템의 설계, 구현 그리고 그 성능평가를 기술한다. 여기서는 모든 프로세서가 동시에 I/O 요구에 따라 스케쥴링하며 I/O 를 수행하는 collective I/O 방안과 프로세서들이 여러 그룹으로 묶이어, 다음 그룹이 데이터를 재 배열하는 통신을 수행하는 동안 오직 한 그룹만이 동시에 I/O를 수행하는 pipelined collective I/O 등의 두 가지 설계방안을 살펴본다. Pipelined collective I/O의 전체 과정은 I/O 노드 충돌을 동적으로 줄이기 위해 파이프라인된다. 이상의 설계 부분에서는 동적으로 충돌 관리를 위한 지원을 제공한다. 본 논문에서는 다른 노드의 메모리 영역에 이미 존재하는 데이터를 재 사용하여 I/O 비용을 줄이기 위해 collective I/O 방안에서의 소프트웨어 캐슁 방안과 두 가지 모형에서의 chunking과 온라인 압축방안을 기술한다. 그리고 이상에서 기술한 방안들이 입출력을 위해 높은 성능을 보임을 기술하는데, 이 성능결과는 Intel Paragon과 ASCI/Red teraflops 기계 상에서 실험한 것이다. 그 결과 응용 레벨에서의 bandwidth는 peak point가 55%까지 측정되었다. In this paper we present the design, implementation and evaluation of a runtime system based on collective I/O techniques for irregular applications. We present two designs, namely, “Collective I/O” and “Pipelined Collective I/O”. In the first scheme, all processors participate in the I/O simultaneously, making scheduling of I/O requests simpler but creating a possibility of contention at the I/O nodes. In the second approach, processors are grouped into several groups, so that only one group performs I/O simultaneously, while the next group performs communication to rearrange data, and this entire process is pipelined to reduce I/O node contention dynamically In other words, the design provides support for dynamic contention management. Then we present a software caching method using collective I/O to reduce I/O cost by reusing data already present in the memory of other nodes. Finally, chunking and on-line compression mechanisms are included in both models. We demonstrate that we can obtain significantly high-performance for I/O above what has been possible so far The performance results are presented on an Intel Paragon and on the ASCI/Red teraflops machine. Application level I/O bandwidth up to 55% of the peak is observed.

비정형 응용을 위한 워크스테이션 클러스터링 환경에서의 병렬 입출력 시스템

노재춘(Jaechun No),박성순(Sung-Soon Park),알록 샤우드리(Alok Choudhary) 한국정보과학회 2000 정보과학회논문지 : 시스템 및 이론 Vol.27 No.5

워크스테이션 클러스터 환경은 그 가격 대 성능비가 일반적으로 MPPS보다 좋고, 그 소프트웨어나 하드웨어가 쉽게 이후에 개선될 수 있기 때문에 병렬처리 분야에서 새로운 대안으로 연구되고 있다. 본 논문에서는 “집단적 입출력 클러스터링(Collective I/O Clustering)"이라 불리는 워크스테이션 클러스터를 위한 실행시간 라이브러리의 설계 및 구현 방안을 제시한다. 이 라이브러리에서는 통신 및 입출력 시스템 하에서 완벽하게 통합되는 워크스테이션 클러스터 상에서 비정형 응용 프로그램의 입출력을 위해, 사용자에 친숙한 프로그래밍 모형을 제공한다. 이 집단적 입출력 클러스터링에서는 두 가지 형태의 입출력 방식이 가능하다. 첫 번째 입출력 방식에서 할당되는 모든 프로세서들은 연산 노드뿐만 아니라, 입출력 서버의 역할도 수행하는 형태이다. 두 번째 입출력 방식에서는 오직 일부분의 프로세서들만이 입출력 서버의 역할을 수행하는 형태이다. 그리고 본 논문에서는 통신과 입출력 비용을 최적화 하기 위해 압축과 소프트웨어 캐슁 기능을 집단적 입출력 클러스터링에 적용한 결과를 보인다. 모든 성능실험 결과는 아르곤 연구소에서 보유하고 있는 IBM SP2를 사용하여 얻었다. Clusters of workstations (COW) are becoming an attractive option for parallel scientific computing, a field formerly reserved to the MPPs, because their cost-performance ratio is usually better than that of comparable MPPS, and their hardware and software can be easily enhanced to the latest generations. In this paper we present the design and implementation of our runtime library for clusters of workstations, called "Collective I/O Clustering". The library provides a friendly programming model for the I/O of irregular applications on clusters of workstations, being completely integrated with the underlying communication and I/O system. In the collective I/O clustering, two I/O configurations are possible. In the first I/O configuration, all processors allocated can act as I/O servers as well as compute nodes. In the second I/O configuration, only a subset of processors can act as I/O servers. The compression and software caching facilities have been incorporated into the collective I/O clustering to optimize the communication and I/O costs. All the performance results were obtained on the IBM-SP machine, located at Argonne National Labs.

멀티 GPU 환경에서 GPUDirect Storage 기술을 활용한 I/O 성능 분석

Piao Wenyu,박정민,김정명,노재춘(Jaechun No) 한국정보과학회 2022 한국정보과학회 학술발표논문집 Vol.2022 No.12

GPUDirect Storage를 활용한 I/O 성능 분석

김정명(Jungmyoung Kim),PiaoWenyu,노재춘(Jaechun No) 대한전자공학회 2022 대한전자공학회 학술대회 Vol.2022 No.6

가상화 기반의 사용자 워크로드를 이용한 I/O 캐시

김태훈(Taehoon Kim),노재춘(Jaechun No) 대한전자공학회 2015 대한전자공학회 학술대회 Vol.2015 No.6

데이터 처리를 위한 빅데이터와 머신러닝 플랫폼 조사 및 성능 비교

박정민(JeongMin Park),노재춘(Jaechun No) 대한전자공학회 2017 대한전자공학회 학술대회 Vol.2017 No.6

SVSA: 골든 이미지를 이용한 KVM 기반의 가상머신 관리 어플리케이션 설계

김영우(Youngwoo Kim),노재춘(Jaechun No) 대한전자공학회 2015 대한전자공학회 학술대회 Vol.2015 No.6

모바일 TPC-C: 하둡 기반 안드로이드 모바일 TPC-C 어플리케이션 구현 및 성능 측정

장한을(Han-uer Jang),노재춘(Jaechun No),김병문(Byung-moon Kim),이지은(Ji-eun Lee),박성순(Sung-soon Park) 대한전자공학회 2013 전자공학회논문지 Vol.50 No.8

최근 스마트 기기와 모바일 어플리케이션에 대한 관심이 급증함에 따라 모바일 클라우드 컴퓨팅은 클라우드 서비스 발전에 중요한 이슈가 되고 있다. 그러나 모바일 클라우드 서비스가 다양한 분야로 확산되기 위해서는 많은 문제들이 해결되어야 하는데, 그중 하나로 모바일 기기들과 클라우드 서버간의 성능을 들 수 있다. 본 연구에서는 모바일 기기들과 클라우드 서버간의 성능 분석에 활용될 수 있는 모바일 TPC-C를 구현하였다. 모바일 TPC-C는 기존 TPC-C 벤치마크를 안드로이드 기반 모바일 기기 상에서 실행될 수 있도록 변환하였으며, 하둡 기반 클라우드 서버와 데이터 교환이 가능하도록 구현되었다. 본 논문에서는 모바일 TPC-C를 사용하여 모바일 환경에서 클라우드 서버로 요청될 수 있는 트랜잭션들의 성능을 측정하였고, 이를 데스크톱과 비교하여 성능 측정에 영향을 줄 수 있는 인자들을 분석하였다. Due to the rapid growth of mobile devices and applications, mobile cloud computing is becoming an important platform in the development of cloud services. However, the mobile cloud computing is facing many challenges in terms of the computing resources and communications. One of them is the performance issue between mobile devices and cloud server. In the paper, we implemented a hadoop-based android mobile application, called mobile TPC-C, and used it for evaluating the performance aspect between mobile devices and cloud server. The mobile TPC-C was implemented based on the existing TPC-C, to make it possible to execute on top of android mobile devices. The performance measurement using mobile TPC-C was executed on various transactions while changing the number of mobile clients. By comparing it to the evaluation on the personal PC, we tried to point out the important aspects affecting the performance improvement between mobile clients and cloud server.

USB 하이재킹을 이용한 클라우드 스토리지로의 효율적인 데이터 전송 기법

엄현철(Hyunchul Eom),노재춘(Jaechun No) 大韓電子工學會 2011 電子工學會論文誌-CI (Computer and Information) Vol.48 No.6

클라우드 스토리지로 데이터를 전송하는 경우 데이터의 전송용량 및 속도와 모바일 기기의 배터리 사용량 과다로 인해 많은 제약이 따르게 된다. 특히 스마트폰과 같은 모바일 기기들이 대용량 데이터를 전송할 때 일정하지 않은 데이터 전송 속도와 배터리 사용량은 신뢰성 있는 고속 통신 환경을 구축하는데 큰 장애가 되고 있다. 본 연구는 하둡(Hadoop) 기반의 클라우드 스토리지로 효율적인 데이터 전송을 실행하기 위한 기법을 제안한다. 본 연구에서 제안하는 기법은 USB Hijacking을 이용하여 모바일 기기와 사용자 PC를 동기화 시키도록 하였으며 이를 통해 데이터 통신 시 용량이나 배터리의 제한 없이 대용량 데이터 전송이 이루어지도록 구현하였다. The performance of data transmission from mobile devices to cloud storages is limited by the amount of data being transferred communication speed and battery consumption of mobile devices. Especially when the large-scale data communication takes place using mobile devices such as smart phones the performance turbulence and power consumption become an obstacle to establish the reliable communication environment. In this paper we present an efficient data transmission method using USB Hijacking. In our approach the synchronization to transfer a large amount of data between mobile devices and user PC is executed by using USB Hijacking. Also there is no need to concern about data capacity and battery consumption in the data communication. We presented several experimental results to verify the effectiveness and suitability of our approach.

KVM 기반 가상화 시스템에서 I/O 최적화을 위한 환경조건에 따른 성능과 패턴 분석

송광혁(Kwanghyeok Song),노재춘(Jaechun No) 대한전자공학회 2017 전자공학회논문지 Vol.54 No.9

최근 가상화는 자원을 효율적으로 관리할 수 있고 사용자의 프로그래밍 환경을 쉽게 구축할 수 있게 할 수 있으므로 클라우드 컴퓨팅에 있어 중요한 요소가 되고 있다. 호스트 머신의 자원은 한정적이므로 유한한 자원을 최대한 활용하여 적절한 조건을 갖추게 해야 한다. 가상화 환경에서의 최적화를 위한 과정은 게스트와 하이퍼바이저, 그리고 호스트 계층 간 철저한 분석을 요구한다. 본 논문에서는 가상화 시스템의 단계별 파악과 다양한 가상머신의 환경 조건에 따른 측정, 그리고 결과 분석을 통해 가장 최적화된 I/O 성능을 위한 환경을 고찰하고자 한다. Recently, the virtualization is becoming an essential component in the cloud computing because it is capable of maintaining resources efficiently and of achieving easy-to-customize user programing environment. Since the resources of the host machine are limited, it is important to utilize those resources in the most suitable conditions. The process of optimization in a virtualization environment requires thorough analysis between guest, hypervisor, and host layers. In this paper, we analyze I/O behaviors under various performance conditions of virtual machines and propose a virtual I/O environment that can produce better throughput.