병렬 시스템 환경 하에서 비정형 응용 프로그램을 위한 입출력 시스템의 설계 및 구현

노재춘(Jaechun No),박성순(Sung-Soon Park),알록샤우드리(Alok Choudhary),권오영(Oh-Young Kwon) 한국정보과학회 1999 정보과학회논문지 : 시스템 및 이론 Vol.26 No.11

본 논문에서는 입출력 응용을 위해 collective I/O 기법을 기반으로 한 실행시간 시스템의 설계, 구현 그리고 그 성능평가를 기술한다. 여기서는 모든 프로세서가 동시에 I/O 요구에 따라 스케쥴링하며 I/O 를 수행하는 collective I/O 방안과 프로세서들이 여러 그룹으로 묶이어, 다음 그룹이 데이터를 재 배열하는 통신을 수행하는 동안 오직 한 그룹만이 동시에 I/O를 수행하는 pipelined collective I/O 등의 두 가지 설계방안을 살펴본다. Pipelined collective I/O의 전체 과정은 I/O 노드 충돌을 동적으로 줄이기 위해 파이프라인된다. 이상의 설계 부분에서는 동적으로 충돌 관리를 위한 지원을 제공한다. 본 논문에서는 다른 노드의 메모리 영역에 이미 존재하는 데이터를 재 사용하여 I/O 비용을 줄이기 위해 collective I/O 방안에서의 소프트웨어 캐슁 방안과 두 가지 모형에서의 chunking과 온라인 압축방안을 기술한다. 그리고 이상에서 기술한 방안들이 입출력을 위해 높은 성능을 보임을 기술하는데, 이 성능결과는 Intel Paragon과 ASCI/Red teraflops 기계 상에서 실험한 것이다. 그 결과 응용 레벨에서의 bandwidth는 peak point가 55%까지 측정되었다. In this paper we present the design, implementation and evaluation of a runtime system based on collective I/O techniques for irregular applications. We present two designs, namely, “Collective I/O” and “Pipelined Collective I/O”. In the first scheme, all processors participate in the I/O simultaneously, making scheduling of I/O requests simpler but creating a possibility of contention at the I/O nodes. In the second approach, processors are grouped into several groups, so that only one group performs I/O simultaneously, while the next group performs communication to rearrange data, and this entire process is pipelined to reduce I/O node contention dynamically In other words, the design provides support for dynamic contention management. Then we present a software caching method using collective I/O to reduce I/O cost by reusing data already present in the memory of other nodes. Finally, chunking and on-line compression mechanisms are included in both models. We demonstrate that we can obtain significantly high-performance for I/O above what has been possible so far The performance results are presented on an Intel Paragon and on the ASCI/Red teraflops machine. Application level I/O bandwidth up to 55% of the peak is observed.

비정형 응용을 위한 워크스테이션 클러스터링 환경에서의 병렬 입출력 시스템

노재춘(Jaechun No),박성순(Sung-Soon Park),알록 샤우드리(Alok Choudhary) 한국정보과학회 2000 정보과학회논문지 : 시스템 및 이론 Vol.27 No.5

워크스테이션 클러스터 환경은 그 가격 대 성능비가 일반적으로 MPPS보다 좋고, 그 소프트웨어나 하드웨어가 쉽게 이후에 개선될 수 있기 때문에 병렬처리 분야에서 새로운 대안으로 연구되고 있다. 본 논문에서는 “집단적 입출력 클러스터링(Collective I/O Clustering)"이라 불리는 워크스테이션 클러스터를 위한 실행시간 라이브러리의 설계 및 구현 방안을 제시한다. 이 라이브러리에서는 통신 및 입출력 시스템 하에서 완벽하게 통합되는 워크스테이션 클러스터 상에서 비정형 응용 프로그램의 입출력을 위해, 사용자에 친숙한 프로그래밍 모형을 제공한다. 이 집단적 입출력 클러스터링에서는 두 가지 형태의 입출력 방식이 가능하다. 첫 번째 입출력 방식에서 할당되는 모든 프로세서들은 연산 노드뿐만 아니라, 입출력 서버의 역할도 수행하는 형태이다. 두 번째 입출력 방식에서는 오직 일부분의 프로세서들만이 입출력 서버의 역할을 수행하는 형태이다. 그리고 본 논문에서는 통신과 입출력 비용을 최적화 하기 위해 압축과 소프트웨어 캐슁 기능을 집단적 입출력 클러스터링에 적용한 결과를 보인다. 모든 성능실험 결과는 아르곤 연구소에서 보유하고 있는 IBM SP2를 사용하여 얻었다. Clusters of workstations (COW) are becoming an attractive option for parallel scientific computing, a field formerly reserved to the MPPs, because their cost-performance ratio is usually better than that of comparable MPPS, and their hardware and software can be easily enhanced to the latest generations. In this paper we present the design and implementation of our runtime library for clusters of workstations, called "Collective I/O Clustering". The library provides a friendly programming model for the I/O of irregular applications on clusters of workstations, being completely integrated with the underlying communication and I/O system. In the collective I/O clustering, two I/O configurations are possible. In the first I/O configuration, all processors allocated can act as I/O servers as well as compute nodes. In the second I/O configuration, only a subset of processors can act as I/O servers. The compression and software caching facilities have been incorporated into the collective I/O clustering to optimize the communication and I/O costs. All the performance results were obtained on the IBM-SP machine, located at Argonne National Labs.

최적의 시스템 신뢰성 지원을 위한 머신러닝 기반의 장애 예측 기법

서형준,노재춘,박성순 대한전자공학회 2021 전자공학회논문지 Vol.58 No.1

IT 서비스의 보편화에 따라 다양한 기업에서 컴퓨터 시스템의 의존도가 높아져 시스템의 가용성을 확보하기 위한 장애 예측 분야에서 많은 연구가 이루어졌다. 기존 연구들에서는 기계 학습을 통해 시스템의 장애를 사전에 예측하고자 하였으며, 이 과정에서 데이터 분석, 전처리, 최적화 등의 다양한 기법들이 적용되었다. 하지만, 기존의 장애 예측 연구에서는 데이터의 부족으로 인해 인위적인 데이터를 생성하거나, 예측 모델을 생성하는 과정에서는 기계 학습의 전문적인 지식이 필요하였고 반복적인 학습을 통해 성능을 분석하고 비교함으로써 큰 비용이 발생하였다. 본 논문에서는 이를 해결하기 위해 장애 예측에 필요한 일련의 과정들을 자동화하여 최적의 예측 모델을 생성하고 시스템의 장애를 예측하여 알려주는 프레임워크를 구현하였다. 프레임워크는 모니터링 시스템을 통해 시스템 정보를 수집하고, 이를 통해 특징 선택, 하이퍼 파라미터 튜닝 등의 최적화 과정을 진행하여 최적화된 예측 모델을 생성한다. 예측 모델은 모니터링 시스템을 통해 측정되는 실시간 데이터를 사용하여 시스템의 장애 여부를 판단하고 알람을 생성하도록 하였다. As IT services become more common, the dependence of computer systems in various companies has increased, and many studies have been conducted on predicting failures to ensure system availability. Existing studies have tried to predict system failures in advance through machine learning, and in this process, various techniques such as data analysis, preprocessing, and optimization are applied. However, due to the lack of data, existing disability prediction research data can use a limited number of machine learning models in the process of generating artificial data or generating prediction models, and specialized knowledge of machine learning is required. In addition, a large cost was incurred by analyzing and comparing performance through iterative learning. In this paper, to solve this problem, an optimal model is created by comparing the performance of various models in the optimization process, and machine learning models can be easily added, and a system failure prediction frame that automates the optimization process and the overall process of machine learning. I implemented the work. The framework collects system information through a monitoring system, and through it, performs optimization processes such as feature selection and hyper parameter tuning to generate a predictive model. The predictive model uses real-time data measured through the monitoring system to determine whether there is a system failure and to generate an alarm.

스마트 기반 협동학습을 통한 의사소통능력 신장에 관한 연구

김정랑,노재춘 한국정보교육학회 2014 정보교육학회논문지 Vol.18 No.4

정보통신기술의 발달로 인하여 스마트 기기와 앱, SNS, 미러링 등을 이용한 의사소통이 이루어지고 있으며 이러한 사회의 변화를 반영하여 최근 다양한 협업 상호작용을 강조한 스마트교육이 대두되고 있다. 이에 본 연 구에서는 초등학생의 의사소통능력을 신장시키기 위해 스마트교육과 LT 협동학습 모형을 연계한 ‘스마트 기반 협동학습’ 모형을 개발하여 초등학교 3학년 사회과 수업에서 적용하고 스마트 기반 협동학습과 일반적인 협동학 습이 의사소통능력에 미치는 영향을 각각 비교, 분석하였다. 그 결과, 일반적인 협동학습 모형을 적용한 수업의 초등학생들보다 스마트 기반 협동학습을 적용한 사회과 수업에서 초등학생들의 표현, 경청과 이해, 상호작용 등 의사소통능력의 모든 하위 영역이 신장되었다. 이는 스마트 기반 협동학습이 학습자의 생각이나 의견을 말과 글 로 명료하게 표현하게 하고, 다른 학생들의 말과 글의 의미를 파악할 수 있게 해 주며 사회적 상황에서 목적에 맞게 상호작용하는 능력을 향상시켜 준다고 할 수 있다. Due to the development of information and communication technology smart devices and apps, SNS, mirroring communication is made with such a smart and education to reflect the change of emphasis on the recent variety of collaborative social interaction are emerging. In this study, smart training and LT cooperative learning model developed in conjunction with the ‘Smart-based cooperative learning 'model applied in the third grade social studies class and Smart-based cooperative learning and cooperative learning common to kidney doctor communication skills of elementary school students the impact on the communication capacity compared respectively, were analyzed. As a result, the expression of the elementary school, listening and understanding, all the sub-areas of interaction, such as communication skills in social studies class kidneys were applied to Smart-based cooperative learning in elementary school than applying the general cooperative learning model. This is not said to improve the ability to interact with the Smart-based cooperative learning in speech and in writing and clearly express the thoughts and opinions of students and separates help you understand the meaning of the words and writings of other students for the purpose in social situations can.

GPUDirect Storage를 활용한 I/O 성능 분석

김정명(Jungmyoung Kim),PiaoWenyu,노재춘(Jaechun No) 대한전자공학회 2022 대한전자공학회 학술대회 Vol.2022 No.6

멀티 GPU 환경에서 GPUDirect Storage 기술을 활용한 I/O 성능 분석

Piao Wenyu,박정민,김정명,노재춘(Jaechun No) 한국정보과학회 2022 한국정보과학회 학술발표논문집 Vol.2022 No.12

가상화 기반의 사용자 워크로드를 이용한 I/O 캐시

김태훈(Taehoon Kim),노재춘(Jaechun No) 대한전자공학회 2015 대한전자공학회 학술대회 Vol.2015 No.6

SVSA: 골든 이미지를 이용한 KVM 기반의 가상머신 관리 어플리케이션 설계

김영우(Youngwoo Kim),노재춘(Jaechun No) 대한전자공학회 2015 대한전자공학회 학술대회 Vol.2015 No.6

USB 하이재킹을 이용한 클라우드 스토리지로의 효율적인 데이터 전송 기법

엄현철(Hyunchul Eom),노재춘(Jaechun No) 大韓電子工學會 2011 電子工學會論文誌-CI (Computer and Information) Vol.48 No.6

클라우드 스토리지로 데이터를 전송하는 경우 데이터의 전송용량 및 속도와 모바일 기기의 배터리 사용량 과다로 인해 많은 제약이 따르게 된다. 특히 스마트폰과 같은 모바일 기기들이 대용량 데이터를 전송할 때 일정하지 않은 데이터 전송 속도와 배터리 사용량은 신뢰성 있는 고속 통신 환경을 구축하는데 큰 장애가 되고 있다. 본 연구는 하둡(Hadoop) 기반의 클라우드 스토리지로 효율적인 데이터 전송을 실행하기 위한 기법을 제안한다. 본 연구에서 제안하는 기법은 USB Hijacking을 이용하여 모바일 기기와 사용자 PC를 동기화 시키도록 하였으며 이를 통해 데이터 통신 시 용량이나 배터리의 제한 없이 대용량 데이터 전송이 이루어지도록 구현하였다. The performance of data transmission from mobile devices to cloud storages is limited by the amount of data being transferred communication speed and battery consumption of mobile devices. Especially when the large-scale data communication takes place using mobile devices such as smart phones the performance turbulence and power consumption become an obstacle to establish the reliable communication environment. In this paper we present an efficient data transmission method using USB Hijacking. In our approach the synchronization to transfer a large amount of data between mobile devices and user PC is executed by using USB Hijacking. Also there is no need to concern about data capacity and battery consumption in the data communication. We presented several experimental results to verify the effectiveness and suitability of our approach.

데이터 처리를 위한 빅데이터와 머신러닝 플랫폼 조사 및 성능 비교

박정민(JeongMin Park),노재춘(Jaechun No) 대한전자공학회 2017 대한전자공학회 학술대회 Vol.2017 No.6