http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
고성능컴퓨팅 환경을 고려한 빅데이터플랫폼 운영관리시스템 개발
곽재혁(Jae-Hyuck Kwak),최지은(Jieun Choi),변은규(Eunkyu Byun),김상완(Sangwan Kim) 한국정보과학회 2020 정보과학회논문지 Vol.47 No.3
전통적인 계산과학 분야와 빅데이터 분야의 소프트웨어 기술은 다른 형태로 발전되어 왔으나 빅데이터 기술의 성장과 최근의 인공지능 기술의 발전은 두가지 분야의 경계를 허물어트리고 고성능 컴퓨팅 환경을 일반화시키고 있다. 그러나 두가지 분야의 소프트웨어 스택은 독립적으로 구축되고 발전되어 왔기에 고성능 컴퓨팅 환경에서 이를 통합하여 투명하게 운영하거나 관리하는 것은 쉬운 일은 아니다. 본 논문에서는 이를 극복하기 위해서 고성능 컴퓨팅 환경을 고려한 빅데이터 플랫폼 운영 관리 시스템을 개발하였다. 본 시스템은 오픈소스 기반의 Hadoop 플랫폼 운영관리시스템인 Ambari를 확장하여 구현하였으며 Lustre에 대한 설치 관리 및 Hadoop on Lustre 실행 환경 구성 기능, 모니터링 요소의 동적인 확장이 가능한 YARN 작업 모니터링 기능, 고성능컴퓨팅 자원 모니터링을 위한 웹기반 인터페이스를 제공한다. Software technologies in traditional computational science and big data fields have evolved into different forms, but the growth of big data technology and recent advances in artificial intelligence technology have broken down boundaries between the two fields and have lead to generalized, high-performance computing environments. However, as these two areas of software stack were built and developed independently, it is not easy to integrate and operate them seamlessly in high-performance computing environment. In this paper, we developed a big data platform operation and management system considering high-performance computing environment. The system is an extension of Ambari, an open-source Hadoop platform operations management system that also provides installation management for Lustre, configuration of the Hadoop-on-Lustre execution environment, YARN job monitoring with user-defined and dynamic monitoring metrics as well as a web-based interface for high-performance computing resource monitoring.
임동혁(Donghyouk Lim),황인철(In-Chul Hwang),변은규(Eunkyu Byun),맹승렬(Sengryoul Maeng) 한국정보과학회 2004 한국정보과학회 학술발표논문집 Vol.31 No.2Ⅰ
단일 디스크 입출력 환경은 클러스터 시스템의 분산된 디스크들을 하나의 통합된 디스크의 이미지호 제공하여 사용자에게 편의성을 제공한다. 하지만, 디바이스 수준에서의 서비스를 제공하고 이로 인해, 여러 노드에서의 파일의 병렬적인 접근을 지원하기 위해서는 클러스터 파일 시스템의 지원이 요구된다. 본 논문은 리눅스 시스템에서 가장 많이 사용하는 EXT2 파일 시스템을 단일 입출력 환경에서 효과적으로 사용할수 있는 클러스터 파일 시스템으로의 확장하는 방안에 대해서 설명한다. 기존의 EXT2 파일 시스템을 커널 모듈의 형태로 재구성하고, 버퍼 캐쉬와 에타 데이터의 일관성 유지를 분산 락 모듈을 구현하고 이를 이용하여 데이터의 일관성과 동기화 문제를 동시에 해결하도록 하여, EXT2 파일 시스템을 클러스터 파일 시스템으로 확장하였다.
Lustre 병렬파일시스템 오토 프로비저닝을 위한 Ambari 서비스 설계에 관한 연구
곽재혁 ( Jae-hyuck Kwak ),김상완 ( Sangwan Kim ),변은규 ( Eunkyu Byun ),남덕윤 ( Dukyun Nam ) 한국정보처리학회 2017 한국정보처리학회 학술대회논문집 Vol.24 No.2
하둡은 대표적인 빅데이터 처리 프레임워크로 널리 사용되고 있지만 하둡 어플리케이션은 고성능컴퓨팅 환경에서 하둡 분산파일시스템이 아닌 러스터 병렬 파일시스템 위에서도 수행될 수 있다. 그러나 이를 위해서 추가적으로 러스터 병렬파일시스템을 구축하고 관리하는 것은 시간 소모적인 업무가 될 수 있다. 본 연구는 러스터 병렬파일시스템의 오토 프로비저닝을 위한 암바리 서비스의 설계 방안에 대해서 제안한다. 암바리는 하둡 클러스터의 프로비저닝, 관리, 모니터링을 위한 운영 관리 프레임워크이며 운영자의 필요에 따라서 확장할 수 있는 서비스 프레임워크를 제공한다. 본 연구에서는 암바리를 통해서 러스터 병렬파일시스템을 오토 프로비저닝하고 관리하기 위한 확장 서비스를 설계하였으며 서비스를 위한 컴포넌트와 각 컴포넌트별 중요한 기능 사항에 대해서 논하였다.