큐 캐싱을 이용한 그리드 자원관리 시스템 설계

함재균(Jaegyoon Hahm),박형우(Hyoungwoo Park),이상산(Sangsan Lee) 한국정보과학회 2003 한국정보과학회 학술발표논문집 Vol.30 No.1A

그리드 자원관리 시스템은 사용자로 하여금 지역적으로 분산된 고성능의 자원들을 사용하여 단일자원으로서는 계산할 수 없는 커다란 계산을 가능하게 하는 것을 목표로 한다. 이를 위해서 사용자에 대한 인증, 사용자 프로그램 분배 및 실행, 작업 모니터링 등 자원을 할당하기 위한 기능들을 제공해야 한다. 특히 자원의 사용에 있어서 자율적으로 안전한 방법으로 접근할 수 있도록 하는 것이 필요하다. 이러한 요구를 고려하여 본 논문에서는 기존의 자원 할당 시스템보다 사용자에게 편리하고 효율적인 그리드 자원관리 시스템을 제안한다. 고안된 시스템은 원격의 계산 자원에서 실행되는 큐에 대한 사본을 클라이언트에 관리함으로써 작업의 관리 및 재실행에 있어서 효율을 높일 수 있게 하였고, 사용된 큐를 캐싱함으로써 자원할당 과정에서 탐색과정을 줄일 수 있도록 하였다.

서비스 기반 그리드 컴퓨팅에서의 효과적인 자원 선택을 위한 그리드 스케쥴링 시스템

함재균(Jaegyoon Hahm),권오경(Oh-Kyoung Kwon),김상완(Sangwan Kim) 한국정보과학회 2005 한국정보과학회 학술발표논문집 Vol.32 No.1

그리드 스케쥴링 시스템은 그리드 환경에서 매우 다양하고 많은 자원에 대한 서비스들을 통합하여 사용자에게 일관된 접근 방법을 제공하고, 자원들의 동적인 상태나 자원의 서로 다른 정책 등으로 인해 야기되는 복잡성을 사용자에게 감추어 편리한 자원 사용 환경을 제공해 주게 된다. 그리드 스케쥴링 문제에서는 기존의 스케쥴링 문제와는 다른 조건들이 존재하는데 자원에 대한 전적인 권한이 스케쥴러에게 주어지지 않는다는 점과 사용자에게 할당 가능한 자원의 양은 풍부하다는 점 등이다. 본 논문에서는 이러한 필요와 조건 하에 설계되고 구현 된 그리드 스케쥴링 서비스에 대해 다룬다. 본 논문에서 설명하는 그리드 스케쥴링 서비스는 그리드 작업 및 자원 관리 시스템에 자원의 발견, 선택, 예약 기능을 제공하고, GGF의 표준인 OGSI 스펙을 따르는 인터페이스를 제공한다. 특히 사용자의 요구조건과 자원의 정책을 만족하는 자원을 적절히 선택해 줌으로써 작업 실행에 있어서의 자동화를 제공하고, 다양한 어플리케이션에 적합한 자원 선택 알고리즘을 추가할 수 있도록 함으로써 특정 어플리케이션을 위한 최적의 자원을 선택할 수 있게 하였다.

국가 R&D 사이버인프라로서의 클라우드 서비스에 관한 연구

함재균(Jaegyoon Hahm),정기문(Kimoon Jeong),정현미(Hyun Mi Jung) 한국컴퓨터정보학회 2018 한국컴퓨터정보학회 학술발표논문집 Vol.26 No.2

본 논문에서는 다양한 과학기술 분야의 연구자들이 R&D 수행에 있어서 필요한 인프라로서 클라우드 서비스를 활발히 이용하도록 하기 위해서 요구되는 정책적·기술적 개선 방안을 도출하였다. 이를 위해서 R&D를 위한 클라우드 서비스의 해외 사례를 조사하고, 국내 출연(연)·대학 등 연구현장의 다양한 분야의 연구자들로부터 클라우드 서비스에 대한 인식 조사 및 수요 분석을 실시하였다. 이러한 조사·분석 결과 과학기술 및 공학·ICT 등 다양한 분야의 연구에서 요구되는 수요를 충족할 수 있는 클라우드 서비스의 필요성을 도출하였으며, 보안 및 행정제도 등에 있어서도 개선점을 도출할 수 있었다. 연구를 통하여 우리는 국가 R&D를 수행하는 연구자들이 기존 클라우드 서비스에 대한 제약을 해소하고 더 나은 연구환경을 지원받도록 하기 위한 R&D 사이버인프라스트럭쳐로서의 클라우드 서비스를 제안하였다.

대규모 과학 데이터 분석을 위한 데이터 집약형 클라우드 서비스

함재균(Jaegyoon Hahm),우준(Joon Woo),김석문(Suk Moon Kim),장지훈(Ji Hoon Jang),박찬열(Chan Yeol Park) 한국정보과학회 2012 한국정보과학회 학술발표논문집 Vol.39 No.1A

과학 연구에 있어서 데이터 집약형 컴퓨팅은 데이터의 대형화와 함께 그 중요성이 날로 더하여지고 있다. 데이터 집약형 컴퓨팅은 대용량 데이터의 분석을 통해 과학적 지식을 발견하는 것을 목적으로 하고 있으며, 그 처리 방법에 있어서 데이터 병렬화 기법을 주로 사용하게 되는데, 이는 클라우드 컴퓨팅을 통해 도움을 받을 수 있는 계산 처리 방식이다. 또 데이터 집약형 컴퓨팅 서비스에서는 데이터의 검색 및 추출, 전송 등에 있어서 대용량의 데이터를 다룰 수 있는 고도화된 기술을 필요로 하게 된다. 본 연구에서는 대규모 과학 데이터 분석을 위해서 필요한 연구 환경을 유연하고 확장성 있게 제공하는 데이터 집약형 클라우드 서비스를 제안하였다. 본 연구의 목표 시스템은 대량의 데이터 분석을 위해 필요한 다양한 형태의 플랫폼, 응용 프로그램, 시스템 프로그램 등을 제공하는 클라우드 기반의 분석 서비스와 데이터 속성에 기반하여 빠른 검색 및 추출, 효율적인 전송을 제공하는 데이터 서비스로 이루어진다.

그리드 작업 실행 시스템의 설계 및 구현

김상완(Sangwan Kim),함재균(Jaegyoon Hahm),권오경(Ohkyoung Kwon),이종숙(Jongsuk Lee) 한국정보과학회 2003 한국정보과학회 학술발표논문집 Vol.30 No.2Ⅰ

인터넷과 네트워크 속도의 발전으로 인하여 그리드 컴퓨팅(grid computing)의 필요성 및 가능성이 점차 증대되고 있다. 사용자는 다양한 종류의 수많은 그리드 자원을 그리드 미들웨어를 이용하여 일관된 방법으로 이용할 수 있으며, 자신의 작업을 원격에서 실행 및 제어할 수 있다. 그리드 미들웨어 중에서도 그리드 자원에서 작업을 실행시킬 수 있도록 그리드 자원을 통제하는 그리드 작업 실행 시스템은 미들웨어의 가장 핵심적인 부분이라고 할 수 있다. 본 연구에서 개발된 그리드 작업 실행 시스템에서 사용자의 작업은 작업 기술 언어로 표현되어, 자원 관리 노드에서 작업의 상태 변화에 따라 절절한 단계를 거쳐 실행된다. 또 자원의 동시 할당을 위한 자원 예약 기능을 제공하며, 서비스 형태로 외부에 공개 되므로 클라이언트는 플랫폼에 관계없이 제공된 서비스를 이용할 수 있는 특징을 지닌다.

사용자 맞춤형 분산 컴퓨팅을 위한 컨테이너 기반 클러스터 관리 시스템

박주원(Ju-Won Park),함재균(Jaegyoon Hahm) 한국정보과학회 2015 정보과학회 컴퓨팅의 실제 논문지 Vol.21 No.9

전통적으로 고에너지 물리, 해양, 기상, 천문 우주 등 다양한 과학 분야에서 수천 코어 이상의 CPU를 사용하는 대규모 워크플로우 지원을 요구하고 있으며 이를 위해 대부분 슈퍼컴퓨터와 같은 클러스터 기반의 대용량 시스템이 활용되고 있다. 이러한 시스템은 다수의 사용자 및 기관에 의해 공유되고 있으며, 사용자들의 다양한 요구 사항으로 인해 시스템 운영 및 관리에 많은 어려움이 있다. 본 논문에서는 가상화로 인한 성능 저하 문제를 최소화하고 사용자가 원하는 환경을 동적으로 제공하기 위해 컨테이너 기반 클러스터 관리 플랫폼 방안을 제시하고 구축 사례를 소개한다. 본 논문의 의의는 다음 3가지로 볼 수 있다. 먼저, 컨테이너 기반 가상화 기술과 스케줄러 기능을 연동하여 큰 성능 저하 없이 대규모의 과학 워크플로우 지원을 위한 클러스터 구성 및 관리 방안을 제시하였다. 둘째, Docker 와 HTCondor를 활용하여 제시된 방안을 손쉽게 구축한 사례를 소개하였다. 셋째, 널리 활용되는 벤치마크 툴을 이용하여 Docker 성능을 검증하였으며, 다양한 프로그램 언어로 구현된 몬테카를로 시뮬레이션을 통해 과학 워크플로우 지원 예제를 제시하였다. Several fields of science have traditionally demanded large-scale workflow support, which requires thousands of central processing unit (CPU) cores. In order to support such large-scale scientific workflows, large-capacity cluster systems such as supercomputers are widely used. However, as users require a diversity of software packages and configurations, a system administrator has some trouble in making a service environment in real time. In this paper, we present a container-based cluster management platform and introduce an implementation case to minimize performance reduction and dynamically provide a distributed computing environment desired by users. This paper offers the following contributions. First, a container-based virtualization technology is assimilated with a resource and job management system to expand applicability to support large-scale scientific workflows. Second, an implementation case in which docker and HTCondor are interlocked is introduced. Lastly, docker and native performance comparison results using two widely known benchmark tools and Monte-Carlo simulation implemented using various programming languages are presented.

데이터 그리드를 위한 HTTP-FUSE 원격 파일 시스템 구현

김상완(Sangwan Kim),함재균(Jaegyoon Hahm),명훈주(Hoonjoo Myung),곽재혁(Jae-Hyuck Kwak),황영철(Youngchul Hwang) 한국정보과학회 2007 한국정보과학회 학술발표논문집 Vol.34 No.2A

WSRF기반의 TIGRIS 그리드 MPI 서비스

권오경(Oh-Kyoung Kwon),함재균(Jaegyoon Hahm),이필우(Pill Woo Lee) 한국콘텐츠학회 2008 한국콘텐츠학회논문지 Vol.8 No.1

본 논문에서는 WSRF기반의 TIGRIS 그리드 MPI 서비스를 기술하고자 한다. 본 서비스는 그리드 환경에서 MPI 작업을 실행하는 서비스이다. 다양한 종류의 MPI 라이브러리와 이기종의 계산 자원을 지원한다. 서비스의 주요 기능은 다음과 같다. 첫째, WSRF 기반의 동일한 작업 실행 인터페이스를 제공함으로써 특정 MPI 라이브러리의 사용법을 알지 못해도 작업을 실행할 수 있다. 작업을 실행하기 위해서 OGF에서 제안한 작업 제출 언어인 JSDL를 이용하여 사용자는 작업 실행이 가능하다. 두 번째, 두 개 이상의 자원에서 동시에 MPI 작업을 실행가능하게 하는 그리드 MPI 라이브러리를 지원한다. 세 번째, 사용자가 컴파일을 미리 하지 않아도 자동으로 컴파일 및 실행할 수 있게 한다. 서비스는 WSRF를 지원하는 글로버스 툴킷 기반으로 구현되었으며, 사용자 인터페이스는 웹 포털 및 CLI(Command Line Interface)를 제공한다. In this paper, we describe TIGRIS Grid MPI Service, which is the WS-Resource Framework (WSRF) based services to enable an MPI job to be executed on Grid environments. It covers heterogeneous compute resources and diverse MPI libraries. The main functionalities are as follows. First, it allows an MPI user to seamlessly launch a job without knowing how to use the specific MPI library. Secondly, it executes an MPI job on the cross-site resources by supporting the Grid-enabled MPI library such as MPICH-G2. Thirdly, it enables the user to launch a job using the source code without compiling. The service is implemented on top of the services of Globus Toolkit. We provide the user interface as a web portal and CLI(Command Line Interface).

관계형 데이터베이스를 이용한 계층적 파일 시스템의 메타데이터 관리 방법

김상완(Sangwan Kim),곽재혁(Jae-Hyuck Kwak),함재균(Jaegyoon Hahm),황영철(Youngchul Hwang) 한국정보과학회 2006 한국정보과학회 학술발표논문집 Vol.33 No.2A

디렉터리와 파일의 계층적 구조를 가지는 계층적 파일 시스템은 오늘날 대부분의 범용 컴퓨터에서 흔히 사용되고 있다. 계층적 파일 시스템은 직관적이고, 체계적이며, 단순하다는 장점이 있으나 검색이 용이 하지 않으며, 메타데이터를 관리하기 어렵다는 단점이 존재한다. 본 연구에서는 계층적 파일 시스템의 장점과 빠른 검색기능을 활용하여 메타데이터를 검색하고 관리할 수 있는 데이터베이스의 장점을 결합하여 계층적 파일 시스템에서 메타데이터를 관리할 수 있는 방법을 제안하였다. 데이터 그리드와 같이 분산된 데이터 저장 장치를 연동하여야 하는 경우에 원격지에 있는 파일 시스템의 파일들을 검색하는 일이 빈번히 수행되는데, 이 경우 본 연구에서 제안한 방법을 사용하면 효과적인 시스템을 기대할 수 있다.

뇌영상 정보추출 응용 분석을 위한 융합 자원관리 시스템

윤준원(JunWeon Yoon),곽재혁(JaeHyuck Kwak),함재균(JaeGyoon Hahm),장지훈(JiHoon Jang),박찬열(ChanYeol Park) 한국정보기술학회 2012 한국정보기술학회논문지 Vol.10 No.10

Recently many scientific application research areas that they want to use the fusion of reliable network resource as well as high-performance computing resources requirements are increasing. In order to satisfy these requirements, HPcN(Hybrid and High Performance Convergence Network) building project has been progressed for development of the future cyber-infrastructure research environment. Also, this is provided by combining of computing resources and network resources. Application researchers can use computing and network resources by assigning the resources to meet their own research needs. In this paper, we developed integrated resource management system for analyses of brain-imaging which includes physical and chemical signals and extracts structural and functional information on the brain analyzing portal system. Also, the purpose of HPcN is to provide environment of innovative research and technical support to solve the various challenging problems for researchers in the future cyber infrastructure. Furthermore, this system can be extended by applying it to a variety of scientific applications.