An Adaptive Workflow Scheduling Scheme Based on an Estimated Data Processing Rate for Next Generation Sequencing in Cloud Computing

( Byung Sang Kim ),( Chan Hyun Youn ),( Yong Sung Park ),( Yong Gyu Lee ),( Wan Choi ) 한국정보처리학회 2012 Journal of information processing systems Vol.8 No.4

The cloud environment makes it possible to analyze large data sets in a scalable computing infrastructure. In the bioinformatics field, the applications are composed of the complex workflow tasks, which require huge data storage as well as a computing-intensive parallel workload. Many approaches have been introduced in distributed solutions. However, they focus on static resource provisioning with a batchprocessing scheme in a local computing farm and data storage. In the case of a largescale workflow system, it is inevitable and valuable to outsource the entire or a part of their tasks to public clouds for reducing resource costs. The problems, however, occurred at the transfer time for huge dataset as well as there being an unbalanced completion time of different problem sizes. In this paper, we propose an adaptive resourceprovisioning scheme that includes run-time data distribution and collection services for hiding the data transfer time. The proposed adaptive resource-provisioning scheme optimizes the allocation ratio of computing elements to the different datasets in order to minimize the total makespan under resource constraints. We conducted the experiments with a well-known sequence alignment algorithm and the results showed that the proposed scheme is efficient for the cloud environment.

An Adaptive Workflow Scheduling Scheme Based on an Estimated Data Processing Rate for Next Generation Sequencing in Cloud Computing

Kim, Byungsang,Youn, Chan-Hyun,Park, Yong-Sung,Lee, Yonggyu,Choi, Wan Korea Information Processing Society 2012 Journal of information processing systems Vol.8 No.4

The cloud environment makes it possible to analyze large data sets in a scalable computing infrastructure. In the bioinformatics field, the applications are composed of the complex workflow tasks, which require huge data storage as well as a computing-intensive parallel workload. Many approaches have been introduced in distributed solutions. However, they focus on static resource provisioning with a batch-processing scheme in a local computing farm and data storage. In the case of a large-scale workflow system, it is inevitable and valuable to outsource the entire or a part of their tasks to public clouds for reducing resource costs. The problems, however, occurred at the transfer time for huge dataset as well as there being an unbalanced completion time of different problem sizes. In this paper, we propose an adaptive resource-provisioning scheme that includes run-time data distribution and collection services for hiding the data transfer time. The proposed adaptive resource-provisioning scheme optimizes the allocation ratio of computing elements to the different datasets in order to minimize the total makespan under resource constraints. We conducted the experiments with a well-known sequence alignment algorithm and the results showed that the proposed scheme is efficient for the cloud environment.

Optimized Provisioning of SDN-enabled Virtual Networks in Geo-distributed Cloud Computing Datacenters

Khaled Alhazmi,Abdallah Shami,Ahmed Refaey Hussein 한국통신학회 2017 Journal of communications and networks Vol.19 No.4

Cloud computing provides on-demand IT services vialarge distributed datacenters over high-speed networks. Virtualization,a key cloud computing technology, allows service providersto offer computing services in cloud environments without platformcompatibility discrepancies. The recent proliferation of cloudcomputing has rekindled interest in network virtualization. Thus,network virtualization is emerging as a polymorphic approachfor the future Internet that will facilitate the use of shared resources. Virtual network provisioning is considered to be a mainresource allocation challenge in any virtualized network environment. Software-defined networking (SDN) imparts flexibility toa network by removing the control layer from the data transferlayer of the network and moving it to the control plane. Networkvirtualization is further employed to share physical infrastructureto enable multiple service providers to access the network. Flexibleaccess requires efficient management of network resources; theSDN control plane can be used for efficient management of virtualnetworks. In this study, we formulate virtual network provisioningin SDN-enabled, geographically distributed cloud computing datacentersas a mixed integer linear programming (MILP) problem. The formulation of the proposed optimized virtual network provisioning(OVNP) model is studied by means of simulations. The performanceof the proposed approach is measured against enhancednetwork cloud provisioning (ENCP), our previous research, andother recognized research focused on the ratio of successfully provisionedrequests and the efficiency of resource utilization. The resultsverify the effectiveness of the proposed approach.

가상화 환경에서 세밀한 자원 활용률 적용을 위한 스케일 기법

이돈혁(Donhyuck Lee),오상윤(Sangyoon Oh) 한국컴퓨터정보학회 2013 韓國컴퓨터情報學會論文誌 Vol.18 No.7

최근 데이터 센터와 같은 대규모 컴퓨터 자원을 운용함에 있어 가상화 기술을 적용하여 컴퓨팅 자원을 동적으로 사용할 수 있게 됨에 따라 탄력적인 프로비져닝이 가능하게 되었다. 현재 운영되고 있는 클라우드 시스템에서는 이러한 동적 프로비져닝을 위해 스케일업 또는 스케일아웃형태의 스케일링을 지원하고있으며, 이 방식은 사용자 요구조건의 만족을 주목적으로 하며 방대한 컴퓨팅 자원을 기반으로 하는 공공 클라우드 시스템 운용에 부합한다. 그러나 제한된 컴퓨팅자원으로 하는 사설 클라우드의 운영을 위해서는 보다 높은 운영 효율을 위해 세밀한 자원활용을 위한 스케일링 기법이 요구된다. 본 논문에서는 사설 클라우드에서 높은 자원활용률을 얻기 위해 가상화 기술인 동적자원할당과 Live Migration 기법을 이용하여 스케일업과 스케일아웃을 복합적으로 사용한 서버 스케일링 아키텍처를 설계하고 이에 따른 알고리즘을 설계하였다. 이를 통해 세밀하게 단계별로 스케일링을 진행하여 서버 관리와 비용의 부담을 줄이고 서버 자원의 이용률을 최적화함으로써 서비스가 안정적으로 유지되도록 할 수 있다. 성능평가를 통해 제안한 구조와 알고리즘이 접속자 수에 따른 스케일 아웃을 수행하는 방식에 비해 높은 자원활용률을 보이는 것을 확인하였다. Recently operating a large scale computing resource like a data center becomes easier because of the virtualization technology that virtualize servers and enable flexible resource provision. The most of public cloud services provides automatic scaling in the form of scale-in or scale-out and these scaling approaches works well to satisfy the service level agreement (SLA) of users. However, a novel scaling approach is required to operate private clouds that has smaller amount of computing resources than vast resources of public clouds. In this paper, we propose a hybrid server scaling architecture and related algorithms using both scale-in and scale-out to achieve higher resource utilization rate for private clouds. We uses dynamic resource allocation and live migration to run our proposed algorithm. Our propose system aims to provide a fine-grain resource scaling by steps. Thus private cloud systems are able to keep stable service and to reduce server management cost by optimizing server utilization. The experiment results show that our proposed approach performs better in resource utilization than the scale-out approach based on the number of users.

컴퓨터 시스템 및 이론 : 클라우드 환경에서 기대 값 기반의 동적 자원 예측 기법

최영호 ( Yeong Ho Cho ),임유진 ( Yu Jin Lim ) 한국정보처리학회 2015 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.4 No.3

Cloud service is one of major technologies in modern IT business. Due to the dynamics of user demands, service providers need VM(Virtual Machine) provisioning mechanism to predict the amount of resources demanded by cloud users for the next service and to prepare the resources. VM provisioning provides the QoS to cloud user and maximize the revenue of a service provider by minimizing the expense. In this paper, we propose a new VM provisioning technique to minimize the total expense of a service provider by minimizing the expected value of the expense based on the predicted demands of users. To evaluate the effectiveness of our prediction technique, we compare the total expense of our technique with these of the other prediction techniques with a series of real trace data.

컨테이너 환경에서의 과학 워크플로우를 위한 동적 메모리 할당

아두푸 테오도라,최지은,김윤희 한국정보과학회 2017 정보과학회논문지 Vol.44 No.5

대규모 HPC 과학 응용의 워크로드가 전체 실행시간 동안 다양하게 변화하는 자원 요구사항을 갖게 되면서 특정 시점에 갑자기 요구사항이 증가하는(bursty) 형태가 되고 있다. 그러나 이러한 응용 워크로드를 고려하지 않고, 최대 자원 요구사항만을 반영한 가상 자원의 오버-프로비저닝은 과학 응용의 성능을 보장하지만 다른 응용이 사용할 수 없는 유휴 자원을 늘리는 문제로 남아있다. 본 논문에서는 OS-level 가상화 환경에서 응용의 자원 사용 패턴에 대한 프로파일링 데이터를 기반으로 메모리 자원 재구성 기법을 제안한다. 이는 유휴 상태의 메모리 자원을 신속하게 풀어주어 새로운 응용이 자원을 사용하여 수행할수 있도록 한다. 본 연구에서는 경량화된 OS-level 가상화 시스템의 하나인 Docker에서 과학 워크플로우응용을 이용하여 제안하는 알고리즘을 검증하였다. 실험을 통해 과학 응용을 실행하는 동안 컨테이너에 대한 메모리 할당 미세 조정이 전반적인 메모리 자원 활용을 향상시킬 수 있음을 보였다. 또한 응용의 메모리 사용 프로파일 데이터를 기반으로 하는 시뮬레이션 실험을 통해, 제안하는 동적 메모리 할당 기법을 사용하는 경우 대기 작업에 유휴상태의 메모리를 할당하여 전체 대기 작업의 수를 줄이고 시스템 작업 대기 시간이 줄어들었음을 보였다. The workloads of large high-performance computing (HPC) scientific applications are steadily becoming “bursty” due to variable resource demands throughout their execution life-cycles. However, the over-provisioning of virtual resources for optimal performance during execution remains a key challenge in the scheduling of scientific HPC applications. While over-provisioning of virtual resources guarantees peak performance of scientific application in virtualized environments, it results in increased amounts of idle resources that are unavailable for use by other applications. Herein, we proposed a memory resource reconfiguration approach that allows the quick release of idle memory resources for new applications in OS-level virtualized systems, based on the applications resource-usage pattern profile data. We deployed a scientific workflow application in Docker, a light-weight OS-level virtualized system. In the proposed approach, memory allocation is fine-tuned to containers at each stage of the workflows execution life-cycle. Thus, overall memory resource utilization is improved.

Dynamic Memory Allocation for Scientific Workflows in Containers

Theodora Adufu(아두푸 테오도라),Jieun Choi(최지은),Yoonhee Kim(김윤희) Korean Institute of Information Scientists and Eng 2017 정보과학회논문지 Vol.44 No.5

The workloads of large high-performance computing (HPC) scientific applications are steadily becoming “bursty” due to variable resource demands throughout their execution life-cycles. However, the over-provisioning of virtual resources for optimal performance during execution remains a key challenge in the scheduling of scientific HPC applications. While over-provisioning of virtual resources guarantees peak performance of scientific application in virtualized environments, it results in increased amounts of idle resources that are unavailable for use by other applications. Herein, we proposed a memory resource reconfiguration approach that allows the quick release of idle memory resources for new applications in OS-level virtualized systems, based on the applications resource-usage pattern profile data. We deployed a scientific workflow application in Docker, a light-weight OS-level virtualized system. In the proposed approach, memory allocation is fine-tuned to containers at each stage of the workflows execution life-cycle. Thus, overall memory resource utilization is improved.

작업 이력의 요인 분석을 통한 과학 클라우드 자원 선택 모델

김서영,김윤희,황순욱 한국정보과학회 2012 정보과학회 컴퓨팅의 실제 논문지 Vol.18 No.8

클라우드 컴퓨팅의 발전으로 다양한 과학 분야의 연구자들은 연구에 필수적인 슈퍼 컴퓨터를 온-디멘드 서비스로 제공받을 수 있으며, 동적인 자원 확장이 가능해짐에 따라 그들의 연구 환경을 확장해 나가고 있다. 이처럼 사이언스 클라우드는 최근 여러 과학 분야에서 새로운 연구 환경 패러다임으로 주목 받고 있다. 하지만 사용자의 요구에 알맞게 신속하고 동적인 가상 작업 공간을 구성하는 것이 어렵기 때문에 응용의 특성을 고려하여, 적절한 실험 환경을 미리 구성하는 것이 중요하게 여겨진다. 더불어 적정 수준의 성능을 보장하는 가상 머신을 제공하는 스케줄링 메커니즘도 요구된다. 본 논문에서는 작업이력의 통계적 분석을 통한 사이언스 클라우드 프로비저닝 모델을 제안한다. 이 모델은 어플리케이션의 실행에 의해 축적된 작업이력을 분석하여 그 특성을 파악하고, 결과를 자원 프로비저닝 결정에 사용한다. 작업이력 분석을 위해서는 통계적 분석 기법인 주성분 분석을 적용하였으며, 이로써 작업 프로파일들 중 가장 영향력이 큰 요인과 이력을 선별한다. 선별한 요인은 참조할 프로파일을 선택하는 데에 활용하며, 그 중 가장 우수한 성능을 갖는 자원에 가상머신을 배치 후 작업을 스케줄링 한다. 작업 수행 후에는 그 결과를 통해 프로파일의 신뢰성을 평가하고 동적인 환경에 적응하는 알고리즘의 유효성을 보인다. 논문의 후반에 제시된 성능 비교로써, 제안 모델 활용 시에 대기 시간의 감소와 성능 향상을 이끌며 가상화 단점을 극복하고 클라우드의 장점을 극대화 할 수 있음을 보였다. 이로써 클라우드 환경에서의 효과적인 자원 관리를 도우며 관리를 위한 오버헤드 또한 완화시킬 것으로 예상된다. The advent of cloud computing makes scientists to extend their research environments over supercomputers to on-demand and dynamically scalable resources. Science cloud has become a trend in various scientific domains these days. Depending on user's demands, however, it is difficult to supply optimal environment for executing job rapidly and dynamically. Therefore, it is very important to predict user's requirements and to prepare execution environment in advance. In addition, it needs scheduling mechanisms for virtual machines to offer some level of guaranteed performance of a user application. This paper proposes a cloud resource provisioning model using statistical analysis of job profiles for science. In this model, we use job profiles which are generated from executions of various applications and identify characteristics of an application by applying statistical analysis. We utilize PCA (Principal Component Analysis) to analyze job profiles and to extract factors which contribute much to execution time or performance. The effective factors are used for selecting reference job profile and deciding a resource site where VM is deployed. An application is executed on the chosen site and its performance result is incorporated into the job profiles with the purpose of evaluating profile's credit. Performance comparisons with other conditions verify that this model can strengthen strong point of cloud computing and make up for its weakness, since it can offer performance improvements as well as reduction of waiting time. As a result, this model can provide efficient management of cloud resource for a service provider and reduce management overheads on Cloud.

Status of Medical Library Resources and Services in Teaching Hospitals in Enugu State, Nigeria

Oluchi C. Okeke,Eze S.G.N,Eze Jacintha U.,Asogwa G.E. 건국대학교 지식콘텐츠연구소 2017 International Journal of Knowledge Content Develop Vol.7 No.2

클라우드 데이터 센터에서 가상화된 자원의 SLA-Aware 조정을 통한 성능 및 에너지 효율의 최적화

프랭크엘리호데 ( Frank I. Elijorde ),이재완 ( Jaewan Lee ) 한국인터넷정보학회 2014 인터넷정보학회논문지 Vol.15 No.3

클라우드 컴퓨팅은 사용자의 요구에 따라 IT서비스가 생성 및 조정되는 pay-per use 모델을 도입하였다. 그러나 서비스 제공자는 아직도 물리적인 인프라로 인해 발생하는 제약조건들에 대해 관심을 갖고 있다. 필요한 QoS나 SLA를 만족시키기 위해서는 가상화된 자료들이 에너지 소비량을 최소화시키면서 시스템 성능을 최대화시키기 위해 조정되어야 한다. 본 연구는 ANN을 사용하여 클라우드 환경에서 가상화된 자원들을 조정하기 위한 예측적 SLA 어웨어 방안을 제시한다. Qos를 유지하고, 성능과 에너지 효율간의 최적화를 위해서 서버 활용 임계치는 물리적 자원의 소비에 따라 동적으로 적용한다. 또한 많은 자원을 소비하는 VM들은 능력있고 평판이 좋은 호스트에 할당함으로써 부족한 프로비전닝을 방지한다. 제안한 기법의 성능을 평가하기 위해, 이질적인 클라우드 환경에서 최적화되지 않은 전통적인 접근방법 및 기존의 기법들과 비교하였다. The cloud computing paradigm introduced pay-per-use models in which IT services can be created and scaled on-demand. However, service providers are still concerned about the constraints imposed by their physical infrastructures. In order to keep the required QoS and achieve the goal of upholding the SLA, virtualized resources must be efficiently consolidated to maximize system throughput while keeping energy consumption at a minimum. Using ANN, we propose a predictive SLA-aware approach for consolidating virtualized resources in a cloud environment. To maintain the QoS and to establish an optimal trade-off between performance and energy efficiency, the server`s utilization threshold dynamically adapts to the physical machine`s resource consumption. Furthermore, resource-intensive VMs are prevented from getting underprovisioned by assigning them to hosts that are both capable and reputable. To verify the performance of our proposed approach, we compare it with non-optimized conventional approaches as well as with other previously proposed techniques in a heterogeneous cloud environment setup.