Elastic Stack을 이용한 시뮬레이션 분석 환경 구성

황보성우,이강선,권용준,Hwang Bo, Seong Woo,Lee, Kang Sun,Kwon, Yong Jun 한국시뮬레이션학회 2018 한국시뮬레이션학회 논문지 Vol.27 No.3

In this paper, we propose a simulation output analysis environment using Elastic Stack technology in order to reduce the complexity of the simulation analysis process. The proposed simulation output analysis environment automatically transfers simulation outputs to a centralized analysis server from a set of simulation execution resources, physically separated over a network, manages the collected simulation outputs in a fashion that further analysis tasks can be easily performed, and provides a connection to analysis and visualization services of Kibana in Elastic Stack. The proposed analysis environment provides scalability where a set of computation resources can be added on demand. We demonstrate how the proposed simulation output analysis environment can perform the simulation output analysis effectively with an example of spreading epidemic diseases, such as influenza and flu. 본 논문에서는 시뮬레이션 분석 과정의 복잡성을 줄이고 시뮬레이션 다량 수행을 가능토록 하기 위해 Elastic Stack 기술을 이용한 시뮬레이션 결과 분석 환경을 제안한다. 제안된 Elastic Stack 기반 시뮬레이션 결과 분석 환경은 물리적으로 떨어진 다양한 자원 상에서 수행되고 있는 시뮬레이션의 결과들을 중앙의 분석 서버로 자동 전송하고, 전송된 데이터들을 일괄적으로 관리하여 일련의 처리 및 분석 작업이 쉽게 적용될 수 있도록 지원하며, 다양한 가시화를 제공하는 서비스를 연결하여 분석 결과를 게시하는 과정을 손쉽게 구성할 수 있도록 지원한다. 또한, 각 서비스를 네트워크를 이용한 느슨한 연결 상태로 수행할 수 있어 확장성(scalability)을 제공한다. 제안된 시뮬레이션 결과 분석 환경의 유용성을 확인하기 위해 전염병 확산 시뮬레이션을 수행하고 별도의 분리된 서버에서 이에 대한 일련의 분석이 진행되는 과정을 보인다.

반복성을 고려한 파일 액세스 패턴 수집 기법

황보준형,석성우,서대화,Hwnag-Bo, Jun-Hyoung,Seok, Seong-U,Seo, Dae-Hwa 한국정보과학회 2001 정보과학회논문지 : 시스템 및 이론 Vol.28 No.12

본 논문에서는 액세스 패턴의 반복성을 이용하여 비교적 적은 메모리 공간을 사용하는 SIC (SiZe-Interval-Count) 선반입 기법을 제안한다. 최근에 연구되어진 지식기반의 선반입 기법은 응용프로그램의 액세스를 예측하여 정확한 선반입을 수행하는 기법이다. 이들 기법은 응용프로그램의 액세스 패턴을 기록하고, 기록된 액세스 패턴정보를 이용하여 다음에 요청될 블록을 예측하게 된다. 하지만 이 기법은 많은 메모리 공간의 사용을 필요로 한다. 따라서 제안된 선반입 기법에서는 "SIC 액세스 패턴 정보"를 이용하여 반복적인 액세스 패턴을 효율적으로 저장하고, 이를 이용하여 응용프로그램의 다음에 요청될 블록을 정확하게 예측한다. 본 논문의 선반입 기법은 일반 파일시스템에 비해 최고 40%의 응답속도 향상을 가져오며, 기존의 지식기반 선반입 기법에 비해 뛰어난 메모리 효율성을 보여준다. This paper presents the SIC(Size-Interval-Count) prefetching scheme that can record the file access patterns of applications within a relatively small space of memory based on the repetitiveness of the file access patterns. Several knowledge-based prefetching methods were recently introduced, which includes high correctness in predicting future accesses of applications. They records the access patterns of applications and uses recorded access pattern information to predict which blocks will be requested next. Yet, these methods require to much memory space. Accordingly, the proposed method then uses the recorded file access patterns, referred to as "SIC access pattern information", to correctly predict the future accesses of the applications. The proposed prefetching method improved the response time by about 40% compared to the general file system and showed remarkable memory efficiency compared to the previously knowledge-based prefetching methods.

반복성을 고려한 파일 액세스 패턴 수집 기법

황보준형(Jun-Hyoung Hwang-Bo),석성우(Song-Woo Sok),서대화(Dae-Wha Seo) 한국정보과학회 2001 정보과학회논문지 : 시스템 및 이론 Vol.28 No.11·12

본 논문에서는 액세스 패턴의 반복성을 이용하여 비교적 적은 메모리 공간을 사용하는 SIC (Size-Interval-Count) 선반입 기법을 제안한다. 최근에 연구되어진 지식기반의 선반입 기법은 응용프로그램의 액세스를 예측하여 정확한 선반입을 수행하는 기법이다. 이들 기법은 응용프로그램의 액세스 패턴을 기록하고, 기록된 액세스 패턴정보를 이용하여 다음에 요청될 블록을 예측하게 된다. 하지만 이 기법은 많은 메모리 공간의 사용을 필요로 한다. 따라서 제안된 선반입 기법에서는 “SIC 액세스 패턴 정보”를 이용하여 반복적인 액세스 패턴을 효율적으로 저장하고, 이를 이용하여 응용프로그램의 다음에 요청될 블록을 정확하게 예측한다. 본 논문의 선반입 기법은 일반 파일시스템에 비해 최고 40%의 응답속도 향상을 가져오며, 기존의 지식기반 선반입 기법에 비해 뛰어난 메모리 효율성을 보여준다. This paper presents the SIC(Size-Interval-Count) prefetching scheme that can record the file access patterns of applications within a relatively small space of memory based on the repetitiveness of the file access patterns. Several knowledge-based prefetching methods were recently introduced, which includes high correctness in predicting future accesses of applications. They records the access patterns of applications and uses recorded access pattern information to predict which blocks will be requested next. Yet, these methods require to much memory space. Accordingly, the proposed method then uses the recorded file access patterns, referred to as "SIC access pattern information", to correctly predict the future accesses of the applications. The proposed prefetching method improved the response time by about 40% compared to the general file system and showed remarkable memory efficiency compared to the previously knowledge-based prefetching methods.

IoT 실시간 데이터 품질 측정 아키텍처

이동우,이상엽,황보성우,이진우,김선호,이창수,Alejandro mate,Juan Carlos Trujillo 한국경영과학회 2019 한국경영과학회 학술대회논문집 Vol.2019 No.4

사물인터넷은 4차 산업혁명의 핵심 기술로 인식되고 있으며, 우리의 삶을 변화시킬 새로운 동력으로 기대를 모으고 있다. IoT 단말로부터 실시간으로 들어오는 데이터를 활용하여 인간을 단순 작업으로부터 해방시키고 있으며, 위험하거나 고도의 숙련이 필요한 작업도 점차 자동화가 이루어지고 있다. 하지만 현실 속에는 사물 인터넷, 특히 센서로부터 나오는 데이터의 품질을 떨어뜨리는 다양한 요인이 존재하고 있다. 이를 인지하고 적절한 대응이 이루어지지 않는다면 4차 산업혁명은 모래 위의 누각처럼 위태로운 상황에 직면하게 될 것이다. 본 논문에서는 IoT 실시간 데이터를 믿고 사용할 수 있도록 데이터 품질을 측정/모니터링을 할 수 있는 아키텍처를 제안한다. 기존 일반데이터(ex, RDBMS)를 대상으로 데이터 품질을 측정하기 위한 데이터 프로파일링 방법들이 잘 알려져 있다. 하지만 실시간 데이터가 가지는 실시간성, 휘발성, 시간기반 데이터 등의 특징에 맞는 IoT 데이터 품질 측정 방법들은 간단한 임계치를 이용한 방법 혹은 시계열 데이터의 이상치를 찾아내는 것을 제외하고는 많이 알려져 있지 않다. 그래서 우리는 IoT 실시간 데이터 특성을 감안하여 다양한 각도에서 IoT 데이터 품질을 측정하는 방법을 먼저 정의하였다. 우리가 정의한 “IoT 데이터 프로파일링” 은 크게 세가지 타입, Single Signal Quality Indicator (11종류), Multi Signals Quality Indicator (6종류), Structural Quality Indicator (3종류) 으로 구성되어 다양한 각도에서 센서 데이터가 발생하는 오류를 인지할 수 있도록 제안한다. 또한 이러한 “IoT 데이터 프로파일링” 기반으로 실시간 데이터에 대한 품질을 측정하기 위해서는 센서에 대한 Static Metadata, Dynamic Metadata 등을 관리하고 있어야 하며, 각 센서 별 품질에 대한 기준을 정하는 부분과 실제 실시간으로 데이터의 품질을 측정하는 부분을 따로 관리되어야 한다. 그 외 실제 현장에 적용할 때 필요한 다양한 모듈을 추가로 정의하여 이 전체를 IoT 실시간 데이터 품질 측정 아키텍처로 제안한다.

IoT 실시간 데이터 품질 측정 아키텍처

이동우,이상엽,황보성우,이진우,김선호,이창수,Alejandro mate,Juan Carlos Trujillo 대한산업공학회 2019 대한산업공학회 춘계학술대회논문집 Vol.2019 No.4

사물인터넷은 4차 산업혁명의 핵심 기술로 인식되고 있으며, 우리의 삶을 변화시킬 새로운 동력으로 기대를 모으고 있다. IoT 단말로부터 실시간으로 들어오는 데이터를 활용하여 인간을 단순 작업으로부터 해방시키고 있으며, 위험하거나 고도의 숙련이 필요한 작업도 점차 자동화가 이루어지고 있다. 하지만 현실 속에는 사물 인터넷, 특히 센서로부터 나오는 데이터의 품질을 떨어뜨리는 다양한 요인이 존재하고 있다. 이를 인지하고 적절한 대응이 이루어지지 않는다면 4차 산업혁명은 모래 위의 누각처럼 위태로운 상황에 직면하게 될 것이다. 본 논문에서는 IoT 실시간 데이터를 믿고 사용할 수 있도록 데이터 품질을 측정/모니터링을 할 수 있는 아키텍처를 제안한다. 기존 일반데이터(ex, RDBMS)를 대상으로 데이터 품질을 측정하기 위한 데이터 프로파일링 방법들이 잘 알려져 있다. 하지만 실시간 데이터가 가지는 실시간성, 휘발성, 시간기반 데이터 등의 특징에 맞는 IoT 데이터 품질 측정 방법들은 간단한 임계치를 이용한 방법 혹은 시계열 데이터의 이상치를 찾아내는 것을 제외하고는 많이 알려져 있지 않다. 그래서 우리는 IoT 실시간 데이터 특성을 감안하여 다양한 각도에서 IoT 데이터 품질을 측정하는 방법을 먼저 정의하였다. 우리가 정의한 “IoT 데이터 프로파일링” 은 크게 세가지 타입, Single Signal Quality Indicator (11종류), Multi Signals Quality Indicator (6종류), Structural Quality Indicator (3종류) 으로 구성되어 다양한 각도에서 센서 데이터가 발생하는 오류를 인지할 수 있도록 제안한다. 또한 이러한 “IoT 데이터 프로파일링” 기반으로 실시간 데이터에 대한 품질을 측정하기 위해서는 센서에 대한 Static Metadata, Dynamic Metadata 등을 관리하고 있어야 하며, 각 센서 별 품질에 대한 기준을 정하는 부분과 실제 실시간으로 데이터의 품질을 측정하는 부분을 따로 관리되어야 한다. 그 외 실제 현장에 적용할 때 필요한 다양한 모듈을 추가로 정의하여 이 전체를 IoT 실시간 데이터 품질 측정 아키텍처로 제안한다.

SCP 운영에서 데이터 품질관리 프로세스의 작업 산출물에 대한 연구

이창수,김선호,이동우,이상엽,황보성우,이진우,Ismael Caballero,Ricardo Perez del Castillo 대한산업공학회 2019 대한산업공학회 춘계학술대회논문집 Vol.2019 No.4

Cloud 기반 M&S 지원 환경의 설계

이강선(Kang-Sun Lee),황보성우(Seong-Woo Hwang-Bo),김동주(Dong-Joo Kim) 한국경영과학회 2016 한국경영과학회 학술대회논문집 Vol.2016 No.4

M&S는 모델링부터 분석에 이르는 일련의 과정을 수행하여 주어진 시스템에 대한 의사결정을 지원하는 기술이다. 이 기술을 지원하기 위해 시뮬레이션 통합 환경, 웹 기반 시뮬레이션 지원 환경, 그리고 Cloud 기반 시뮬레이션 지원 환경 등의 연구들이 있어왔으나, 사용자가 시스템 환경을 구축하고 실행에 필요한 자원을 갖추어야만 그 기능을 지원받을 수 있고, 서버에서 자원을 동적으로 할당하여 사용할 수 없으며, IoT Sensor 등의 정보를 입력받을 수 없다는 문제점이 존재한다. 이 문제점을 해결하기 위해 본 논문에서는 기존 Cloud 기반 환경에서 IoT 정보, 핸드폰 센서 정보 등을 시뮬레이션에 사용할 수 있는 Cloud Service 기반 M&S 지원 환경 의 구조를 제안한다. M&S is technology to support making decision for being given system by performing series of process from moideling to analyzing. For supporting this technology, some studies about ‘simulation-integrated-environment’, ‘web-based simulation support environment’, and ‘cloud-based simulation support environment’ have been processed, but there are some problems, first, users should deploy specific system environment and have resources for implement simulations then user can be supported functionally, second, users can’t use server’s resources dynamically, lastly, users can’t put IoT sensor’s information or smartphone sensor’s information in cloud server. To solve these problems, this research suggests the cloud-based architecture of the M&S support environment which uses IoT sensor’s information and smartphone sensor’s information for simulation.

SCP 운영에서 데이터 품질관리 프로세스의 작업 산출물에 대한 연구

이창수,김선호,이동우,이상엽,황보성우,이진우,Ismael Caballero,Ricardo Perez del Castillo 한국경영과학회 2019 한국경영과학회 학술대회논문집 Vol.2019 No.4

Cloud 기반 M&S 지원 환경의 설계

이강선(Kang-Sun Lee),황보성우(Seong-Woo Hwang-Bo),김동주(Dong-Joo Kim) 대한산업공학회 2016 대한산업공학회 춘계학술대회논문집 Vol.2016 No.4

M&S는 모델링부터 분석에 이르는 일련의 과정을 수행하여 주어진 시스템에 대한 의사결정을 지원하는 기술이다. 이 기술을 지원하기 위해 시뮬레이션 통합 환경, 웹 기반 시뮬레이션 지원 환경, 그리고 Cloud 기반 시뮬레이션 지원 환경 등의 연구들이 있어왔으나, 사용자가 시스템 환경을 구축하고 실행에 필요한 자원을 갖추어야만 그 기능을 지원받을 수 있고, 서버에서 자원을 동적으로 할당하여 사용할 수 없으며, IoT Sensor 등의 정보를 입력받을 수 없다는 문제점이 존재한다. 이 문제점을 해결하기 위해 본 논문에서는 기존 Cloud 기반 환경에서 IoT 정보, 핸드폰 센서 정보 등을 시뮬레이션에 사용할 수 있는 Cloud Service 기반 M&S 지원 환경 의 구조를 제안한다. M&S is technology to support making decision for being given system by performing series of process from moideling to analyzing. For supporting this technology, some studies about ‘simulation-integrated-environment’, ‘web-based simulation support environment’, and ‘cloud-based simulation support environment’ have been processed, but there are some problems, first, users should deploy specific system environment and have resources for implement simulations then user can be supported functionally, second, users can’t use server’s resources dynamically, lastly, users can’t put IoT sensor’s information or smartphone sensor’s information in cloud server. To solve these problems, this research suggests the cloud-based architecture of the M&S support environment which uses IoT sensor’s information and smartphone sensor’s information for simulation.

SCP 운영 프로세스와 ISO 8000-61 데이터품질관리 프로세스 통합

Sunho Kim(김선호),Changsoo Lee(이창수),Dongwoo Lee(이동우),Sangyup Lee(이상엽),Seongwoo Hwangbo(황보성우),Jinwoo Lee(이진우),Ricardo Perez-Castillo,Ismael Caballero 한국경영과학회 2019 한국경영과학회 학술대회논문집 Vol.2019 No.4

SCP (Smart, Connected Product) 운영시 개별 센서나 디바이스에서 스트리밍 데이터가 대량으로 시스템으로 입력되며 비즈니스 데이터 및 외부 데이터와 통합되어 사용된다. 이러한 통합된 데이터를 IoT데이터라고 한다. 고객에게 SCP 의 우수한 운영 능력을 제공하기 위해서는 운영 전반에 걸쳐 고품질의 IoT 데이터가 필수적이다. 고품질의 IoT데이터를 유지하기 위해서는, 센서 데이터를 분석하고 센서/시스템 오류의 잘못된 데이터를 제거하는 데이터 중심 접근 방식만으로는 충분하지 않다. 높은 IoT 데이터 품질을 일관되게 유지하기 위해서 프로세스 중심 접근 방식이 필요하다. 따라서 이 논문에서는 IoT데이터 품질 향상을 위해 SCP운영 프로세스에 필요한 데이터품질관리 프로세스를 제시한다. 첫째 SCP가 운영되는 클라우드 환경, SCP운영 프로세스 범위, IoT 유형을 제시한다. 둘째, IoT 환경에서 필요한 SCP 운영 프로세스를 정의한다. 마지막으로 SCP 운영 프로세스와 데이터 품질관리 프로세스간의 통합 방안을 제시한다. 여기서는 ISO 8000-61에서 정의한 데이터 품질관리 프로세스 참조모델을 기반으로 통합하는 대안들을 제시한다.