Abyss Storage Cluster 기반의 DataLake Framework의 설계

차병래(ByungRae Cha),박선(Sun Park,),신병춘(Byeong-Chun Shin),김종원(JongWon Kim) 한국스마트미디어학회 2018 스마트미디어저널 Vol.7 No.1

As an organization or organization grows in size, many different types of data are being generated in different systems. There is a need for a way to improve efficiency by processing data smarter in different systems. Just like DataLake, we are creating a single domain model that accurately describes the data and can represent the most important data for the entire business. In order to realize the benefits of a DataLake, it is import to know how a DataLake may be expected to work and what components architecturally may help to build a fully functional DataLake. DataLake components have a life cycle according to the data flow. And while th data flows into a DataLake from the point of acquisition, its meta-data is captured and managed along with data traceability, data lineage, and security aspects based on data sensitivity across its life cycle. According to this reason, we have designed the DataLake Framework based on Abyss Storage Cluster. 기관 또는 조직은 비즈니스 시스템의 규모가 커지면서 이들과 관련된 서로 다른 시스템에서 다양한 대량의 데이터들이 생성 되고 있다. 이와 같이 비즈니스 환경에서 서로 다른 시스템에서 데이터를 보다 스마트하게 처리하여 효율성을 높일 수 있는 방법이 필요하다. 이를 위한 가장 기본적인 접근 방법 중 하나는 DataLake와 같이 데이터를 정확하게 설명하고 전체 비즈니스에 대한 가장 중요한 데이터를 나타낼 수 있는 단일 도메인 모델을 만드는 것이다. DataLake의 장점을 구현하기 위해서는 다양 하게 요구되어진 기능들을 어떤 구조로, 어떻게 작동 할 것인지에 대한 DataLake의 구성 요소들을 정의하는 게 중요하며, DataLake의 구성 요소들에 의해서 데이터 흐름에 따른 라이프 사이클을 갖게 된다. 또한 데이터 획득 시점에서 DataLake로 유입되는 동안 메타 데이터는 데이터 추적 가능성, 데이터 계보 및 라이프 사이클 전반의 데이터 민감도에 기반 한 보안 측면과 함께 캡처 및 관리되어야 하며, 이러한 이유로 Abyss Storage Cluster 기반의 DataLake Framework를 설계하였다.

Abyss Storage Cluster 기반 DataLake Framework의 Connected Data Architecture 개념 설계 및 검증

차병래(ByungRae Cha),차윤석,박선(Sun Park),신병춘(Byeong-Chun Shin),김종원(JongWon Kim) 한국스마트미디어학회 2018 스마트미디어저널 Vol.7 No.3

With many types of data generated in the shift of business environment as a result of growth of an organization or enterprise, there is a need to improve the data-processing efficiency in smarter means with a single domain model such as Data Lake. In particular, creating a logical single domain model from physical partitioned multi-site data by the finite resources of nature and shared economy is very important in terms of efficient operation of computing resources. Based on the advantages of the existing Data Lake framework, we define the CDA-Concept (connected data architecture concept) and functions of Data Lake Framework over Abyss Storage for integrating multiple sites in various application domains and managing the data lifecycle. Also, it performs the interface design and validation verification for Interface #2 & #3 of the connected data architecture-concept. 조직과 기업의 비즈니스 시스템의 규모가 커지면서 다양한 대량의 데이터들이 생성되는 비즈니스 환경의 변화와 데이터를 보다 스마트하게 처리하여 효율성을 높일 수 있는 방법으로 DataLake와 같이 단일 도메인 모델이 필요한 상황이다. 특히, 자원의 유한성과 공유 경제에 의한 물리적인 분할된 멀티 사이트의 데이터를 논리적인 단일 도메인 모델을 만드는 것은 컴퓨팅 자원의 효율적 운영 측면에서 매우 중요하다. 기존의 Data Lake 프레임워크의 장점을 기반으로 다양한 응용 영역의 멀티 사이트들을 통합 및 데이터 라이프 사이클을 관리하기 위한 Abyss Storage 기반 DataLake 프레임워크의 Connected Data Architecture 개념 (connected data architecture-concept)과 기능들을 정의하고, Connected Data Architecture 개념을 위한 인터페이스 설계 및 인터페이스(Interface) #2와 #3의 유효성 검증을 수행한다.

Business Intelligence를 지원하는 BigData 기반 Data Lake 개념에 대한 선행 연구

차병래(ByungRae Cha),박선(Sun Park),신병춘(Byeong-Chun Shin),김종원(JongWon Kim) 한국통신학회 2018 한국통신학회 학술대회논문집 Vol.2018 No.1

Abyss Storage Cluster 기반 DataLake Framework의 Connected Data Architecture 개념 설계

차병래(ByungRae Cha),박선(Sun Park),신병춘(Byeong-Chun Shin),김종원(JongWon Kim) 한국정보기술학회 2018 Proceedings of KIIT Conference Vol.2018 No.6

최근 데이터는 기업 운영의 중추적인 역할과 중요성이 높아지고 있으며, 이를 효율적으로 처리할 수 있는 데이터 레이크 (Data Lake)가 점차 주목을 받고 있다. Abyss Storage Cluster 기반 DataLake Framework의 Connected Data Architecture (CDA)는 물리적으로 분할된 다양한 스토리지들을 소프트웨어에 의한 논리적으로 묶을 수 있다는 개념을 수립하며, DataLake와 Cloud Storage, Data Center, 그리고 micro-Storage 등과의 인터페이스별로 유스케이스들을 서술하였다. Recently the data has became a pivotal role and importance of enterprise operations. The data lake that can efficiently process the data is getting attention. The Connected Data Architecture (CDA) of DataLake Framework based on Abyss Storage Cluster establishes the concept that software can logically group various physical storage devices. And we have described use cases for each interfaces between DataLake, Cloud Storage, Data Center, and micro-Storage.

대용량 분산 Abyss 스토리지의 CDA (Connected Data Architecture) 기반 AI 서비스의 설계 및 활용

차병래(ByungRae Cha),박선(Sun Park),서재현 (JaeHyun Seo),김종원(JongWon Kim),신병춘(Byeong-Chun Shin) 한국스마트미디어학회 2021 스마트미디어저널 Vol.10 No.1

4차 산업혁명, Industry 4.0 과 더불어 최근 ICT 분야의 메가트렌드는 빅데이터, IoT, 클라우드 컴퓨팅, 그리고 인공지능이라고 할 수 있다. 따라서, 4차 산업혁명 시대에 알맞은 AI 서비스들의 기술 개발과 다양한 산업 영역에서 ICT 분야의 융합에 따른 BI (Business Intelligence), IA (Intelligent Analytics, BI + AI), AIoT (Artificial Intelligence of Things), AIOPS (Artificial Intelligence for IT Operations), RPA 2.0 (Robotic Process Automation + AI) 등의 세분화된 기술 발전으로 급속한 디지털 전환 (Digital Transformation)이 진행되고 있는 추세이다. 본 연구에서는 이러한 기술적 상황에 따른 대용량 분산 Abyss 스토리지 기반으로 인프라 측면의 GPU, CDA (Connected Data Architecture) 프레임워크, 그리고 AI의 다양한 머신러닝 서비스들을 통합 및 고도화를 목표로 하며, AI 비즈니스의 수익 모델을 다양한 산업 영역에 활용하고자 한다. In addition to the 4th Industrial Revolution and Industry 4.0, the recent megatrends in the ICT field are Big-data, IoT, Cloud Computing, and Artificial Intelligence. Therefore, rapid digital transformation according to the convergence of various industrial areas and ICT fields is an ongoing trend that is due to the development of technology of AI services suitable for the era of the 4th industrial revolution and the development of subdivided technologies such as (Business Intelligence), IA (Intelligent Analytics, BI + AI), AIoT (Artificial Intelligence of Things), AIOPS (Artificial Intelligence for IT Operations), and RPA 2.0 (Robotic Process Automation + AI). This study aims to integrate and advance various machine learning services of infrastructure-side GPU, CDA (Connected Data Architecture) framework, and AI based on mass distributed Abyss storage in accordance with these technical situations. Also, we want to utilize AI business revenue model in various industries.

Abyss 분산 스토리지 기반 DataLake의 DLP 개념 초안 설계

차병래(ByungRrae Cha),박선(SunPark),김종원(JongWon Kim),반성범(SungBum Pan),신병춘(Byeong-Chun Shin) 한국정보기술학회 2019 Proceedings of KIIT Conference Vol.2019 No.6

Distributed Ledger 기반 P2P 거래 플랫폼의 마이크로 서비스의 검색을 지원하기 위한 유효성 검증

차병래(ByungRae Cha),박선(Sun Park),김종원(JongWon Kim),신병춘(Byeong-Chun Shin) 한국정보기술학회 2018 Proceedings of KIIT Conference Vol.2018 No.6

광주광역시의 AI 특화분야를 위한 실용적인 접근 사례 제시

차병래(ByungRae Cha),차윤석(YoonSeok Cha),박선(Sun Park),신병춘(Byeong-Chun Shin),김종원(JongWon Kim) 한국스마트미디어학회 2021 스마트미디어저널 Vol.10 No.1

광주광역시의 3대 주력산업인 자동차 산업, 에너지 산업, 그리고 AI/헬스케어 산업 등에 응용 가능한 AI 활용 사례로 준지도 학습, 전이 학습, 그리고 연합 학습의 머신러닝을 적용하며, 더불어 주력산업을 위한 AI 서비스를 위한 ML 전략을 정립하였다. AI 서비스의 ML 전략을 기반으로 실용적 접근 사례들을 제시하고자 하며, 준지도 학습의 접근 사례는 자동차 영상 인식 기술에 활용하며, 전이 학습의 접근 사례는 헬스케어 분야의 당뇨병성 망막병증 검출에 활용하고자 하며, 마지막으로 연합 학습의 접근 사례는 전력 수요 예측에 활용하고자 한다. 이러한 접근 사례들을 싱글보드 Raspberry Pi, Jaetson Nano, Intel i-7 등의 하드웨어를 기반으로 성능 테스트를 진행함과 동시에 실용적인 접근 사례들의 유효성을 검증하였다. We applied machine learning of semi-supervised learning, transfer learning, and federated learning as examples of AI use cases that can be applied to the three major industries(Automobile industry, Energy industry, and AI/Healthcare industry) of Gwangju Metro-city, and established an ML strategy for AI services for the major industries. Based on the ML strategy of AI service, practical approaches are suggested, the semi-supervised learning approach is used for automobile image recognition technology, and the transfer learning approach is used for diabetic retinopathy detection in the healthcare field. Finally, the case of the federated learning approach is to be used to predict electricity demand. These approaches were tested based on hardware such as single board computer Raspberry Pi, Jaetson Nano, and Intel i-7, and the validity of practical approaches was verified.

LBS 서비스를 제공하는 전주를 이용한 전기차 충전 플랫폼의 설계 제안

차병래(ByungRae Cha),최근영(GeunYoung Choi),김남호(NamHo Kim),이성호(SeongHo Lee),박선(Sun Park),신병춘(Byeong-Chun Shin),김종원(JongWon Kim) 한국스마트미디어학회 2020 스마트미디어저널 Vol.9 No.1

As the demand of electric vehicles has been increased recently, their related industries are developing. In particular, the market of electric vehicles charging infrastructure is expanding rapidly and users have much demand in convenience of electric vehicles charging site. Because an charging site using electric pole of KEPCO can make use of that installed nearby public parking lots, there are many commercial construction and convenient facilities near around it. In this situation, users can do shopping or their personal business during charging. In this paper, we proposed the design of charging platform for electric vehicles to support LBS for users to do shopping or personal business conveniently. 최근 들어 전기차에 대한 수요 및 공급이 증가함에 따라, 전기차와 관련된 산업이 발전하고 있다. 특히, 전기차 충전 인프라에 대한 시장이 급격히 확대되고 있으며, 전기차 충전소 편의성에 대한 사용자 요구가 늘어나고 있다. 한전의 전주를 이용한 충전소는 전국 공용주차장 인근에 설치된 전주를 활용할 수 있기에 충전소 근처 가까이에 상업시설과 편의시설들이 많다. 그러한 상황에서, 전기차를 충전하는 동안 사용자는 쇼핑이나 각종 업무를 볼 수 있다. 본 논문에서는 전주를 이용한 충전소에서 사용자가 편리하게 쇼핑이나 업무를 볼 수 있도록 위치기반 서비스를 제공하는 전기차 충전 플랫폼의 설계를 제안하였다.

오픈소스 Prometheus 모니터링 시스템의 사전연구

안성열(Seong Yeol An),차윤석(Yoon Seok Cha),전은진(Eun Jin Jeon),권귀영(Gwi Yeong Gwon),신병춘(Byeong Chun Shin),차병래(Byeong Rae Cha) 한국스마트미디어학회 2021 스마트미디어저널 Vol.10 No.2

4차 산업혁명의 핵심 성장 동력인 사물인터넷 (IoT) 기술은 자율 형으로 상호 소통하며 공간과 상황에 따른 데이터를 복합처리 할 수 있는 단계로 성장하였다. 이에 따라 IT 인프라 구조는 점점 복잡해지고 시스템을 안정적으로 유지하기 위한 모니터링 분야의 중요도가 높아지고 있다. 모니터링 기술은 과거에도 사용되었지만, 빠르게 변하는 ICT 기술에 대응할 수 있는 유연한 모니터링 시스템을 모색할 필요성이 있다. 본 논문은 오픈소스 기반 Prometheus 모니터링 시스템을 설계하고 테스트 하는 연구를 진행한다. IoT 디바이스를 기반으로 간단한 인프라를 구축하고 Exporter를 통해 디바이스에 대한 데이터를 수집한다. Prometheus는 데이터를 Pull 기반으로 수집한 뒤 Grafana를 사용하여 하나의 대시보드에 통합하고 데이터를 시각화함으로써 디바이스에 대한 정보를 모니터링 할 수 있다. The Internet of Things (IoT) technology, a key growth engine of the 4th industrial revolution, has grown to a stage where it can autonomously communicate with each other and process data according to space and circumstances. Accordingly, the IT infrastructure becomes increasingly complex and the importance of the monitoring field for maintaining the system stably is increasing. Monitoring technology has been used in the past, but there is a need to find a flexible monitoring system that can respond to the rapidly changing ICT technology. This paper conducts research on designing and testing an open source-based Prometheus monitoring system. We builds a simple infrastructure based on IoT devices and collects data about devices through the Exporter. Prometheus collects data based on pull and then integrates into one dashboard using Grafana and visualizes data to monitor device information.