머신러닝을 이용한 빅데이터 도메인 자동 판별에 관한 연구

공성원,황덕열 사)한국빅데이터학회 2018 한국빅데이터학회 학회지 Vol.3 No.2

본 연구는 빅데이터 품질 진단의 핵심 요소인 도메인 기반 품질 진단을 위한 도메인 자동 판별에 관한 연구다. 빅데이터의 가치와 활용도의 증가와 4차 산업혁명의 대두로, 법률, 의료, 금융 등 IT와 융합된 다양한 분야에서 빅데이터를 활용하여 새로운 가치를 창출하려는 노력을 진행중이다. 하지만, 신뢰도가 낮은 데이터에 기반한 분석은 과정과 결과 모두에서 치명적인 문제를 발생하며, 분석 결과에 따른 판단 또한 신뢰하기 어려워 진다. 이처럼 신뢰도가 높은 데이터의 필요성 또한 증가하였지만, 데이터의 품질 확보에 대한 연구와 그에 대한 결과는 미비하다. 본 연구는 데이터 품질 향상을 위한 진단 평가의 핵심적 요소인 도메인 기반 품질 진단에서, 수작업으로 진행되었던 도메인 판별 작업을 머신러닝을 이용하여 자동화 함으로써, 작업시간을 단축하는 것을 목표로 한다. 데이터 베이스에 저장된, 도메인이 판별되어 있는 데이터의 특성에 관한 정보들을 추출하여 변수화하고, 이를 머신러닝을 이용하여 도메인 판별을 자동화 한다. 이를 빅데이터 품질 진단에 활용하고, 품질 향상에 기여하도록 한다.

엔지니어링 서비스 지원을 위한 클라우드 기반 빅데이터 플랫폼 개발 연구

서동우,김명일,박상진,김재성,정석찬 사)한국빅데이터학회 2019 한국빅데이터학회 학회지 Vol.4 No.1

본 연구는 엔지니어링 분야에서 생성되는 대용량의 빅데이터를 효율적으로 저장, 관리, 분석하는 클라우드 기반 빅데이터 플랫폼을 제안하고자 한다. 클라우드 기반 빅데이터 플랫폼은 HPC 클라우드 환경, 엔지니어링 빅데이터 분석 플랫폼, 데이터 수집 및 처리 모듈, 인공지능 기반 분석 라이브러리, 응용서비스로 구성된다. 이를 통해 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능하다. 마지막으로 응용서비스에서는 빅데이터 플랫폼 적용 사례를 제시하기 위해 하수처리플랜트 데이터를 이용하여 서비스를 구현하였다.

수산과학 빅데이터 플랫폼 구축과 메타 데이터 관리방안

김재성,최영진,황재동,조완섭 사)한국빅데이터학회 2019 한국빅데이터학회 학회지 Vol.4 No.2

본 논문에서는 수산과학 R&D 정보의 빅데이터 플랫폼 구축과 메타 데이터 관리기법에 관해 소개한다. 빅데이터 플랫폼에서는 다양한 유형의 수산과학 R&D 정보를 수집하여 통합 연계하고, 이를 데이터 레이크 형태로 구축하는 방안을 제시한다. 수산과학 분야에서 수집, 축적되고 있는 기존의 데이터와 함께 위성영상 데이터, 연구보고서 등 비정형 빅데이터까지 수집하여 다양한 분석을 지원하는 빅데이터 플랫폼의 구축 방안을 제시한다. 다음으로 데이터 추출과 전처리 및 저장 과정에서 메타 데이터를 수집하고 관리함으로써 수산과학 빅데이터의 체계적인 관리가 가능하도록 한다. 빅데이터 플랫폼 구축과 함께 메타 데이터를 표준양식으로 구축함으로써 데이터의 수집, 저장, 활용 및 유통 등 데이터 수명주기 전반에 걸쳐 체계적이고도 지속적인 빅데이터 관리 방안을 제시하는데 의의가 있다.

스마트 물관리를 위한 빅데이터 거버넌스 모델

최영환,조완섭,이경희 사)한국빅데이터학회 2018 한국빅데이터학회 학회지 Vol.3 No.2

스마트 물관리 분야에서도 빅데이터 분석을 통해 경쟁력을 강화하려는 요구가 급증하면서 빅데이터에 대한 체계적인 관리(거버넌스)가 중요한 이슈로 부각되고 있다. 빅데이터 거버넌스는 데이터의 품질보장, 프라이버시 보호, 데이터 수명관리, 데이터 전담조직을 통한 데이터 소유 및 관리권의 명확화 등의 데이터 관리를 평가하고(Evaluation), 지시하며(Direction), 모니터링(Monitoring) 하는 체계적인 관리활동을 의미한다. 빅데이터 거버넌스가 확립되지 못하면 중요한 의사결정에 품질이 낮은 데이터를 사용함으로써 심각한 문제를 야기할 수 있으며, 개인 프라이버시 관련 데이터로 인해 빅브라더의 우려가 현실화될 수 있고, 폭증하는 데이터의 수명관리 소홀로 인해 IT 비용이 급증하기도 한다. 이러한 기술적인 문제가 완비되더라도 데이터 관련 문제를 전담하고 책임지는 조직과 인력이 없다면 빅데이터 효과는 지속되지 못할 것이다. 본 연구에서는 빅데이터 기반의 스마트 물관리를 위한 데이터 거버넌스 구축모델을 제시하고, 실제 물관리 업무에 적용한 사례를 소개한다.

효과적인 사이버공간 작전수행을 위한 빅데이터 거버넌스 모델

장원구,이경호 사)한국빅데이터학회 2019 한국빅데이터학회 학회지 Vol.4 No.1

초연결, 초지능을 특징으로 하는 4차 산업혁명이 태동하면서 사이버 물리 시스템이 눈앞에 다가온 가운데 사이버공간에서는 인간 생활에 대한 활동기록과 컴퓨터, 정보통신기기 뿐만아니라 사물인터넷과의 통신기록까지 막대한 양의 데이터가 매일 쏟아지고 있다. 3Vs로 대변되는 빅데이터는 국방분야에서도 적극적으로 활용되고 있는데 본 논문에서는 사이버공간에서의 군사작전을 효과적으로 수행될 수 있도록 하기 위한 빅데이터 거버넌스 모델을 제안하였다. 우리의 사이버공간 작전 임무를 구분하고 사이버공간에서 수집될 수 있는 빅데이터 유형을 분류한 후 빅데이터 거버넌스 이슈와 통합하여 빅데이터 거버넌스 프레임워크 모델을 구축하였다. 구축된 모델은 사례를 통하여 그 효용성을 증명하였으며 이를 통하여 국방분야에서 추진되는 빅데이터 활용방안에 기여한다.

모빌리티 빅데이터 가상결합 분석방법론 연구

조범철,권기훈,안덕배 사)한국빅데이터학회 2022 한국빅데이터학회 학회지 Vol.7 No.2

코로나19 팬데믹에 따른 경제사회 환경 변화와 빅데이터 기술의 발달로 교통분석에 대한 요구가 다양화되고 있다. 특히 데이터 3법 개정에 따라 이종 데이터 간 가명정보 결합이 가능해져 다각적인 분석이 가능해졌다. 그러나 개인정보보호 강화로 모빌리티 빅데이터의 결합분석에는 데이터 협력, 비용대비 효과 등에 한계가 있어 새로운 분석방법론이 필요하다. 본 연구에서 제시하는 “모빌리티 빅데이터 가상결합 방법론”은 법제상의 제약 해소 및 다각적인 교통분석을 위한 것으로, 모바일 통신 기지국 데이터, 교통카드 데이터 등 다양한모빌리티 관련 빅데이터를 간접적으로 결합하여 상세 분석을 수행하기 위한 방법론이다. 가상결합은 모바일데이터를 바탕으로 특정 인원의 시간대별 위치를 파악할 수 있는 MCGM(Mobility Comprehensive Genetic Map)을 생성하여 패턴을 분석하고, 이를 교통카드데이터 등 교통관련 빅데이터와 결합시켜 분석하는 방법론으로 본 연구에서는 청주, 수도권 대상으로 가상결합 분석을 수행하여 활용가능성을 검증하였다.

그래프 구조를 갖는 서지 빅데이터의 효율적인 온라인 탐색 및 분석을 지원하는 그래픽 인터페이스 개발

유영석,박범준,조선화,이수안,김진호 사)한국빅데이터학회 2020 한국빅데이터학회 학회지 Vol.5 No.1

최근 다양한 실세계의 복잡한 관계를 그래프의 형태로 구성하고 분석하는 다양한 연구들이 진행되고 있다. 특히 DBLP와 같은 컴퓨터 분야 문헌 데이터 시스템은 논문의 저자, 그리고 논문과 논문들이 서로 인용 관계로 표현되는 대표적인 그래프 데이터이다. 그래프 데이터는 저장 구조 및 표현이 매우 복잡하므로, 문헌 빅데이터의 검색과 분석, 그리고 시각화는 매우 어려운 작업이다. 본 논문에서는 문헌 빅데이터를 그래프의 형태로 시각화한 그래픽 사용자 인터페이스 도구, 즉 EEUM을 개발하였다. EEUM은 그래프 데이터를 시각적으로 표시하여 연결된 그래프 구조에 따라 문헌 데이터를 브라우징 하는 기능을 제공하며, 문헌 빅데이터에 대한 검색 및 관리, 분석이 가능하도록 구현하였다. 또한 EEUM을 DBLP가 제공하는 문헌 그래프 빅데이터에 적용하여 편리하게 검색, 탐색 및 분석하는 할 수 있음을 시연한다. EEUM을 이용하여 모든 연구 분야에서 영향력 있는 저자나 논문을 쉽게 찾을 수 있으며, 여러 저자와 논문 사이의 모든 관계를한 눈에 볼 수 있는 등 복잡한 문헌 그래프 빅데이터의 검색 및 분석 도구로 편리하게 사용할 수 있다.

스마트시티 IoT 품질 지표 개발 및 우선순위 도출

양현모 ( Hyun-mo Yang ),한규보 ( Kyu-Bo Han ),이정훈 ( Jung Hoon Lee ) (사)한국빅데이터학회 2021 한국빅데이터학회 학회지 Vol.6 No.1

‘빅데이터’는 ‘21세기 원유’로 비유될 만큼 그 중요성이 증대되고 있다. 스마트시티에서 생성 및 수집되는 IoT 데이터의 경우 데이터의 품질이 공공서비스의 품질과 연관되므로 품질관리에 주의를 기울여야 한다. 그러나 ISO/IEC 기관 및 국내/외 여러 기관을 통해 제시된 데이터 품질 지표는 ‘사용자’ 중심에 한정되어 있다는 한계점을 지닌다. 본 연구는 이러한 한계점을 보완하기 위해 공급자 중심의 지표와 그 우선순위를 도출하였다. 공급자 중심의 스마트시티 IoT 데이터 품질 평가지표 3개의 카테고리와 13개의 지표를 도출한 후 AHP 분석을 통하여 지표 카테고리와 데이터 품질 지표의 우선순위를 도출하였고 각 지표의 타당성을 조사하였다. 해당 연구를 통해 센서 데이터를 수집하고 취합하여 전달하는 직무를 수행하는 개인 혹은 기업에게 데이터가 지녀야 하는 기본적인 요건을 제시함으로써 센서 데이터 품질 향상에 기여할 수 있다. 또한 지표 우선순위를 기반으로 데이터 품질관리를 수행하여 품질관리 업무 효율의 향상을 제공할 수 있다. The importance of ‘Big Data’ is increasing to the point that it is likened to ‘21st century crude oil’. For smart city IoT data, attention should be paid to quality control as the quality of data is associated with the quality of public services. However, data quality indicators presented through ISO/IEC organizations and domestic/foreign organizations are limited to the ‘User’ perspective. To complement these limitations, the study derives supplier-centric indicators and their priorities. After deriving 3 categories and 13 indicators of supplier-oriented smart city IoT data quality evaluation indicators, we derived the priority of indicator categories and data quality indicators through AHP analysis and investigated the feasibility of each indicator. The study can contribute to improving sensor data quality by presenting the basic requirements that data should have to individuals or companies performing the task. Furthermore, data quality control can be performed based on indicator priorities to provide improvements in quality control task efficiency.

이동통신 데이터를 활용한 빅데이터 기반 역학조사지원 시스템

이민우 ( Min-woo Lee ),김예지 ( Ye-ji Kim ),이재진 ( Jae-jin Yi ),문규환 ( Kyu-hwan Moon ),황선배 ( Seonbae Hwang ),전용주 ( Yong-joo Jun ),함유근 ( Yu-kun Hahm ) (사)한국빅데이터학회 2020 한국빅데이터학회 학회지 Vol.5 No.2

WHO는 3월 11일을 기준으로 COVID-19를 유행병으로 선포하였다. 국내에서는 27,000명의 확진자가 발생하였으며, 전세계적으로는 5,000만명이 넘는 확진자가 발생하였다. 이처럼 COVID-19으로 인한 감염이 확산되면서 역학조사의 중요성이 다시 한 번 대두되고 있는 상황이다. 하지만 지난 대구 경북 사례를 시작으로 다수의 확진자가 발생하였고, 현재 역학조사 방식에 한계가 있음을 인지하였다. 이에 질병관리본부는 스마트시티 데이터허브 기술을 활용한 역학조사 지원시스템을 개발하여 역학조사에 활용하였다. 본 논문에서 제안하는 시스템은 역학조사 지원시스템의 일부로 대용량의 이동통신사 데이터를 처리하기 위한 빅데이터 기반 역학조사 지원 시스템이다. 본 시스템을 통해 기존에는 어려웠던 이동통신사 데이터의 이상치 처리나 2명 이상의 접촉자가 발생한 핫스팟 지역 생성 등의 처리가 가능해졌다. 그 결과, 이상치 처리는 요청 건당 30초, 핫스팟의 경우 평균 10분 이내에 처리할 수 있게 되었다. 본 연구는 빅데이터 시스템을 역학조사에 접목하고 역학조사를 지원한 첫 사례로써, 빅데이터 시스템의 역학조사에 대한 실용적 활용 가능성을 제시하고 있다. The World Health Organization declared COVID-19 a pandemic on March 11. South Korea recorded 27,000 cases of the coronavirus illness, and more than 50 million coronavirus cases were confirmed all over the world. An epidemiological investigation becomes important once again due to the spread of COVID-19 infections. However, there were a number of confirmed coronavirus cases from Deagu and Gyeongbuk. Limitations of the epidemiological investigation methods were recognized. The Korea Disease Control and Prevention Agency developed the Epidemiological Investigation Support System(EISS) to utilize the smart city data hub technology and utilized the system in the epidemiological investigation. As a part of EISS, The proposed system is big-data bsed epidemiological investigation support system processing mobile network data. The established system is the epidemiological investigation support system based on big data to process mobile carriers’ big data. Processing abnormal values of mobile carriers’ data which was impossible with existing staff or creating hotspot regions where more than two people were in contact with an infected person were realized. As a result, our system processes outlier of mobile network data in 30 seconds, while processes hotspot around in 10 minutes. as a first time to adapt and support bigdata system into epidemiological investigation, our system proposes the practical utilizability of big-data system into epidemiological investigation.

인공지능 모델에 따른 한국 프로야구의 승패 예측 분석에 관한 연구

김태훈 ( Tae-hun Kim ),임성원 ( Seong-won Lim ),고진광 ( Jin-gwang Koh ),이재학 ( Jae-hak Lee ) (사)한국빅데이터학회 2020 한국빅데이터학회 학회지 Vol.5 No.2

본 연구에서는 인공지능 모델에 따른 한국 프로야구의 승패 예측 분석에 관한 연구를 했다. 승리할 팀과 해당 팀의 최종 리그 순위를 예측했고, 사용자의 편의를 위해 웹사이트도 구축했다. 각 1·3·5이닝 별로 가장 정확도가 높으면서도 오차가 적은 모델을 최적 모델로 선정해 승·패 결과를 예측했고, 이를 토대로 순위표를 작성했다. 결과표는 2020년 개막인 5월 5일부터 8월 30일까지의 예측 결과를 바탕으로 작성했다. 기아타이거즈가 아닌 다른 구단끼리의 경기는 실제 결과를 사용했다. 머신러닝 모델은 KNN과 AdaBoost가 최적 모델로 선정되었으며, 실제 순위와 비교해 본 결과, 경기가 진행될수록, 예측 결과의 순위 오차가 점점 작아지는 것을 확인했다. 딥러닝 모델은 89%의 정확도를 기록했고, 머신러닝 모델과 마찬가지로 경기를 진행할수록 예측 결과 순위 오차가 작아지는 것을 확인했다. 실험 결과는 한국 프로야구 승·패 결과 예측뿐 아니라 다양한 분야에서 사용할 수 있을 것으로 사료된다. 방송국에서 야구 경기를 중계하는 중 이닝별로 인공지능 알고리즘이 예상한 승·패 여부를 중계화면에 띄울 수 있다. 시청자들에게 새로운 흥미를 일으킬 수 있을 것이고, 나아가 구단의 감독들이 이닝마다 데이터를 분석해 경기 중 유동적으로 승리하기 위한 전략을 세울 수 있을 것으로 기대된다. In this study, we conducted a study on the win-loss predicton analysis of korean professional baseball by artificial intelligence models. Based on the model, we predicted the winner as well as each team’s final rank in the league. Additionally, we developed a website for viewers’ understanding. In each game’s first, third, and fifth inning, we analyze to select the best model that performs the highest accuracy and minimizes errors. Based on the result, we generate the rankings. We used the predicted data started from May 5, the season’s opening day, to August 30, 2020 to generate the rankings. In the games which Kia Tigers did not play, however, we used actual games’ results in the data. KNN and AdaBoost selected the most optimized machine learning model. As a result, we observe a decreasing trend of the predicted results’ ranking error as the season progresses. The deep learning model recorded 89% of the model accuracy. It provides the same result of decreasing ranking error trends of the predicted results that we observe in the machine learning model. We estimate that this study’s result applies to future KBO predictions as well as other fields. We expect broadcasting enhancements by posting the predicted winning percentage per inning which is generated by AI algorism. We expect this will bring new interest to the KBO fans. Furthermore, the prediction generated at each inning would provide insights to teams so that they can analyze data and come up with successful strategies.