우리나라 공공데이터의 소재정보

김기환,이창호,최보승 한국데이터정보과학회 2019 한국데이터정보과학회지 Vol.30 No.5

As the fourth industrial revolution becomes a major issue, interest in big data is growing. Big data refers to the technology for analyzing and utilizing countless numbers of data, and public data segments close to the real world account for their utilization. In Korea, data are widely generated in the public data sector as government 3.0 policy, starting with e-government. However, the sites that provide the data are not organized and the data being delivered different from site to site, requiring a lot of information to access them. Therefore, the present status of big data and administrative data existing in the country is classified according to the institutions, contents, utilization, and disclosure levels in order to better understanding the general outline of public data providing sites. As an information on material resources of the public data is summarized, basic knowledge on the presence, content, and utilization of big data and administrative data across a country were developed and statistical utilization status, methods, values, and limit development was developed. 4차 산업 혁명이 주요 이슈로 떠오르면서 빅데이터에 대한 관심도 커지고 있다. 빅데이터는 무수히 많은 데이터를 분석하여 활용하는 기술을 의미하며, 활용 측면에서 실생활에 밀접한 공공데이터 부문이 많은 비중을 차지하고 있다. 우리나라의 경우 전자정부를 시작으로 정부 3.0을 실시하면서 공공데이터 부문에서 데이터가 광범위하게 생성되고 있다. 하지만 데이터를 제공하는 사이트가 정리되어 있지 않으며, 데이터의 제공형태도 각 사이트마다 상이하여 데이터 이용에 많은 정보를 필요로 하고 있다. 이에 본 논문에서는 국가에 존재하는 빅데이터와 행정자료의 현황을 기관, 내용, 활용 및 공개 정도 등으로 분류하여 전체 윤곽을 파악하고 이해할 수 있도록 내용을 정리하였다. 공공데이터의 소재 정보를 정리함으로써 국가전반의 빅데이터와 행정자료의 존재현황과 내용 및 활용도에 대한 기본지식을 배양하고, 통계적 활용 현황, 방법, 가치와 한계, 발전방향에 관한 소양을 쌓을 수 있게 하고자 한다.

SEC 프로세스를 통한 이종 산업 간 데이터 결합 문제 해결

정수민,오현진,정은혜,조수현 한국데이터정보과학회 2024 한국데이터정보과학회지 Vol.35 No.5

개인화 서비스의 중요도가 높아짐에 따라 다양한 산업 간 데이터 결합이 활성화되고 있다. 그러나 기존 데이터 결합 방식은 민감한 정보를 포함한 데이터를 직접 주고 받기 때문에 개인정보 유출 가능성이 높다는 문제점을 가지고 있다. 이에 본 연구에서는 성별 또는 연령과 같은 최소한의 고유정보를 활용해 데이터를 결합하는 방식을 제안한다. 데이터 보안을 강화하기 위해 연합 학습 (Federated learning)과 분할 학습 (Split learning)을 차용하여 모델을 학습시켰으며, 그 결과 SEC 프로세스를 통해 데이터를 결합한 경우, 결합 전 단일일 데이터에 비해 더욱 향상된 예측 성능을 보였다. 이처럼 SEC 프로세스를 통해 최소한의 고유정보를 사용한 데이터 결합은 개인정보를 침해를 예방하여 프라이버시 보호를 강화한다는 점에서 기존 데이터 결합 방식의 문제 개선과 더불어, 더욱 향상된 예측을 통해 다양한 서비스에 적용할 수 있을 것으로 기대된다. As the importance of personalized services increases, data combination across different industries is becoming more active. However, existing data combining methods have the problem of high possibility of personal information leakage because of the direct exchange of data containing sensitive information. So in this study, we suggest a data combination method using minimal unique information such as gender and age. We used Federated Learning and Split Learning to enhance data security when training the model. As a result, combining data through the SEC process showed improved prediction performance compared to raw data. Data combination using minimal unique information through the SEC process enhances privacy protection by preventing infringement of personal information. So we expect this method can not only improving problems with existing data combination methods, but also be applied to various services through improved predictions.

심층 생성 모형을 이용한 재현 데이터 생성 방법론 리뷰 및 향후 연구 제언

김지우,권성훈,김동하 한국데이터정보과학회 2023 한국데이터정보과학회지 Vol.34 No.5

최근 데이터 통합 등을 통해 만들어진 거대 데이터에서 유용한 정보를 추출하고, 이를 통해 서비스를 정교화하기 위하여 많은 개인 및 기관에서 거대한 공공데이터에 대한 접근을 요구하고 있다. 하지만 이러한 거대 데이터 분석은 예기치 못한 개인정보노출이 발생할 수도 있기 때문에 공공데이터의 배포는 매우 조심스럽게 이루어져야 한다. 재현 데이터는 개인정보 비식별화와 데이터의 유용성 확보를 동시에 달성하기 위하여 사용하는 대표적인 기법 중 하나이다. 심층 인공 신경망 기반 방법론이 이미지 등의 고차원 관측 데이터 생성에 매우 높은 성능을 달성할 수 있음이 밝혀지면서 이를 재현 데이터에 활용하려는 연구가 활발하게 진행되고 있다. 본 논문에서는 심층 인공 신경망을 이용해 재현 데이터 생성을 하려는 다양한 기법들에 대해 소개하며, 이들을 데이터 전처리, 사용하는 모형, 손실 함수에 따라 정리한다. 또한, 각 연구에서 사용하고 있는 재현 데이터 생성 기법들의 성능을 측정하는 다양한 평가 측도들에 대해서도 소개한다. 마지막으로 기존 논문 리뷰를 바탕으로 향후 의미있는 연구 방향에 대해서도 기술한다. 심층 생성 모형 학습법과 재현 데이터의 근본적인 차이를 심도 있게 분석하여 현실적이면서도 구체적인 연구 주제를 제시한다는 점에서 앞으로의 연구자들에게 실제적인 도움을 줄 수 있을 것이라 기대한다. Recently, many individuals and organizations have been demanding access to big public data to extract meaningful information from them and thus be able to elaborate their services. However, as it can also lead to unexpected privacy leakage, the distribution should be treated carefully. Synthetic data generation is a popular technique for simultaneously de-identifying privacy and data usability. Deep learning-based generative models have been shown to achieve high performance in generating high-dimensional data such as images, so there is an increasing number of approaches to apply deep learning methods to synthetic data generation. In this paper, we review various synthesizing techniques using deep neural networks, organizing regard to their pre-processing, architectures, and objective functions. We also deal with widely used measures to evaluate their corresponding synthesized data in two views: usability and identification degree. Finally, we suggest interesting and promising future works in this field based on in-depth analysis of deep learning-based generative models and data synthesis. We hope that our suggestions will provide practical help to future researchers.

빅데이터 기반 전력계통 배전설비 고장예측시스템 구축 및 최적 투자비 산출을 위한 선행활동 수행에 관한 연구

임청원(Chung-won Lim),한상국(Sang-kook Han) 한국데이터정보과학회 2018 한국데이터정보과학회지 Vol.29 No.3

최근 들어 신뢰성분석을 이용한 시설물의 유지보수를 수행하는 RCM이 모든 산업분야에서 활발히 진행되고 있으며, 특히 빅데이터 처리기술이 발전함에 따라 산업전반에 걸쳐 빅데이터를 이용한 서비스가 활성화되고 있다. 배전설비에 있어서도 RCM 및 빅데이터 기술을 적용한 관리를 시도하고 있으나 대부분의 배전설비에 대한 RCM은 열화에 의한 고장정보만을 고려하고 있다. 그러나 같은 종류의 장치라고 하더라도 사용환경이나 사용정도에 따라 고장정도는 많은 차이가 존재한다. 따라서 환경적인 요인을 고려한 RCM (reliability centered maintenance; 설비의 각 부품 단위별로 고장 해석 및 성향분석을 통해 부품의 교체시기를 사전에 판명, 교체함으로써 설비 보전비율의 극소화와 생산성 극대화를 추구하는 설비 보전 방식의 하나)을 수행하여야 최적의 유지보수 정책이 수립될 수 있다. 그러나 현재 국내 배전설비 유지보수에 빅데이터 기술을 적용하거나 RCM을 수행하기 위해서는 유지보수 및 고장 데이터 관리, 환경요인의 데이터화 등 우선적으로 해결되어야 할 사항들이 많다. 본 연구에서는 빅데이터를 이용한 최적의 배전설비 관리를 위해 선행되어야 할 사항들을 정리하고, 문제를 해결할 수 있는 방안을 연구함으로써 배전설비관리에 빅데이터 기술 및 RCM 기술을 적용한 최적의 관리 시스템을 구축할 수 있는 방안을 제시하고자 한다. Nowadays, RCM(Reliability Centered Maintenance), which means performing maintenance based on Reliability Analysis, is broadly applied to all over the industries. We also have seen an active utilization of big data in industries especially as advancements in big data processing technology is made. RCM and big data are also applicable to managing distribution facilities but are limited to fault resulted from deterioration only. However, as usage environment or usage level can cause different faults even from the same type of facilities, RCM must be performed in consideration of environmental factors to establish optimal maintenance plan. Currently, in case of domestic distribution facilities in Korea, there are issues to be resolved before applying RCM or big data such as maintenance and fault data system management, track record of environmental factors or more. This research studies the issues that must be settled in advance and the solutions to develop optimal distribution facility management system based on big data and RCM.

날씨와 인기도를 고려한 경북 관광지 추천 알고리즘 개발에 관한 연구

서윤암,김희수,윤상후 한국데이터정보과학회 2022 한국데이터정보과학회지 Vol.33 No.5

The weather has a lot of influence on itinerary decisions. The combination of weather and tourism data can create new values. This study proposes a recommendation algorithm for tourist attractions in North Gyeongsang Province considering the Korean-style tourism climate index and the popularity of tourist attractions according to weather conditions. First, the popularity of tourist attractions was obtained by using the number of reviews, ratings, and blogs provided by Naver. In addition, we obtain optimized popularity scores compared to the number of monthly tourist searches provided by Korea Datalab. Afterward, thermal comfort, wind speed, precipitation, and sunshine hours of tourist attractions are used to generate tourist climate indices. The weather information of tourist attractions was used to predict the weather conditions of the Korea Meteorological Administration's weather station and the latitude and longitude of tourist attractions using the kriging technique. Calculating the Korean-style Tourism Climate Index (KTCI) of tourist attractions through the predicted weather information can quantitatively evaluate the impact of weather conditions on tourism. A tourist recommendation algorithm was developed to reflect the KTCI score in the popularity of the finally optimized tourist attractions in Gyeongbuk. As a result of this study, there is a difference between sunny and cloudy days, but it does not have a significant impact on tourist recommendations and is similar to the ranking considering only popularity. On rainy days, recommendations focused on indoor tourist attractions with less outdoor exposure were prioritized. 날씨는 여행 일정 결정에 많은 영향을 미친다. 날씨와 관광의 데이터 결합은 새로운 가치를 만들어 낼 수 있다. 본 연구는 기상조건에 따른 한국형 관광기후지수와 관광지 인기도를 고려한 경상북도 관광지 추천알고리즘을 제안한다. 먼저 네이버에서 제공하는 관광지별 리뷰 수, 평점, 블로그 수를 이용해 관광지 인기도를 구하였다. 또한, 한국관광 데이터랩에서 제공하는 월별 관광지 검색 건수와 비교하여 최적화된 인기도 점수를 구하였다. 이후 관광지의 관광기후지수를 생성하기 위해 관광지의 열적쾌적성, 풍속, 강수, 일조시간을 이용한다. 관광지의 기상정보는 크리깅 기법을 이용해 기상청의 기상관측소 날씨 데이터와 관광지의 위·경도를 이용하여 관광지의 날씨를 예측하였다. 예측된 기상정보를 통해 관광지의 한국형 관광기후지수 (Korean tourism climate index, KTCI)를 계산하면 관광지의 기상조건이 관광에 미치는 영향을 정량적으로 평가할 수 있다. 최종적으로 최적화한 경상북도 지역 관광지의 인기도에 KTCI 점수를 반영하여 관광지 추천 알고리즘을 개발하였다. 본 연구 결과, 관광지 추천에 있어 맑은 날과 흐린 날은 차이는 있으나 관광지 추천에 큰 영향을 미치지 않으며 인기도만 고려한 순위와 비슷하였다. 비가 내리는 날은 야외 노출 정도가 적은 실내 관광지 위주의 추천이 우선되었다.

기계학습 기반의 대공장비 수리부속 수요예측모형 연구

김재동(Jaedong Kim),이한준(Hanjun Lee) 한국데이터정보과학회 2019 한국데이터정보과학회지 Vol.30 No.3

장비의 수리부속 수요예측은 국방 예산집행 효율성에 상당한 영향을 미치는 군수 분야의 매우 중요한 과제 중 하나이다. 이에 우리 군에서는 장비 정비 과정에서 발생하는 관련 데이터를 정보체계에 축적하여 수요예측에 활용하고 있다. 지금까지의 연구에서는 시계열기법을 활용한 수리부속 수요예측이 주류를 이루었으나 예측 정확도가 낮아 개선이 요구되고 있다. 이에 본 연구에서는 우선 육군 장비정비정보체계에서 17,451,247개의 정형 및 비정형 항목을 포함하는 특정 대공장비 정비 데이터를 수집하였다. 최근 빅데이터 분석과 함께 주목받고 있는 데이터 마이닝 및 텍스트 마이닝 기법을 활용하여 수리부속 수요예측 모형을 제안하였다. 제안된 모형은 기존의 시계열기법에 비해 향상된 예측정확도를 보임을 확인하였다. Spare parts demand forecasting is one of the most critical tasks in logistics, because it considerably affects the efficiency of defense budget execution. Although time series methods have been the most common approach in prior studies, there is still room for improvement in terms of the prediction accuracy. In this study, we gathered 17,451,247 component consumption data including structured and unstructured data from the Defense Logistics Integrated Information System. Using the data, we propose demand forecasting models based on data mining and text mining methods. The results show that our approach can improve the prediction performance compared to that of existing approaches.

환경 데이터를 활용한 온실형 스마트팜에서 센서 이상 탐지 시스템

이철원(Cheol Won Lee),안수용(Su-Yong An),김재영(Jae-Young Kim),안형태(Hyeongtae Ahn) 한국데이터정보과학회 2021 한국데이터정보과학회지 Vol.32 No.6

최근 4차 산업혁명이 시작되면서, 농업 분야에서도 기존의 정보통신기술에 빅데이터, 인공지능, 사물인터넷 등 첨단기술이 융합된 온실형 스마트팜의 보급이 확산하고 있다. 온실형 스마트팜은 센서를 활용하여 현재 온실 환경을 측정하고, 이를 기반으로 필요한 온실 제어를 파악하여, 구동기를 통해서 환경제어를 실행시킨다. 하지만 센서에서 측정 오류가 발생한다면, 잘못된 환경제어를 유발해 작물 생장을 저해시킨다. 따라서 온실형 스마트팜에서 센서 측정값에 대한 신뢰성 확보는 필수이므로, 센서 측정값에 이상이 발생하면 신속하게 탐지할 수 있어야 한다. 본 연구는 온실형 스마트팜에서 수집되는 각종 센서의 측정값과 구동기의 상태 정보 등 환경 데이터를 다중회귀분석으로 학습하여 센서 측정값에 대한 예측모형을 추정하고, 이를 기반으로 센서의 예측값과 실제 측정값을 비교하여 센서의 신뢰성을 검증하는 시스템을 제안한다. With the recent 4th industrial revolution, in the agricultural sector, the supply of greenhouse-type smart farm, which combines the existing information and communication technologies with cutting-edge technologies such as big data, artificial intelligence, and the Internet of Things, is spreading. The greenhouse-type smart farm measures the current greenhouse environment by using sensors, identifies the necessary greenhouse control based on this information, and executes environmental control through actuators. However, if a measurement error occurs in a sensor, it causes incorrect environmental control and inhibits crop growth. Therefore, reliability of the sensor measurement values is essential in greenhouse-type smart farms. When an abnormality occurs in the sensor measurement value, it should be possible to quickly detect it. This study generates a predictive model for sensor measurement values by learning environmental data, such as measurement values of various sensors and state information of actuators, collected from a greenhouse-type smart farm utilizing multiple regression analysis. Based on the prediction model, we propose a system to verify the reliability of the sensor by comparing the predicted value of the sensor with the actual measured value.

제조 빅데이터 시스템을 위한 효과적인 시각화 기법

유관희 한국데이터정보과학회 2017 한국데이터정보과학회지 Vol.28 No.6

Manufacturing big data systems have supported decision making that can improve preemptive manufacturing activities through collection, storage, management, and predictive analysis of related 4M data in pre-manufacturing processes. Effective visualization of data is crucial for efficient management and operation of data in these systems. This paper presents visualization techniques that can be used to effectively show data collection, analysis, and prediction results in the manufacturing big data systems. Through the visualization technique presented in this paper, we have confirmed that it was not only easy to identify the problems that occurred at the manufacturing site, but also it was very useful to reply to these problems. 제조 빅데이터 시스템은 제조 전 공정에서 관련된 4M 데이터의 수집, 저장, 관리, 예측적 분석을 통해 선제적 제조 활동 개선지 가능한 의사결정을 지원하고 있다. 이러한 시스템에서 데이터의 효율적인 관리와 운영을 위해 데이터를 효과적으로 시각화다는 것이 무엇보다도 중요하다. 본 논문에서는 제조 빅데이터 시스템에서 데이터 수집, 분석 및 예측 결과를 효과적으로 보여 주기 위해 사용가능한 시각화 기법을 제시한다. 본 논문에서 제시된 시각화 기법을 통해 제조 현장에서 발생하는 문제를 보다 손쉽게 파악할 수 있었을 뿐만 아니라 이들 문제를 효과적으로 대응할 수 있어 매우 유용하게 사용 될 수 있음을 확인하였다.

Rhipe를 활용한 빅데이터 처리 및 분석

고영준,김진석 한국데이터정보과학회 2013 한국데이터정보과학회지 Vol.24 No.5

The Hadoop system was developed by the Apache foundation based on GFS and MapReduce technologies of Google. Many modern systems for managing and processing the big data have been developing based on the Hadoop because the Hadoop was designed for scalability and distributed computing. The R software has been considered as a well-suited analytic tool in the Hadoop based systems because the R is flexible to other languages and has many libraries for complex analyses. We introduced Rhipe which is a R package supporting MapReduce programming easily under the Hadoop system, and implemented a MapReduce program using Rhipe for multiple regression especially. In addition, we compared the computing speeds of our program with the other packages (ff and bigmemory) for processing the large data. The simulation results showed that our program was more fast than ff and bigmemory as the size of data increases. 최근 Hadoop은 빅데이터의 저장, 처리 및 분석을 위한 표준시스템으로 인식되고 있으며, 많은 빅데이터 관련 시스템들이 Hadoop에 기반하여 구축되고 있다. 또한 R은 다른 소프트웨어와의 연동이 쉽고 다양한 분석 라이브러리들을 탑재하고 있어서 Hadoop 환경하에서 빅데이터의 분석을 위한 공통 분석 플렛폼으로 여겨지고 있다. 본 논문에서는 Hadoop 환경에서 분산 데이터 처리를 위한 R패키지인 Rhipe를 소개하고 빅데이터를 이용한 병렬 다중회귀분석을 위해 MapReduce 프로그램을 작성하는 방법을 예시하였다. 또한 시뮬레이션을 통해 기존의 대용량처리를 위한 R 분석패키지인 ff와 bigmemory와의 연산속도를 비교하였으며, 데이터의 크기가 커짐에 따라 Rhipe를 이용한 MapReduce 프로그램의 계산속도가 ff와 bigmemory에 비해 우수함을 확인하였다.

N-기간 변동성 데이터 라벨링을 활용한 XGBoost 트레이딩 시스템 개발

한예찬(Yechan Han),김재윤(Jaeyun Kim) 한국데이터정보과학회 2021 한국데이터정보과학회지 Vol.32 No.5

시스템 트레이딩은 과거의 주가와 거래량을 설명하는 기술적 지표를 활용하여 거래를 자동으로 수행하는 투자 방법이다. 최근에는 시스템 트레이딩의 매매규칙을 발견하고, 전략 수립을 위해 시계열 분석, 데이터마이닝, 패턴인식, 머신러닝 등의 알고리즘을 사용한다. 특히 머신러닝 기법을 활용하는 경우 복잡한 고차원 모형을 사용하거나 여러 모형을 결합하는 앙상블 기법을 통해 예측 성능을 높인다. 예측 성능을 높이려는 방법들이 많이 연구되고 있지만, 데이터 라벨링에 관한 연구는 상대적으로 적다. 잘못된 라벨링 방법은 정보 손실을 발생시키며, 이후 주가 등락 예측 모델 구현 시 예측 성능이 떨어지는 원인으로 작용할 수 있다. 본 연구에서는 기존의 Up-Down 라벨링 방법의 문제를 보완한 N-기간 변동성 데이터 라벨링 방법을 통한 머신러닝 트레이딩 시스템을 개발한다. NASDAQ 상장 기업 데이터로 실증 분석을 진행한 결과, 제안 모형은 기존의 Up-Down 라벨링 방법보다 개선된 성과를 나타내는 것을 확인하였다. It is difficult to predict the direction of the stock market price since it is affected by many factors such as political events, general economic conditions, and traders’ expectations. In recent years, machine learning algorithms have been successfully shown to obtain high accuracy of stock price direction. Although there are numerous research studies being conducted regarding the direction of stock price movement, there are relatively few studies on labeling of data for learning algorithms. The problem with incorrectly labeled data sets in intelligent systems based on machine learning is that learner then trains the incorrect identification and knowledge, which will make it harder for trained learners to predict the correct results. Therefore, incorrect labeling methods could cause information loss and may act as a cause of poor prediction performance when implementing a prediction model. To solve this problem, this study proposes an N-period volatility labeling that is based on the volatility of n-period look back window, which is more dynamic. In order to identify the usefulness of the proposed model, this study is compared against the conventional approach. An empirical study of the proposed model is simulated in the Nasdaq stock market.