기계학습에 유효한 데이터 요건 및 선별: 공공데이터포털 제공 데이터 사례를 통해 = Valid Data Conditions and Discrimination for Machine Learning: Case study on Dataset in the Public Data Portal

국문 초록 (Abstract)

인공지능 기술의 가장 큰 근간은 학습 가능한 데이터이다. 최근 정부나 사기업에서 수집·생산하는 데이터의종류와 양이 기하급수적으로 증가하고 있지만, 실제 기계학습에 활용 가능한 데이터의 확보로는 아직까지 이어지지 않고 있다. 이에 본 연구에서는 기계학습에 실제 활용 가능한 데이터가 갖추어야 할 조건에 대해 논의하고, 실제 사례연구를 통해 데이터 품질을 저하시키는 요인을 파악한다. 이를 위해 공공빅데이터를 활용해 예측 모델을 개발한 대표사례를선정, 공공데이터포털로부터 실제 문제 해결을 위한 데이터를 수집 후 데이터 품질을 확인하였다. 이를 통해 유효한데이터 선별 기준을 적용하고 후처리한 결과와의 차이를 보인다. 본 연구의 궁극적인 목적은 인공지능의 핵심인 기계학습 기술 개발에 앞서 가장 근본적으로 선결되어야 할 데이터 품질을 관리하고 유효한 데이터를 축적하기 위한 기반마련에 있다.

참고문헌 (Reference)

1 최기쁨 ; 유신성 ; 유남희 ; 오효정, "팜맵 기반 상생형 스마트팜 병해충 방제 모델 시각화" 한국정보기술학회 19 (19): 105-113, 2021

2 유신성 ; 최기쁨 ; 명현 ; 오효정, "이질 공공빅데이터 기반 농장별 맞춤 병해충 예측 모델" 한국정보기술학회 18 (18): 1-9, 2020

3 이형우 ; 이한성, "안드로이드 정상 및 악성 앱 판별을 위한 최적합 머신러닝 기법" 한국사물인터넷학회 6 (6): 1-10, 2020

4 나정호 ; 윤성호 ; 오효정, "국토 교통 공공데이터 기반 블랙아이스 발생 구간 예측 모델" 한국정보처리학회 10 (10): 257-262, 2021

5 윤상오 ; 현지우, "공공데이터 개방정책의 실태분석 및 개선방안에 관한 연구: 공공데이터 포털의 국가중점데이터 개방 사례를 중심으로" 한국공공관리학회 33 (33): 219-247, 2019

6 D. J. Kim, "Spatial Big Data Plan for Government 3.0and Creative Economy" (14) : 40-47, 2014

7 W.S.Lim, "Open Data, Small Amount. Useless Files"

8 Gartner Reserach, "Measuring the Business Value of Data Quality"

9 D.Fang, "Legal Regulation of Government Data Opening: American Legislation and China's Path: Reflection Based on the US the Open, Public, Electronic, and Necessary (OPEN) Government Data Act" 42 (42): 50-57, 2021

10 이형우, "IoT 봇넷 악성코드 기반 침해사고 흔적 수집 방법" 한국사물인터넷학회 7 (7): 1-8, 2021

11 IDC, "IDC Forecasts Improved Growth for global AI Market in 2021"

12 S.H.Yoon, "Data Opening Status Analysis and Quality Management Strategies in Land, Infrastructure and Transport Domain" 3 (3): 73-85, 2020

13 T.J.Kim, "Data Dam’, What Kind of Businesses Are They Made Up"

14 G. Viscusi, "Compliance with open government data policies: An empirical assessment of Italian local public administrations" 19 (19): 263-275, 2014

15 K. V. Cruz, "Collection of Essays on Korea’s Public Diplomacy" 2020