이동 평균 기반 동적 시간 와핑 기법을 이용한 시계열 키워드 데이터의 분류 성능 개선 방안

정도헌 한국정보관리학회 2019 정보관리학회지 Vol.36 No.4

This study aims to suggest an effective method for the automatic classification of keywords with similar patterns by calculating pattern similarity of temporal data. For this, large scale news on the Web were collected and time series data composed of 120 time segments were built. To make training data set for the performance test of the proposed model, 440 representative keywords were manually classified according to 8 types of trend. This study introduces a Dynamic Time Warping(DTW) method which have been commonly used in the field of time series analytics, and proposes an application model, MA-DTW based on a Moving Average(MA) method which gives a good explanation on a tendency of trend curve. As a result of the automatic classification by a k-Nearest Neighbor(kNN) algorithm, Euclidean Distance(ED) and DTW showed 48.2% and 66.6% of maximum micro-averaged F1 score respectively, whereas the proposed model represented 74.3% of the best micro-averaged F1 score. In all respect of the comprehensive experiments, the suggested model outperformed the methods of ED and DTW. 본 연구는 시계열 특성을 갖는 데이터의 패턴 유사도 비교를 통해 유사 추세를 보이는 키워드를 자동 분류하기 위한 효과적인 방법을 제안하는 것을 목표로 한다. 이를 위해 대량의 웹 뉴스 기사를 수집하고 키워드를 추출한 후 120개 구간을 갖는 시계열 데이터를 생성하였다. 제안한 모델의 성능 평가를 위한 테스트 셋을 구축하기 위해, 440개의 주요 키워드를 8종의 추세 유형에 따라 수작업으로 범주를 부여하였다. 본 연구에서는 시계열 분석에 널리 활용되는 동적 시간 와핑(DTW) 기법을 기반으로, 추세의 경향성을 잘 보여주는 이동 평균(MA) 기법을 DTW에 추가 적용한 응용 모델인 MA-DTW를 제안하였다, 자동 분류 성능 평가를 위해 k-최근접 이웃(kNN) 알고리즘을 적용한 결과, ED와 DTW가 각각 마이크로 평균 F1 기준 48.2%와 66.6%의 최고 점수를 보인 데 비해, 제안 모델은 최고 74.3%의 식별 성능을 보여주었다. 종합 성능 평가를 통해 측정된 모든 지표에서, 제안 모델이 기존의 ED와 DTW에 비해 우수한 성능을 보임을 확인하였다.

자동 분류 기법과 지적 구조 분석 기법을 융합한 처방적 분석 시스템 구현 방안 연구

정도헌 한국정보관리학회 2017 정보관리학회지 Vol.34 No.4

This study aims to introduce an emerging prescriptive analytics method and suggest its efficient application to a category-based service system. Prescriptive analytics method provides the whole process of analysis and available alternatives as well as the results of analysis. To simulate the process of optimization, large scale journal articles have been collected and categorized by classification scheme. In the process of applying the concept of prescriptive analytics to a real system, we have fused a dynamic automatic-categorization method for large scale documents and intellectual structure analysis method for scholarly subject fields. The test result shows that some optimized scenarios can be generated efficiently and utilized effectively for reorganizing the classification-based service system. 본 연구는 새로운 분석법으로 떠오르는 처방적 분석 기법을 소개하고, 이를 분류 기반의 시스템에 효율적으로 적용하는 방안을 제시하는 것을 목적으로 한다. 처방적 분석 기법은 분석의 결과를 제시함과 동시에 최적화된 결과가 나오기까지의 과정 및 다른 선택지까지 제공한다. 새로운 개념의 분석 기법을 도입함으로써 문헌 분류를 기반으로 하는 응용 시스템을 더욱 쉽게 최적화하고 효율적으로 운영하는 방안을 제시하였다. 최적화의 과정을 시뮬레이션하기 위해, 대용량의 학술문헌을 수집하고 기준 분류 체계에 따라 자동 분류를 실시하였다. 처방적 분석 개념을 적용하는 과정에서 대용량의 문헌 분류를 위한 동적 자동 분류 기법과 학문 분야의 지적 구조 분석 기법을 동시에 활용하였다. 실험의 결과로 효과적으로 서비스 분류 체계를 수정하고 재적용할 수 있는 몇 가지 최적화 시나리오를 효율적으로 도출할 수 있음을 보여 주었다.

대학생 중도탈락 예방을 위한 기계 학습 기반 추천 시스템 구현 방안

정도헌,Jeong, Do-Heon 한국융합학회 2021 한국융합학회논문지 Vol.12 No.10

본 연구는 대학생의 중도탈락 패턴을 식별하는 효과적인 자동 분류 기법을 제안하고, 이를 바탕으로 중도탈락을 예방하기 위한 지능형 추천 시스템의 구현 방안을 제시하는 것을 목표로 한다. 이를 위해 1) 실제 대학생의 재학/제적 데이터를 기반으로 기계 학습의 성능을 향상시킬 수 있는 데이터 처리 방안을 제안하고, 2) 5종의 기계학습 알고리즘을 이용하여 성능 비교 실험을 실시하였다. 3) 실험 결과, 제안 기법이 베이스라인에 비해 모든 알고리즘에서 우수한 성능을 보여주었다. 제적생의 식별 정확률(precision)은 랜덤 포레스트(Random Forest)를 사용할 때 최대 95.6%, 제적생의 재현율(recall)은 나이브 베이즈(Naive Bayes)를 사용할 때 최대 80.0%로 측정되었다. 4) 마지막으로, 실험 결과를 바탕으로 중도탈락 가능성이 높은 학생을 우선 상담하는 추천 시스템의 활용 방안을 제시하였다. 교육 현안 문제를 해결하기 위해 IT 분야의 기술을 활용하는 융합 연구를 통해 합리적인 의사결정을 수행할 수 있음을 확인하였으며 향후 지속적인 연구를 통해 다양한 인공지능 기술을 적용하고자 한다. This study proposed an effective automatic classification technique to identify dropout patterns of university students, and based on this, an intelligent recommender system to prevent dropouts. To this end, 1) a data processing method to improve the performance of machine learning was proposed based on actual enrollment/dropout data of university students, and 2) performance comparison experiments were conducted using five types of machine learning algorithms. 3) As a result of the experiment, the proposed method showed superior performance in all algorithms compared to the baseline method. The precision rate of discrimination of enrolled students was measured to be up to 95.6% when using a Random Forest(RF), and the recall rate of dropout students was measured to be up to 80.0% when using Naive Bayes(NB). 4) Finally, based on the experimental results, a method for using a counseling recommender system to give priority to students who are likely to drop out was suggested. It was confirmed that reasonable decision-making can be conducted through convergence research that utilizes technologies in the IT field to solve the educational issues, and we plan to apply various artificial intelligence technologies through continuous research in the future.

토픽모델링을 활용한 대학생의 중도탈락 데이터 분석

정도헌,박주연,Jeong, Do-Heon,Park, Ju-Yeon 한국정보통신학회 2021 한국정보통신학회논문지 Vol.25 No.1

본 연구의 목적은 대학생의 중도탈락 현상 데이터를 실증적으로 분석하여 대학의 학생지원정책을 수립하기 위한 시사점을 제공하는 데 있다. 이를 위해 D대학의 2017~2019년 입학생 데이터를 토픽모델링 LDA(Latent Dirichlet Allocation)를 활용하여 재학생과 제적생으로 나누어 분석하였다. 연구결과 제적생에서 특징있게 나타난 토픽은 '학적'관련하여 '학기등록 1회', '전공'관련하여 '어문계열학과', '학점'관련하여 '학사경고'이고, '대학생활'관련하여 '비교과 프로그램'에 대한 토픽은 나타나지 않았다. 다음으로 '재학생 토픽'과 '제적생 토픽'의 상호 식별 성능을 측정한 결과, SVM(Support Vector Machines)이 가장 우수한 식별 성능을 보여주었다. 이러한 실험을 통해 기계학습을 활용한 인공지능 기반의 학생 데이터 분류 기법 연구의 가능성을 확인할 수 있었다. This study aims to provide implications for establishing support policies for students by empirically analyzing data on university students dropouts. To this end, data of students enrolled in D University after 2017 were sampled and collected. The collected data was analyzed using topic modeling(LDA: Latent Dirichlet Allocation) technique, which is a probabilistic model based on text mining. As a result of the study, it was found that topics that were characteristic of dropout students were found, and the classification performance between groups through topics was also excellent. Based on these results, a specific educational support system was proposed to prevent dropout of university students. This study is meaningful in that it shows the use of text mining techniques in the education field and suggests an education policy based on data analysis.

DTW-kNN 기반의 유망 기술 식별을 위한 의사결정 지원 시스템 구현 방안

정도헌,박주연 대한산업경영학회 2022 산업융합연구 Vol.20 No.8

본 연구는 기계 학습 기반의 자동 분류 기법을 적용함으로써 유망 기술의 선정 과정에 활용할 수 있는 의사결정 지원 시스템의 구현 방안을 제시하는 것을 목표로 한다. 연구 수행을 위해 전체 시스템의 아키텍처를 구축하고 세부 연구 단계를 진행하였다. 우선, 유망 기술 후보 아이템을 선정하고 빅데이터 시스템을 활용하여 추세 데이터를 자동 생성하였다. 기술 발전의 개념 모델과 패턴 분류 체계를 정의한 후 자동 분류 실험을 통해 효율적인 기계 학습 방안을 제시하였다. 마지막으로 시스템의 분석 결과를 해석하고 활용 방안을 도출하고자 하였다. 본 연구에서 제안한 동적 시간 와핑(DTW) 기법과 k-최근접 이웃(kNN) 분류 모델을 결합한 DTW-kNN 기반의 분류 실험에서 최대 87.7%의 식별 성능을 보여주었으며, 특히 추세의 변동이 심한 ‘eventual’ 정의 구간에서는 유클리디언 거리(ED) 알고리즘 대비 39.4% 포인트의 최대 성능 차이를 보여주어 제안 모델의 우수함을 확인할 수 있었다. 또한, 시스템이 제시하는 분석 결과를 통해, 대량의 추세 데이터를 입력받아 유형별로 자동 분류하고 필터링하는 과정에 본 의사결정 지원 시스템을 효과적으로 활용할 수 있음을 확인하였다.

시소러스를 기반으로 한 온톨로지 시스템 구현에 관한 연구

정도헌,김태수 한국정보관리학회 2003 정보관리학회지 Vol.20 No.3

The purpose of the study was to construct a system based on the semantic web environment's ontology by utilizing the ontology schema derived from the facet-type Art and Architecture Thesaurus(AAT). The aforementioned ontology schema is based on the Web Ontology Language(OWL), which is being widely considered the standard ontology language for the W3C-centered semantic web environment. Also, the concepts were limited to terms within AAT's Furniture Facet, and the system was tested using the Chair concept, which is a lower-level facet that has a diverse conceptual relationship and broad vocabulary base. The ontology system is capable of searching for concepts, while controlling the search results by always providing a 'Preferred term' for synonymous terms. In addition, the system provides the user with first, a relationship between the terms centered around the inquiry, and second, related terms along with their classification properties. Also, the system is presented as an application example of the ontology system that constructs a information system that intakes an Instance value and reproduces it into a RDF file. During this process, utilization of multiple ontologies was introduced, and the stored Instance value's meta-data elements were used. 본 연구는 W3C를 중심으로 시맨틱 웹을 위한 표준 온톨로지 언어로 제안된 OWL(Web Ontology Language)을 바탕으로 패싯형 시소러스인 AAT(Art and Architecture Thesaurus)의 개념 체계를 이용한 온톨로지 스키마를 구현하여 시맨틱 웹 환경의 온톨로지 기반 시스템을 구축하였다. 특히, 개념의 범위를 AAT의 Furniture 패싯 이하의 용어에 한정하였고 이 중 개념관계가 다양하고 많은 어휘를 가진 하위 패싯인 Chair 개념을 중심으로 시스템 구현 및 테스트를 하였다. 이 시스템은 온톨로지로 정의된 개념을 검색하며, 동의어에 대해 항상 우선어(Preferred term)를 제시하여 어휘를 제어한다. 또한 질의어를 중심으로 한 용어간의 관계를 이용자에게 제시하고 관련어 및 개념의 분류기준 속성을 제시한다. 그 밖에 개념에 인스턴스 값을 입력하고 이를 RDF 문서로 재생산하는 시스템을 구축하여 온톨로지 시스템 응용의 일례를 제시하였다. 이 과정에서 여러 온톨로지를 도입하였고, 인스턴스 값을 담기위한 컨테이너 기반으로 메타데이터 요소를 사용하였다.

Topical Prescriptive Analytics System for Automatic Recommendation of Convergence Technology

정도헌,주황수 한국생물공학회 2019 Biotechnology and Bioprocess Engineering Vol.24 No.6

This study applies text mining in scientific articles for discovery of interdisciplinary convergence technology between biotechnology (BT) and information and communication technology (ICT). For in-depth interpretation of the technologies without domain experts’ review, a topic modeling method, Latent Dirichlet allocation (LDA), was used to propose an automatic recommendation system. We also applied prescriptive analytics with an option for users to select appropriate recommendation process of items. Our findings are as follows. First, LDA was efficient to facilitate the analysis of a large collection of documents by decreasing the dimension of the data. Second, the automatic recommendation method with various selectable options that could overcome limitations from that domain experts review the entire set of numerous topics. Finally, as a result of investigation of the final convergence technology candidates, it was proved that the system we propose here is more cost/time-effective compared to a method of reviewing all of the topic associations. Overall, a new methodology to support experts’ final decision by LDAand prescriptive analytics-based automatic recommendation system was successfully developed to discover convergence technologies between BT and ICT, which was also proved by several examples of applications.

토픽 모델링 기반 내용 분석을 통한 학제 간 융합기술 도출 방법

정도헌,주황수,Jeong, Do-Heon,Joo, Hwang-Soo 한국정보관리학회 2018 정보관리학회지 Vol.35 No.3

본 연구는 텍스트 마이닝 기법을 활용하여 대량의 데이터로부터 학제 간 융합 기술을 발굴하는 일련의 과정을 제시하는 것을 목표로 한다. 바이오공학 기술(BT) 분야와 정보통신 기술(ICT) 분야 간의 융합 연구를 위해 (1) BT 분야의 기술용어 목록을 작성하여 대량의 학술논문 메타데이터를 수집한 후 (2) 패스파인더 네트워크 척도 알고리즘을 이용해 유망 기술의 지식 구조를 생성하고 (3) 토픽 모델링 기법을 사용하여 BT분야 중심의 내용 분석을 수행하였다. 다음 단계인 BT-ICT 융합 기술 아이템 도출을 위해, (4) BT-ICT 관련 정보를 얻기 위해 BT 기술용어 목록을 상위 개념으로 확장한 후 (5) OpenAPI 서비스를 이용하여 두 분야가 관련된 학술 정보의 메타데이터를 자동 수집하여 (6) BT-ICT 토픽 모델의 내용 분석을 실시하였다. 연구를 통해 첫째, 융합 기술의 발굴을 위해서는 기술 용어 목록의 작성이 중요한 지식 베이스가 된다는 점과 둘째, 대량의 수집 문헌을 분석하기 위해서는 데이터의 차원을 줄여 분석을 용이하게 해주는 텍스트 마이닝 기법이 필요하다는 점을 확인하였다. 본 연구에서 제안한 데이터 처리 및 분석 과정이 학제 간 융합 연구의 가능성이 있는 기술 요소들을 발굴하는 데 효과적이었음을 확인할 수 있었다. The objectives of this study is to present a discovering process of interdisciplinary convergence technology using text mining of big data. For the convergence research of biotechnology(BT) and information communications technology (ICT), the following processes were performed. (1) Collecting sufficient meta data of research articles based on BT terminology list. (2) Generating intellectual structure of emerging technologies by using a Pathfinder network scaling algorithm. (3) Analyzing contents with topic modeling. Next three steps were also used to derive items of BT-ICT convergence technology. (4) Expanding BT terminology list into superior concepts of technology to obtain ICT-related information from BT. (5) Automatically collecting meta data of research articles of two fields by using OpenAPI service. (6) Analyzing contents of BT-ICT topic models. Our study proclaims the following findings. Firstly, terminology list can be an important knowledge base for discovering convergence technologies. Secondly, the analysis of a large quantity of literature requires text mining that facilitates the analysis by reducing the dimension of the data. The methodology we suggest here to process and analyze data is efficient to discover technologies with high possibility of interdisciplinary convergence.

ISO 15197 지침에 따른 혈당측정 시스템 G400의 분석적성능 평가

정도헌,최병근,유병욱,조주연,홍성호,오정은,조용진 대한임상건강증진학회 2016 Korean Journal of Health Promotion Vol.16 No.4

Background:Self-monitoring of blood glucose is an important component of therapy for diabetes mellitus. The aim of this study was to evaluate the analytic performance evaluation of blood monitoring system G400 according to ISO 15197:2013. Methods:We evaluated the G400 according to the ISO 15197:2013 guideline, we measured precision, accuracy, interference of hematocrit and interfering substances, user performance. Results:Repeatability and intermediate precision of G400 showed standard deviation 2.7-3.8 mg/dL, 2.4-3.6 mg/dL and coefficient of variation 1.9-2.9% and 1.7-3.7%, respectively. Accuracy measured 98-98.5%, satisfied acceptable criteria. Error grid analysis showed that all results of this study were in zone A. Hematocrit between 20% to 60% did not cause interference. Three of 24 interfering substances were not acceptable criteria, and dose-response evaluation was needed. Conclusions:This study showed that G400 was considered reliable results satisfying the ISO 15197:2013 criteria 연구배경: 자가혈당측정기는 당뇨 치료에 있어 중요한 현장검사 장비이다. 본 연구의 목적은 ISO 15197:2013 지침에 따른 혈당측정시스템 G400의 분석적 성능을 평가하는것이다. 방법:ISO 15197:2013 지침에 따라 G400을 평가하였다. 정밀도, 정확도, 적혈구용적률에 의한 간섭 영향 평가, 잠재적 간섭물질 영향 평가, 사용자 평가를 시행하였다. 결과:G400의 반복성과 중간정밀도 평가에서 각각 표준편차 2.7-3.8 mg/dL, 2.4-3.6 mg/dL 변이 계수 1.9-2.9%, 1.7-3.7%로 측정되었다. 정확도 평가는 98-98.5%로 허용기준을 만족하였다. Error grid 분석결과 모든 결과가 A영역에 속하였다. 20에서 60% 사이의 적혈구용적률은 결과에영향을 미치지 않았다. 간섭물질에 의한 평가에서 24개의물질 중 3가지 물질이 허용기준을 만족하지 못하였고, 용량-반응평가를 시행하였다. 결론: 본 연구에서 G400은 ISO 15197:2013 지침을 만족하는 신뢰할 만한 결과를 보여주었다

데이터 활용률 제고를 위한 기술 용어의 상호 네트워크 생성과 통제

정도헌 한국정보관리학회 2018 정보관리학회지 Vol.35 No.1

As data management and processing techniques have been developed rapidly in the era of big data, nowadays a lot of business companies and researchers have been interested in long tail data which were ignored in the past. This study proposes methods for generating and controlling a network of technical terms based on text mining technique to enhance data utilization in the distribution of long tail theory. Especially, an edit distance technique of text mining has given us efficient methods to automatically create an interlinking network of technical terms in the scholarly field. We have also used linked open data system to gather experimental data to improve data utilization and proposed effective methods to use data of LOD systems and algorithm to recognize patterns of terms. Finally, the performance evaluation test of the network of technical terms has shown that the proposed methods were useful to enhance the rate of data utilization. 빅 데이터 시대에 접어들면서 저장 기술과 처리 기술이 급속도로 발전함에 따라, 과거에는 간과되었던 롱테일(long tail) 데이터가 많은 기업과 연구자들에게 관심의 대상이 되고 있다. 본 연구는 롱테일 법칙의 영역에 존재하는 데이터의 활용률을 높이기 위해 텍스트 마이닝 기반의 기술 용어 네트워크 생성 및 통제 기법을 제안한다. 특히 텍스트 마이닝의 편집 거리(edit distance) 기법을 이용해 학문 분야에서 사용되는 기술 용어의 상호 네트워크를 자동으로 생성하는 효과적인 방안을 제시하였다. 데이터의 활용률 향상 실험을 위한 데이터 수집을 위해 LOD(linked open data) 환경을 이용하였으며, 이 과정에서 효과적으로 LOD 시스템의 데이터를 활용하는 기법과 용어의 패턴 처리 알고리즘을 제안하였다. 마지막으로, 생성된 기술 용어 네트워크의 성능 측정을 통해 제안한 기법이 롱테일 데이터의 활용률 제고에 효과적이었음을 확인하였다.