기후환경 이슈 분석을 위한 텍스트 마이닝 활용방안 연구

진대용 ( Daeyong Jin Et Al. ),강성원,최희선,한국진,김도연 한국환경정책평가연구원 2018 기후환경정책연구 Vol.2018 No.-

본 연구는 환경 텍스트 데이터를 활용하여 주요 기후환경 이슈를 분석하기 위한 텍스트 마이닝 방법론의 활용방안을 탐색하였다. 환경 이슈를 분석하기 위해 활용할 수 있는 환경 텍스트들을 파악하고 각 텍스트에 대해 텍스트 마이닝 또는 빅데이터 분석 방법론을 활용하여 어떤 결과를 도출할 수 있는지 파악 및 점검하였다.먼저 텍스트 마이닝의 개념을 정의하고 환경(정책)연구에서 텍스트 마이닝 기법들의 활용 현황을 파악하였다. 텍스트 마이닝은 텍스트 데이터로부터 의미 있는 정보를 추출하는 과정이 다. ICT의 발전과 비정형 텍스트 분석을 위한 다양한 텍스트 마이닝 방법론이 등장함에 따라 대용량의 텍스트 데이터들로부터 과거의 주요 이슈를 파악하고 이들의 동향을 분석하여 미래 주요 이슈들의 동향에 대한 예측하는 연구가 다양한 분야에서 수행되고 있고 의미 있는 결과를 도출하고 있다. 환경(정책)연구에서도 텍스트 마이닝을 활용하여 연구 결과를 도출하고 있다. 하지만 다양한 분석을 통해 여러 관점에서 결과를 도출하는 과정의 중요성보다 결과 분석 및 해석에 초점이 맞춰져 있고, 연구를 수행하는 과정에 활용된 데이터나 소스코드 등은 다시 활용되지 않아 데이터 분석 연구의 장점을 충분히 발휘하지 못한 부분이 있다. 본 연구에서는 텍스트 마이닝의 강점인 데이터 분석의 자동화와 지속적인 활용성 측면을 극대화하기 위해 노력을 하였다. 본 연구에서는 이 목표를 달성하기 위해 다양한 환경 텍스트 데이터 수집 및 분석 기능을 포함시킨 환경 텍스트 분석 프레임워크를 구축하였으며, 모든 소스코드를 공개하고 데이터 분석에 익숙하지 않은 사용자를 위해 주요 기능을 웹 서비스 형태로 구현하였다.다음으로는 구축된 환경 텍스트 분석 프레임워크를 활용하여 환경 텍스트 데이터의 수집 및 분석을 수행하였다. 먼저 네이버 환경뉴스, 환경부 보도자료, 환경부 e-환경뉴스, 환경백서 데이터를 수집하는 알고리즘을 구축하고 주기적으로 크롤링을 수행하여 데이터 서버에 저장하도록 하였다. 또한 이를 바로 데이터 분석에 활용하여 최신 데이터를 분석할 수 있도록 하였다.본 연구에서는 기후환경 이슈에 대한 분석을 집중적으로 수행하였는데, 각 텍스트 데이터를 분석하여 개별 결과를 도출하였다. 환경 전체 분야를 보았을 때 ‘미세먼지’, ‘폭염’, ‘친환경’, 등의 키워드가 상대적으로 증가세를 보이고 있었으며, ‘기후변화’ 키워드의 경우에는 전체적으로 줄어드는 경향을 보이고 있었다. 이는 ‘기후변화’라는 키워드보다는 ‘기후변화’ 중 재난/재 해(폭염, 한파 등)와 같은 세부현상메 대한 기사가 많아졌고, ‘기후변화’ 키워드를 포함하지 않는 문서가 많아진 것에 기인한 것으로 판단된다. 세부적으로 네이버 환경뉴스의 경우 전반적으로 기후변화에 관련 정보 및 피해(폭염, 한파, 홍수 등)에 관련된 이슈들을 많이 포함하고 있어 전반적인 기후환경 이슈 분석에 유용함을 확인할 수 있었다. 네이버 환경뉴스에서 ‘기후 변화’의 근본적인 내용인 지구온난화현상이나 온실가스 감축 등과 같은 내용이 시간이 지날수록 줄어들고 최근에는 ‘폭염’, ‘가뭄’, ‘한파’ 등과 같은 세부현상들의 키워드를 포함하는 문서가 상대적으로 많아지는 추세를 보이고 있었다. 환경부 보도자료 및 e-환경뉴스에서는 기후변화 세부현상(폭염, 한파, 폭설 등) 하나하나에 대해 거의 다루고 있지 않았으며, ‘기후변화’라는 큰 틀에서 정책 논의나 앞으로의 방향에 대한 내용들을 포함하고 있어서 기후변화에 있어 근본적인 내용에 대한 이슈 및 흐름을 파악할 수 있는 장점이 있었다. 환경백서의 경우 키워드의 수는 많지 않았지만 ‘미세먼지’, ‘폭염’ 등 최신 주요 키워드들이 뚜렷하게 나타나고 있고, 다른 문서들과 달리 기후변화 키워드는 계속 증가하는 추세를 보이고 있어 실제 기후변화 문제 해결을 위한 많은 정책 논의가 있는 것으로 보인다.본 연구에서 활용한 LDA, Word2Vec 문장단위 키워드 분석, 문서단위 키워드 분석, 키워드 네트워크 분석, 문서 요약 등의 방법론은 앞으로 다양한 환경 텍스트에 포함된 이슈 발굴 및 분석에 유용하게 활용될 것으로 보인다. 또한 구축된 환경 텍스트 분석 프레임워크 및 웹 서비스를 활용할 수 있는 방안을 기술하였고, 연구 결과를 분석하여 도출된 결과를 활용한 환경 정책 사례를 제시하였다.본 연구의 결과물은 향후 환경 정책연구자들이 관련 정책을 수립할 때 데이터에 기반한 근거로 활용할 수 있으며, 앞으로 보다 다양한 텍스트 분석을 통해 민간, 언론, 환경연구자, 정책 공급자 등 다양한 관점을 고려한 정책 수립에 기여할 것으로 기대한다. In this study, we look at the application of text mining methodology to analyze major climatic environmental issues using environmental text data. We investigate environmental texts that can be used to analyze environmental issues and for each text, we understand and check what results could be derived.First, we define the concept of text mining and understand the usage of it in environment (policy) research. Text mining is the process of extracting meaningful information from text data. With the advance of ICT technology and various text mining methodologies for unstructured text analysis, research to identify trends in major issues from large-scale text data and to analyze trends in order to predict trends in future major issues is being conducted across various fields and has meaningful results. However, the focus is on the results analysis and interpretation rather than on the importance of the process of deriving the results from various perspectives through various analyses. Data and source code used in the process of research are not reused, so some of the advantages of data analysis is not fully demonstrated. In this study, we tried to maximize the automation and continuous utilization of data analysis, which is the strength of text mining. In this study, we constructed an environment text analysis framework that includes various environmental text data collection and analysis functions for all users who are unfamiliar with data analysis. We have released all the source code and implemented the key functions as a web service so that users who are not familiar with data analysis can use it.Next, we collected and analyzed environmental text data using the built environment text analysis framework. We constructed an algorithm to collect data from Naver environment news,Ministry of Environment press releases, Ministry of Environment e-environment news, environmental white papers and periodicals. Its crawls the data and stores it on the data server. In addition,the data is used to enable analysis of the latest data.Next, we constructed algorithms for analyzing the environmental text data, and results of the analysis were derived from this. As a result, keywords such as 'fine dust’,'heat waves’, and ’environmentally friendly1 had relatively increased, while the keyword 'climate change' showed a tendency to decrease overall. This seems to be due to a lot of articles about the detailed phenomena of ’climate change1 such as 'heat waves’,and ’cold waves' rather than the keyword 'climate change’. In detail, Naver’s environmental news includes a lot of issues related to climate change information and detailed phenomena (heat, cold wave, flood, etc.), and is useful for analyzing overall climate environment issues. The content for ’global climate change’,such as the phenomenon of global wanning and greenhouse gas reduction, has decreased over time. On Naver environmental news,the fundamental content for climate change, such as global warming and greenhouse gas reductions, declined over time and in recent years, there have been a relatively large number of documents containing keywords related to detailed phenomena such as 'heat waves’, ’drought’ and ’cold waves’. The Ministry of Environment’s press release and the Ministry of Environment e-environment news did not cover every detail of climate change phenomenon (heat,cold waves, heavy snow, etc.). It includes policy discussions and the future direction on the major trend of climate change, so it has an advantage in understanding the issues and flow of fundamental content in climate change. In the case of environmental white papers, the frequency of keywords is not high, but the latest important keywords such as ’fine dust’ and 'heat waves’ are showing an increasing trend. Unlike other documents, the keyword of ‘climate change9 is also continuously increasing. There appears to be a lot of policy discussion on climate change issues in the environmental white papers.Methodologies utilized in this study such as LDA, Word2Vec, sentence-based keyword analysis, document-based keyword analysis, keyword network analysis, and document summarization can be used to identify and analyze various climate issues in the future. In addition, we described how to utilize the built environment text analysis framework and web service, and presented environmental policy examples using the results of the analysis.Based on this research, environmental policy researchers are expected to be able to establish policies based on data, and contribute to the establishment of policies that take into account various perspectives such as private citizens, the media, environmental researchers, and policy providers through various text analyses.

텍스트 마이닝을 적용한 교육연구 동향 분석

진성희(Sung-Hee Jin),김혜경(Hyekyung Kim) 한국교육학회 2022 敎育學硏究 Vol.60 No.4

연구의 목적은 텍스트 마이닝을 적용한 다양한 교육연구들의 동향을 분석함으로써 교육연구에 텍스트 마이닝 기법을 적용한 목적, 분석대상, 분석방법, 활용 SW에 대해 탐색하는 것이다. 연구동향을 탐색하기 위한 방법으로 텍스트 마이닝 기법과 체계적 문헌고찰 방법을 적용하였다. 텍스트 마이닝 기법을 적용하기 위한 문헌은 지난 10년간 국내 학술지에 게재된 KCI 등재(후보) 논문(2012년~2021년)의 키워드 중 “텍스트 마이닝” 또는 “토픽 모델링”을 포함하면서 초록에 “교육” 또는 “학습”을 포함한 논문 215편이다. 텍스트 마이닝 기법에 의한 토픽모델링 결과, 주요 토픽으로 연구동향(42.8%), 교육과정 및 교육자료 분석(14.4%), 교육요구와 인식분석(14%), 교육정책 및 이슈분석(12.6%), 효과인식과 효과평가(11.6%), 개념 및 의미 탐색 (3.3%), 교육경험 이해(1.3%)가 도출되었다. 2015년부터 2021년까지를 3주기로 구분하여 연구 트렌드를 분석한 결과, 연구주제가 시간이 갈수록 다양해지고 분석대상도 표준화된 논문, 보고서, 교육과정을 분석하는 연구에서 점차 구체적인 교육맥락에서 요구와 인식을 분석하는 연구로 발전해 가고 있다. 텍스트 마이닝 기법 분석 대상의 논문 중 토픽할당 확률이 높으면서 분석기준에 대한 구체적인 내용을 포함하고 있는 24편의 논문을 대상으로 체계적 문헌고찰 연구를 수행하였다. 교육연구에서 텍스트 마이닝을 적용한 목적은 내용분석 (63%), 사고탐색(17%), 성과요인탐색(17%), 경험탐색(5%)로 확인되었다. 분석대상은 연구참여자가 작성한 텍스트(34%), 논문이나 보고서(30%), 교육과정 또는 교과서(13%), 뉴스기사나 보도자료(13%) 등으로 나타났다. 분석방법으로는 키워드 빈도 분석(63%)이 가장 많이 활용되었고 그 다음으로 토픽모델링(46%), 의미 연결망 분석(46%), 워드클라우드 분석(34%) 등으로 나타났고 활용 SW로는 R(67%), NetMiner(21%), UCINET(17%) Python(9%), TEXTOM(9%)으로 나타났다. 연구결과, 텍스트 마이닝을 적용한 교육연구의 동향을 심층적으로 분석함으로써, 향후 다양한 교육연구주제에서 텍스트 마이닝을 연구방법론으로 적용할 수 있음을 시사하였다. The purpose of this study was to explore the characteristics of educational research applying text mining techniques by analyzing the research trends. Text mining techniques and systematic literature review methods were applied. The literature to which text mining techniques was applied was 215 KCI-listed (and KCI candidate) journal papers published in domestic journals in 2012-2021. As a result of applying the text mining technique, the following research topics were derived: research trends (42.8%), curriculum and educational materials analysis (14.4%), educational needs and perception analysis (14%), educational policy and issue analysis (12.6%), effect recognition and evaluation (11.6%), concept and meaning exploration (3.3%), and understanding of educational experiences (1.3%). As a result of analyzing research trends, it was found that research topics have become more diverse over time, and research that analyzes standardized papers, reports, and curricula is gradually evolving into research that analyzes needs and perceptions in specific educational contexts. A systematic literature review study was conducted on 24 papers with a high probability of topic allocation and containing specific contents of the analysis criteria. In educational research, the purpose for applying text mining was identified as content analysis (63%), exploring thinking (17%), exploring performance factors (17%), and exploring experience (5%). The data sources were texts written by participants (34%), papers or reports (30%), curriculum or textbooks (13%), and news articles or press releases (13%). Keyword frequency analysis (63%) was used the most, followed by topic modeling (46%), semantic network analysis (46%), and word cloud analysis (34%). The software utilized was R (67%), NetMiner (21%), UCINET (17%), Python (9%), and TEXTOM (9%). This study suggests that text mining can be applied as a research methodology for various educational research topics in the future.

텍스트마이닝을 활용한 북한 관련 뉴스의 기간별 변화과정 고찰

박철수 한국지능정보시스템학회 2019 지능정보연구 Vol.25 No.3

The goal of this paper is to investigate changes in North Korea’s domestic and foreign policies through automated text analysis over North Korea represented in South Korean mass media. Based on that data, we then analyze the status of text mining research, using a text mining technique to find the topics, methods, and trends of text mining research. We also investigate the characteristics and method of analysis of the text mining techniques, confirmed by analysis of the data. In this study, R program was used to apply the text mining technique. R program is free software for statistical computing and graphics. Also, Text mining methods allow to highlight the most frequently used keywords in a paragraph of texts. One can create a word cloud, also referred as text cloud or tag cloud. This study proposes a procedure to find meaningful tendencies based on a combination of word cloud, and co-occurrence networks. This study aims to more objectively explore the images of North Korea represented in South Korean newspapers by quantitatively reviewing the patterns of language use related to North Korea from 2016. 11. 1 to 2019. 5. 23 newspaper big data. In this study, we divided into three periods considering recent inter - Korean relations. Before January 1, 2018, it was set as a Before Phase of Peace Building. From January 1, 2018 to February 24, 2019, we have set up a Peace Building Phase. The New Year’s message of Kim Jong-un and the Olympics of Pyeong Chang formed an atmosphere of peace on the Korean peninsula. After the Hanoi Pease summit, the third period was the silence of the relationship between North Korea and the United States. Therefore, it was called Depression Phase of Peace Building. This study analyzes news articles related to North Korea of the Korea Press Foundation database(www.bigkinds.or.kr) through text mining, to investigate characteristics of the Kim Jong-un regime’s South Korea policy and unification discourse. The main results of this study show that trends in the North Korean national policy agenda can be discovered based on clustering and visualization algorithms. In particular, it examines the changes in the international circumstances, domestic conflicts, the living conditions of North Korea, the South’s Aid project for the North, the conflicts of the two Koreas, North Korean nuclear issue, and the North Korean refugee problem through the co-occurrence word analysis. It also offers an analysis of South Korean mentality toward North Korea in terms of the semantic prosody. In the Before Phase of Peace Building, the results of the analysis showed the order of 'Missiles’, 'North Korea Nuclear’, 'Diplomacy’, 'Unification’, and ' South–North Korean’. The results of Peace Building Phase are extracted the order of 'Panmunjom', 'Unification', 'North Korea Nuclear', 'Diplomacy', and 'Military'. The results of Depression Phase of Peace Building derived the order of ‘North Korea Nuclear’, ‘North and South Korea’, ‘Missile’, ‘State Department’, and ‘International’. There are 16 words adopted in all three periods. The order is as follows: ‘missile’, ‘North Korea Nuclear’, ’Diplomacy’, ‘Unification’, ‘North and South Korea’, ‘Military’, ‘Kaesong Industrial Complex’, ‘Defense’, ‘Sanctions’, ‘Denuclearization’, ‘Peace’, ‘Exchange and Cooperation’, and ‘South Korea’. We expect that the results of this study will contribute to analyze the trends of news content of North Korea associated with North Korea's provocations. And future research on North Korean trends will be conducted based on the results of this study. We will continue to study the model development for North Korea risk measurement that can anticipate and respond to North Korea's behavior in advance. We expect that the text mining analysis method and the scientific data analysis technique will be applied to North Korea and unification research field. Through thes... 북한의 변화와 동향 파악에 대한 연구는 북한관련 정책에 대한 방향을 결정하고 북한의 행위를 예측하여 사전에 대응 할 수 있다는 측면에서 매우 중요하다. 현재까지 북한 동향에 대한 연구는 전문가를 중심으로 과거사례를 서술적으로 분석하여, 향후에 북한의 동향을 분석하고 대응하여 왔다. 이런 전문가 서술 중심의 북한 변화 및 동향 연구에서 비정형데이터를 이용한 텍스트마이닝 분석이 더해지면 보다 과학적인 북한 동향 분석이가능할 것이다. 특히 북한의 동향 파악과 북한의 대남 관련 행위와 연관된 연구는 통일 및 국방 분야에서 매우유용하며 필요한 분야이다. 본 연구에서는 북한의 신문 기사 내용을 활용한 텍스트마이닝 방법으로 북한과 관련한 핵심 단어를 구축하였다. 그리고 본 연구는 김정은 집권 이후 최근의 남북관계의 극적인 관계와 변화들을 기반으로 세 개의 기간을나누고 이 기간 내에 국내 언론에 나타난 북한과 관련성이 높은 단어들을 시계열적으로 분석한 연구이다. 북한과 관련한 주요 단어들을 세 개의 기간별로 분류하고 당시에 북한의 태도와 동향에 따라 해당 단어와 주제들의관련성이 어떻게 변화하였는지를 파악하였다. 본 연구는 텍스트마이닝을 이용한 연구가 남북관계 및 북한의 동향을 이해하고 분석하는 방법론으로서 얼마나 유용한 것이지를 파악하는 것이었다. 앞으로 북한의 동향 분석에 대한 연구는 물론 대북관계 및 정책에 대한방향을 결정하고, 북한의 행위를 사전에 예측하여 대응 할 수 있는 북한 리스크 측정 모델 구축을 위한 연구로진행 될 것이다.

베타 회귀분석과 R 텍스트 마이닝을 이용한 특허 마이닝

전성해(Sunghae Jun) 한국지능시스템학회 2018 한국지능시스템학회논문지 Vol.28 No.4

개발된 기술에 대한 특허는 숫자, 문자, 그림 등으로 이루어진 문서형식이다. 특허 마이닝은 대규모 특허문서 데이터로부터 기술과 관련된 다양한 지식을 추출하는 도구와 방법이다. 문서는 대부분 텍스트로 구성되어 있기 때문에 특허 마이닝에서는 텍스트 데이터를 처리하고 분석할 수 있는 텍스트 마이닝이 필요하다. 텍스트 마이닝을 지원하는 프로그래밍 언어로 본 논문에서는 R을 사용한다. R은 텍스트 마이닝 뿐만 아니라 대부분의 통계분석과 기계학습 알고리즘을 지원한다. 제안 방법에서 사용되는 베타 회귀분석도 R의 통계 패키지를 이용하여 수행된다. 반응변수가 0에서 1사이의 값을 갖는 베타 회귀분석의 특성을 이용하여 본 연구에서는 특허문서로부터 추출된 키워드 사이의 기술 연관성을 찾는 방법을 제안한다. 제안모형의 성능평가를 위하여 실제 특허문서를 이용한 실험을 수행한다. Patents for developed technologies are in the form of documents consisting of numbers, texts and pictures. Patent mining means tools and methods for extracting various knowledge related to technology from large-scale patent document data. Since documents are mostly text, patent mining requires text mining to process and analyze text data. Also, R is used as a programming language that supports text mining. R supports almost all statistical analysis and machine learning algorithms as well as text mining. The beta regression analysis used in the proposed method is also performed using the R statistical package. In this paper, we propose a method to find the technological relation between patent keywords extracted from patent documents by using the characteristics of beta regression analysis with response variables between 0 and 1. Experiments using real patent documents are performed to evaluate the performance of the proposed model.

텍스트마이닝을 통한 국내 전시회의 관람 동기 분석 연구

김새록,김주연 한국공간디자인학회 2019 한국공간디자인학회논문집 Vol.14 No.2

(Background and Purpose) People can get enough information about exhibitions through various means without having to visit them anymore. Nevertheless, it is necessary to visit the exhibition hall and check the motivation of those attending the exhibition to see whether a new culture such as the sightseeing proof shot is being created. This study statistically apprehends and verifies the lively reactions of visitors based on text-mining analysis of social media, through which users voluntarily describe their opinions or uses, rather than through existing survey methods. (Method) The purpose of this study is to investigate the motivations of exhibition visitors, satisfaction and behavior intention of visitors, big data, and text mining through literature review. After that, we analyzed the motivation of the exhibition through text mining, one of the big data analysis methods, and analyzed visualization and key keywords using Ucinet6 and NetDraw program. (Result) The total number of collected texts was 9512, and after eliminating the unnecessary words, it was ranked as 46, followed by "together", "participation", "experience" and "free". At the center of the network were the "experience", "together" and "weekend" texts, and in the centrality analysis, "together" showed an influence in all analyzes. In the 2-mode analysis, 7 texts were mentioned in common on weekends and weekdays, and 13 texts only for weekends and 2 texts for weekdays only. In CONCOR analysis, the number of texts per cluster in cluster 1 was 16, and the cluster classification appeared as a certain factor accompanied by detailed elements for purpose of viewing (cultural longing, break pursuit, bonding). (Conclusion) First, the factors of motivation for exhibition were classified into three factors as viewing purpose, accompanying person, and schedule, and the purpose of an exhibition tour was further classified into four categories: knowledge seeking, cultural longing, Rest pursuit, and bonding. Second, as a result of the analysis, exhibitions, companions, and schedules were important attributes without any bias among any of the three attributes. Third, in the purpose of viewing purpose, the effect of cultural longing and rest seeking factors is considered to be significant. In the accompanying attributes, 'together' was high and in the schedule attribute, 'weekend' was the highest. Through this, I could see that the exhibition visitors are looking for exhibitions to take culture and rest together with specific people rather than the purpose of seeking knowledge, and it is the reason why a new exhibition culture such as viewing proof shot is created can see. Finally, the frequency of the keywords is low, but when you are worried about the keywords alone, you can guess that you will go to the exhibition alone. (연구배경 및 목적) 현대의 사람들은 인터넷 기술의 발전으로 더 이상 전시장을 찾지 않고서도 다양한 방법을 통해 전시 정보에 대해 접근할 수 있으며 정보를 얻을 수 있다. 그럼에도 왜 전시장을 직접 방문하고 관람 인증샷(인증+shot)과 같은 새로운 문화가 생겨나는 것인지 전시 관람 동기에 대해 확인할 필요가 있다. 본 연구에서는 대중의 전시 관람 동기에 대해 기존의 설문조사 방식이 아닌 개인의 의견이나 이용 후기를 자발적으로 기술할 수 있는 소셜 미디어를 활용한 텍스트 마이닝 분석을 통해 관람객의 생생한 반응을 통계적으로 파악하고 증명하는데 목적을 둔다. (연구방법) 본 연구에서는 문헌연구를 통해 전시 관람 동기, 관람객의 만족 및 행동 의도, 빅데이터, 텍스트마이닝에 대해 이론적으로 고찰하고 텍스톰을 활용하여 빈도분석 후, 선행연구를 바탕으로 전시 관람 요소를 도출하였다. 이후 빅데이터 분석 방법 중 하나인 텍스트마이닝 통해 전시 관람 동기를 분석하고 Ucinet6, NetDraw 프로그램을 이용하여 시각화 및 핵심 키워드를 분석하였다. (결과) 수집된 텍스트는 총 9512개로 불필요한 단어를 삭제 후 46개로 정리하여 빈도 분석한 결과 “함께”가 가장 높게 나타났고 “참여”, “체험”, “무료”순으로 나타났다. 네트워크의 중심에는 “체험”, “함께”, “주말”텍스트가 나타났으며 중심성 분석에서는 “함께”가 모든 분석에서 영향력을 보였다. 2-mode 분석 결과 7개의 텍스트가 주말, 평일에 공통으로 언급되었으며 주말에만 해당되는 텍스트는 13개, 평일에만 해당되는 텍스트는 2개로 나타났다. CONCOR분석에서 군집1의 군집별 텍스트 수는 16개로 나타났으며 군집 분류는 관람목적의 세부 요소(문화동경, 휴식추구, 유대결속)와 동반인, 일정 요소로 나타났다. (결론) 첫째, 전시 관람 동기에 대한 요인은 관람목적, 동반인, 일정으로 크게 3가지 속성으로 분류할 수 있었으며 관람목적은 지식추구, 문화동경, 휴식추구, 유대결속 4가지로 추가 분류할 수 있었다. 둘째, 분석결과 3가지 속성 중 어느 한 속성으로 치우치지 않고 전시관람, 동반인, 일정 모두 중요한 속성으로 나타났다. 셋째, 관람 목적 속성에서는 문화동경 및 휴식추구 요인의 영향이 클 것으로 판단되며 동반인 속성에서는 ‘함께’가 높았으며 일정 속성에서는 ‘주말’이 가장 높게 나타났다. 이를 통해 현대의 사람들에게 전시 관람이 지식 추구의 목적보다는 특정인과 함께 문화 및 휴식을 취하기 위해 전시장을 찾는다는 것을 알 수 있었으며 관람 인증샷(인증+Shot)과 같은 새로운 전시 문화가 생겨나는 이유일 것이라고 볼 수 있다. 마지막으로 키워드의 빈도는 낮지만 걱정, 혼자 키워드를 통해 걱정이 있을 때 혼자 전시 관람을 할 것으로 유추해 볼 수 있다.

텍스트 마이닝을 이용한 Claim Data 분석

오효성,조성기,강창완,임동순 한국자료분석학회 2010 Journal of the Korean Data Analysis Society Vol.12 No.1

Nowadays most of the information in industry and business are stored electronically, in the form of text databases. Data stored in most text databases are nearly unstructured data. Thus studies on the modelling and implementation of unstructured data are needed and text mining has become an increasingly popular and essential theme in data mining. Text mining is data mining (applied to text) combined with natural language processing. In this study, we derive the segmentation and grouping results based on text data, that is, fashion company's customer claim data using text mining. As the results of text mining, we found that the claims for exchanges of products and the claims for service of stores were related. Finally we suggested this method for customer experience management(CEM) based on text mining. 현재까지 기업에서는 정형화된 데이터를 주 대상으로 고객을 세분화하고 관리하고 있는 실정이나, 최근에 들어 텍스트에서 의사결정에 수렴할 만한 가치 있고 유용한 정보를 찾아내는 작업의 중요성이 부각되고 있다. 텍스트 데이터는 수치 데이터와 달리 자연어로 구성된 비구조적 데이터로 이루어져 있어, 텍스트 간의 잠재된 정보를 찾는 방법이 텍스트 마이닝이다. 본 연구에서는 텍스트 마이닝을 사용하여 패션회사 고객의 Claim건에 대해 텍스트 간의 연관성을 토대로 분류 및 군집화한 결과를 나타내었다. 분석 결과에 따르면 제품에 대한 교환과 사이즈에 대한 교환으로 인한 Claim건과 매장의 서비스에 대한 Claim건이 연관성이 있음을 알 수 있고, 이는 정형화된 데이터 분석으로 도출할 수 없는 정보가 나타나고 있다. 그리고 클러스터로 나누어진 단어에서도 특성이 있는 결과가 도출되었으며 이 결과를 바탕으로 고객관계관리(CRM)를 넘어선 고객경험관리(CEM)를 하기 위한 하나의 방법을 제시하였다.

데이터마이닝 면책 입법 방향에 대한 의문

홍승기 한국경영법률학회 2022 經營法律 Vol.32 No.4

The Korean Government is planning to allow data mining for commercial purposes by enacting an additional clause in the Copyright Act. Its necessity is questionable in that Korea has “fair use” as a general limitation clause(Article 35-5) since 2011. If commercial purposes data mining is inevitable, it can be resolved under the control of four fairness factors with the existing “fair use” clause which was adopted with the Korea/US FTA. Even before the legislation of "fair use" in 2011, Korean Courts have referred to the four fairness factors of Article 107 of the U.S. Copyright Act as an analysis tool in the application of Article 28, a pseudo general limitation clause at that time. This experience of the Courts regarding 'fair use' doctrine is by no means negligible. It is also worth noting the Australian government's attitude to introduce ‘fair use’ doctrine. The Australian ALRC analyzed that 'fair use' suggests more clear and predictable standard compared to diverse 'fair dealings' of the Australian copyright act. In Germany, data mining for non-profit academic purposes only was allowed, France limited the sphere to scientific publications from legitimate sources, so it was intended to allow only text mining. Commercial purposes data mining seems to be allowable under the European Union Digital Single Market Directive, however right holders have the right to opt-out for commercial data mining(Art. 4). The opt-out scheme may leave commercial purposes data mining at the mercy of the content owners, making EU data mining operators inferior to the U.S. competitors. The fact that U.K, recently drew a line against commercial data mining is also noticeable. Comparatively and from our experience, the 'fair use' of the Korean Copyright Act itself could function as a useful scheme in dealing with data mining, commercial purpose inclusive though which is undesirable. In this situation, additional enactment the Government is pursuing currently might result in legislative excess. 국회에 상정된 저작권법 전면 개정안에서는 상업적 목적 데이터마이닝까지 허용하였다. 우리 저작권법이 일반규정으로서의 공정이용(제35조의 5)을 이미 입법하고 있다는 점에서 그 타당성은 의문이다. 상업적 이익의 데이터마이닝이 부득이 필요하다면 기존 ‘공정이용’ 규정으로 - 4가지 공정성 항목(fairness factors)의 통제 하에 - 해결 할 수 있다. 우리 법원은 2011년 ‘공정이용’을 입법하기 훨씬 이전부터 ‘공표된 저작물의 인용(제28조)’의 적용에 있어 미국 저작권법 제107조의 4개 항목을 분석도구로 적잖이 활용하여 왔다. 법원이 분석도구로서 미국법의 ‘fair use’ 규정을 활용한 경험이 결코 무시할만한 수준이 아닌 것이다. 최근 ‘fair use’ 도입을 시도하는 호주 정부의 입장도 참고할 만하다. 호주 입법위원회(ALRC)는 ‘fair use’가 그 자체로서 호주 저작권법의 한정적 열거규정인 ‘fair dealing’과 비교할 때 명확하고 예측가능하다고 분석하였다. ‘fair use’의 4가지 공정성 항목, 호주의 판례나 관련국가의 판례, 업계의 관행, 직업규약(code of practice)을 고려하면 이용자와 권리자가 예상할 만한 기준이 도출된다는 것이다. 독일에서는 비영리학술목적의 데이터마이닝을 허용하면서 보상의무까지 규정하였고, 프랑스는 그 대상을 합법적 출처의 과학출판물로 제한하고 있으므로 텍스트마이닝만을 허용하는 취지였다. 유럽연합 디지털 단일시장 지침의 데이터마이닝 규정은 상업적 목적 데이터마이닝에 opt-out이 가능하도록 하였다. 실제로 opt-out 제도는 상업적 목적 데이터마이닝을 권리자의 처분에 맡기는 결과가 되고, 결과적으로 상업적 목적 데이터마이닝까지도 ‘fair use’로 허용할 여지가 있는 미국에 비하여 유럽의 데이터마이닝 사업자를 배려하지 않는다는 비판까지도 받는다. 유럽연합에서 이탈한 영국이 최근 창작자들의 반발을 의식하여 상업적 목적 데이터마이닝에 대하여 일정한 선을 그었다는 사실은 시사하는 바가 크다. 비교법적으로 보나 우리 법원의 경험으로 보나 저작권법의 ‘공정이용’ 규정은 그 자체로 데이터마이닝을 처리하는데 무리가 없는 규정이다. 저작권법 전면개정안의 데이터마이닝 규정은 과잉입법이라고 지적한다.

위키피디어 기반 개념 공간을 가지는 시멘틱 텍스트 모델

김한준(Han-Joon Kim),장재영(Jae-Young Chang) 한국전자거래학회 2014 한국전자거래학회지 Vol.19 No.3

텍스트마이닝 연구의 기본적인 난제는 기존 텍스트 표현모델이 자연어 문장으로 기술된 텍스트 데이터로부터 의미 또는 개념 정보를 표현하지 않는데 기인한다. 기존 텍스트 표현모델인 벡터공간 모델(vector space model), 불리언 모델(Boolean model), 통계 모델(statistical model), 텐서공간 모델(tensor space model) 등은 ‘Bag-of-Words’ 방식에 바탕을 두고 있다. 이러한 텍스트 모델들은 텍스트에 포함된 단어와 그것의 출현 횟수만으로 텍스트를 표현하므로, 단어의 함축 의미, 단어의 순서 및 텍스트의 구조를 전혀 표현하지 못한다. 대부분의 텍스트마이닝 기술은 대상 문서를 ‘Bag-of-Words’ 방식의 텍스트 모델로 표현함을 전제로 하여 발전하여 왔다. 하지만 오늘날 빅데이터 시대를 맞이하여 방대한 규모의 텍스트 데이터를 보다 정밀하게 분석할 수 있는 새로운 패러다임의 표현모델을 요구하고 있다. 본 논문에서 제안하는 텍스트 표현모델은 개념공간을 문서 및 단어와 동등한 매핑 공간으로 상정하여, 그 세 가지 공간에 대한 연관 관계를 모두 표현한다. 개념공간의 구성을 위해서 위키피디어 데이터를 활용하며, 하나의 개념은 하나의 위키피디어 페이지로부터 정의된다. 결과적으로 주어진 텍스트 문서집합을 의미적으로 해석이 가능한 3차 텐서(3-order tensor)로 표현하게 되며, 따라서 제안모델을 텍스트 큐보이드 모델이라 명명한다. 20Newsgroup 문서집합을 사용하여 문서 및 개념수준의 클러스터링 정확도를 평가함으로써, 제안 모델이 ‘Bag-of-Word’ 방식의 대표적 모델인 벡터공간 모델에 비해 우수함을 보인다. Current text mining techniques suffer from the problem that the conventional text representation models cannot express the semantic or conceptual information for the textual documents written with natural languages. The conventional text models represent the textual documents as bag of words, which include vector space model, Boolean model, statistical model, and tensor space model. These models express documents only with the term literals for indexing and the frequency-based weights for their corresponding terms; that is, they ignore semantical information, sequential order information, and structural information of terms. Most of the text mining techniques have been developed assuming that the given documents are represented as ‘bag-of-words’ based text models. However, currently, confronting the big data era, a new paradigm of text representation model is required which can analyse huge amounts of textual documents more precisely. Our text model regards the ‘concept’ as an independent space equated with the ‘term’ and ‘document’ spaces used in the vector space model, and it expresses the relatedness among the three spaces. To develop the concept space, we use Wikipedia data, each of which defines a single concept. Consequently, a document collection is represented as a 3-order tensor with semantic information, and then the proposed model is called text cuboid model in our paper. Through experiments using the popular 20NewsGroup document corpus, we prove the superiority of the proposed text model in terms of document clustering and concept clustering.

텍스트 마이닝 통합 애플리케이션 개발 : KoALA

전병진,최윤진,김희웅 한국경영정보학회 2019 Information systems review Vol.21 No.2

빅데이터 시대를 맞아 다양한 도메인에서 수없이 많은 데이터들이 생산되면서 데이터 사이언스가 대중화 되었고, 데이터의 힘이 곧 경쟁력인 시대가 되었다. 특히 전 세계 데이터의 80% 이상을 차지하는 비정형 데이터에 대한 관심이 부각되고 있다. 소셜 미디어의 발전과 더불어 비정형 데이터의 대부분은 텍스트 데이터의 형태로 발생하고 있으며, 마케팅, 금융, 유통 등 다양한 분야에서 중요한 역할을 하고 있다. 하지만 이러한 소셜 미디어를 활용한 텍스트 마이닝은 수치형 데이터를 활용한 데이터 마이닝 분야에 비해 접근이 어렵고 복잡해 기대에 비해 그 활용도가 높지 못한 실정이다. 이에 본 연구는 프로그래밍 언어나 고사양 하드웨어나 솔루션에 의존하지 않고, 쉽고 간편한 소셜 미디어 텍스트 마이닝을 위한 통합 애플리케이션으로 Korean Natural Language Application(KoALA)을 개발하고자 한다. KoALA는 소셜 미디어 텍스트 마이닝에 특화된 애플리케이션으로, 한글, 영문을 가리지 않고 분석 가능한 통합 애플리케이션이다. 데이터 수집에서 전처리, 분석, 그리고 시각화에 이르는 전 과정을 처리해준다. 본 논문에서는 디자인 사이언스(design science) 방법론을 활용해 KoALA 애플리케이션을 디자인, 구현, 적용하는 과정에 대해서 다룬다. 마지막으로 블록체인 비즈니스 관련 사례를 들어 KoALA의 실제 활용방안에 대해서 다룬다. 본 논문을 통해 소셜 미디어 텍스트 마이닝의 대중화와 다양한 도메인에서 텍스트 마이닝의 실무적, 학술적 활용을 기대해 본다. In the Big Data era, data science has become popular with the production of numerous data in various domains, and the power of data has become a competitive power. There is a growing interest in unstructured data, which accounts for more than 80% of the world's data. Along with the everyday use of social media, most of the unstructured data is in the form of text data and plays an important role in various areas such as marketing, finance, and distribution. However, text mining using social media is difficult to access and difficult to use compared to data mining using numerical data. Thus, this study aims to develop Korean Natural Language Application (KoALA) as an integrated application for easy and handy social media text mining without relying on programming language or high-level hardware or solution. KoALA is a specialized application for social media text mining. It is an integrated application that can analyze both Korean and English. KoALA handles the entire process from data collection to preprocessing, analysis and visualization. This paper describes the process of designing, implementing, and applying KoALA applications using the design science methodology. Lastly, we will discuss practical use of KoALA through a block-chain business case. Through this paper, we hope to popularize social media text mining and utilize it for practical and academic use in various domains.

문학 텍스트 다시 읽기, 가까이서 읽기, 멀리서 읽기: 텍스트 마이닝(Text Mining)을 통한 『로빈슨 크루소』(Robinson Crusoe, 1719)와 『포』(Foe, 1986) 분석

윤서영 한국아프리카학회 2023 한국아프리카학회지 Vol.68 No.-

This study compared and analyzed the text of the two novels using the 'distant reading' approach. 'Distant reading' refers to the analysis of literary works through digital means. It is a methodology that allows for the objective quantification of analysis results that cannot be achieved through traditional methods of humanities research. In this study, we utilized an open-source web-based application called Voyant-Tools to examine the vocabulary frequency and range of each text, and based on this, we made inferences about the characters and their characteristics in each text. The two texts selected for analysis were Robinson Crusoe and Foe, with the latter being re-read and re-written from a postcolonial perspective, which is noteworthy. By extracting the most frequent vocabulary for each text and analyzing their distribution, we were able to deduce the characters for each text. Additionally, by examining the passages and paragraphs in which the derived vocabulary appeared, it was possible to understand the context in which the vocabulary was used, even without reading the texts closely. Africa is comprised of 55 countries, and as such, its literary output is vast. Therefore, it has been practically impossible to read and comprehend all African literature up to this point. Through distant reading utilizing text mining, it becomes possible to gain a better understanding of African literature that has been inaccessible for various reasons. In particular, this study employed text mining to compare and analyze European classics and their re-writings, enabling an objective comprehension of the differences between each text. However, when it comes to understanding African literature, which cannot be discussed without considering post-colonialism, distant reading alone has its limitations. For the time being, a combination of distant reading and close reading is necessary. 본 연구는 ‘멀리서 읽기’ 방식으로 두 소설 텍스트를 비교 및 분석하였다. ‘멀리서 읽기’란 디지털 방식으로 문학작품을 분석하는 것을 의미한다. 일반적인 인문학 연구 방법으로는 얻지 못한 분석 결과의 객관적 수치화가 가능한 방법론이다. 여기에서는 Voy소』와 『포』였으며, 후자는 전자를 탈식민주의적 관점에서 다시 읽고, 다시 쓴 작품이라는 점이 유의미하다. 분석 결과로는 각 텍스트 별 최빈도 어휘를 추출하고 이들의 분포도를 분석함으로써 각 등장인물을 유추했다. 또한 도출된 어휘가 포함된 소설의 구절 및 단락을 확인함으로써 좀 더 구체적으로 그 어휘가 쓰인 맥락을 확인함으로써 해당 텍스트를 가까이서 읽지 않더라도 각 텍스트의 등장인물 및 그들의 성격과 특징을 도출했다. 아프리카 대륙은 55개국으로 이루어져 있으며, 그 특성상 문학의 양 또한 방대하다. 따라서, 지금까지 아프리카 문학 모두를 읽고 이해하는 것은 현실적으로 불가능했다. 텍스트 마이닝을 활용한 멀리서 읽기를 통해 그간 여러 이유로 접하지 못했던 아프리카 문학을 한 발짝 더 이해할 수 있을 것이다. 특히 본 연구에서 다룬 유럽의 고전과 그것을 다시 쓰기 한 텍스트를 텍스트 마이닝을 통해 비교 및 분석함으로써 각 텍스트의 차이를 객관적으로 이해할 수 있었다. 그러나 탈식민주의를 빼놓고 논할 수 없는 아프리카 문학을 이해하는 데 있어 멀리서 읽는 방법만으로는 한계가 있었다. 당분간은 멀리서 읽기와 가까이서 읽는 작업이 병행될 필요가 있겠다.