인문학을 위한 신문 빅 데이터와 텍스트 마이닝 = Newspaper Big Data and Text Mining for Digital Humanities

다국어 초록 (Multilingual Abstract)

This study stresses the need to expand the boundaries of the humanities fields in light of the upcoming age of big data and artificial intelligence, with a focus on text mining of newspaper big data. Several research cases involving text mining methodologies applied to newspaper big data are presented. These big data consist of articles published in DongA Newspaper from 1946 to 2014, which are not only vast in quantity and accumulated over a significant time period, but also annotated through morphological analysis, adding value to the data as materials for text mining. The five main text mining methodologies applied in this research to extract and analyze various types of information from the newspaper big data are word frequency analysis, statistical keyword analysis, lexical co-occurrence analysis, topic modeling, and detection of lexical meaning change. The diverse methodologies presented are advantageous in their ability to encompass vast text resources. Further research is necessary as these methodologies are universally adopted as a substitute for traditional quantitative and qualitative research.

국문 초록 (Abstract)

이 논문은 빅 데이터, 인공지능의 시대를 맞이하여 인문학의 외연을 확장하 고 시대적인 변화에 조응할 필요성이 있음을 강조하고, 이를 위해 인문학에서 적용할 수 있는 텍스트 빅 데이터로서 신문 자료를 토대로 한 텍스트 마이닝 방법의 실제 연구 사례를 제시해 보는 데 그 목적이 있다. 이 논문에서는 먼저 텍스트 마이닝을 적용하기 위한 대상 자료로서 신문 빅 데이터에 주목하였다. 신문 빅 데이터는 동아일보 1946년부터 2014년까지의 전체 기사로 구성되어 있으며 형태소 분석이 주석되어 있을 뿐 아니라 대규모 의 장기간에 걸친 자료라는 점에서 텍스트 마이닝을 적용해 보는 데 매우 요긴한 자료임이 강조되었다. 이 연구에서 적용한 텍스트 마이닝의 주요 방법들은 어휘 사용 빈도의 분석, 통계적 키워드 분석, 공기어 네트워크 분석, 토픽 모델 링, 어휘의미의 변화 탐지 다섯 가지로서, 이러한 방법들을 활용하여 신문 빅 데이터로부터 다양한 정보를 추출하고, 분석해 보았다. 본고에서 제안한 몇몇 방법들은 대규모의 텍스트 자원에 두루 적용해 볼 수 있다는 점에서 범용성이 클 뿐 아니라 기존의 정성적, 정량적 방법론을 넘어서 는 방법으로서 국제적으로도 널리 활용되고 있다는 점에서 좀 더 다양하게 연 구될 필요가 있다.

참고문헌 (Reference)

1 김일환, 고려대학교 민족문화연구원 2016

2 김일환, "핵심어로 본 시대상의 변화" 25 (25): 36-76, 2015

3 김일환, "키워드, 공기어 그리고 네트워크 - 신문 빅 데이터가 보여주는 것" 소명출판 2017

4 에리즈 에이든, "빅데이터 인문학: 진격의 서막" 사계절 2015

5 최재웅, "물결21 코퍼스: 공개 웹 자원 및 활용 도구" 민족문화연구원 (64) : 3-23, 2014

6 김일환, "디지털 자료와 의미 연구의 다양성" 한국어의미학회 56 : 89-109, 2017

7 김일환, "대규모 신문 기사의 자동 키워드 추출과 분석 -t-점수를 이용하여-" 한국어학회 53 : 145-194, 2011

8 강진웅, "『동아일보』 키워드를 통해 본 분단체제 정체성과 이념 갈등 : 동아일보 빅데이터를 기반으로" 한국어문학국제학술포럼 37 : 31-59, 2017

9 김일환, "‘물결21’ 코퍼스의 구축과 활용" 소명출판 2013

10 Vivek Kulkarni, "Statistically Significant Detection of Linguistic Change" 625-635, 2015

11 David, M. Blei, "Probabilistic Topic Models" 55 (55): 77-84, 2012