Data Dictionary 기반의 R Programming을 통한 비정형 Text Mining Algorithm 연구

국문 초록 (Abstract)

미리 선언된 구조를 이용하여 수집·저장된 정형적 데이터와는 달리 웹 2.0의 시대에서 일반 사용자들이 평상시에 사용하는 자연어 형태로 작성된 비정형 데이터 분석은 과거보다 훨씬 더 넓은 응용범위를 가지고 있다. 데이터 양이 폭발적으로 증가하고 있다는 특성뿐 만 아니라 인간의 감성이 그대로 표현된 특성을 가진 텍스트에서 의미 있는 정보를 추출하는 빅데이터 분석 기법을 텍스트마이닝(Text Mining)이라 하며 본 연구는 이를 주제로 하고 있다. 본 연구를 위해 오픈 소스인 통계분석용 소프트웨어 R 프로그램을 이용하였으며, 비정형 텍스트 문서를 웹 환경에서 수집, 저장, 전처리, 분석 작업과 시각화(Frequency Analysis, Cluster Analysis, Word Cloud, Social Network Analysis)작업 등의 과정에 관한 알고리즘 구현을 연구하였다. 특히, 연구자의 연구 영역 분석에 초점을 더욱 높이기 위해 Data Dictionary를 참조한 키워드 추출 기법을 사용하였다. 실제 사례에 적용한 R은 다양한 OS 구동, 일반적 언어와의 인터페이스 지원 등 통계 분석용 소프트웨어로써 매우 유용하다는 점을 발견할 수 있었다.

다국어 초록 (Multilingual Abstract)

Unlike structured data which are gathered and saved in a predefined structure, unstructured text data which are mostly written in natural language have larger applications recently due to the emergence of web 2.0. Text mining is one of the most important big data analysis techniques that extracts meaningful information in the text because it has not only increased in the amount of text data but also human being"s emotion is expressed directly. In this study, we used R program, an open source software for statistical analysis, and studied algorithm implementation to conduct analyses (such as Frequency Analysis, Cluster Analysis, Word Cloud, Social Network Analysis). Especially, to focus on our research scope, we used keyword extract method based on a Data Dictionary. By applying in real cases, we could find that R is very useful as a statistical analysis software working on variety of OS and with other languages interface.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 선행연구
• 3. 연구 방법
• 4. 연구 알고리즘 실험과 결과
• 5. 결론 및 향후 과제
• References

참고문헌 (Reference)

1 양선, "한국어 비교 마이닝을 위한 비교 요소 자동 추출" 한국정보과학회 38 (38): 689-696, 2011

2 원진영, "텍스트마이닝을 활용한 사회위험 이슈 도출" 위기관리 이론과 실천 10 (10): 33-52, 2014

3 감미아, "텍스트 마이닝을 활용한 신문사에 따른 내용 및 논조 차이점 분석" 한국지능정보시스템학회 18 (18): 53-77, 2012

4 이현규, "사회기술적 접근방식을 통한 모바일 통신환경 분석" 한국산업정보학회 18 (18): 59-69, 2013

5 이지호, "빅데이터의 데이터마이닝과 저작권법상 일시적 복제" 한국지식재산연구원 8 (8): 93-125, 2013

6 장청윤, "빅데이터 분석 도구 R을 활용한 효율적인 특허 검색에 관한 연구" 대한안전경영과학회 15 (15): 289-294, 2013

7 강신재, "데이터의 웹을 위한 상호연결된 대규모 온톨로지 네트워크 구축" 한국산업정보학회 15 (15): 15-23, 2010

8 조완섭, "대사경로 재구축을 위한 텍스트 마이닝 기법" 한국산업정보학회 12 (12): 138-147, 2007

9 Ian F, "wordcloud: Word Clouds"

10 Ingo F., "tm: Text Mining Package"

11 Hadley W., "stringr: Make it easier to work with strings"

12 "http://www.worldometers.info/kr"

13 "htt://www.wikipedia.org"

14 Harley W., "ggplot2 : elegant graphics for data analysis" Springer 2009

15 Csardi G., "The igraph software package for complex network research" 2006

16 Meyer D, "Text mining infrastructure in R" 25 (25): 1-54, 2008

17 "Telecommunication Technology Association"

18 "THE R TIPS(THE SECOND EDITION)"

19 Zhao Y, "R and data mining : Examples and case studies" Academic Press 2012

20 Kurt H., "NLP: Natural Language Processing Infrastructure"

21 Feinerer I, "Introduction to the tm packagetext mining in R. nd)"

22 Williams G, "Data science with R text mining"

23 Feinerer I, "An introduction to text mining in R" 8 (8): 19-22, 2008