텍스트 마이닝의 실제적 활용에 관한 고찰

국문 초록 (Abstract)

일반적으로 비구조화 형태를 지닌 텍스트 데이터를 직접 통계 분석에 사용하기는 어렵다. 이러한 비구조화 데이터를 통계 분석에 사용하기 위해서는 먼저 구조화 데이터로 변환해주는 데이터 전처리 기법이 필요하다. 본 연구에서는 텍스트 마이닝을 이용하여 비구조화 데이터를 분석에 사용하는 방법과 이를 활용하는 방안에 대해 소개한다. 먼저, 비구조화 데이터를 구조화 데이터로 바꾸는 방법인 단어-문서 행렬과 가중치 함수에 대해 살펴본다. 단어-문서 행렬은 0의 값을 매우 많이 포함하는 희소 행렬(Sparse matrix)이기 때문에, 분석을 용이하게 하기 위한 특이값 분해(Singular Value Decomposition)를 통한 차원의 축소에 대해서도 살펴본다. 또한 단어들의 SNA(Social Network Analysis)를 통해 단어들 간의 관계를 파악한다.
본 연구에서는 텍스트 마이닝 기법을 이용하여 인터넷 쇼핑몰의 제품별 후기들의 군집분석을 실시하였다. 군집분석의 방법은 EM 군집 방법(Expectation -Maximization Clustering)을 이용하였으며, 군집의 개수 결정 방법은 제곱근 평균 제곱 표준편차의 평균값(RMS std), 유사 F 통계량(Pseudo F statistic), Hartigan Index를 이용하였다.
군집의 결과를 설명하기 위하여 군집을 대표하는 단어 5개씩을 뽑아 각각의 군집을 표현하였고, 군집의 결과는 SVD를 이용하여 2차원 상의 도표에 표현하였다. 이와 같은 과정을 통해 텍스트 마이닝을 이용한 분석의 활용도와 한계점 등에 대하여 알아보았다.

목차 (Table of Contents)

• 요 약 문 ⅰ
• 목 차 ⅱ
• 표 목 차 ⅲ
• 그림목차 ⅳ
• 제 1 장 서론 1
• 제 2 장 텍스트 마이닝 2
• 2.1 비구조화 데이터의 구조화 변환 2
• 2.1.1 지역적 가중치 함수 3
• 2.1.2 전역적 가중치 함수 4
• 2.2 특이값 분해 차원 축소 5
• 2.2.1 특이값 분해(Singular Value Decomposition) 5
• 2.2.2 단어-문서 행렬에 적용한 특이값 분해 6
• 2.3 군집분석 7
• 2.3.1 EM 군집(Expectation-Maximization Clustering) 7
• 2.3.2 군집개수 결정방법 9
• 2.3.2.1 제곱근 평균 제곱 표준편차 9
• 2.3.2.2 유사 F 통계량 10
• 2.3.2.3 Hartigan Index 10
• 2.3.3 군집을 표현하는 단어 11
• 2.4. 단어들 간의 SNA(Concept Link) 11
• 제 3 장 실증분석 13
• 3.1 자료 설명 13
• 3.2 문서의 구조화 변환과 단어의 필터링 14
• 3.3 군집분석 16
• 3.4 컨셉 링크 23
• 3.5 활용 26
• 제 4 장 결론 및 향후 연구과제 27
• 참고문헌 30