문서 군집화를 위한 워드 임베딩, PCA와 K-평균 군집의 새로운 결합 = Novel Association of Word Embeddings, PCA and K-means for Text Clustering

국문 초록 (Abstract)

본 논문은 현대 웹 환경에서 다양한 주제의 문서가 폭발적으로 증가함에 따라 사용자가 원하는 정보를 찾기가 점점 어려워지는 문제를 다루고 있다. 문서 군집화는 비슷한 특징을 가진 문서들을 그룹화함으로써 정보의 접근성과 사용 편의성을 향상시킬 수 있는 강력한 도구로, 사용자가 필요한 정보를 빠르고 쉽게 찾을 수 있도록 도와준다. 본 논문에서는 문서 군집화를 위한 새로운 방법인 PCA-KM (Principal Component Analysis –K- means)을 제안하였다. PCA-KM은 워드 임베딩으로부터 얻은 문서의 고차원 벡터에 주성분 분석을 적용하여 차원을 축소한 후, 수정된 K-means을 반복적으로 적용하는 과정을 포함한다. 여러 군집화 성능지표를 사용해 워드 임베딩과 K-means를 단순 결합한 전통적인 방법과 제안된 방법을 비교하였다. 그 결과, 본 논문에서 제안한 방법이 여러 성능지표에서 비슷하거나 우수한 성능을 나타냈다. 따라서 제안한 방법이 더 효율적인 문서 검색 서비스의 발전에 기여할 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

This paper addresses the problem of the increasing difficulty for users to find the information they want due to the explosive growth of documents on various topics in the modern web environment. Document clustering is a powerful tool that can improve the accessibility and usability of information by grouping documents with similar features, helping users quickly and easily find the information they need. In this paper, we proposed a novel method called PCA-KM (Principal Component Analysis –K- means) for document clustering. PCA-KM reduces dimensionality by applying principal component analysis to high-dimensional vectors of documents obtained from word embeddings, followed by the iterative application of modified K-means. Several clustering performance metrics were used to compare the proposed method with the traditional one, combining word embeddings and K-means. The results showed that the proposed method performed similarly or better on these metrics. Therefore, we expect that the proposed method will contribute to developing more efficient document retrieval services.

참고문헌 (Reference)

1 "https://cran.r-project.org/web/packages/PsychWordVec/index.html"

2 T. Wolf, "Transformers : State-of-the-art natural language processing" 38-45, 2020

3 김동현 ; 이계민, "New link of multiple correspondence analysis and K-means cluster analysis" 33 (33): 1043-1052, 2022

4 Ten Berge. J. M., "Jos, Least Squares Optimization in Multivariate Analysis" DSWO Press, Leiden University 1993

5 Y. Yang, "Image clustering using local discriminant models and global integration" 19 (19): 2761-2773, 2010

6 J. Pennington, "GloVe: Global vectors for word representation" 1532-1543, 2014

7 P. Bojanowski, "Enriching word vectors with subword information" 5 : 135-146, 2017

8 Tomas Mikolov, "Efficient estimation of word representations in vector space"

9 조현 ; 정여진, "Clustering high-cardinality categorical data using category embedding methods" 31 (31): 209-220, 2020

10 J. Devlin, "BERT: Pre-training of deep bidirectional transformers for language understanding" 1 : 4171-4186, 2019