FDC-TCT를 이용한 웹 문서 클러스터링 성능 개선 기법 = A performance improvement methodology of web document clustering using FDC-TCT

국문 초록 (Abstract)

키워드를 통한 웹 검색 결과의 분류와 같은 후처리가 요구되는 문서 분류 문제에서, 기존의 문서 분류 또는 클러스터링 알고리즘을 적용하는 데에는 많은 문제가 있다 그 중에서 고려해야 할 가장 심각한 두 가지 문제가 있다. 첫째는 전문가가 관여하여 범주를 선정하는 문제이고, 둘째는 문서분류에 소요되는 수행시간이 긴 문제이다. 따라서 본 논문에서는 이행적 폐쇄 트리를 이용하여 문서 유사도 계산 횟수를 크게 줄이고, 정확도의 희생을 최소화하면서 신속한 처리가 가능한 새로운 웹 문서 클러스터링 기법을 제안하다. 또한, 제안된 기법의 효율성을 검증하기 위하여 기존의 알고리즘과 비교 평가 및 분석한다.

다국어 초록 (Multilingual Abstract)

There are various problems while applying classification or clustering algorithm in that document classification which requires post processing or classification after getting as a web search result due to my keyword. Among those, two problems are severe. The first problem is the need to categorize the document with the help of the expert. And, the second problem is the long processing time the document classification takes. Therefore we propose a new method of web document clustering which can dramatically decrease the number of times to calculate a document similarity using the Transitive Closure Tree(TCT) and which is able to speed up the processing without loosing the precision. We also compare the effectivity of the proposed method with those existing algorithms and present the experimental results.

참고문헌 (Reference)

1 "베이지언 문서분류시스템을 위한 능동적 학습 기반의 학습문서집합 구성방법" 29 (29): 966-978, 2004.09.

2 "데이터 마이닝:개념 및 기법" 자유아카데미 2003.09.

3 "대용량 문서 데이터베이스를 위한 효율적인 점진적 문서 클러스터링 기법" 10-d (10-d): 57-66, 2003.02.

4 "‘Handbook of Data Mining and Knowledge Discovery’" Oxford University Press 2002.

5 "Web Page Classification without Negative Examples" and Kevin C. Chang 16 (16): 70-81, 2004.

6 "Use link-based clustering to improve web search results" 1 (1): 2001-, dec.

7 "The merge/purge problem for large databases" pp.127- 138 : 1998.

8 "Refining Initial Points for K-Means Clustering" 1998.

9 "HAM : 한국어 분석 모듈"

10 "Fast and intuitive clustering of web documents" 287-290, 1997.

11 "Evaluation of hierarchical clustering algorithms for document datasets" 515-524, 2002.

12 "Efficient phrase-based document Indexing for web document clustering" 16 (16): 1279-1296, 2004.

13 "An efficient domain- independent algorithm for detecting approximately duplicate database records" 125-130, 1997.

14 "An efficient K-Means Clustering Algorithm" 1998.

15 "A web document clustering algorithm based on concept of neighbor" 2 46-5 50, 2003.

16 "A knowledge-based approach for duplicate elimination in data cleaning" 26 (26): 585-606, 2001.

17 "A Simple KNN Algorithm for Text Categorization" 28 : 647-648, 2001.