문헌빈도와 장서빈도를 이용한 kNN 분류기의 자질선정에 관한 연구 = A Study on Feature Selection for kNN Classifier using Document Frequency and Collection Frequency

국문 초록 (Abstract)

이 연구에서는 자동 색인을 통해 쉽게 얻을 수 있는 자질의 문헌빈도와 장서빈도를 이용하여 자동분류에서 자질 선정 기법을 kNN 분류기에 적용하였을 때, 어떠한 분류성능을 보이는지 알아보고자 하였다. 실험집단으로 한국일보-20000(HKIB-20000)의 일부를 이용하였다. 실험 결과 첫째, 장서빈도를 이용하여 고빈도 자질을 선정하고 저빈도 자질을 제거한 자질선정 방법이 문헌빈도보다 더 좋은 성능을 가져오는 것으로 나타났다. 둘째, 문헌빈도와 장서빈도 모두 저빈도 자질을 우선으로 선정하는 방법은 좋은 분류성능을 가져오지 못했다. 셋째, 장서빈도와 같은 단순빈도에서 자질 선정 구간을 조정하는 것이 문헌빈도와 장서빈도의 조합보다 더 좋은 성능을 가져오는 것으로 나타났다.

다국어 초록 (Multilingual Abstract)

This study investigated the classification performance of a kNN classifier using the feature selection methods based on document frequency(DF) and collection frequency(CF). The results of the experiments, which used HKIB-20000 data, were as follows. First, the feature selection methods that used high-frequency terms and removed low-frequency terms by the CF criterion achieved better classification performance than those using the DF criterion. Second, neither DF nor CF methods performed well when low-frequency terms were selected first in the feature selection process. Last, combining CF and DF criteria did not result in better classification performance than using the single feature selection criterion of DF or CF.

참고문헌 (Reference)

1 정영미, "정보검색연구" 구미무역 출판부 2005

2 이재윤, "자질 선정 기준과 가중치 할당 방식간의 관계를 고려한 문서 자동분류의 개선에 대한 연구" 한국문헌정보학회 39 (39): 123-146, 2005

3 심경, "문헌범주화에서 학습문헌수 최적화에 관한 연구" 한국정보관리학회 23 (23): 277-294, 2006

4 정은경, "문서범주화 성능 향상을 위한 의미기반 자질확장에 관한 연구" 한국정보관리학회 26 (26): 261-278, 2009

5 이용구, "단어 중의성 해소를 위한 지도학습 방법의 통계적 자질선정에 관한 연구" 한국비블리아학회 22 (22): 5-25, 2011

6 Tan, S., "Neighbor-weighted K-nearest Neighbor for Unbalanced Text Corpus" 28 (28): 667-671, 2005

7 Jackson, P., "Natural Language Processing for Online Applications - Text Retrieval, Extraction and Categorization" Benjamins Publishing Co. 2002

8 Sebastiani, F, "Machine Learning in Automated Text Categorization" 34 (34): 1-47, 2002

9 Kim, J., "HKIB-2000 & HKIB-40075: Hangul Benchmark Collections for Text Categorization Research" 3 (3): 165-180, 2009

10 "HKIB 실험집단"

11 "HAM 형태소 분석기"

12 Azam, N., "Comparison of term frequency and document frequency based feature selection metrics in text categorization" 39 (39): 4760-4768, 2012

13 Guyon, I., "An Introduction to Variable and Feature Selection" 3 : 1157-1182, 2002

14 Yang, Y., "A re-examination of text categorization methods" 42-49, 1999

15 Shang, W., "A novel feature selection algorithm for text categorization" 33 (33): 1-5, 2007

16 Yang, Y, "A comparative study on feature selection in text categorization" 412-420, 1997