텍스트 신뢰도 자질 기반 지식 질의응답 문서 품질 평가 모델 = Text-Confidence Feature Based Quality Evaluation Model for Knowledge Q&A Documents

국문 초록 (Abstract)

불특정 다수 사용자가 정보를 생성하는 지식 질의응답 서비스에서는 문서의 품질이 검색결과 만족도에 중요한 요소 중 하나이다. 지식 질의응답 문서의 품질 평가에 관한 기존 연구는 조회 수와 추천수 등의 비텍스트 정보를 이용하여 문서의 품질을 평가하고, 이를 검색 모형에 반영하여 검색 성능을 높이는데 집중하였다. 이러한 비텍스트 정보는 그 유용성이 실험을 통해 증명되었다. 그러나 비텍스트 정보를 이용하여 새로 작성된 문서의 품질을 평가할 경우 심각한 자료 부족 문제가 발생할 수 있다는 단점이 있다. 본 논문에서는 이러한 비텍스트 정보의 자료 부족 문제를 완화할 수 있는 새로운 문서 품질 평가 자질로서 문서 내용 자체에 대한 신뢰성을 반영하는 신뢰도 자질을 제안한다. 제안하는 자질은 문서의 내용으로부터 직접 추출되며, 따라서 추천 수나 조회 수 등 서비스 사용자의 참여를 간접적으로 필요로 하는 비텍스트 자질보다 자료 부족 문제에 견고하다는 장점이 있다. 또한 제안하는 신뢰도 자질은 문서 품질 평가에 유용하다고 알려진 비텍스트 자질과 유사하거나 향상된 성능을 실제 지식 질의응답 문서를 대상으로 한 실험에서 보였으며, 추후 효과적인 품질 평가 자질로서 지식 질의응답 서비스의 성능향상에 기여를 할 수 있을 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

In Knowledge Q&A services where information is created by unspecified users, document quality is an important factor of user satisfaction with search results. Previous work on quality prediction of Knowledge Q&A documents evaluate the quality of documents by using non-textual information, such as click counts and recommendation counts, and focus on enhancing retrieval performance by incorporating the quality measure into retrieval model. Although the non-textual information used in previous work was proven to be useful by experiments, data sparseness problem may occur when predicting the quality of newly created documents with such information. To solve data sparseness problem of non-textual features, this paper proposes new features for document quality prediction, namely text-confidence features, which indicate how trustworthy the content of a document is. The proposed features, extracted directly from the document content, are stable against data sparseness problem, compared to non-textual features that indirectly require participation of service users in order to be collected. Experiments conducted on real world Knowledge Q&A documents suggests that text-confidence features show performance comparable to the non-textual features. We believe the proposed features can be utilized as effective features for document quality prediction and improve the performance of Knowledge Q&A services in the future.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 기존 연구
• 3. 지식문서 집합
• 4. 신뢰도 자질 기반 품질 평가 모델
• 5. 실험 및 평가
• 6. 결론
• 참고문헌

참고문헌 (Reference)

1 박소연, "지식 검색 서비스 개선을 위한 문서의 적합도 및 신뢰도 분석" 한국문헌정보학회 40 (40): 299-314, 2006

2 Kekalainen, J, "Using graded relevance assessments in IR evaluation" 53 (53): 1120-1129, 2002

3 Brin, S, "The anatomy of a large-scale hypertextual Web search engine" 107-117, 1998

4 Lee, J.-T, "Predicting the quality of answers using surface linguistic features" 111-116, 2007

5 Zhu, X, "Incorporating quality metrics in centralized/distributed information retrieval on the World Wide Web" 288-295, 2000

6 Zhou, Y, "Document quality models for Web ad hoc retrieval" 331-332, 2005

7 Page,E.B, "Computer grading of student prose,using modern concepts and software" 62 (62): 127-142, 1994

8 Kleinberg,J.M, "Authoritative sources in a hyperlinked environment" 46 (46): 604-632, 1999

9 Berger, A. L, "A maximum entropy approach to natural language processing" 22 (22): 39-71, 1996

10 Ponte, J. M, "A language modeling approach to information retrieval" 275-281, 1998

11 Jeon, J, "A framework to predict the quality of answers with non-textual features" 228-235, 2006

12 Malouf,R, "A comparison of algorithms for maximum entropy parameter estimation" 49-55, 2002