Text mining기법에 기반한 PageRank 알고리즘 제안 및 시스템 구현 = Textmining-based PangRank Algorithm Proposal and System Implementation

국문 초록 (Abstract)

인터넷의 급속한 성장에 따라 매우 많은 양의 정보가 온라인으로 제공되면서 필요한 정보추출을 위한 검색엔진에 대한 연구가 활발하다. 본 논문에서는 검색엔진의 정확도를 좌우하는 페이지랭크(PageRank) 알고리즘을 텍스트 마이닝(Text mining) 기반으로 키워드를 추출하고 이를 확장하여 키워드 스코어링(Keyword scoring) 알고리즘을 적용해 보다 정확한 페이지랭크(PageRank) 알고리즘을 제안한다. 이를 위해서 분산크롤러(Crawler)를 이용하여 페이지를 수집하고, 수집된 페이지들로부터 키워드를 추출하여 확장한 후, 확장된 키워드들에 본 논문에서 제안한 키워드 스코어링(Keyword scoring) 알고리즘을 적용하여 새로운 페이지랭크(PageRank) 알고리즘을 도출했다. 또한 제시된 알고리즘을 적용한 시스템을 구현하여 제안된 알고리즘의 성능을 실험하고 기존의 알고리즘을 적용한 시스템과 성능을 비교 평가하였다.

다국어 초록 (Multilingual Abstract)

With the rapid growth of the Internet, a huge volume of information is supplied online and, in response to such a trend, research on search engine is being actively made. This paper, we propose a more accurate PageRank algorithm by applying keyword scoring algorithm to existing PageRank, which determines the accuracy of a search engine, through keyword extraction and keyword expansion based on text mining. For this purpose, we collected pages by using a distributed crawler, expanded keywords by extracting keywords from the pages and derived a new PageRank algorithm by applying the expanded keywords to the keyword scoring algorithm proposed in this study. In addition, this study implemented a system by applying the proposed algorithm to experiment on the performance of the algorithm, and compared the performance with that of a system based on existing algorithm.

목차 (Table of Contents)

• 목차 = ⅰ
• 요약문 = ⅳ
• Abstract = ⅴ
• Ⅰ. 서론 = 1
• Ⅱ. 관련 연구 = 3
• 1. 검색엔진 = 3
• 1.1 검색엔진의 구조 = 3
• 2. 텍스트 마이닝(Text mining) = 6
• 2.1 텍스트 마이닝(Text mining) 과정 = 7
• 2.2 검색엔진에서의 텍스트 마이닝(Text mining) 활용 = 9
• 3. 페이지랭킹(PageRanking) 기술 = 10
• 3.1 검색어의 빈도수 = 12
• 3.2 링크의 빈도수 = 13
• 3.3 링크텍스트(link Text)의 반영 = 13
• 3.4 스팸 필터링(Spam Filtering) = 14
• Ⅲ. 본론 = 15
• 1. 시스템 구조 = 15
• 1.1 전처리 단계 = 16
• 1.2 중간처리 단계 = 16
• 1.3 최종처리 단계 = 16
• 2. 시스템 구현 상세 과정 = 17
• 2.1 정보수집(문서수집) = 17
• 2.2 색인어 추출(명사추출) = 18
• 2.3 중요도 측정 및 스코어링 알고리즘 적용 = 19
• 2.4 검색기법 = 22
• 2.5 결과값 출력 = 23
• 2.6 시스템 평가 = 24
• Ⅳ. 실험 및 평가 = 26
• 1. 정보수집 = 26
• 2. 색인어 추출 및 중요도 측정 = 28
• 3. 결과값 출력 = 30
• 4. 시스템 평가 = 31
• Ⅴ. 결론 = 34
• 참고문헌 = 36