웹 문서와 접근로그의 하이퍼링크 추출을 통한 웹 구조 마이닝 = Web Structure Mining by Extracting Hyperlinks from Web Documents and Access Logs

국문 초록 (Abstract)

웹 사이트의 구조가 정확하게 주어진다면, 정보 제공자의 입장에서는 사용자의 행위 패턴이나 특성을 효과적으로 파악할 수 있어 보다 나은 서비스를 제공할 수 있고, 사용자의 입장에서는 더욱 쉽고 정확하게 유용한 정보를 찾을 수 있을 것이다. 하지만 웹상의 문서들은 빈발하게 수정되기 때문에 웹 사이트의 구조를 정확하게 추출하는 것은 상당한 어려움이 있다. 본 논문에서는 이러한 웹 사이트의 구조를 자동으로 추출하는 알고리즘을 제안한다. 제안하는 알고리즘은 두 단계로 구성된다. 첫 번째 단계는 웹 문서를 분석하여 그들 간의 하이퍼링크를 추출하고 이를 웹 사이트의 구조를 나타내는 방향 그래프로 표현한다. 하지만 플래시나 자바 애플릿에 포함된 하이퍼링크는 추출할 수 없는 한계가 있다. 두 번째 단계에서는 이러한 숨겨진 하이퍼링크를 추출하기 위하여 웹 사이트의 접근로그를 이용한다. 즉, 접근로그로부터 각 사용자의 클릭스트림을 추출한 후, 첫 번째 단계에서 생성한 그래프와 비교하여 숨겨진 하이퍼링크를 추출한다. 본 논문에서 제안한 알고리즘의 성능을 평가하기 위하여 다양한 실험을 수행하였고, 이러한 실험을 통하여 웹 사이트의 구조를 보다 정확하게 추출할 수 있음을 확인하였다.

다국어 초록 (Multilingual Abstract)

If the correct structure of Web site is known, the information provider can discover users# behavior patterns and characteristics for better services, and users can find useful information easily and exactly. There may be some difficulties, however, to extract the exact structure of Web site because documents one the Web tend to be changed frequently. This paper proposes new method for extracting such Web structure automatically. The method consists of two phases. The first phase extracts the hyperlinks among Web documents, and then constructs a directed graph to represent the structure of Web site. It has limitations, however, to discover the hyperlinks in Flash and Java Applet. The second phase is to find such hidden hyperlinks by using Web access log. It fist extracts the click streams from the access log, and then extract the hidden hyperlinks by comparing with the directed graph. Several experiments have been conducted to evaluate the proposed method.

참고문헌 (Reference)

1 최영환, "웹 마이닝을 위한 입력 데이터의 전처리과정에서 사용자구분과 세션보정" 30 (30): 843-849, 2003

2 김진수, "사용자 로그 분석과 클러스터 내의 문서 유사도를 이용한 동적 추천 시스템" 한국정보과학회 31 (31): 586-594, 2004

3 J. Huysmans, "Web Usage Mining: A Practical Study" 86-99, 2004

4 Y. Kosala, "Web Mining Research, A Survey" 2 : 1-15, 2000

5 Thuraisingham, "Web Data Mining and Business Intelligence Analysis" CRC Press 2003

6 M. Baglioni, "Preprocessing and Mining Web Log Data for Web Personalization" 2829 : 237-249, 2003

7 S. Chakrabarti, "Mining the Web" Morgan Kaufmann 2002

8 Y. Zou, "Migrating and Specifying Services for Web Integration" 1999 : 253-270, 2000

9 M. S. Chen, "Efficient Data Mining for Path Traversal Pattern" 10 (10): 209-221, 1996

10 R. Cooley, "Data Preparation for Mining World Wide Web Browsing Patterns" 1 : 1-26, 1999

11 M. Koutri, "A Survey on Web Usage Mining Techniques for Web-Based Adaptive Hypermedia System" 13 : 125-149, 2005