웹 마이닝을 이용한 개인 광고 시스템 설계 및 구현 = Design and Implementation of Personalized Advertisement System Using Web Mining

국문 초록 (Abstract)

본 논문에서는 개인화된 광고 서비스를 가능하게 하는 비교적 간단한 적응형 시스템을 설계하고 구현하였고, 그 성능을 실험하였다. 개인의 성향을 시스템에 가장 효율적으로 반영하기 위하여 개인 컴퓨터의 히스토리 파일을 원시 데이터로 하여 정제후 사용하였다. 이 파일을 이용하므로 해당 서버를 방문한 자에 한해서만 성향을 파악할수 있는 단점을 극복하여 고객이 다른 서버의 방문 기록도 활용하므로 좀더 현실성 있는 성향 파악이 가능하게 하였다.
또한, 사용자의 성향을 발견 및 분류하기 위하여 야후의 검색 시스템을 이용한 방법을 고안하여 검색분야 횟수를 기준으로 한 분류결과를 획득하였다. 이렇게 하여 분류 시스템 구축을 간략화 할 수 있었다.
본 논문에서 제안한 시스템을 통해 고객 성향의 카테고리를 표준화 할 수 있었고, 이 데이터를 이용하여 개인화된 광고시스템을 구축할 수 있었다.
데이터의 정제는 95% 이상 정제되어 필요 정보만 추출할 수 있었으며, 광고 분야 선정을 위해 방문 분야별 방문 횟수를 기준으로 한 웨이트 테이블을 작성하고, 랜덤 하게 선택하여 성향 분포를 고려하면서 특수 분야 또한 선정이 가능하게 하였다. 또한, 새로운 데이터와 과거 데이터와의 연계를 통한 적응적 시스템을 구현하여 웹사이트에 접근하는 모든 고객들에게 공통적으로 서비스를 제공할 수 있게 되었다. 광고 선택은 해당 분류 내의 광고 중 광고비를 기준으로 광고부냐 선택과 같은 방법을 이용하였다. 이것은 실험결과를 이용하여 합리적으로 선택 되었음을 확인하였다.
본 시스템의 문제점으로는 개인이 각자 자발적으로 히스토리 데이터를 전송하야 하는 것이다. 이것은 특수 목적의 회원이나, 자발적 참여자를 모집하여 해결하면 자료 수집이나 프라이버시 침해 같은 문제를 해결할 수 있다.
본 시스템은 최근에 광고에 이용하는 쿠폰 마케팅, 아바타 마케팅, 블로그 마케팅 등 중소규모의 광고 시스템에 이용할 수 있고, 광고 효과의 확인, 동호회 등 특수 그룹을 위한 광고에 효과적이며, 새로운 광고 패턴을 결정하는 데 유용하게 사용할 수 있다.
향후 연구 과제로는 eCRM등 전체 시스템과 연계한 시스템의 확장이 필요하고 사용자 프로화일 연관 그룹 정보, 협동 시스템, 연관 상품 등을 고려하여 광고 이익 모델의 다양화한 통합된 시스템 개발의 연구가 필요하다.
또한 카테고리저장, 분류 및 검색을 위하여, XML을 이용한 좀더 발전된 형태의 연구가 필요하고, 온톨로지를 이용한 광고 항목의 확장, 검색 및 선택과 성공적인 웹 정보 집합에서 유전자 알고리즘을 이용한 최적화된 정보 시스템 구축에 관한 연구가 필요하다.

다국어 초록 (Multilingual Abstract)

In this paper, simple adaptive system is implemented and performance is experimented for personalized advertisement service. The system uses internet history files that rely in the personal computer for determining personal tendency. History files are refined and used as primitive resources.
The proposed system uses internet access record that is in the personal computer, as a result the tendency determined for each customer could become more efficient then the system that uses server side log files.
The system uses 'yahoo' for retrieving categories of the customer's visit URL. In addition the system uses categories retrieved from 'yahoo' for determining personal tendency. By doing so, the retrieval and classification of personalized category system could be more simplified.
The customer tendency category could be standardized and personal advertisement system could be implemented with proposed system. The primitive data is refined more 95% for the retrieval of the categories. To select the category of advertisements, the weight table is derived based on visit field count, and randomly selected from the preference distribution.
The recent data and the past data's appropriate combination is implemented and the service could be provided to the every customers who requests the service. The selection of the advertisement is after the selection of user's category decision. Within the selected category there also relies the advertisements. The selection of one advertisement is performed using similar method to select one category for each customer.
The experimental result shows the selections were reasonable. One of the draw back of the proposed system is users must send their history data to the system voluntarily or gather specialized group.
However, by doing so the privacy issues are solved. The proposed system could be used in mid small sized advertisement system such as coupon marketing and avatar marketing. The proposed system could be used in the advertisement for the specialized group and new advertisement pattern determination. For better advertisement profit model, the system must integrate with user profile association group information, associations of the products are needed in the big system such as eCRM.
In addition, the XML technologies is needed to store and retrieval of category for more advanced research and using ontology in the semantic web system for more widely used web information search . And applying genetic algorithm to construct optimized advertisment information system are needed.

목차 (Table of Contents)

• 목차
• 제1장 서론 = 1
• 1.1 연구배경 및 목적 = 1
• 1.2 논문의 구성 = 3
• 제2장 관련 연구 = 4
• 2.1 데이터마이닝(Data Mining) = 4
• 2.2 데이터마이닝 관련기술 = 4
• 2.2.1 데이터마이닝과 통계학 = 4
• 2.2.2 데이터마이닝과 의사결정지원 시스템 = 5
• 2.2.3 데이터마이닝과 데이터웨어하우징 = 6
• 2.2.4 온라인 분석 프로세싱과 데이터마이닝 = 7
• 2.2.5 데이터 시각화와 데이터마이닝 = 7
• 2.2.6 인공지능과 데이터마이닝 = 8
• 2.2.7 인터넷과 데이터마이닝 = 8
• 2.3 데이터마이닝 과정 = 8
• 2.3.1 데이터 선택(Data Selection) = 9
• 2.3.2 데이터 정제(Data Cleaning) = 9
• 2.3.3 데이터 변환(Data Transformation) = 9
• 2.3.4 데이터마이닝(Data Mining) 기법적용 = 9
• 2.3.5 패턴 평가 = 10
• 2.3.6 지식 표현 = 10
• 2.4 데이터마이닝 수행결과(Outcomes) = 10
• 2.4.1 분류(Classification) = 10
• 2.4.2 추정(Estimation) 및 예측(Prediction) = 10
• 2.4.3 군집(Clustering) = 11
• 2.4.4 설명(Description) = 11
• 2.5 데이터 마이닝 알고리즘 = 12
• 2.5.1 통계적 기법(Statistical Methods) = 12
• 2.5.2 연관규칙(Association Rules) 탐사 = 12
• 2.5.3 순차패턴(Sequential Pattern) 탐사 = 13
• 2.5.4 사례기반추론(Case-Based Reasoning) = 13
• 2.5.5 자동군집검출(Automatic Cluster Detection) = 14
• 2.5.6 의사결정나무(Decision Trees) = 14
• 2.5.7 인공신경망(Neural Networks) = 14
• 2.5.8 유전자 알고리즘(Genetic Algorithm) = 15
• 2.6 웹마이닝(Web Mining) = 15
• 2.6.1 웹 컨텐츠 마이닝 = 16
• 2.6.2 웹 구조 마이닝 = 16
• 2.6.3 웹 사용 마이닝 = 17
• 2.7 웹 사용 마이닝을 위한 웹로그 분석 = 18
• 2.7.1 웹 로그화일 분석 = 18
• 2.7.2 웹 로그화일 종류 = 19
• 2.7.3 웹 로그화일 측정요소 = 21
• 2.7.4 웹 로그분석 한계 = 22
• 2.7.5 개인의 컴퓨터에 있는 웹 로그화일 분석 = 24
• 2.7.6 서버의 로그화일과 개인의 컴퓨터의 웹 로그 화일의 비교 = 26
• 2.8 웹마이닝 적용분야 = 26
• 2.8.1 지식관리시스템(Knowledge Management System) = 26
• 2.8.2 고객관계관리(Customer Relationship Management) = 27
• 2.9 웹 개인화(Web Personalization) = 30
• 2.9.1 웹 개인화 개념 = 30
• 2.9.2 웹 개인화 효과 = 32
• 2.9.3 웹 개인화 기법 = 34
• 2.9.4 웹 개인화 기법 적용 = 37
• 제3장 제안한 방법 및 알고리즘 = 38
• 3.1 클라이언트 데이터 수집 및 정제 = 38
• 3.1.1 데이터 수집 = 38
• 3.1.2 사용자 성향 카테고리 발견 = 38
• 3.2 사용자 성향 카테고리 결정 = 41
• 3.3 사용자 성향 수정 = 45
• 3.4 광고 결정 기법 = 45
• 제4장 개인화 광고 시스템 설계 및 프로토타입 구현 = 47
• 4.1 시스템 개발환경 = 47
• 4.2 시스템 구성 = 47
• 4.3 시스템 설계 = 49
• 4.3.1 클라이언트 처리 과정 설계 = 50
• 4.3.1.1 1단계 전처리 과정 = 50
• 4.3.1.2 야후 카테고리 수집 = 52
• 4.3.1.3 2단계 전처리 과정 = 54
• 4.3.2 서버 처리과정 설계 = 56
• 4.3.2.1 비중과 비중범위 결정과정 = 58
• 4.3.2.2 광고 선택 및 전송 과정 = 59
• 4.3.2.3 광고 데이터베이스 업데이트 과정 = 60
• 4.3.2.4 광고 전송 확인 및 평가 과정 = 61
• 4.4 프로토타입 구현 = 62
• 4.4.1 클라이언트에서의 정보 추출기 = 62
• 4.4.2 전처리 화일 생성 구현 = 62
• 4.4.3 광고 분석 시스템 구현 = 66
• 제5장 실험 및 결과분석 = 69
• 5.1 실험환경 = 69
• 5.2 전처리 과정의 결과 분석 = 69
• 5.3 정보 수집 및 분류과정의 결과 분석 = 70
• 5.4 수집된 정보에 의한 광고 선택 비율 과정의 결과 분석 = 72
• 5.5 총 광고비의 시간에 따른 인기 항목의 결과 분석 = 72
• 제6장 결론 및 향후 연구 = 74
• 참고 문헌 = 76
• 요약 = 80
• Abstract = 82