멀티미디어 XML 문서에 대한 의미 분석 기반의 지능적 자동 요약 = An Intelligent Automatic Summarization Based on Semantic Analysis for Multimedia XML Documents

국문 초록 (Abstract)

본 논문에서는 신문기사의 효율적인 자동문서요약을 위하여 기존의 표층적인 분석 방법과 차별화되며 한국어의 의미론적 특성을 고려한 문맥 분석 기반의 자동문서요약을 제안한다. 문맥 분석 기반의 자동문서요약은 XML로 표현된 신문기사에 대하여 어휘의 개념과 의미역을 분석하고, 이 정보를 요약하고자 하는 문서의 문맥 요소와 연결하여 요약문을 추출한다.
본 논문에서는 한국어 문서 중에서 신문기사를 대상으로 한다. 신문기사는 정보전달성이 가장 높고 많은 대중이 이용하며 은유나 비유적인 표현보다는 사실적인 사건을 중심으로 구성되는 특징이 있다. 본 논문에서는 신문기사에 대하여 XML 기반의 DailyML을 정의한다. DailyML은 신문기사의 일관적인 표현법을 제시함으로써 신문기사의 통일된 작성과 이를 활용하고자 하는 다양한 응용분야에서 용이한 정보처리가 가능하다.
한국어 문장이 내포하고 있는 의미적 결속성을 파악하기 위하여 본 논문에서는 한국어의 특성을 고려한 의미사전을 개발한다. 특히, 본 논문에서 제안하는 하위범주화사전을 이용한다면 한국어의 구문과 의미 분석을 효과적으로 수행할 수 있다. 본 논문에서는 하위범주화패턴의 구조에 기반하며 각 어휘의 의미적 특성을 효과적으로 분석할 수 있는 의미파서인 Su-Parser를 개발한다. 또한, Su-Parser의 의미 분석 성능을 높이기 위하여 의미사전의 확장 방법에 대하여 논한다.
본 논문에서는 Su-Parser를 통하여 신문기사의 문맥을 분석하고 요약문을 추출한다. 신문기사는 육하원칙을 기준으로 작성되는 것이 일반적이며, 이를 신문기사의 문맥 분석을 위한 중요한 정보로 활용한다. 또한, Su-Parser를 통하여 분석된 문맥 정보로부터 신문기사의 제목과 키워드를 자동으로 추출한다. 본 논문에서는 신문의 문단 특성을 인지하여 효과적인 정보 전달이 가능한 요약문을 추출한다. 또한, 공통 주제 분석을 통하여 문맥 분석 기반의 자동 요약이 다중 문서에도 효과적으로 적용될 수 있음을 보이고자 한다.
문맥 분석 기반의 자동문서요약을 정치, 사회, 생활 범주의 신문기사에 적용한 결과 요약률은 정치 범주에서 문단 추출법 18%, 문장 추출법 15%, 사회 범주에서 문단 추출법 24%, 문장 추출법 13%, 생활 범주에서 문단 추출법 23%, 문장 추출법 11.6%를 얻을 수 있었다. 자동문서요약의 정확도는 단일 문서일 경우 91%, 다중 문서일 경우 87%를 얻을 수 있었다. 본 논문에서 제안한 문맥 분석 기반의 자동문서요약은 신문기사의 다양한 문서 범주의 특성에 맞는 요약 성능을 보여주었으며 표층 수준에서 분석한 요약 결과보다 17∼48% 향상된 정확도를 나타내었다.

다국어 초록 (Multilingual Abstract)

This thesis suggests an automatic document summarization based on context analysis taking Korean semantic features account. This automatic document summarization, which is differentiated from the old method based on surface level, will be used to summarize articles in newspaper. This method analyzes concepts and semantic roles of every lexicon in XML newspaper articles and matches these information with context of newspaper article and extracts the abstract from newspaper article.
The object of the summarization is newspaper which is the most informative and popular among various documents, and the story is based on the facts without metaphorical and figurative expression. To enhance machine-readability of newspaper and to utilize it on other media, the DailyML based on XML is defined. The DailyML suggests typical expressions used in newspaper articles so that it is possible to write a newspaper in a same manners and to process the information on various area that this can be utilized.
In order to understand semantic cohesion that a Korean sentence entails, this thesis develops semantic dictionary which takes characteristics of Korean into consideration. The subcategorization dictionary, in particular, can make it easy to process the meanings of Korean phrases. This thesis also introduces a semantic parser, Su-Parser, which could analyzes semantic features of a lexicon effectively on the basis of structures of subcategorization patterns. This thesis also suggests a method of expanding semantic dictionary in order to enhance the performance of Su-Parser in terms of semantic analysis.
The contexts of every article of a newspaper are analyzed and abstracts of the articles are extracted with concepts and semantic roles of every lexicon, which are obtained by Su-Parser. The article is usually written by the 5W1H principles for report writing , so these principles are used as a main resource which construct a sentence or paragraph of the newspaper. The keyword and title of the article is automatically extracted with the information of analyzed context. This thesis makes possible to construct an abstract by extracting a paragraph and sentence, which promotes effective transmission of information, recognizing a characteristics of newspaper articles This thesis also shows that the automatic document summarization based on context analysis could be perfectly suited for multiple documents with analysis of common topics.
When the automatic document summarization based on context analysis applies to an article of newspaper in the domain of politics, social, and life, the results shows that the abstract ratio is 18% on paragraph extraction, and 15% on sentence extraction in the area of politics. The abstract ratio is 24% on paragraph extraction and 13% on sentence one in social domain, and 23% on paragraph extraction and 11.6% on sentence extraction in the area of life.
The accuracy of automatic document summarization of a single document reaches at 91% and the accuracy reaches 87% in the case of multiple documents. The automatic document summarization based on context analysis shows an ability to summarize an article of newspapers adapted to various types of documents and it also gives better results (17∼48%) in terms of precision ratio than the summarization which is implemented at surface level.

목차 (Table of Contents)

• Ⅰ. 서론 = 1
• 1.1 연구 배경 = 1
• 1.2 관련 연구 = 3
• 1.2.1 자동문서요약 = 3
• 1.2.2 한국어의 의미 분석 = 8
• 1.3 연구 내용 = 12
• 1.4 논문의 구성 = 16
• Ⅱ. 신문기사의 구조적 표현을 위한 DailyML = 17
• 2.1 DailyML의 특징 = 17
• 2.2 DailyML의 문서 구조 = 19
• Ⅲ. 문맥 분석을 위한 한국어 의미사전의 구축 = 24
• 3.1 한국어의 의미론적 특징 = 24
• 3.2 명사의 개념 분류 사전인 명사 온톨로지 = 26
• 3.2.1 명사 온톨로지의 의미표지와 의미코드 = 26
• 3.2.2 명사 온톨로지의 구조적 표현을 위한 ConceptML = 28
• 3.3 의미표지와 의미역을 부착한 하위범주화사전 = 30
• 3.3.1 용언의 선정 기준 = 30
• 3.3.2 의미역과 문형 패턴의 정의 = 31
• 3.3.3 하위범주화사전의 구조적 표현을 위한 SubcatML = 33
• 3.3.4 하위범주화사전의 구축 결과 = 34
• 3.4 성능 평가 = 35
• Ⅳ. 어휘의 의미적 중의성 해소와 의미역 분석을 위한 Su-Parser = 39
• 4.1 Su-Parser의 시스템 구현도 = 41
• 4.2 형태소 분석 = 42
• 4.2.1 형태소 분석을 위한 품사표지와 자료구조 = 42
• 4.2.2 형태소의 구조적 표현을 위한 MorphML = 44
• 4.3 어휘의 의미적 중의성 해소 = 47
• 4.3.1 용언과 보어 성분에 대한 의미 후보군 추출 = 48
• 4.3.2 의미 우선 제약 = 49
• 4.3.3 의미표지의 중복 의존 해소를 위한 구문 제약 = 53
• 4.3.4 Su-Parser에서 의미역 분석의 특징 = 57
• 4.4 의미 분석 결과의 구조적 표현을 위한 MorphML+SemSet = 61
• 4.5 성능 평가 = 63
• Ⅴ. 강건한 Su-Parser를 위한 의미사전의 확장 = 67
• 5.1 의미표지 정합의 정확도 향상을 위한 동의어 사전 = 67
• 5.2 하위범주화패턴에 대한 가중치 부여 = 71
• 5.3 하위범주화패턴의 예측을 통한 미등록 용언의 의미 처리 = 75
• 5.4 성능 평가 = 78
• Ⅵ. 문맥 분석 기반의 자동문서요약 = 82
• 6.1 육하원칙에 따른 문맥의 정의 = 82
• 6.2 자동문서요약의 시스템 구성도 = 85
• 6.3 자동문서요약을 위한 전처리 = 85
• 6.4 신문기사의 문맥 분석 = 88
• 6.5 최적의 요약문 추출을 위한 가중치 연산 = 94
• 6.6 문단과 문장 추출을 통한 요약문의 구성 = 95
• 6.7 신문기사 제목과 키워드의 자동 추출 = 98
• 6.8 다중 문서의 자동 요약을 위한 공통 주제 분석 = 100
• 6.9 성능 평가 = 105
• 6.9.1 실험 신문기사 말뭉치 = 105
• 6.9.2 자동문서요약 시스템의 요약률 = 105
• 6.9.3 자동문서요약 시스템의 재현율과 정확도 = 107
• Ⅶ. 결론 = 111
• 참고문헌 = 115
• 부록 = 122
• Abstract = 143