어절 형성 전이도와 HMM을 이용한 북한 문화어 품사 태깅 시스템 = North Korean part-of-speech tagging system using word-formation transition network and Hidden Markov Model

다국어 초록 (Multilingual Abstract)

This thesis presents a north korean part-of-speech tagger using the Word-Formation Transition Network and the Hidden Markov Model(HMM).The Word-Formation Transition Network is designed in north korean regulation. In a morphological analysis step, it performs morphological analysis using the Word-Formation Transition Network and a north korean dictionary and north korean morphological allomorph and a north korean irregular verb, etc. As a result of morphological analysis, a sentence is converted to a morpheme sequence. In a part-of-speech tagging step, given morpheme sequence, it performs part-of-speech tagging based on a statistical method, that is, Hidden Markov Model. A context probability and a lexical probability of Hidden Markov Model is trained as supervised learning. A context probability uses bigram. The Size of a training corpus is about sixty thousand words that have been morphologically analyzed. This training corpus is a part of the corpus that have been constructed by Special Corpus Construction Division of The 21st Century Sejong Project. In this thesis, the number of tag-set for a part-of-speech tagging is 29.The Accuracy is 95.60% on a experimental corpus fitting to North Korean Regulation In 1988, 93.34% on a experimental corpus fitting to North Korean Regulation In 2003.

국문 초록 (Abstract)

본 논문은 어절 형성 전이도와 은닉 마르코브 모델을 이용해 북한 문화어에 대한 품사 태깅 시스템을 구현하는 것을 목적으로 한다.형태소 분석 단계에서 사용하는 어절 형성 전이도는 북한의 어문 규정에 맞게 설계하였으며, 북한어 단어 사전과 형태소에 대한 음운론적 이형태, 불규칙 용언을 파악해 형태소 분석을 하였다. 형태소가 분석되어 형태소열이 나오게 되면, 품사 태깅 단계에서 통계적 방법인 은닉 마르코브 모델을 이용해 품사 태깅을 수행하였다. 은닉 마르코브 모델의 문맥 확률과 어휘 확률은 지도 학습을 통해 학습을 시켰고, 문맥 확률은 bigram을 사용하였다. 학습에 사용한 말뭉치는 21세기 세종계획 특수자료 구축 소분과인 북한 및 해외 한국어 말뭉치 분과에서 구축한 품사 주석 말뭉치의 일부인 약 60만 어절 규모의 말뭉치를 사용했다. 품사 태깅을 위해 설정한 태그셋은 해당 분과에서 설정한 태그셋를 바탕으로 29개로 설정하였다. 본 연구를 통해 구현된 품사 태깅 시스템의 태깅 정확률은 1988년 어문 규정에 맞는 실험 말뭉치에 대해서는 약 95.60%였으며, 2003년 어문 규정에 맞는 실험 말뭉치에 대해서는 약 93.73%였다.