http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
Self-Attention 지배소 인식 모델을 이용한 어절 단위 한국어 의존 구문분석
임준호(Joon-Ho Lim),김현기(Hyun-ki Kim) 한국정보과학회 2019 정보과학회논문지 Vol.46 No.1
의존 구문분석은 문장의 구조적 중의성을 해소하는 문제로, 최근 다양한 딥러닝 기술이 적용되어 높은 성능을 보이고 있다. 본 논문은 딥러닝을 이용한 의존구문분석을 크게 3가지 단계로 구분하여 살펴보았다. 첫 번째는 의존 구문분석의 단위가 되는 어절에 대한 벡터 표현 단계, 두 번째는 각 어절의 주위 어절 정보를 반영하는 문맥 반영 단계, 마지막은 문맥 반영된 어절 정보에 기반한 지배소 및 의존관계 인식 단계이다. 본 논문에서는 어절 표현 방법으로 CNN 모델에서 많이 사용하는 max-pooling 방법을 제안하고, 문맥반영을 위하여 LSTM, GRU보다 적은 계산량을 가지는 Minimal-RNN Unit을 적용하였다. 마지막으로 지배소 인식을 위하여 각 어절 사이의 상대 거리 임베딩을 반영한 Self-Attention 지배소 인식 모델을 제안하고, 의존관계 레이블 인식을 위하여 지배소 인식 모델과 동시에 학습을 수행하는 multi-task learning을 적용하였다. 평가를 위하여 세종계획 구구조 구문분석 말뭉치를 TTA 표준 의존 구조 가이드라인에 따라 변환하였고, 실험결과 제안 모델이 UAS 93.38%, LAS 90.42%의 구문분석 정확도를 보였다. Dependency parsing is the problem solving of structural ambiguities of natural language in sentences. Recently, various deep learning techniques have been applied and shown high performance. In this paper, we analyzed deep learning based dependency parsing problem in three stages. The first stage was a representation step for a word (eojeol) that is a unit of dependency parsing. The second stage was a context reflecting step that reflected the surrounding word information for each word. The last stage was the head word and dependency label recognition step. In this paper, we propose the max-pooling method that is widely used in the CNN model for a word representation. Moreover, we apply the Minimal-RNN Unit that has less computational complexity than the LSTM and GRU for contextual representation. Finally, we propose a Self-Attention Head Recognition Model that includes the relative distance embedding between each word for the head word recognition, and applies multi-task learning to the dependency label recognition simultaneously. For the evaluation, the SEJONG phrase-structure parsing corpus was transformed according to the TTA Standard Dependency Guideline. The proposed model showed the accuracy of parsing for UAS 93.38% and LAS 90.42%.