텍스트 길이를 활용한 신뢰도 규제 마스크 언어 모델링 = Confidence-Regularized Masked Language Modeling using Text Length

국문 초록 (Abstract)

언어 표현 학습은 예비 학습 단계에서 수행되면 목표 작업의 성능을 크게 향상시키는 것으로 알려져 있다. 특히 마스크 언어 모델링은 효과적인 언어 표현 학습 방법 중 하나로, 입력된 텍스트의 임의 단어를 마스킹한 뒤 모델이 이를 추론하도록 하는 방법이다. 이 때 마스킹된 위치에 올 수 있는 단어로 다양한 단어가 고려될 수 있지만, 학습 과정에서는 단일 단어만을 정답으로 하여 손실 함수를 계산한다. 이는 자칫 모델이 단일 정답에 대해 과신할 수 있다는 문제를 야기한다. 모델이 과신하지 못하도록 레이블 평활화와 같은 신뢰도 규제 기법을 적용할 수 있으나, 이를 마스크 언어 모델링에 적용하여 표현 능력을 향상시킨 사례는 아직 없다. 본 연구에서는 마스크 언어 모델링을 개선하기 위하여 텍스트 길이를 활용한다. 구체적으로는 마스크 언어 모델링에서 마스킹된 자리에 고려될 수 있는 단어들의 엔트로피는 텍스트 길이에 반비례한다는 가정을 세우고, 이에 따라 신뢰도 규제 정도를 조절하는 손실 함수를 제안한다. GLUE benchmark, SQuAD 데이터셋에 대해 미세 조정 학습할 때 성능의 개선 정도 및 마스크 언어 모델링 시 기대 교정 오류를 측정함으로써, 본 제안 방법이 기존 방법보다 언어 표현을 더 잘 학습하는 방법임을 검증한다.

다국어 초록 (Multilingual Abstract)

It is known that language representation learning significantly enhances the performance of natural language tasks. Especially, predicting randomly masked word in an input text - also known as masked language modeling task - is one of efficient language representation learning methods. Although people would think out various candidates for filling in masked position, masked language modeling excludes those candidates and calculates a loss using a single word answer. This may cause the model to be overconfident on the single word answer. Confidence regularizers such as label smoothing can be applied to prevent model from overconfidence but those have not leaded to performance enhancement yet. In this thesis, a hypothesis is proposed that, in masked language modeling, likelihoods except a word answer are inversely proportional to the text length. Using this hypothesis, a new regularizer is proposed which controls the strength of regularizer dynamically. With observing accuracy and expected calibration error with GLUE dataset and SQuAD dataset, it is verified that the proposed method learns better text representations to be used on various tasks.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목표 2
• 1.3 논문의 개요 3
• 제 2 장 관련 연구 4
• 2.1 언어 표현 학습 및 마스크 언어 모델링 4
• 2.2 신뢰도 규제 기법 5
• 2.3 언어학적 가설 7
• 제 3 장 제안 방법 8
• 제 4 장 실험 및 평가 11
• 4.1 모델 구성, 데이터셋 및 평가지표 11
• 4.1.1 예비 학습 데이터셋 (Wikipedia, Bookcorpus) 11
• 4.1.2 목표 작업 데이터셋 (GLUE benchmark, SQuAD) 13
• 4.2 성능 평가 15
• 4.2.1 제안 방법 평가 15
• 4.2.2 기대 교정 오류 평가 20
• 4.2.3 레이블 평활화 구현 및 평가 22
• 제 5 장 결론 및 향후 연구 25