영어 교과서를 활용한 LSTM L2-언어 모델의 통사적 일반화 평가

다국어 초록 (Multilingual Abstract)

With the development of deep learning techniques, research on learning and analyzing knowledge through meaning and syntax inherent in text has been actively conducted in recent language models. It is interestingly that it starts with a very simple structure and progresses by adding ideas one by one to overcome the limitations of the previous model. Some studies evaluate language knowledge of neural networks using exploratory tasks that train them to directly predict characteristics of sentences (e.g., syntax tree depth) or parts of sentences (e.g, language parts) using only pre-trained representations of neural networks(NNs) as inputs. However, the characteristics of the model required to make syntactic generalization are not yet well known and unclear.
Accordingly, this study examines the characteristics and evaluation methods of existing language models and then evaluates the ability of language knowledge by applying them to the LSTM language model based on the preceding paper of Hu et al., (2020) which uses language models to systematically evaluate syntactic generalization.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1 연구의 필요성 및 목적 1
• 제2장 선행 연구 4
• 2.1 언어 모델 평가 정보 이론 4
• 2.1.1 분기 계수(Perplexity) 4
• 2.1.2 통사적 평가 패러다임(Syntactic Evaluation Paradigm) 5
• 2.1.3 통사적 일반화(Syntactic Generalization) 6
• 2.2 언어 모델을 활용한 언어 현상의 선행 연구 7
• 2.2.1 통사적 일반화 평가(Syntactic Generalization Evaluation) 9
• 2.2.2 LSTM LM 기반 연구 14
• 제3장 실험 및 결과 26
• 3.1 실험 내용 및 방법 27
• 3.1.1 언어 모델: LSTM 27
• 3.1.2 실험 자료 27
• 3.1.3 실험 절차 29
• 3.2 실험 결과 30
• 3.2.1 데이터 세트에 따른 평가 점수 30
• 3.2.2 데이터 세트 크기 평가 32
• 3.2.3 언어적 현상을 활용한 평가 34
• 3.2.4 수식어 개입/비개입 여부에 따른 평가 36
• 3.2.5 학습 데이터 세트에 따른 언어 현상 정답률 38
• 제4장 논의 44
• 4.1 신경망 언어 모델 기반 학습의 한계와 가능성 44
• 4.2 언어적 현상 정답률에 따른 언어 모델 상관관계 50
• 제5장 결론 및 제언 52
• 참 고 문 헌 55
• ABSTRACT 57