어텐션 기반의 재구조화된 기계독해 알고리즘에 관한 연구 = A Study on the Reconstructed Machine Reading Comprehension Algorithm Based on the Attention

국문 초록 (Abstract)

인공지능(Artificial Intelligence, AI) 기술은 2016년 알파고 등장과 하드웨어의 발전으로 다양한 분야에서 연구되고 있다. AI 기술은 컴퓨터 비전(Computer Vision), 음성 인식(Speech Recognition)과 자연어 처리(Natural Language Processing, NLP) 분야에서 연구되고 있다. 자연어 처리에서 AI 기술은 텍스트 분류, 유사도 측정, 챗봇, 기계번역, 기계독해 등 다양한 문제를 해결하고 있다. 특히, 복잡하고 무한한 규칙을 갖는 자연어 처리에서 기계가 직접 패턴을 찾는 AI의 특징으로 많은 연구가 진행되고 있다.
기계독해(Machine Reading Comprehension)는 기계가 질문과 문서를 이해한 후 질문과 관련된 정답을 찾는 자연어 처리 작업 중 하나다. AI 이전의 기계독해는 인간이 질문을 검색하여 일치한 정답을 찾아주는 검색 기반의 방법을 활용하였다. 검색 기반 규칙은 정답률이 높지만, 질문이 많을 경우, 정답 규칙을 모두 구현하기 어려운 문제가 있다.
오늘날 기계가 스스로 훈련하여 기계독해 패턴을 구현함으로써 이전 문제를 해결했다. 2016년 장단기 메모리(Long Short-Term Memory, LSTM), 어텐션 메커니즘(Attention Mechanism) 기반으로 연구가 되었으며, 2019년
사전훈련(Pre-training)과 파인튜닝(Fine-tuning)에 최적화된 BERT(Bidirectional Encoder Representations from Transformers)가 등장함으로써 기계독해가 크게 발전했다. 사전훈련과 파인튜닝에 최적화된 BERT는 다양한 자연어 처리에서 높은 성능을 보여주며 대표적인 모델이 됐다. BERT는 몇 년 사이 사전훈련 데이터 부족과 다음 문장 예측(Next Sentence Prediction, NSP)이 사전학습에 유용하지 않은 문제가 발견된다. RoBERTa[7](A Robustly Optimized BERT Pretraining Approach)는 데이터를 보다 증가시킨 사전훈련, 다양한 단어에 마스킹을 적용하는 동적 마스킹(Dynamic Masking), NSP의 제거, 배치 사이즈(Batch Size)를 증가시킨 훈련 속도 및 성능이 BERT보다 향상됐다. RoBERTa에서 기계독해는 “< s > 질문문장 </ s > < s > 단락문장 </ s > ”와 같은 동시 입력 방법이다. < s > 는 문장의 시작을 의미하는 토큰이고, < /s > 는 문장의 끝을 의미하는 토큰이다. 동시 입력 방법은 주요 단어에서 질문문장과 단락문장의 관련 수치가 넓게 퍼지는 어텐션 분산 표현(Attention Separate Representation, ASP)문제가 있다.
본 논문에서는 입력에 사용하는 RoBERTa의 질문문장과 단락문장의 어텐션 분산 표현 문제를 해결하기 위해 RoBERTa에 기존 “< s > 질문문장 </ s > < s > 단락문장 < / s > ”에 “< s > 질문문장 </ s > ”와
“< s > 단락문장 </ s > ”을 포함시켜 총 세 가지 입력으로 변경하고, 각기 다른 세가지 RoBERTa를 훈련한 후 연결한다. 연결된 하나의 행렬을 두 개의 행렬로 변환하고, Co-attention 연산을 적용한 기계독해 알고리즘을 제안한다. 자연어는 다양한 언어가 존재하기 때문에 영어 및 한국어 두 가지 데이터를 활용하여 기존 모델과 비교한다.

다국어 초록 (Multilingual Abstract)

Artificial intelligence (AI) technology is being studied in various fields with the advent of AlphaGo in 2016 and the development of hardware. AI technology is being researched in computer vision, speech recognition, and natural language processing (NLP) fields. In natural language processing, AI technology is solving various problems such as text classification, similarity measurement, chatbot, machine translation, and machine reading comprehension. In particular, in natural language processing with complex and infinite rules, many
studies are being conducted as a feature of AI, in which a machine directly finds a pattern.
Machine Reading Comprehension (MRC) is one of the natural language processing tasks in which a machine understands a question and a document and then finds an answer related to the question.
Machine reading before AI used a search-based method in which humans search for questions and find matching answers. Search-based rules have a high percentage of correct answers, but there is a problem in implementing all correct answer rules when the number of questions is large.
Today's machines have solved the previous problem by training themselves to implement machine reading patterns. In 2016, research was conducted based on Long Short-Term Memory (LSTM) and Attention Mechanism, and in 2019, Bidirectional Encoder Representations from Transformers (BERT) optimized for pre-training and fine-tuning appeared. The field of reading comprehension has advanced a lot. Optimized for pre-training and fine-tuning, BERT has shown high performance in a variety of natural language processing
and has become a representative model. Optimized for pre-training and fine tuning, BERT showed high performance in various natural language processing and became a representative model. BERT has
been found to have problems with lack of pre-training data and Next Sentence Prediction (NSP) for several years. A Robustly Optimized BERT Pretraining Approach (RoBERTa) has improved training speed
and performance compared to BERT by pre-training the data more, dynamic masking that applies masking to various words, removing NSP, and increasing the batch size. In RoBERTa, machine reading is a simultaneous input method such as “< s > question sentence </ s > < s > paragraph sentence </ s > ”. ‘< s > ’ is a token that signifies the beginning of a sentence, and ‘</ s > ’ is a token that signifies the end of a sentence. Simultaneous input method has a problem of Attention Separate Representation (ASP) in which the related figures
of question sentence and paragraph sentence spread widely in key words.
In this paper, to solve the problem of dispersion of attention in RoBERTa's question and paragraph sentence used for input, RoBERTa changed the existing “< s > question sentence </ s > < s > paragraph sentence </ s > ” to a total of three inputs, “< s > question sentence </ s > ” and “< s > paragraph sentence </ s > ”, We train three different RoBERTa. Afterwards, for interaction between question and paragraph sentence, we propose a machine reading comprehension algorithm that combines three RoBERTa, creates two matrices, separates them into rows and columns, and applies operations. Since there are various languages in the natural language, we compare it with the existing model using data from both English and Korean.

목차 (Table of Contents)

• I. 서 론 1
• 1. 연구배경 1
• 2. 연구의 목적 및 범위 2
• 3. 논문의 구성 3
• II. 관련 연구 4
• 1. 어텐션 메커니즘 4
• 2. Transformer 5
• 3. BERT 7
• 4. 기계독해 모델 10
• 1) DCN 10
• 2) Bi-DAF 10
• 3) QANet 11
• 4) RoBERTa 12
• III. 제안하는 모델 13
• 1. 어텐션 메커니즘 기반의 신경망 14
• 1) 데이터 전처리 14
• 2) Attention Concentration 16
• 3) Co-attention 19
• IV. 구현 및 성능 평가 22
• 1. 구현 환경 22
• 2. 훈련 및 테스트 데이터 22
• 1) SQuAD1.1 23
• 2) KorQuAD1.0 23
• 3. 성능 평가 23
• 1) 평가지표 24
• 2) SQuAD1.1 성능 평가 26
• 2) KorQuAD1.0 성능 평가 34
• Ⅴ. 결론 및 향후 연구 41