Paraphrasing training data for neural machine translation

국문 초록 (Abstract)

데이터의 크기가 커질수록 번역 결과물의 성능이 좋아진다는 믿음은 통계기반 기계번역(Statistical Machine Translation)의 신조로 작용하였다. 그러나 신경망 기계번역(Neural Machine Translation)은 번역모델이 문장에 내재되어 있는 문법적 지식을 보다 효율적으로 학습할 수 있다는 점에서 통계기반 기계번역보다 학습 데이터의 크기에서 자유로워졌다는 의견이 있다. 이에 본 연구에서는 Paraphrasing을 이용하여 한-영 병렬 말뭉치의 크기를 확장하고, 확장된 말뭉치에 따른 신경망 기계번역의 성능을 평가하였다.
Paraphrasing은 영어 문장의 경우HPSG(Head-driven Phrase Structure Grammar) 기반의 ERG(English Resource grammar)를 이용하였으며, 한국어 문장의 경우 KOGPT2를 이용한 데이터 증강을 진행하였다. 병렬 코퍼스는 A.I hub에서 제공하는 160만 문장의 한-영 번역 말뭉치 AI데이터를 이용하였다. 신경망 기계번역 시스템은 순환신경망(Recurrent Neural Networks, RNNs)의 일종인 bi-LSTM(Bidirectional Long Short-Term Memory)아키텍처에 Attention 메커니즘을 활용한 시스템과 Attention Mechanism을 이용한 Transformer 메커니즘으로 나누어 구축하였다. 데이터 증강기법과 기계번역 모델의 성능에 대해 보다 정확히 비교하기 위해, 코퍼스는 데이터 증강기법을 적용하지 않은 원문과, 영어 데이터만 증강한 경우, 한국어 데이터만 증강한 경우, 한-영 양쪽 모두를 증강한 경우로 나누어 구축했다. 성능 평가에는 문장의 표층적 유사도를 살피는 BLEU와 문맥 임베딩을 이용하여 의미적 유사도를 살피는 BERTScore, 그리고 사람 대상 실험을 통해 진행했다.
연구 결과, 데이터 증강기법을 적용한 코퍼스로 훈련한 모델은 데이터 증강기법을 적용하지 않은 모델보다 낮은 성능을 기록했다. 본 연구는 이에 대해 증강 문장의 품질, 코퍼스 확장 방향, 임베딩의 성능을 이용하여 분석하였다. 그러나 자원의 한계 및 적합한 분석 방법의 부재로 인해 정합한 분석을 수행하지 못한 것은 본 연구의 한계로 남는다.

다국어 초록 (Multilingual Abstract)

Machine translation is a major task of natural language processing, as it calls for the analysis and generation of different human languages. However, because a large amount of parallel corpora are needed for a good machine translation model, there was a limit to machine translation performance in language pairs that did not have large parallel corpora. Therefore, to improve the performance of the translation model between Korean and English (KoEn) and English and Korean (EnKo), which did not have a sufficient data size, this study tried to expand the data through paraphrasing and compared the performance of neural network machine translation models based on unexpanded data with the performance of those trained through extended data by paraphrasing.
The belief that the greater the data size, the better the performance of the machine translation results has served as a credential of the statistical machine translation system. However, there is an opinion that neural machine translation is less dependent on data size than statistical machine translation because neural machine translation models can learn the grammatical knowledge from training data more efficiently. In this study, a neural machine translation system was built using two different architectures: the Long Short-Term Memory (LSTM) and the Transformer.
This study used Korean-English parallel corpora provided by AI Hub. The data were divided into 100 k, 200 k, and 400 k sizes and paraphrased for each data size. With respect to the data augmentation, English sentences were augmented by paraphrasing using English Resource Grammar (ERG), a resource grammar-based Head-Driven Phrase Structure Grammar (HPSG), and Korean sentences were augmented by paraphrasing using a pretrained language model. This study trained a total of 40 machine translation models with differ data sizes, paraphrasing methods, model architectures, and sources to target language pairs (EnKo and KoEn). BLEU and BERTScore were used to evaluate all translation models’ performance.
As a result, the data augmentation technique applied in this study led to a decrease in performance. This study examined the influence of the direction of the corpus expansion and the semantic alignment between the paraphrased data. If a more precise data augmentation technique that solves the semantic alignment in the future is used, it will be able to contribute to the performance improvement of machine translation.

목차 (Table of Contents)

• Contents
• 1. Introduction ……………….……………………………….. 01
• 1.1 Goal ……………………………………………………………... 02
• 1.2 Outline …….………………………………………………………… 03
• 2. Theoretical Background ………………………………….. 04
• 2.1 Machine Translation ………..…………….………….…………… 04
• 2.1.1 Statistical Machine Translation ………………………………… 04
• 2.1.2 Neural Machine Translation …………………………………… 06
• 2.2 Data Augmentation ………………………………………………… 08
• 2.2.1 ERG-based Paraphrasing ……………………………………… 09
• 2.2.2 Deep Learning-based Paraphrasing ……………………………… 11
• 2.2.3 Back Translation ……………………………………………… 12
• 2.3 Evaluation Metrics ………………………………………………… 13
• 2.3.1 BLEU Score……………………………………………………… 14
• 2.3.2 BERTScore ……………………………………………………… 15
• 3. Methodology …………………………………..…………… 18
• 3.1 Corpus ………………………………………………………………… 18
• 3.2 Paraphrasing ……………………………………………………… 19
• 3.2.1 Paraphrasing Method for English………………………………… 19
• 3.2.2 Paraphrasing Method for Korean………………………………… 21
• 3.2.3 Corpus Expansion ……………………………………………… 23
• 3.3 Model Training ……………………………………………………… 24
• 3.4 Experiment ………………………………………………………… 25
• 4. Results ………………...…………………………………….. 28
• 4.1 Quantitative Evaluation …………………………………………… 28
• 4.1.1 BLEU Score ..…………………………………………………… 28
• 4.1.2 BERTScore ..…………………………………………………… 32
• 4.2 Human Evaluation ………………………………………………… 35
• 4.2.1 Filtering Random Responses …………………………………… 36
• 4.2.2 Correlation with Quantitative Evaluation ……………………… 39
• 5. Discussion ………………………………………………….. 46
• 5.1 Training Log According to Corpus Expansion Method ……………….. 46
• 5.2 Similarity of Paraphrased Sentences ………………………………….. 50
• 5.3 Embedding …………………………………………………………… 52
• 5.4 Implications of ERG-based Paraphrasing …………………………….. 54
• 5.5 Limitations …………………………………………………………… 57
• 6. Summary and Conclusion ……………………………….. 59
• References …………………………………………………… 61