RISS 검색 - 국내학술지논문 상세보기

국문 초록 (Abstract)

최근 다언어모델(Cross-lingual language model)을 활용하여 한 번도 보지 못한 특정 언어의 하위 태스크를 수행하는 제로샷 교차언어 전이(Zero-shot cross-lingual transfer)에 대한 관심이 증가하고 있다. ...

최근 다언어모델(Cross-lingual language model)을 활용하여 한 번도 보지 못한 특정 언어의 하위 태스크를 수행하는 제로샷 교차언어 전이(Zero-shot cross-lingual transfer)에 대한 관심이 증가하고 있다. 본 논문은 기계번역 품질 예측(Quality Estimation, QE)을 학습하기 위한 데이터 구축적 측면에서의 한계점을 지적 하고, 데이터를 구축하기 어려운 상황에서도 QE를 수행할 수 있도록 제로샷 교차언어 전이를 수행한다. QE에서 제로샷을 다룬 연구는 드물며, 본 논문에서는 교차언어모델을 활용하여 영어-독일어 QE 데이터에 대해 미세조정을 실시한 후 다른 언어쌍으로의 제로샷 전이를 진행했고 이 과정에서 다양한 다언어모델을 활용하여 비교 연구를 수행했다. 또한 다양한 자원 크기로 구성된 언어쌍에 대해 제로샷 실험을 진행하고 실험 결과에 대해 언어별 언어 학적 특성 관점으로의 분석을 수행하였다. 실험결과 multilingual BART와 multillingual BERT에서 가장 높은 성능을 보였으며, 특정 언어쌍에 대해 QE 학습을 전혀 진행하지 않은 상황에서도 QE를 수행할 수 있도록 유도하였다.

다국어 초록 (Multilingual Abstract)

Recently, there has been a growing interest in zero-shot cross-lingual transfer, which leverages cross-lingual language models (CLLMs) to perform downstream tasks that are not trained in a specific language. In this paper, we point out the limitations of the data-centric aspect of quality estimation (QE), and perform zero-shot cross-lingual transfer even in environments where it is difficult to construct QE data. Few studies have dealt with zero-shots in QE, and after fine-tuning the English-German QE dataset, we perform zero-shot transfer leveraging CLLMs. We conduct comparative analysis between various CLLMs. We also perform zero-shot transfer on language pairs with different sized resources and analyze results based on the linguistic characteristics of each language. Experimental results showed the highest performance in multilingual BART and multillingual BERT, and we induced QE to be performed even when QE learning for a specific language pair was not performed at all.

목차 (Table of Contents)

요약
Abstract
1. 서론
2. 관련 연구
2.1 제로샷 전이 학습(Zero-shot transfer learning)

요약
Abstract
1. 서론
2. 관련 연구
2.1 제로샷 전이 학습(Zero-shot transfer learning)
2.2 기계번역 품질 예측 (Quality Estimation)
3. Zero-Shot기반 기계번역 품질예측 모델
4. 실험
4.1 데이터
4.2 다언어모델
4.3 실험 결과
5. 결론
REFERENCES

참고문헌 (Reference)

1 어수경, "최신 기계번역 품질 예측 연구" 한국융합학회 12 (12): 37-44, 2021

2 문현석, "병렬 말뭉치 필터링을 적용한 Filter-mBART기반 기계번역 연구" 한국융합학회 12 (12): 1-7, 2021

3 Z. Chi, "mT6 : Multilingual Pretrained Text-to-Text Transformer with Translation Pairs"

4 L. Zhou, "Zero-shot translation quality estimation with explicit cross-lingual patterns"

5 G. Campagna, "Zero-shot transfer learning with synthesized data for multi-domain dialogue state tracking"

6 G. Chen, "Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders"

7 J. Hu, "Xtreme : A massively multilingual multi-task benchmark for evaluating cross-lingual generalisation" 4411-4421, 2020

8 A. Conneau, "Unsupervised cross-lingual representation learning at scale"

9 R. N. Patel., "Translation quality estimation using recurrent neural network"

10 T. Ranasinghe, "TransQuest at WMT2020 : Sentence-Level Direct Assessment"