신경망 기계 번역 모델의 최적 하이퍼파라미터 연구 = An Empirical Analysis of Optimal Hyperparameters in Neural Machine Translation Models

국문 초록 (Abstract)

기계 번역은 인공지능 기술을 활용하여 특정 언어를 다른 언어로 변환하는 기술을 의미한다. 초기의 기계 번역 기술은 규칙 기반 및 통계 기반 접근 방식을 사용하였으나, 최근 10년 동안에는 신경망 기계 번역(Neural Machine Translation, NMT)이 주로 사용되고 있다. NMT는 단어를 매칭하여 번역하는 기술을 넘어 문맥을 이해하고 이를 반영하여 번역 결과를 생성함으로써 번역 품질을 크게 향상시켰다. 특히, transformer 모델은 이전의 순환신경망 기술 보다 높은 성능을 달성하였으며 번역 뿐만 아니라 다양한 분야에서 사용되고 있다.
본 논문에서는 transformer 기술이 적용된 NMT를 사용하여 데이터 및 언어별 특성에 적합한 모델 학습 방법을 탐구하고자 한다. 또한, 하이퍼파라미터가 언어별 번역 성능에 미치는영향을 정량적 수치로 분석하고자 한다. 일반적으로 NMT는 문어체 데이터를 사용하여 모델을 학습한다. 그러나 본 연구에서는 대화체 데이터를 활용하여 번역 모델을 개발하고, 대화체 데이터와 문어체 데이터의 차이점을 분석하여 대화 상황에 적합한 번역 모델을 제안한다.
더불어, 기계 번역 분야가 주로 로마자 기반 언어로 연구되던 것에서 벗어나, 아시아 언어에 집중하여 아시아 병렬 코퍼스 학습에 적합한 하이퍼파라미터 설정 값을 분석하고 그에 따른 번역 성능의 차이를 관찰하고자 한다. 또한, 언어 쌍에 따라 번역 성능에 주요 영향을 미치는 하이퍼파라미터가 무엇인지, 언어별 효과적인 기계 번역 학습법을 제안하고자 한다.
이 연구는 다양한 언어 쌍에 대한 기계 번역의 효율성을 증대시키고 번역 품질을 개선하기 위한 학습 방법과 하이퍼파라미터 설정에 대한 통찰을 제공하고자 한다.

다국어 초록 (Multilingual Abstract)

Machine translation refers to the technology that uses artificial intelligence to translate one language into another. Early machine translation technologies used rule-based and statistical approaches, but over the past decade, Neural Machine Translation (NMT) has predominantly been used. NMT goes beyond word-to-word translation by understanding context and incorporating it into translation results, significantly enhancing translation quality. In particular, the transformer model has achieved higher performance compared to earlier recurrent neural network technologies and is being used not only in translation but also in various fields.
This paper aims to explore methods for training models suitable for data and language-specific characteristics using NMT with transformer technology. Additionally, it seeks to analyze the quantitative impact of hyperparameters on translation performance across different languages. Typically, NMT trains models using written text data. However, this study aims to develop translation models using conversational data, analyzing the differences between conversational and written text data to propose a translation model suitable for conversational situations.
Furthermore, departing from the predominant research focus on Roman-script languages, this study aims to concentrate on Asian languages. It intends to analyze hyperparameter settings suitable for training on Asian parallel corpora and observe translation performance differences accordingly. Moreover, it aims to identify key hyperparameters that significantly influence translation performance across language pairs and propose effective machine translation training methods tailored to each language.
This research aims to enhance the efficiency of machine translation across various language pairs and provide insights into training methods and hyperparameter settings to improve translation quality.

목차 (Table of Contents)

• 1. 서론 1
• 1.1 연구 배경
• 1.2 연구 목표
• 2. 선행 연구
• 2.1 대화체 데이터 구축
• 2.2 NMT 모델의 하이퍼파라미터
• 2.2.1 NMT 모델의 훈련파리미터
• 2.2.2 NMT 모델의 디코딩파라미터
• 3. 이론적 배경
• 3.1 대화체 데이터
• 3.2 학습 하이퍼파라미터
• 3.3 디코딩 하이퍼파라미터
• 4. 실험 방법
• 4.1 데이터 설명
• 4.2 모델 구조
• 4.3 실험 방법
• 4.3.1 한국어 베트남어 대화체 NMT 모델
• 4.3.2 NMT 하이퍼파라미터
• 4.4 평가 지표
• 5. 실험 결과
• 5.1 한국어 베트남어 대화체 NMT 모델
• 5.2 NMT 하이퍼파라미터
• 5.2.1 학습 하이퍼파라미터
• 5.2.2 디코딩 하이퍼파라미터
• 6. 결론