K-DIALECT : Korean dialect-aware face-based speech synthesis

다국어 초록 (Multilingual Abstract)

Face-based speech synthesis emerged as a promising alternative in settings where clean reference audio data are scarce or noisy.However, existing studies hardly addressed the challenge of modeling dialectal prosody, which is essential for preserving linguistic diversity and naturalness. To address this issue, we propose K-DIALECT, a multimodal Text-to-Speech (TTS) framework that generates speech from only a face image and dialect identifier. The model incorporates a face encoder to disentangle the speaker identity and style, a dialect-conditioned pitch predictor to explicitly model prosody, and a FiLM-based fusion module to integrate the pitch and style into a unified representation. Experiments on six Korean dialects show that our method achieves higher dialectal fluency and naturalness than a strong voice-based baseline while maintaining competitive speaker similarity. K-DIALECT achieved a SECS of 0.70 and a WER of 0.25, confirming that it preserves both similarity and intelligibility. Subjective evaluations further reveal that the improvements are especially pronounced for dialects with distinctive pitch variations, and listeners consistently preferred our outputs. This work represents the first attempt to extend face-based TTS to low-resource dialectal synthesis, providing a foundation for future research on multilingual and extremely low-resource speech synthesis.

국문 초록 (Abstract)

얼굴 기반 음성합성은 참조 음성을 확보하기 어려운 환경에서 유망한 대안으로 주목받고 있다. 그러나 기존 연구들은 언어의 다양성과 자연스러움을 보존하는 데 필수적인 방언 운율 모델링의 문제를 충분히 다루지 못하였다. 이러한 한계를 해결하기 위해, 본 연구에서는 얼굴 이미지와 방언 식별자만으로 음성을 생성하는 멀티모달 텍스트-음성합성 프레임워크인 K-DIALECT를 제안한다.
제안 모델은 화자의 정체성과 발화 스타일을 분리하기 위한 얼굴 인코더, 방언별 운율 특성을 명시적으로 모델링하는 방언 조건부 피치 예측기, 그리고 피치와 스타일 정보를 통합 표현으로 융합하는 FiLM 기반 결합 모듈로 구성된다. 6개 주요 한국어 방언을 대상으로 한 실험 결과, 제안 방법은 기존 음성 기반 TTS 대비 더 높은 방언 유창성과 자연스러움을 달성하였으며, 화자 유사도 또한 경쟁력 있는 수준을 유지하였다. K-DIALECT는 화자 유사도(SECS) 0.70, 단어 오류율(WER) 0.25를 기록하여, 합성 음성이 원 화자의 유사성과 명료도를 모두 보존함을 입증하였다. 주관적 청취 평가에서도 특히 피치 변동이 뚜렷한 방언에서 개선 효과가 두드러졌으며, 대부분의 청취자가 제안 모델의 출력을 선호하였다. 본 연구는 얼굴 기반 TTS를 저자원 방언 합성으로 확장한 최초의 시도로서, 향후 다국어 및 초저자원 환경에서의 음성합성 연구에 기초를 제공한다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Related Works 6
• 2.1 Text-to-Speech 6
• 2.2 Prosody and Style Modeling 8
• 2.3 Face Based Text-to-Speech 10
• 2.4 Low-Resource Speech Generation 11
• 2.5 Korean Text-to-Speech 13
• 3 Method 16
• 3.1 Data Preprocessing 16
• 3.2 Pitch Predictor 17
• 3.3 Face Encoder 18
• 3.4 Decoder 19
• 3.5 Training Objective 20
• 3.6 Inference 22
• 4 Experiments 24
• 4.1 Datasets 24
• 4.2 Implementation Details 25
• 4.3 Evaluation Metrics 26
• 4.4 Results 27
• 4.4.1 Baseline Comparison 27
• 4.4.2 Efficiency of Face Encoder 29
• 4.4.3 Human Evaluation 30
• 5 Conclusion and Future Work 34
• References 37
• 초 록 46