음운론적 특성을 기반으로 인공지능 보컬 음성 합성의 발음 개선 연구 = A Study on the Improvement of Pronunciation of AI Vocal Voice Synthesis based on Phonological Characteristics.

다국어 초록 (Multilingual Abstract)

Focusing on the complexity of human language and emotional communication, this study delves into Korean's ability to capture the diversity and subtlety of emotional expression. Korean has the ability to convey the finest nuances of emotion through its unique pronunciation system, language structure, and variation in intonation. Due to these characteristics, Korean pronunciation and the emotional expressions it conveys have unique differences and characteristics compared to other languages, which give it a distinct advantage in conveying emotions.
The goal of this research is to systematically analyze the unique Korean pronunciation system and its impact on emotional communication, and to optimize it by effectively applying it to AI vocal systems. In general, modern AI vocal systems are designed to focus on the common characteristics of various languages, so it is difficult to reflect the pronunciation and linguistic characteristics of Korean in detail. This study focuses on developing an AI model that optimizes the phonological characteristics of Korean.
In this study, the phonological characteristics and language structure of Korean were analyzed in depth. The complex phonological structure of Korean, including plain sounds, hard sounds, and diphthongs, enables the delicacy of pronunciation, which directly affects the ability to convey emotions. We systematically investigated and analyzed various linguistic speech and vocal characteristics of Korean, such as phonology, pronunciation system, lexical selection, intonation, and vocalization variations. In the course of the study, we selected 1,744 realizable syllables including initial, middle, and final voices, which are the basic structures of Korean syllables, and constructed syllable data by considering the resonance positions of voiced, unvoiced, and voiced voices and the phonological variations that occur during singing. This data is essential for the development of an AI vocal model that optimizes the phonological characteristics of Korean, aiming to deliver more accurate pronunciation and emotion. Through field data collection and experimental methodology, we carefully identified linguistic elements that play a key role in emotion and pronunciation, and built a large-scale Korean syllable database based on this.
One of the key parts of this research is the development of an artificial intelligence vocal system based on detailed pronunciation, vocalization, and emotion delivery based on Korean phonological characteristics and syllable data by combining deep learning algorithms with speech synthesis technology. The output of the system was analyzed in-depth for comparison with actual human pronunciation, and the validity and effectiveness of the model was thoroughly verified using both subjective and objective evaluation scales.
In conclusion, this study aims to provide an artificial intelligence vocal system optimized for Korean users based on an in-depth study of Korean's unique pronunciation system and delivery ability. In addition, the model proposed in this study will serve as an important cornerstone for building phonological data for AI vocals not only for Korean but also for other language systems. An A.I. vocal system that can reflect the characteristics and pronunciation systems of these different languages in detail is expected to provide great value to users of different cultures and languages around the world.
Another important aspect of this research is the technical support for people with disabilities. AI vocal systems developed by people with pronunciation or voice limitations are designed to provide personalized services to them. This will allow them to perform activities such as creating music or singing with their own voice and pronunciation, which will make a huge difference in their daily lives and cultural participation.
The results of this research are also of great academic significance. By providing a new level of approach in the study of speech recognition and synthesis technology, it will provide new motivation and direction for researchers in this field. It will also contribute to a deeper understanding of the interaction between artificial intelligence and human speech and language.
Finally, this study is a first step toward delving deeper into the complexity of human language and articulation and combining it with AI technology to provide more human and emotional voice services. These efforts are expected to go beyond the advancement of technology and enrich our daily lives, culture, and interaction with the emotional world.

국문 초록 (Abstract)

인간 언어와 감정 전달의 복잡성에 주목하는 본 연구는 특히 한국어의 감정 표현의 다양성과 미묘함을 세심하게 포착할 수 있는 능력에 대해 깊이 있게 탐구하였다. 한국어는 그 독특한 발음 체계, 언어 구조, 그리고 다양한 억양의 변화를 통해 감정의 미세한 뉘앙스까지도 섬세하게 전달하는 능력을 지니고 있다. 이러한 특성 때문에 한국어의 발음과 그것이 내포하는 감정의 표현은 다른 언어와 비교했을 때 독특한 차이와 특성을 가지며, 이는 감정 전달에 있어서 뚜렷한 장점을 제공한다.
본 연구의 목표는 한국어의 독특한 발음 표현의 체계와 그것이 감정 전달에 미치는 영향을 체계적으로 분석하고 이를 인공지능 보컬 시스템에 효과적으로 적용하여 최적화하는 것이다. 일반적으로 현대의 인공지능 보컬 시스템은 다양한 언어의 공통된 특성에 중점을 둔 설계 방식을 취하고 있기에 한국어의 발음과 언어적 특성을 세밀하게 반영하는 것은 쉽지 않다. 이 연구는 한국어의 음운론적인 특성을 최적화하여 구현 된 인공지능 모델 개발에 주력하였다.
본 연구에서는 한국어의 음운론적 특성과 언어 구조를 깊이 있게 분석하였다. 평음, 경음, 쌍자음 등을 포함하는 한국어의 복잡한 음운론적 구조는 발음의 섬세함을 가능하게 하며, 이는 감정 전달력에 직접적인 영향을 미친다. 한국어의 음운론, 발음 체계, 어휘 선택, 억양 및 발성의 변화와 같은 다양한 언어적 음성과 발성의 특성을 체계적으로 조사하고 분석하였다. 연구 과정에서는 한국어 음절의 기본 구조인 초성, 중성, 종성을 포함하는 실현 가능한 1,744개의 음절을 선정하여 흉성, 중성, 두성의 공명 위치와 가창 시 발생하는 음운의 변동을 고려하여 조합한 음절 데이터를 구축하였다. 이 데이터는 한국어의 음운론적 특성을 최적화한 인공지능 보컬 모델 개발에 필수적인 요소로 보다 정확한 발음과 감정 전달을 목표로 하였다. 현장 데이터 수집과 실험적 방법론을 통해 감정과 발음의 핵심적인 역할을 하는 언어적 요소를 꼼꼼히 식별하고 이를 바탕으로 대규모의 한국어 음절 데이터를 구축하였다.
본 연구의 핵심적인 부분 중 하나는 딥러닝 알고리즘과 음성 합성 기술을 결합하여 한국어의 음운론적 특성과 음절 데이터를 기반으로 한 세밀한 발음 및 발성 그리고 감정 전달을 기반으로 인공지능 보컬 시스템을 개발하였다. 이 시스템의 출력은 실제 인간의 발음과 깊이 있는 비교 분석이 이루어졌으며, 이 과정에서 주관적 평가와 객관적 평가 척도 모두를 활용하여 모델의 유효성과 효과성을 철저히 검증하였다.
결론적으로, 본 연구는 한국어의 독특한 발음 체계와 전달 능력을 깊이 있게 연구하고, 이를 바탕으로 한국어 사용자에게 최적화된 인공지능 보컬 시스템을 제공하는 것을 목표로 한다. 또한, 본 연구에서 제안된 모델은 한국어뿐만 아니라 다른 언어 체계에 대한 인공지능 보컬의 음운론적인 데이터 구축에 중요한 초석이 될 것이다. 이렇게 다양한 언어의 특성과 발음 체계를 세밀하게 반영할 수 있는 인공지능 보컬 시스템은 전 세계적으로 다양한 문화와 언어를 보유한 사용자들에게 큰 가치를 제공할 것으로 기대된다.
또한, 본 연구의 또 다른 중요한 측면은 장애를 가진 사람들을 위한 기술적 지원에 있다. 발음이나 음성에 제한을 가진 사람들이 개발된 인공지능 보컬 시스템은 이들에게 맞춤화된 서비스를 제공할 수 있게 설계되었다. 이를 통해 그들이 자신만의 음성과 발음으로 음악을 만들거나 노래를 부르는 등의 활동을 할 수 있게 되어 그들의 일상과 문화적 참여에 큰 변화를 가져올 것이다.
더불어 이 연구의 결과는 학문적 측면에서도 큰 의미를 가진다. 음성 인식 및 합성 기술의 연구에서 새로운 차원의 접근법을 제시함으로써 이 분야의 연구자들에게 새로운 연구 동기와 방향성을 제공할 것이다. 또한, 인공지능과 인간의 음성 및 언어 간의 상호 작용을 더 깊이 있게 이해하는 데에도 기여할 것으로 기대된다.
최종적으로, 본 연구는 인간의 언어와 발음 표현의 복잡성을 깊이 있게 연구하면서 이를 인공지능 기술과 결합하여 보다 인간적이고 감성적인 음성 서비스를 제공하는 방향으로 나아가는 첫 걸음을 마련하였다. 이러한 노력은 기술의 발전을 넘어서 인간의 일상과 문화 그리고 감정 세계와의 교감을 더욱 풍요롭게 만들 것으로 기대된다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구목적 1
• 2. 연구의 필요성 4
• Ⅱ. 이론적 배경 8
• 1. 인공지능 보컬 발전과 현황 8
• 1.1. 인공지능 보컬 기술의 발전 8
• 1.2. 한국어 음성 합성 대한 연구 및 기술의 현황 21
• 2. 한국어의 음운론 25
• 2.1. 한국어의 음운론적 특성 25
• 2.2. 한국어 발음의 특성 및 구조적 특징 29
• 3. 발음과 감정 40
• 4. 발성과 발음 45
• Ⅲ. 실험 절차 57
• 1. 데이터 분석 및 수집 57
• 2. 모델 성능 평가 및 모델 선정 73
• Ⅳ. 1차 시스템 구축 및 실험 83
• 1. 모델의 실험 설계 83
• 2. 음운론적 특성과 발음 분석 87
• 3. 실험 분석 및 결과 115
• Ⅴ. 2차 시스템 구축 및 실험 117
• 1. 모델의 실험 설계 117
• 2. 음운론적 특성과 발음 분석 129
• 3. 실험 분석 및 결과 144
• Ⅵ. 3차 시스템 구축 및 실험 146
• 1. 모델의 실험 설계 146
• 2. 음운론적 특성과 발음 분석 148
• 3. 실험 분석 및 결과 157
• Ⅶ. 4차 시스템 구축 및 실험 159
• 1. 모델의 실험 설계 159
• 2. 음운론적 특성과 발음 분석 163
• 3. 실험 분석 및 결과 173
• Ⅷ. 결론 178
• 1. 연구의 차별성 178
• 2. 한계점 182
• 3. 향후 발전 방향 및 제언 184
• 참고문헌 186
• ABSTRACT 198
• 부록. 음절 학습 데이터 202