음향 특징 기반 한국어 방언 자동 식별 = Automatic Korean Dialect Identification Models Based on Acoustic Features

다국어 초록 (Multilingual Abstract)

Automatic dialect identification is a technology that automatically distinguishes dialectal characteristics of speakers from speech signals, representing an interdisciplinary research field that should be developed upon the theoretical foundation of dialectology. However, existing studies have focused solely on improving the performance of learning models without connecting to dialectological theories. This study aims to analyze the linguistic characteristics of Korean dialect speech based on the framework of Korean dialectology and systematically apply these findings to automatic dialect identification systems.
To conduct this research, we first redefined dialect classes by applying the dialectal region classification system based on Korean dialectological criteria, departing from the existing administrative district-based dialect classification. To identify phonetic differences among dialects, vowel analysis and eGeMAPS feature analysis were performed. In vowel analysis, vowel formants (F1, F2) and duration were extracted from each dialectal region's speech, and dialectal differences in vowels and phonological change phenomena were quantitatively analyzed through analysis of variance (ANOVA). In eGeMAPS feature analysis, acoustic features in frequency, energy, spectral, and temporal domains were extracted for pairwise contrastive analysis between dialectal regions. The results confirmed that frequency and energy-related features contribute statistically significantly to dialect discrimination.
The automatic dialect identification system was implemented using two approaches. In the feature-based approach, binary classification models were constructed using eGeMAPS acoustic features that showed significant differences between dialects, and SHAP (SHapley Additive exPlanations) analysis was applied to interpret the relative importance and linguistic significance of acoustic features contributing to dialect prediction. In the self-supervised learning approach, end-to-end dialect identification was performed using the XLS-R (Cross-lingual Speech Representations) model. Additionally, a novel concept of "dialect density" was introduced to visualize speech segments that the model focuses on during dialect identification, and the concordance with dialectological tagging results was measured to enhance model interpretability.
This study holds academic significance in systematically integrating dialectological theories into automatic dialect identification research. This interdisciplinary approach leads to contributions in both academic and practical domains. Academically, it presents a new research direction that can objectively validate the validity of traditional phonology-based dialect demarcation through computational modeling methodologies. Practically, it establishes a foundation for tools that can provide comprehensible evidence for investigators in forensic science when estimating the regional origin of unidentified speakers. The results of this study are expected to contribute to the quantification of Korean dialectology research and the strengthening of the theoretical foundation for automatic dialect identification technology.

국문 초록 (Abstract)

방언 자동 식별(automatic dialect identification)은 음성으로부터 화자의 방언적 특성을 자동으로 판별하는 기술로, 방언학과 관련한 학제적 연구 분야이다. 그러나 기존 연구는 학습 모델의 성능 향상에만 집중하고 식별 결과를 방언의 음운 특징으로 설명하지 않았다. 본 연구는 한국어 방언을 대상으로 수행하는 방언 자동 식별에 대해 방언 음운으로 설명하는 것을 목적으로 한다.
대상 방언은 방언 구획에 따라 중부, 경남, 경북, 전남, 전북, 제주 방언으로 하였다. 방언별 음성적 차이를 규명하기 위해 모음 분석과 eGeMAPS 특징 분석을 수행하였다. 모음 분석에서는 각 방언 음성으로부터 모음의 포먼트(F1, F2)와 모음 길이(duration)를 추출하고, 특징별로 ANOVA 분석을 진행하여 방언별 모음 변이음을 정량적으로 분석하였다. eGeMAPS 특징 분석에서는 주파수, 에너지, 스펙트럼, 시간 영역의 음향 특징을 추출하여 방언권 간 1:1 대조 분석을 실시하였으며, 그 결과 주파수 및 에너지 관련 특징이 방언 변별에 통계적으로 유의미한 것을 확인하였다.
방언 자동 식별 시스템은 두 가지로 구현하였다. 음향 특징 기반 구현에서는 방언 간 유의미한 차이를 보인 eGeMAPS 음향 특징을 활용하여 이진 분류 모델을 구축하고, SHAP(SHapley Additive exPlanations) 기법을 통해 방언 예측에 기여하는 음향 특징의 상대적 중요도를 살펴보았다. 자기지도학습에서는 XLS-R(Cross-Lingual Speech Representations) 모델을 활용하여 종단간(end-to-end) 방언 식별을 수행하였다. '방언 농도(dialect density)'라는 새로운 개념을 도입하여 모델이 방언 식별 과정에서 주목하는 음성 구간을 시각화하였다. 그리고 방언학적 태깅 결과와의 일치도를 측정하여 모델의 해석 가능성을 높였다.
본 연구는 방언 자동 식별 모델이 어떤 음향 특징을 중요하게 학습하였는지 확인하는 점과 음향 특징을 방언학으로 설명하려는 점에서 학술적 의의를 갖는다. 이러한 학제적 접근은 학술적 영역과 실용적 영역에서의 기여로 이어진다. 학술적으로는 전통적인 음운론 기반 방언 구획의 타당성을 계산 모델링 방법론으로 객관적으로 검증할 수 있는 새로운 연구 방향을 제시하였다. 실용적으로는 과학수사 분야에서 미확인 화자의 출신 지역 추정 시 수사관이 이해할 수 있는 근거를 제공하는 도구로 활용 가능한 토대를 마련하였다. 본 연구 결과는 한국어 방언학 연구의 정량화와 방언 자동 식별 기술의 이론적 토대 강화에 기여할 것으로 기대된다.

목차 (Table of Contents)

• 1. 서론 1
• 1.1. 연구 배경 1
• 1.2. 연구 목적 및 기여 3
• 1.3. 논의의 구성 5
• 2. 선행 연구 7
• 2.1. 한국어 방언 표지 7
• 2.2. 방언 자동 식별 8
• 2.2.1. 해외 방언 자동 식별 연구 8
• 2.2.2. 국내 방언 자동 식별 연구 9
• 2.3. 한국어 방언 데이터 11
• 3. 한국어 방언 모음 특징 분석 14
• 3.1. 연구 방법 14
• 3.1.1. 한국어 방언권 단위 선정 14
• 3.1.2. 방언 코퍼스 선정 16
• 3.1.3. 전처리: 화자 분리 및 문장 분절 17
• 3.1.4. 실험 데이터 구성 18
• 3.1.5. 강제 정렬 19
• 3.1.6. 모음 음향 특징 추출 21
• 3.1.7. 통계 검정을 통한 모음 특징 비교 21
• 3.2. 결과 22
• 3.2.1. 모음별 방언 차이 여부 22
• 3.2.2. 방언별 모음 변이음 23
• 3.3. 논의 24
• 3.3.1. 모음별 방언 차이 24
• 3.3.2. 방언별 모음 변이음 24
• 4. eGeMAPS 기반 한국어 방언 특징 분석 26
• 4.1. 연구 방법 26
• 4.2. 결과 27
• 4.3. 논의 30
• 4.3.1. eGeMAPS 파라미터 그룹 해석 30
• 4.3.2. 경남과 경북 방언 비교 31
• 4.3.2. 전남과 전북 방언 비교 32
• 5. eGeMAPS 기반 한국어 방언 자동 식별 33
• 5.1. 연구 방법 33
• 5.1.1. 음향 특징 33
• 5.1.2. 실험 설정 33
• 5.1.3. SHAP 분석 34
• 5.2. 결과 35
• 5.2.1. 6분류 방언 식별 결과 35
• 5.2.2. 1:1 방언 식별 결과 35
• 5.3. 논의 36
• 5.3.1. 음향 특징간 성능 비교 36
• 5.3.2. 모델간 성능 비교 37
• 5.3.3. 방언 식별에 기여하는 음향 특징 38
• 6. XLS-R 기반 한국어 방언 자동 식별 47
• 6.1. 연구 방법 47
• 6.1.1. 음성 인식 미세조정을 통한 한국어 음성 학습 48
• 6.1.2. wav2vec 2.0 XLS-R 기반 한국어 방언 식별 52
• 6.1.3. 방언 농도 분포 추출 및 평가 54
• 6.2. 결과 57
• 6.2.1. 방언 6분류 식별 결과 57
• 6.2.2. 방언 농도 평가 59
• 6.3. 논의 59
• 6.3.1. 한국어 음성 학습의 효과 59
• 6.3.2. 방언 농도 평가 60
• 6.3.3. 방언 농도에 대한 언어학적 해석 61
• 7. 결론 64
• 7.1. 연구 요약 64
• 7.2. 연구 기여점 64
• 7.3. 향후 연구에 대한 제언 66
• 부록A. eGeMAPS 특징별 통계 결과 67
• 부록B. 방언별 식별 결과 85
• 참고문헌 90
• Abstract 97