Clarification Strategies for Misheard English Plosives: A Comparison of Seoul Korean and Mandarin Chinese Learners of English = 오인지된 영어 파열음 명료화 전략: 서울 한국어 및 만다린 중국어 영어 학습자 비교

국문 초록 (Abstract)

영어 원어민 화자는 발화가 잘못 인지되었을 때 다양한 명료화 발화 전략(clarification speech strategies)을 사용한다(Ohala, 1994; Schertz, 2013). 이러한 전략은 발화 전체에 적용되는 전반적 전략(global strategy)과, 잘못 인지된 대립을 목표로 특정 단서를 조정하는 특정적 전략(segment-specific strategy)으로 구분될 수 있다. 본 연구는 인간–기계 상호작용 상황에서 자동 음성 인식기가 발화를 잘못 인식했을 때 서울 한국어와 만다린 중국어 영어 학습자가 영어 파열음 대립을 명확히 하기 위해 사용하는 전략을 분석하였다.
본 연구는 영어 어두 파열음의 유무성 대립을 중심으로 진행하였다. 영어의 유무성 대립은 주로 성대 진동 시작 시간(VOT)으로 구별되며, 파열음에 후행하는 모음의 기본 주파수(f0)가 보조적 단서로 작용한다(Whalen et al., 1993). 서울 한국어는 파열음 뒤 f0의 역할이 상대적으로 두드러지며 VOT가 보조적 단서로 작용하는 반면(Kang, 2014; Silva, 2006; Kwon, 2019), 만다린 중국어는 기식성 대립에서 VOT가 핵심 단서로 작용하고 f0는 성조 대립에서 중요한 역할을 한다. 이러한 L1 음운 체계 차이를 토대로 본 연구는 (1) 비원어민 화자가 전반적 전략과 특정적 전략 중 어떤 방식으로 명료화를 수행하는지, (2) 명료화 전략이 L1 배경, 성별, 명료화 요청 유형(대조적 추측 vs. 개방형 추측)에 따라 달라지는지, (3) 명료화 이전의 기초 발화(baseline)가 L1 배경과 성별에 따라 차이를 보이는지를 검토하였다.
이를 위해 실험참여자들은 모의 자동 음성 인식기와 상호작용하는 과제를 수행하였다. 참가자는 목표 단어(예: pet)를 기초 발화로 산출한 뒤, 인식이 잘못되었다는 피드백을 받으면 발화를 명확히 하여 다시 산출하였다. 명료화 요청은 잘못 인식된 단어를 제시하는 대조적 추측(Contrastive Guess; 예: “Did you say bet?”)과 구체적 단서를 제공하지 않는 개방형 추측(Open Response; “???”)으로 구성하였다. 음향 분석을 통해 기초 발화의 VOT와 f0, 그리고 기초 발화 대비 명료화 발화의 변화를 VOT, f0 및 모음 길이를 통해 측정하였다.
기초 발화 분석 결과, L1 배경과 성별은 비원어민 화자의 영어 파열음 산출에 유의미한 영향을 미쳤으며, L1 음운 체계에서의 단서 우선순위(cue primacy)가 영어 산출에도 반영되는 경향이 관찰되었다. 즉, 서울 한국어 화자는 다른 집단에 비해 f0 단서 활용이 상대적으로 두드러졌다. 명료화 발화에서는 화자들이 대체로 특정 단서 조정(VOT 또는 f0)과 전반적 조정(예: 모음 길이)을 결합하여 발화 명료성을 높였으며, 단서 조정의 방향과 크기는 파열음 유형과 명료화 요청 유형의 상호작용에 따라 달라졌다. 성별은 독립적인 주효과로 일관되게 나타나기보다는 L1 배경 및 명료화 요청 유형과의 상호작용을 통해 제한적으로 나타나는 양상이 확인되었다.
본 연구는 명료-불명료 발화(hyper-hypo speech) 이론(Lindblom, 1990)의 관점에서 인간–기계 상호작용이라는 의사소통 상황에서 비원어민 화자의 명료화 발화 전략을 분석함으로써 명료화 발화 연구를 확장했다는 이론적 의의를 가진다. 또한 자동 음성 인식 시스템의 비원어민 발화 인식 개선 및 컴퓨터 보조 발음 훈련 응용 프로그램의 피드백 설계에 실용적인 시사점을 제공한다. 다만 본 연구는 중급 수준 학습자에 초점이 있으므로, 성별과 언어 배경, 명료화 요청 방식 간의 상호작용 기제를 전면적으로 규명하기 위해서는 다양한 수준의 학습자를 대상으로 한 후속 연구가 필요하다.

다국어 초록 (Multilingual Abstract)

When misheard, native English speakers use various clarification speech strategies (Ohala, 1994; Schertz, 2013). These strategies can be broadly divided into global strategies, which involve overall adjustments to the utterance, and segment-specific strategies, which target the misheard contrast. The present study investigates how Seoul Korean (SK) and Mandarin Chinese (MC) learners of English employ clarification strategies to enhance the voicing contrast of English plosives when their speech is misrecognized by an automatic speech recognizer (ASR) in a human–machine interaction context.
The study focuses on the word-initial voicing contrast of English plosives. In English, this contrast is primarily realized by voice onset time (VOT), with the fundamental frequency (f0) of the following vowel serving as a secondary cue (Whalen et al., 1993). In contrast, Seoul Korean uses post-plosive f0 as the primary phonetic cue and VOT as the secondary cue (Kang, 2014; Silva, 2006; Kwon, 2019). On the other hand, Mandarin Chinese relies primarily on VOT to distinguish aspirated and unaspirated plosives, while f0 is the primary cue for lexical tone. Based on these cross-linguistic differences in L1 phonological systems, the present study addresses three research questions: (1) whether non-native speakers employ global strategies, segment-specific strategies, or a combination of both in clarification speech; (2) whether clarification strategies are modulated by L1 background, gender, and guess type (i.e., the type of clarification request); and (3) whether baseline productions differ across L1 backgrounds and gender.
To investigate these questions, the study employed a human-machine interaction paradigm in which participants interacted with a simulated ASR system. Participants were intermediate-level English learners with L1 SK or MC, along with native English controls. They first produced baseline tokens of target English words (e.g., "pet") and then produced clarified repetitions following clarification requests. Guesses were presented either as contrastive guesses which provided an alternative candidate (e.g., “Did you say bet?”), or as open responses which offered no specific phonetic information (e.g., “???”). Acoustic analyses measured VOT and f0 in baseline productions, as well as changes in VOT, f0, and vowel duration between baseline and clarified productions.
The results for baseline productions showed that both L1 background and gender had significant effects on non-native production of English plosives, and that cue primacy patterns from speakers’ L1 phonological systems tended to be reflected in their English productions. In particular, SK speakers exhibited relatively greater reliance on f0 cues than other groups. In the clarification productions, speakers generally enhanced contrast distinctiveness by combining segment-specific cue adjustments (VOT and/or f0) with more global adjustments (e.g., increased vowel duration). The direction and magnitude of cue modification varied as a function of plosive type and guess type. Gender did not show a consistent main effect; instead, its influence emerged primarily through interactions with L1 background and guess type.
Theoretically, this dissertation extends the H&H theory of clear speech (Lindblom, 1990) to non-native speakers in a naturalistic human-machine interaction context. Practical implications include improving non-native speech recognition in ASR systems and informing the design of feedback mechanisms in computer-assisted pronunciation training (CAPT) applications. However, the present study focuses only on intermediate-level learners, the current design was not intended to identify the direct mechanisms underlying the observed interactions among gender, L1 background, and guess type, suggesting the need for further research.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Study background 1
• 1.2 The current study 3
• 1.3 Organization of chapters 7
• Chapter 2. Literature review 9
• 2.1 Phonetics of conversational vs. clear speech 9
• 2.2 VOT and post-onset f0 in plosives 15
• 2.2.1 Plosive voicing contrast in English 15
• 2.2.2 Three-way laryngeal contrast in Seoul Korean 21
• 2.2.3 Aspiration contrast in Mandarin Chinese 25
• 2.3 English voicing distinctions by Korean and Chinese EFL Learners 31
• 2.3.1 English voicing distinctions by Korean EFL Learners 31
• 2.3.2 English voicing distinctions by Chinese EFL Learners 34
• 2.4 Gender effects on clear speech production 38
• 2.5 Interim Summary 43
• Chapter 3. Methodology 45
• 3.1 Method 45
• 3.1.1 Participants 45
• 3.1.2 Procedure 48
• 3.1.3 Stimuli 50
• 3.1.4 Measurement 51
• 3.1.5 Statistical analysis 54
• 3.2 Hypothesis and predictions 56
• Chapter 4. Results 1: Baseline 60
• 4.1 VOT 60
• 4.2 Post-onset f0 64
• 4.3 Interim summary 66
• Chapter 5. Results 2: Clarification 70
• 5.1 VOT adjustments 71
• 5.2 Post-onset f0 adjustments 79
• 5.3 Vowel duration adjustments 85
• 5.4 Results of cue primacy and clarification strategies 89
• 5.5 Interim summary 93
• Chapter 6. Discussion 97
• 6.1 Baseline 99
• 6.1.1 Language effects 99
• 6.1.2 Gender effects 101
• 6.2 Clarification 105
• 6.2.1 Language effects 105
• 6.2.2 Gender effects 107
• 6.2.3 Guess type effects 110
• 6.2.4 Global vs. contrast-specific adjustments 113
• Chapter 7. Conclusion 119
• 7.1 Implication of the current study 120
• 7.2 Limitations and suggestions for future research 123
• Bibliography 126
• 국문 초록 150
• Appendices 152
• Appendix 1. Target consonant minimal pairs 152
• Appendix 2. Sonorant-initial filler words for Contrastive Guess 152
• Appendix 3. Vowel filler words for Contrastive Guess 152
• Appendix 4. Sonorant-initial filler words for Open Response 152
• Appendix 5. Vowel filler words for the Open Response condition 152
• Appendix 6. Sonorant-initial filler words for Correct Guess 153
• Appendix 7. Vowel filler words for Correct Guess 153