제한된 학습 데이터를 사용하는 End-to-End 음성 인식 모델

김준우(June-Woo Kim),정호영(Ho-Young Jung) 한국음성학회 2020 말소리와 음성과학 Vol.12 No.4

음성 인식은 딥러닝 및 머신러닝 분야에서 활발히 상용화 되고 있는 분야 중 하나이다. 그러나, 현재 개발되고 있는 음성 인식 시스템은 대부분 성인 남녀를 대상으로 인식이 잘 되는 실정이다. 이것은 음성 인식 모델이 대부분 성인남녀 음성 데이터베이스를 학습하여 구축된 모델이기 때문이다. 따라서, 노인, 어린이 및 사투리를 갖는 화자의 음성을 인식하는데 문제를 일으키는 경향이 있다. 노인과 어린이의 음성을 잘 인식하기 위해서는 빅데이터를 구축하는 방법과 성인 대상 음성 인식 엔진을 노인 및 어린이 데이터로 적응하는 방법 등이 있을 수 있지만, 본 논문에서는 음향적 데이터 증강에 기반한 재귀적 인코더와 언어적 예측이 가능한 transformer 디코더로 구성된 새로운 end-to-end 모델을 제안한다. 제한된 데이터셋으로 구성된 한국어 노인 및 어린이 음성 인식을 통해 제안된 방법의 성능을 평가한다. Speech recognition is one of the areas actively commercialized using deep learning and machine learning techniques. However, the majority of speech recognition systems on the market are developed on data with limited diversity of speakers and tend to perform well on typical adult speakers only. This is because most of the speech recognition models are generally learned using a speech database obtained from adult males and females. This tends to cause problems in recognizing the speech of the elderly, children and people with dialects well. To solve these problems, it may be necessary to retain big database or to collect a data for applying a speaker adaptation. However, this paper proposes that a new end-to-end speech recognition method consists of an acoustic augmented recurrent encoder and a transformer decoder with linguistic prediction. The proposed method can bring about the reliable performance of acoustic and language models in limited data conditions. The proposed method was evaluated to recognize Korean elderly and children speech with limited amount of training data and showed the better performance compared of a conventional method.

이집트인 학습자의 한국어 모음 지각과 산출

사라 벤자민(Sarah Benjamin),이호영(Ho-Young Lee) 한국음성학회 2021 말소리와 음성과학 Vol.13 No.4

이 연구는 이집트인 한국어 학습자를 대상으로 하여 이들이 한국어 모음을 어떻게 지각하고 범주화하며, 이들이 발음한 한국어 모음을 한국인들이 어떻게 지각하는지 밝히고, 이를 토대로 이집트인 학습자들의 한국어 모음 범주화가 그들의 한국어 모음 지각과 산출에 어떤 영향을 미치는지 밝히는 것을 목적으로 한다. 실험 1에서는 이집트인 학습자가 한국어 모음을 어떻게 지각하는지 알아보기 위해 이집트인 학습자 53명을 대상으로 하여 한국인이 발음한 한국어 자극 단어를 듣고 어느 단어를 들었는지 객관식으로 고르는 과제를 수행하게 하였고, 실험 2에서는 이집트인 학습자들이 발음한 한국어 모음을 한국인들이 어떻게 지각하는지 밝히기 위해 이집트인 학습자 9명이 산출한 자극 단어 117(13개×9명)개를 한국인들에게 들려주고, 어느 단어를 들었는지 객관식으로 고르게 한 다음 모음의 발음이 원어민 수준에 얼마나 근접하는지 5점 척도로 평가하도록 하였다. 실험 결과 이집트어에 존재하지 않는 “새로운” 한국어 모음은 별도의 범주를 쉽게 형성하여 잘 지각된 반면 산출이 잘 되는 새로운 모음도 있었고, 산출에서 어려움을 겪는 모음도 있었다. 반면에 이집트어 음소와 “비슷한” 한국어 음소는 비교적 잘 산출되지만 지각하는 데는 큰 어려움이 있다는 사실도 확인할 수 있었다. 이 연구 결과를 토대로 기존의 음성학습모델(speech learning model)과 지각동화모델(perceptual assimilation model)이 제2언어 학습자들의 제2언어 음성 지각을 잘 설명해 주지만 음성 산출을 설명하는 데 미흡함이 있어 이에 대한 보완이 필요함을 논의했다. This study aims to discuss how Egyptian learners of Korean perceive and categorize Korean vowels, how Koreans perceive Korean vowels they pronounce, and how Egyptian learners’ Korean vowel categorization affects their perception and production of Korean vowels. In Experiment 1, 53 Egyptian learners were asked to listen to Korean test words pronounced by Koreans and choose the words they had listened to among 4 confusable words. In Experiment 2, 117 sound files (13 test words×9 Egyptian learners) recorded by Egyptian learners were given to Koreans and asked to select the words they had heard among 4 confusable words. The results of the experiments show that “new” Korean vowels that do not have categorizable ones in Egyptian Arabic easily formed new categories and were therefore well identified in perception and relatively well pronounced, but some of them were poorly produced. However, Egyptian learners poorly distinguished “similar” Korean vowels in perception, but their pronunciation was relatively well identified by native Koreans. Based on the results of this study, we argued that the Speech Learning Model (SLM) and Perceptual Assimilation Model (PAM) explain the L2 speech perception well, but they are insufficient to explain L2 speech production and therefore need to be revised and extended to L2 speech production.

L2 억양에서 나타나는 모국어 간섭과 언어 보편적 간섭현상의 상호작용: 피치대역을 중심으로

윤영숙(Youngsook Yune) 한국음성학회 2021 말소리와 음성과학 Vol.13 No.4

본 연구는 제 2언어 억양습득 과정에서 나타나는 언어 보편적 간섭현상인 피치대역(음역) 축소현상과 모국어 간섭현상이 어떤 양상으로 상호작용하며 한국어 습득과정에서 어떤 순서로 나타나는지 중국인 한국어 학습자들을 통해 살펴보았다. 본 연구에는 7명의 한국어 원어민 화자와 초․중․고급 수준의 중국인 한국어 학습자 각 10명 총 37명이 발화 실험에 참여하였다. 연구 참여자들은 난이도가 다른 한국어 담화 4개와 이를 중국어로 번역한 중국어 담화 4개를 낭독 발화하였다. 한국어화자와 중국인 학습자들이 산출한 음성자료는 음성분석 프로그램 Praat을 사용하여 각 문장별로 Pitch span, Pitch level, Pitch dynamic quotient(PDQ), 왜도와 첨도를 측정하였고 이후 언어 간 분석, 그룹 간 분석, 그룹 내 분석을 통해 두 현상의 상호작용양상을 살펴보았다. 언어 간 분석결과 중국어는 한국어보다 높은 Pitch span과 Pitch level로 특징지어졌다. 이를 바탕으로 초․중․고급 중국인 학습자들의 한국어 발화문에 대한 그룹 간 분석을 실시하였다. 그 결과 초급과 중급 학습자들에게서는 모국어 간섭보다는 음역 축소현상이 두드러지게 나타났으며 고급 학습자들은 음역 축소현상이 완화되어 한국 화자에 근접한 양상을 보여주었다. 중국인 학습자들이 발화한 목표어인 한국어와 모국어인 중국어 문장을 대상으로 한 그룹 내 분석에서도 숙달도가 높을수록 모국어와 목표어 간 피치 편차가 줄어들어 음역 축소현상이 완화되었다. 문장 내 피치 변동 범위를 파악하기 위한 PDQ분석에서 중국어 문장은 한국어 문장보다 음역 변동범위가 크다는 것을 알 수 있었다. 그룹 간 분석에서는 초․중급 학습자들의 PDQ가 한국어와 중국어보다 현저히 낮은 값을 보였다. 고급학습자들도 한국어나 중국어보다 낮은 수치를 보였으나 한국어에 근접한 양상으로 나타났다. 이상의 결과를 바탕으로 숙달도가 낮은 화자일수록 음역 축소 현상이 두드러지게 나타나며 고급 화자의 경우 목표어인 한국어와 유사한 양상으로 실현됨을 알 수 있었다. 따라서 본 연구의 분석 대상인 음성학적 층위에서는 모국어 간섭현상이 뚜렷하게 관찰되지 않았다. In this study, we examined the interactive aspects between pitch reduction phenomena considered a universal language phenomenon and native language interference in the production of L2 intonation performed by Chinese learners of Korean. To investigate their interaction, we conducted an acoustic analysis using acoustic measures such as pitch span, pitch level, pitch dynamic quotient, skewness, and kurtosis. In addition, the correlation between text comprehension and pitch was examined. The analyzed material consisted of four Korean discourses containing five and seven sentences of varying difficulty. Seven Korean native speakers and thirty Chinese learners who differed in their Korean proficiency participated in the production test. The results, for differences by language, showed that Chinese had a more expanded pitch span, and a higher pitch level than Korean. The analysis between groups showed that at the beginner and intermediate levels, pitch reduction was prominent, i.e., their Korean was characterized by a compressed pitch span, low pitch level, and less sentence internal pitch variation. Contrariwise, the pitch use of advanced speakers was most similar to Korean native speakers. There was no significant correlation between text difficulty and pitch use. Through this study, we observed that pitch reduction was more pronounced than native language interference in the phonetic layer.

어말 위치 /ᅩ/의 /ᅮ/ 대체 현상에 대한 문법 항목별 출현빈도 연구

윤은경(Eunkyung Yoon) 한국음성학회 2020 말소리와 음성과학 Vol.12 No.1

본 논문은 구어 말뭉치를 기반으로 한국어 /ᅩ/가 /ᅮ/로 고모음화되는 현상(예, ‘별로’ [별루])에 대해 문법 항목별로 차이를 살펴보는 데 연구 목적이 있다. 한국어의 /ᅩ/와 /ᅮ/는 [+원순성] 자질을 공유하지만, 혀 높이 차이로 변별된다. 그러나 최근 /ᅩ/와 /ᅮ/의 두 모음의 음성적 구분이 모호해지는 병합 현상이 진행 중이라고 여러 논문에서 보고되었다. 본 연구에서는 어말 위치의 /ᅩ/가 한국어 자연언어 구어 말뭉치(The Korean Corpus of Spontaneous Speech)에서 음성적으로 [o] 또는 [u]로 실현되는 현상을 연결어미, 조사, 부사, 체언의 문법 항목별로 출현빈도 및 출현비율에 대해 살펴보았다. 실험 결과 연결어미, 조사, 부사에서 /ᅩ/는 약 50%의 비율로 /ᅮ/로 대체되는 것을 확인했고, 체언에서만 상당히 낮은 비율인 5% 미만으로 대체가 되는 것을 알 수 있었다. 고빈도 형태소 중에서 가장 높은 /ᅮ/ 대체율을 보인 형태소는 "-도 [두]" (59.6%)였고, 연결어미에서는 "-고 [구]" (43.5%)로 나타났다. 구어 말뭉치를 통하여 실제 발음형과 표준발음의 차이를 살펴보았다는 데 연구 의의가 있다. This study identified the substitution of /u/ for /o/ (e.g., pyəllo [pyəllu]) in Korean based on the speech corpus as a function of grammar items. Korean /o/ and /u/ share the vowel feature [+rounded], but are distinguished in terms of tongue height. However, researchers have reported that the merger of Korean /o/ and /u/ is in progress, making them indistinguishable. Thus, in this study, the frequency of the phonetic manifestation /u/ of the underlying form of /o/ for each grammar item was calculated in The Korean Corpus of Spontaneous Speech (Seoul Corpus 2015) which is a large corpus from a total of 40 speakers from Seoul or Gyeonggi-do. It was then confirmed that linking endings, particles, and adverbs ending with /o/ in the word-final position were substituted for /u/ approximately 50% of the stimuli, whereas, in nominal items, they were replaced at a frequency of less than 5%. The high rates of substitution were the special particle “-do[du]” (59.6%) and the linking ending “-go[gu]” (43.5%) among high-frequency items. Observing Korean pronunciation in real life provides deep insight into its theoretical implications in terms of speech recognition.

여성 노인 합창단원의 합창단 유형에 따른 청지각적 음성평가(GRBAS) 및 음성관련 삶의 질(K-VRQOL) 비교

이현정(Hyeonjung Lee),강빈나(Binna Kang),김수지(Soo Ji Kim) 한국음성학회 2020 말소리와 음성과학 Vol.12 No.2

본 연구의 목적은 음성의 청지각적 평가도구(GRBAS)와 음성관련 삶의 질(K-VRQOL) 척도를 통해 합창활동에 참여하는 여성 노인의 음성 특성과 음성관련 삶의 질을 비교하는 것이다. 연구 대상은 서울 및 부산 소재의 합창단에서 활동 중인 만 60세 이상의 여성 노인으로 총 77명이었다. 합창단은 참여 유형에 따라 합창단(Regular choir)과 찬양단(Church choir) 두 개의 집단으로 분류하였다. 청지각적 음성평가는 /a/ 모음을 발성하는 음성을 듣고 전문가가 청지각적 평가(GRBAS) 척도를 사용하여 평정하였다. 연구 결과, 합창활동 참여 유형에 따라 집단 간 차이를 비교했을 때 찬양단에서 활동하는 여성 노인에 비해 합창단에서 활동하는 여성 노인의 경우 주관적 음성 인식 수준에서 대화 시 음성 사용 만족도가 높은 것으로 나타났다. 또한, 음성관련 삶의 질(K-VRQOL) 척도의 신체 기능 영역에 해당하는 문항에서 만족도가 높은 것으로 분석되었다. 본 연구는 합창활동이 노년기 음성기능의 개선뿐 아니라 음성사용의 주관적 인식 수준을 향상시키는데 긍정적인 결과를 기대할 수 있을 것이라는 점을 확인하였으며, 노인 음성개선을 위한 체계적인 음악 중재 프로그램의 필요성을 시사하고 있다. The purpose of this study is to compare voice characteristics and voice-related quality of life (K-VRQOL) of the elderly female choir members using perceptual-auditory voice quality evaluation (GRBAS) and K-VRQOL scales. The participants were 77 women over 60 years old who were actively engaged in the choir in either Seoul or Busan. There are two kinds of choirs that indicate different engagement levels: regular choir and church choir. The perceptual-auditory vocal quality evaluation was listened to by / a / vowels and were graded by experts using the GRBAS scale. As a result, when comparing the differences between groups, the elderly female participants of the regular choir showed higher satisfaction in speech using the subjective speech recognition level than the elderly female members who performed in the church choir. In addition, the analysis showed that the satisfaction level was high in the physical function area of the K-VRQOL scale. This study confirmed that choral activities could yield positive results not only in terms of improving voice function in old age, but also to improve the subjective perception level of voice use, thus suggesting the necessity of systematic music programs to improve voices that are aging.

KFL중국인학습자들의 한국어 동형다의 종결어미 발화문에 대한 원어민화자의 지각 평가 양상

윤영숙(Youngsook Yune) 한국음성학회 2020 말소리와 음성과학 Vol.12 No.4

본 논문은 중국인 한국어학습자들이 발화한 한국어 동형다의 종결어미 ‘-(으)ᄅ 걸’ 대한 한국어 원어민화자들의 지각양상을 분석하고 이를 바탕으로 ‘-(으)ᄅ 걸’의 청지각적 의미 변별에 결정적인 역할을 하는 운율변수를 한국어 교육적 관점에서 분석하는 데 목적이 있다. 동형다의 종결어미는 하나의 형태로 두 개 이상의 의미를 전달하는 종결어미를 일컫는다. 지금까지 외국인학습자들을 대상으로 한 동형다의 종결어미에 대한 연구는 외국인학습자들의 발화문을 원어민 화자의 발화문과 비교‧분석하여 음운론적‧음성학적 유사점과 차이점을 분석하여 발화정확도나 오류유형을 측정하는 데 집중되었다. 이로 인해 원어민화자와의 유사성과 차이점이 ‘-(으)ᄅ 걸’의 의미 판별에 실제로 유의미한 작용을 하는지에 대한 청지각적 연구는 이루어지지 못했다. 본 연구에서는 중국인 한국어학습자들의 동형다의 종결어미 문장이 한국어 원어민화자들에게 어떤 양상으로 지각되는지 분석하여 동형다의 종결어미 억양교육에 필요한 운율 규범을 상정해 보고자 한다. 본 연구의 실험자료 산출에는 한국어 숙달도 중‧고급에 해당하는 10명의 중국인 한국어학습자들이, 지각 실험에는 20대의 한국인 원어민화자들이 참가하였다. 분석 자료는 ‘-(으)ᄅ 걸’이 추측으로 사용된 두 문장과 후회로 사용된 두 문장이다. 10명의 중국인화자들이 4개의 실험문장을 4회 반복 발화분이 지각실험 자료로 사용되었다. 지각실험참가자들은 실험 자료를 들으면서 문장 경계성조의 억양에만 의존하여 ‘-(으)ᄅ 걸’의 의미와 정확성 정도를 판별하였다. 25명의 청취실험자들의 지각실험 결과를 바탕으로 정확한 추측, 추측, 모호함, 후회, 정확한 후회로 지각된 문장들의 운율변수, 즉 경계성조, 경계성조의 기울기, 경계음절과 선행음절 간 피치편차, 경계음절의 피치레벨을 측정하였다. 통계분석 결과 상기된 모든 운율변수가 ‘-(으)ᄅ 걸’의 의미변별과 유의미한 관련이 있음을 알 수 있었다. 즉 운율변수가 커질수록 추측으로 작아질수록 후회문장으로 지각됨을 관찰할 수 있었다. 그러나 로지스틱 회귀분석을 통해 의미변별에 가장 핵심적인 역할을 수행하는 운율변수는 피치편차임을 알 수 있었다. 이러한 결과는 ‘(으)ᄅ 걸’의 발화에서 마지막 두 음절의 피치 조절로 두 의미를 변별하여 발화할 수 있음을 의미하며 ‘-(으)ᄅ 걸’의 억양교육에서 보다 객관적이고 유의미한 규범적 운율 요소로 적용될 수 있을 것이다. The aim of this study is to investigate the perceptive aspects of the polysemic sentence final ending “-(eu)lgeol” produced by Chinese Korean learners. “-(Eu)lgeol” has two different meanings, that is, a guess and a regret, and these different meanings are expressed by the different prosodic features of the last syllable of “-(eu)lgeol”. To examine how Korean native speakers perceive “-(eu)lgeol” sentences produced by Chinese Korean learners and the most saliant prosodic variable for the semantic discrimination of “-(eu)lgeol” at the perceptive level, we performed a perceptual experiment. The analysed material constituted four Korean sentences containing “-(eu)lgeol” in which two sentences expressed guesses and the other two expressed regret. Twenty-five Korean native speakers participated in the perceptual experiment. Participants were asked to mark whether “-(eu)lgeol” sentences they listened to were (1) definitely regrets, (2) probably regrets, (3) ambiguous, (4) probably guesses, or (5) definitely guesses based on the prosodic features of the last syllable of “-(eu)lgeol”. The analysed prosodic variables were sentence boundary tones, slopes of boundary tones, pitch difference between sentence-final and penultimate syllables, and pitch levels of boundary tones. The results show that all the analysed prosodic variables are significantly correlated with the semantic discrimination of “-(eu)lgeol” and among these prosodic variables, the most salient role in the semantic discrimination of “-(eu)lgeol” is pitch difference between sentence-final syllable and penultimate syllable.

켑스트럼 변수와 랜덤포레스트 알고리듬을 이용한 MTD(근긴장성 발성장애) 여성화자 음성과 정상음성 분류

윤주원(Joowon Yun),심희정(Heejeong Shim),성철재(Cheoljae Seong) 한국음성학회 2020 말소리와 음성과학 Vol.12 No.4

근긴장성 발성장애(cepstral peak prominence, MTD) 환자의 모음 발성과 문장읽기 과제를 켑스트럼 기반 변수를 이용하여 분석하였으며 음성장애 환자의 GRBAS청지각적 특성과 음향학적 특성의 상관관계를 살펴보고, 랜덤포레스트 머신러닝 분류 알고리듬을 이용한 MTD 감별 진단 가능성을 논의하였다. 내원 시 MTD로 진단받은 여성 36명과 정상음성을 사용하는 여성 36명이 연구에 참여했으며, 수집한 음성샘플은 ADSV™ 를 사용하여 분석하였다. 연구 결과, 음향학적 측정치 중 MTD의 CSID(cepstral spectral index of dysphonia)는 대조군보다 높았으며, CPP(cepstral peak prominence), CPP_Fo 값이 대조군보다 유의하게 낮았다. 이는 모음 발성과 읽기 과제에서 모두 동일하게 나타났다. MTD 환자의 음질 특성은 전반적인 음성중증도(G)가 가장 두드러졌으며, 조조성(R), 기식성(B), 노력성(S)순으로 음성 특성을 보였다. 이 특성이 높아질수록 CPP가 감소하는 부적 상관을 보이고, CSID는 증가하는 정적 상관이 관찰되었다. 켑스트럴 변수 중 모음과 문장읽기과제 모두에서 집단간 유의한 차이를 보여준 CPP와 CPP_F0를 이용하여 MTD와 대조군의 음성분류를 시도하였다. 머신러닝 알고리듬인 랜덤포레스트로 모델링한 결과 문장읽기 과제에서 모음연장발성보다 조금 더 높은 분류 정확도(83.3%)가 나왔으며, 모음 발성과 문장 읽기 과제 모두에서 CPP변수가 더 중심적 역할을 수행하였음을 알 수 있었다. This study investigated the acoustic characteristics of sustained vowel /a/ and sentence utterance produced by patients with muscle tension dysphonia (MTD) using cepstrum-based acoustic variables. 36 women diagnosed with MTD and the same number of women with normal voice participated in the study and the data were recorded and measured by ADSV™. The results demonstrated that cepstral peak prominence (CPP) and CPP_F0 among all of the variables were statistically significantly lower than those of control group. When it comes to the GRBAS scale, overall severity (G) was most prominent, and roughness (R), breathiness (B), and strain (S) indices followed in order in the voice quality of MTD patients. As these characteristics increased, a statistically significant negative correlation was observed in CPP. We tried to classify MTD and control group using CPP and CPP_F0 variables. As a result of statistic modeling with a Random Forest machine learning algorithm, much higher classification accuracy (100% in training data and 83.3% in test data) was found in the sentence reading task, with CPP being proved to be playing a more crucial role in both vowel and sentence reading tasks.

응급의료 영역 한국어 음성대화 데이터베이스 구축

김선희(Sunhee Kim),이주영(Jooyoung Lee),최서경(Seo Gyeong Choi),지승훈(Seunghun Ji),강지민(Jeemin Kang),김종인(Jongin Kim),김도희(Dohee Kim),김보령(Boryoung Kim),조은기(Eungi Jo),김호정(Hojeong Kim),장정민(Jungmin Jang),김준형(Jun Hyung 한국음성학회 2020 말소리와 음성과학 Vol.12 No.4

본 논문은 응급의료 환경에서 음성인식 성능을 향상시키기 위하여 실제 환경에서 데이터 수집 방법을 정의하고 정의된 환경에서 수집된 데이터를 전사하는 방법을 제안한다. 그리고 제안된 방법으로 수집되고 전사된 데이터를 이용하여 기본 음성인식 실험을 진행함으로써 제안한 수집 및 전사 방법을 평가하고 향후 연구 방향을 제시하고자 한다. 모든 음성은 기본적으로 16비트 해상도와 16 kHz 샘플링으로 저장되었다. 수집된 데이터는 총 166건의 대화로서 8시간 35분의 분량이다. 수집된 데이터는 Praat를 이용하여 철자 전사, 음소 전사, 방언 전사, 잡음 전사, 그리고 의료 코드 전사를 수행하여 다양한 정보를 포함한 텍스트 데이터를 구축하였다. 이와 같이 수집된 데이터를 이용하여 기본 베이스라인 실험을 통하여 응급의료 영역에서의 음성인식 문제를 실제로 확인할 수 있었다. 본 논문에서 제시한 데이터는 응급의료 영역의 1단계 데이터로서 향후 의료 영역에서의 음성인식 모델의 학습 데이터로 활용되고, 나아가 이 분야의 음성기반 시스템 개발에 기여할 수 있을 것으로 기대된다. This paper describes a method of building Korean conversational speech data in the emergency medical domain and proposes an annotation method for the collected data in order to improve speech recognition performance. To suggest future research directions, baseline speech recognition experiments were conducted by using partial data that were collected and annotated. All voices were recorded at 16-bit resolution at 16 kHz sampling rate. A total of 166 conversations were collected, amounting to 8 hours and 35 minutes. Various information was manually transcribed such as orthography, pronunciation, dialect, noise, and medical information using Praat. Baseline speech recognition experiments were used to depict problems related to speech recognition in the emergency medical domain. The Korean conversational speech data presented in this paper are first-stage data in the emergency medical domain and are expected to be used as training data for developing conversational systems for emergency medical applications.

표준어와 경상 지역 방언의 한국어 모음 발음에 따른 영어 모음 발음의 영향에 대한 연구

장수연(Soo-Yeon Jang) 한국음성학회 2021 말소리와 음성과학 Vol.13 No.4

본 논문의 목적은 한국어 표준어와 경상 지역 방언의 한국어 모음 발음의 영어 모음 발음에 대한 영향을 연구하는 데 있다. 데이터 자료는 한국인의 영어 발음 음성 코퍼스(Korean-Spoken English Corpus, K-SEC)를 활용하였다. 이 중 일곱 개의 한국어 단모음이 포함된 단어와 열 개의 영어 단모음이 포함된 단어가 선정되어 분석되었다. 선정된 자료는 외국 거주 경험이 없는 성인 남성 표준어 화자와 경상 지역 방언 화자에 의해 발화되었다. 녹음된 코퍼스 자료의 포먼트 주파수는 음성 분석 프로그램인 Praat에서 제공하는 스펙트로그램을 통해 측정되었다. 녹음된 자료들은 포먼트 구역 그래프로 나타내어 분석되었다. 결과에 의하면, 한국어와 영어 모음의 발화에서 경상 지역 방언 화자가 강한 후설성을 보인 반면에 표준어 화자는 비교적 전설성이 강하게 나타났다. 또한, 표준어와 경상 지역 방언의 한국어 모음 발음 차이 (/으/, /어/)는 대치되는 영어 모음 발음(/ə/, /ʊ/)의 조음 방식에 영향을 미쳤다. 지역 방언의 사용과 무관한 한국인의 일반적인 모음 발음 특징은 영어 원어민 화자보다 조음 구역이 좁다는 것이다. 이에 한국인은 전반적으로 긴장 모음과 이완 모음을 구별하는 데 어려움이 있지만, 영어 원어민 화자는 모음 조음에 명확한 구분이 있다. This study aims to enhance English pronunciation education for Korean students by examining the impact of standard Korean and Gyeongsang regional dialect on the articulation of English vowels. Data were obtained through the Korean-Spoken English Corpus (K-SEC). Seven Korean words and ten English mono-syllabic words were uttered by adult, male speakers of standard Korean and Gyeongsang regional dialect, in particular, speakers with little to no experience living abroad were selected. Formant frequencies of the recorded corpus data were measured using spectrograms, provided by the speech analysis program, Praat. The recorded data were analyzed using the articulatory graph for formants. The results show that in comparison with speakers using standard Korean, those using the Gyeongsang regional dialect articulated both Korean and English vowels in the back. Moreover, the contrast between standard Korean and Gyeongsang regional dialect in the pronunciation of Korean vowels (/으/, /어/) affected how the corresponding English vowels (/ə/, /ʊ/) were articulated. Regardless of the use of regional dialect, a general feature of vowel pronunciation among Korean people is that they show more narrow articulatory movements, compared with that of native English speakers. Korean people generally experience difficulties with discriminating tense and lax vowels, whereas native English speakers have clear distinctions in vowel articulation.

음질 및 속도 향상을 위한 선형 스펙트로그램 활용 Text-to-speech

윤혜빈(Hyebin Yoon),남호성(Hosung Nam) 한국음성학회 2021 말소리와 음성과학 Vol.13 No.3

인공신경망에 기반한 대부분의 음성 합성 모델은 고음질의 자연스러운 발화를 생성하기 위해 보코더 모델을 사용한다. 보코더 모델은 멜 스펙트로그램 예측 모델과 결합하여 멜 스펙트로그램을 음성으로 변환한다. 그러나 보코더 모델을 사용할 경우에는 많은 양의 컴퓨터 메모리와 훈련 시간이 필요하며, GPU가 제공되지 않는 실제 서비스환경에서 음성 합성이 오래 걸린다는 단점이 있다. 기존의 선형 스펙트로그램 예측 모델에서는 보코더 모델을 사용하지 않으므로 이 문제가 발생하지 않지만, 대신에 고품질의 음성을 생성하지 못한다. 본 논문은 뉴럴넷 기반 보코더를 사용하지 않으면서도 양질의 음성을 생성하는 Tacotron 2 & Transformer 기반의 선형 스펙트로그램 예측 모델을 제시한다. 본 모델의 성능과 속도 측정 실험을 진행한 결과, 보코더 기반 모델에 비해 성능과 속도 면에서 조금 더 우세한 점을 보였으며, 따라서 고품질의 음성을 빠른 속도로 생성하는 음성 합성 모델 연구의 발판 역할을 할 것으로 기대한다. Most neural-network-based speech synthesis models utilize neural vocoders to convert mel-scaled spectrograms into high-quality, human-like voices. However, neural vocoders combined with mel-scaled spectrogram prediction models demand considerable computer memory and time during the training phase and are subject to slow inference speeds in an environment where GPU is not used. This problem does not arise in linear spectrogram prediction models, as they do not use neural vocoders, but these models suffer from low voice quality. As a solution, this paper proposes a Tacotron 2 and Transformer-based linear spectrogram prediction model that produces high-quality speech and does not use neural vocoders. Experiments suggest that this model can serve as the foundation of a high-quality text-to-speech model with fast inference speed.