한국인 영어 학습자의 발음 정확성 자동 측정방법에 대한 연구_결과보고서

다국어 초록 (Multilingual Abstract)

The aim of this study is to evaluate the pronunciation accuracy of Korean EFL learners' by automatically comparing the EFL learners' pronunciation with native speakers' and giving them pronunciation scores. The feedback on their pronunciation can also be given to the learners.
In order to calculate the pronunciation accuracy, automatic speech recognition technologies were used based on Hidden Markov Model. In the perspective of phonetics and phonology, the pronunciation can be described in terms of segmental and suprasegmental features. Among suprasegmental features, pitch pattern and rhythmic pattern were investigated. The pattern of fundamental frequency fluctuation was mainly investigated to evaluate the pitch pattern of Korean speakers. In terms of rhythmic pattern, the regular intervals of each foot were examined. The pattern of English native speakers' pitch and rhythmic pattern was compared with that of Korean EFL learners'.
In order to show how much the pronunciation instruction is necessary in current EFL environments, a needs analysis was carried out with English teachers in Korea by giving them a questionnaire. The survey showed that the pronunciation instruction must be given to EFL learners. The teachers also pointed out that proper pronunciation teaching tools and teaching techniques should be provided. In order to calculate the pronunciation accuracy of Korean EFL learners, (1) phonetically-based phone sets were established, (2) the segmental and suprasegmental properties of native English speakers' pronunciation were investigated, (3) scripts for recording were created for acoustic analysis, (4) automatic labelling and segmentation of the recorded data were carried out, (5) spectrographic analysis was carried out to manually compare the Korean EFL learners' pronunciation with native speakers', and (6) based on these analyses, Korean EFL learners' pronunciation variation was described in terms of segmental and suprasegmental aspects. The recorded speech data was also used for the input to the pronunciation evaluation system.
Auditory evaluation was also carried out by 3 English native speakers and 5 Korean phonetics experts. The auditory evaluation scores of the pronunciation was compared with the automatic evaluation which was provided by the evaluation system in this study.
Segmental evaluation of the pronunciation was carried out by using HMM based on the native speaker's phone sets. Based on the training, native speakers' utterance was automatically annotated by forced alignment. Log probability was produced as a result of the automatic annotation. This probability was divided by the number of frames occupying the segment.
In order to evaluate the rhythmic accuracy of Korean EFL learners' English pronunciation, the duration of each segment was converted to a z-score. By using z-scores rather than absolute duration values, difficulties in measuring the duration and rhythm of the pronunciation due to speaker variations can be minimized. RMSE (root means squared prediction error) and correlation coefficient were used as a standard for the evaluation.
The two most important events that characterize intonation of utterances are F0 fluctuation (pitch accent) and intonation boundary (IP) tones. In fact, the F0 fluctuation is found to be too variable to be used as a consistent parameter. On the other hand, IP of utterances appears to be relatively invariant enough to be extracted as a language specific properties. Thus we investigated IP boundary tones of Korean learners' English utterances as compared to the identical utterances by native speakers to evaluate Korean learners' intonation pattern. For quantitative analysis, we employed Tilt intonation parameters which is assumed to be more practical and reliable than the ToBI framework.

국문 초록 (Abstract)

<국문초록>
<ABSTRACT>

I. 서 론
II. 초ㆍ중ㆍ고 영어교사 요구 조사
III. 기존 음성인식기반 학습 프로그램
IV. Phone Set (Prawnbet) 구축
V. 레이블링(Labelling) 기준안
VI. 녹음 스크립트 작성
VII. 평가용 음성자료 녹음절차
VIII. 한국인 학습자와 원어민 화자의 발음 비교
IX. 한국인 화자의 영어발화에 대한 청취 평가
X. 한국인 영어 학습자의 분절음 발음 정확성 측정
XI. 리듬 및 분절음 길이 점수화
XII. 강세, 억양 등의 음향 자질 추출
XIII. 결 론
참고문헌
부록

국문 초록 (Abstract)

이 연구의 목적은 한국인 영어 학습자의 발음을 정량적으로 계산하여 실제 원어민 발음과 자동 비교하고 그 결과를 점수화하여 학습자에게 피드백 시키는데 있다. 한국인 학습자의 영어 발음을 정량적으로 계산하기 위하여 Hidden Markov Model에 기반을 둔 자동음성인식 기술을 활용하였다. 음성학 또는 음운론의 입장에서 볼 때 발음은 크게 분절적인 요소와 초분절적 요소로 나누어 기술할 수 있으며 발음의 정량적 계산에 있어서 이러한 두 분야가 독립적 요소로 점수화 되도록 시스템 구성을 이루도록 하였다. 초 부분절적 요소는 다시 기본주파수의 변화 패턴에 중심을 둔 음조변화와 영어에서 흔히 보이는 음보사이의 일정한 음 길이간격 유지를 통한 리듬 패턴을 점검함으로써 영어 원어민 화자의 발음에서 자주 나타나는 특징이 한국인 화자의 발음에 반영되는가를 확인하도록 하였다. 이 연구의 기초를 위해 발음교육의 필요성에 대한 설문조사가 일선 교사들을 통하여 이루어졌으며 결과적으로 발음교육의 필요성과 그에 맞는 교육방법 및 기자재의 필요성이 요구되었다. 발음의 정량적 계산을 위한 기초 연구로는 첫째, 음성적으로 정의된 음소세트를 확정하고 둘째, 원어민 발음의 분절, 초분절적 특징을 찾아내고 셋째, 이러한 특징들이 한국인 학습자에서 정확하게 구현되는지 음향적으로 확인하기 위한 녹음자료를 설정하였으며 넷째, 녹음 후 자동 음소분할을 통하여 음소 레이블링을 거쳐 다섯째, 스펙트로그램분석을 통한 한국인 학습자의 영어 발음과 원어민화자의 발음을 수동으로 비교하고 특징을 찾아내고 여섯째, 이러한 특징을 바탕으로 한국인 학습자의 발음 변이의 출현을 분절, 초분절적으로 나누어 기술하였다. 이러한 녹음 자료의 설정은 다시 발음 점수화를 위한 입력 텍스트로 활용된다. 동일한 녹음 텍스트 자료를 가지고 원어민 화자의 음성 데이터베이스를 구축함으로써 영어 학습자의 발음과 비교 대상으로 이용할 수 있도록 하였다. 한국인 영어 학습자의 영어 발음은 3명의 원어민과 5명의 한국인 영어음성학 전공자가 실제로 듣고 평가하도록 함으로써 발음 자동측정에 의한 발음 점수와 비교할 수 있도록 준비하였다. 발음 측정 및 점수화 시스템의 분절음 점수화를 위하여 원어민 화자의 음소세트에 기반을 둔 HMM 모델을 훈련시킨다. 훈련된 모델을 바탕으로 원어민 화자의 음성을 자동음소분할하고 분할된 각 음소에서 자동음소분할의 부산물인 로그확률값을 음소 길이 프레임 수로 나누어서 계산된 표준값을 각 음소의 확률값으로 정한 후 음소별로 확률값을 확률표본으로 하는 음소별 확률분포를 얻어낸다. 이 확률분포는 한국인 학습자의 발음에서 나온 각 음소의 표준 확률값 표본이 갖게 될 발음점수의 확률값으로 이용된다. 리듬 정보 추출은 기존 음성 데이터베이스에 있는 동일문장에 대한 영어학습자의 발화를 기존 음성 데이터베이스와 비교 · 대조를 통해 정확성을 산출하는 작업과, 영어학습자의 발화에 중대한 오류가 발생하였을 경우, 오류분석을 위한 작업을 시행하였다. 우선 기존 음성 데이터베이스의 길이 정보 추출을 위해 길이의 절대값을 측정 기준치로 사용하지 않고, 개별 분절음의 길이를 모두 z-score로 전환하여 사용하였다. z-score로 전환함으로써, 화자변이로 인한 정확성 측정의 어려움을 극복할 수 있기 때문이다. 영어학습자의 영어발음에서 리듬 및 길이의 정확성의 기준을 음성합성 및 음성인식 등에서 흔히 쓰이는 평균제곱근오류(RMSE: root mean squared prediction error)와 상관계수(correlation coefficient)를 사용하여 구하였다. 강세와 억양의 음향단서를 결정하기는 쉽지 않다. 본 연구에서는 강세와 억양의 정량적 분석을 위해 음향단서인 F0와 intensity를 사용하였다. 문장 강세의 변화나 억양을 모델링하기 위해서, 독립어휘 강세를 정확히 발음할 수 있는 가에 대한 모델로서 2음절 이상의 목표 단어들을 추출하고 이 단어들에 대한 원어민 화자의 발화데이터를 확보하고 분석하여 강세음절과 비강세 음절에서 나타나는 F0와 intensity를 측정하여 그 수치를 통계적으로 모델링하였다. 억양의 모델링을 위하여 화자별 pitch range의 차이, intonation declination 현상 등을 정규화하는 알고리듬을 채택하였다. 이렇게 해서 사전 정규화 작업을 거친 후 발음의 정확도 분석을 위해 Tilt intonation이론을 활용한 억양경계톤(intonational boundary tone)의 모델링을 통해 비교하였다.