포먼트 주파수를 이용한 향상된 음성시각화 = An improved speech visualization using formant frequency

국문 초록 (Abstract)

음성시각화는 음성이 발화되는 순간의 조음기관을 시각적으로 표현하는 방법이다. 기존 시각화 방법은 여러 가지 조음기관의 중요한 정보들의 손실이 생긴다는 단점이 있다. 또한, 언어 학습을 위해 개발된 상용 프로그램들은 학습자가 발성한 음성의 입술 모양이나 성도의 모양을 자동으로 보여주지는 못하고 있다. 기존 성도의 모양 추정 기법의 가장 큰 문제점은 소리가 발성될 때의 성도의 크기만을 추정한다는 것이다. 이러한 방법은 성도의 모양을 심하게 단순화시킨다는 문제점 외에도 서로 다른 두 소리에 대해서도 같은 성도의 모양으로 추정할 가능성을 갖고 있다. 예를 들어 구강의 크기가 같다 하더라도 혀의 위치나 혀의 모양, 입술의 모양이 서로 다를 수 있는데 기존 방법은 이를 전혀 반영하지 못하고 있다는 것이다.
이와 같은 문제점을 해결하고자 본 논문에서는 포먼트(formant) 주파수를 이용한 음성시각화 기법에 대하여 제안한다. 제안하는 방법은 먼저 입력신호에서 short time energy (STE) 와 short time zero crossing rate(STZCR)을 이용하여 음성구간검출을 한다. 음성구간을 판별하여 음성구간만을 포먼트 주파수와 inverse filer를 이용하여 모음인식과 성도면적 추정을 한다. 모음인식에는 제1포먼트(F1)와 제2포먼트(F2)를 Gaussian probability density function(PDF)를 만들고 현재 입력 데이터와 maximum log-likelihood를 이용하여 인식한다. 또한, 각 모음 별 입의 크기 변화율을 학습 단계에서 카메라를 이용하여 추정한다. 이와 같이 얻어진 입의 크기 변화율과 성도면적을 이용하여 음성시각화 기법에 대하여 제안한다.

목차 (Table of Contents)

• 제 1장 서론 1
• 제 2장 관련연구 4
• 2.1 STE와 STZCR을 이용한 음성구간 검출 4
• 2.2 포먼트 주파수 8
• 2.3 모음과 포먼트 주파수 12
• 제 3장 음성시각화 15
• 3.1 성도면적 추정 15
• 3.2 포먼트를 이용한 음성시각화 22
• 3.3 모음인식 24
• 제 4장 실험 26
• 4.1 실험 데이터 26
• 4.2 실험 결과 29
• 4.2.1 STE와 STZCR을 이용한 음성구간 검출 30
• 4.2.2 모음 인식 32
• 4.2.3 포먼트 주파수와 입의 높이에 관한 실험 34
• 4.2.4 음성시각화 40
• 제 5장 결론 및 향후 과제 45
• 참고문헌 47