음성인식 성능향상을 위한 MMILST기반의 모델 적응 기법

국문 초록 (Abstract)

요 약

통계적 음성 인식 시스템에 있어서 모델 학습 환경과 인식 환경간의 차이는 급격한 성능 저하를 야기한다. 이러한 학습 환경과 인식 환경간의 차이로 인해 발생되는 성능 저하를 막기 위해, 인식 환경에서 발생한 적응 데이터를 가지고 기존 모델을 인식 환경에 적합하게 만드는 것을 적응이라 한다. 따라서, 적응 기술은 음성 인식 기술을 실생활에 활용하는데 있어서 없어서는 안될 매우 중요한 기술이라고 말할 수 있다.

적응 기술은 실제 적용 시에 모델 학습에 비해 상대적으로 적은 양의 적응 데이터만을 제공 받게 된다. 이러한 특성으로 인해 적응에서는 적은 양의 적응 데이터에도 얼마나 효과적으로 성능을 향상시켜줄 수 있는지가 중요한 문제이다. 본 논문에서 적용한 Linear Spectral Transform(LST) 알고리즘은 잡음에 직접적으로 영향을 받는 선형 spectral 도메인에서 환경 잡음들에 대한 적응 처리를 함으로써, cepstral 도메인에서 적응 처리가 행해지는 기존 적응 기법들에 비해 빠른 적응 성능을 발휘한다.

기존 LST 알고리즘은 잡음 매개변수 추정 기법으로 Maximum Likelihood Estimation (MLE)를 사용한다. MLE는 주어진 데이터 해당하는 하나의 모델에 대한 likelihood만을 고려할 뿐, 다른 모델간의 분별력 증대는 전혀 고려 하지 않는다. 따라서, ML 추정 기법은 충분한 적응 데이터가 주어지지 않은 조건에서는 좋지 않은 성능을 나타낸다. 이러한 문제를 해결하기 위해 모델간의 분별력을 최대화 시켜주는 Maximum Mutual Information Estimation(MMIE)의 적용을 고려해 볼 수 있다. 본 논문은 이와 같이 추정 기법으로서 한계를 갖는 MLE 대신 보다 나은 성능을 얻기 위해 MMIE를 잡음 매개변수의 추정 기법으로 사용하는 Maximum Mutual Information Linear Spectral Transform(MMILST) 알고리즘을 평균값 매개변수를 변환시키는데 적용하였다.

제안된 MMILST 알고리즘은 TIMIT과 FFMTIMIT 데이터 코퍼스에 대해 실험되었다.
먼저, TIMIT을 이용해 학습 모델을 만든 후 FFMTIMIT를 이용해 적응과 테스트가 이루어졌다. 실험 결과를 통해 우리는 MMILST 알고리즘이 적은 양의 적응 데이터에 대해 기존 적응 기법보다 나은 성능을 나타냄을 알 수 있었다.

국문 초록 (Abstract)

요 약

통계적 음성 인식 시스템에 있어서 모델 학습 환경과 인식 환경간의 차이는 급격한 성능 저하를 야기한다. 이러한 학습 환경과 인식 환경간의 차이로 인해 발생되는 성능 저하를 막기 위해, 인식 환경에서 발생한 적응 데이터를 가지고 기존 모델을 인식 환경에 적합하게 만드는 것을 적응이라 한다. 따라서, 적응 기술은 음성 인식 기술을 실생활에 활용하는데 있어서 없어서는 안될 매우 중요한 기술이라고 말할 수 있다.

적응 기술은 실제 적용 시에 모델 학습에 비해 상대적으로 적은 양의 적응 데이터만을 제공 받게 된다. 이러한 특성으로 인해 적응에서는 적은 양의 적응 데이터에도 얼마나 효과적으로 성능을 향상시켜줄 수 있는지가 중요한 문제이다. 본 논문에서 적용한 Linear Spectral Transform(LST) 알고리즘은 잡음에 직접적으로 영향을 받는 선형 spectral 도메인에서 환경 잡음들에 대한 적응 처리를 함으로써, cepstral 도메인에서 적응 처리가 행해지는 기존 적응 기법들에 비해 빠른 적응 성능을 발휘한다.

기존 LST 알고리즘은 잡음 매개변수 추정 기법으로 Maximum Likelihood Estimation (MLE)를 사용한다. MLE는 주어진 데이터 해당하는 하나의 모델에 대한 likelihood만을 고려할 뿐, 다른 모델간의 분별력 증대는 전혀 고려 하지 않는다. 따라서, ML 추정 기법은 충분한 적응 데이터가 주어지지 않은 조건에서는 좋지 않은 성능을 나타낸다. 이러한 문제를 해결하기 위해 모델간의 분별력을 최대화 시켜주는 Maximum Mutual Information Estimation(MMIE)의 적용을 고려해 볼 수 있다. 본 논문은 이와 같이 추정 기법으로서 한계를 갖는 MLE 대신 보다 나은 성능을 얻기 위해 MMIE를 잡음 매개변수의 추정 기법으로 사용하는 Maximum Mutual Information Linear Spectral Transform(MMILST) 알고리즘을 평균값 매개변수를 변환시키는데 적용하였다.

제안된 MMILST 알고리즘은 TIMIT과 FFMTIMIT 데이터 코퍼스에 대해 실험되었다.
먼저, TIMIT을 이용해 학습 모델을 만든 후 FFMTIMIT를 이용해 적응과 테스트가 이루어졌다. 실험 결과를 통해 우리는 MMILST 알고리즘이 적은 양의 적응 데이터에 대해 기존 적응 기법보다 나은 성능을 나타냄을 알 수 있었다.

목차 (Table of Contents)

• 목 차
• 요 약
• 제 1 장 서론
• 1.1 연구 목표
• 1.2 논문의 구성
• 제 2 장 관련 연구
• 2.1 적응 기법
• 2.1.1 Maximum Likelihood Linear Regression
• 2.1.2 Parallel Model Combination
• 2.1.3 Linear Spectral Transform
• 2.2 잡음 파라미터 추정 기법
• 2.2.1 Maximum Likelihood Estimation
• 2.2.2 Maximum Mutual Information Estimation
• 제 3 장 Maximum Mutual Information Linear Spectral Transform
• 3.1 연구 동기
• 3.2 MMILST를 이용한 모델 적응
• 3.2.1 MMILST Auxiliary Function 유도
• 3.2.2 모델의 평균 벡터 적응
• 3.3 MMI 추정 성능 일반화
• 3.3.1 Lattice의 이용과 Scaling
• 3.3.2 Weakened Language Model
• 3.4 MMILST 적응 과정
• 제 4 장 실험 및 결과 분석
• 제 5 장 결론 및 향후 연구 과제
• 부록 A MMI Auxiliary Function 유도 과정
• A.1 Gopalakrishnan’s Inequality의 적용
• A.2 Continuous Density Function으로 확장
• A.3 Auxiliary Function 유도
• 참고 문헌