음성 변환 기술을 활용한 Zero-shot 화자 익명화 연구 = Zero-shot speaker anonymization via voice conversion technique

국문 초록 (Abstract)

AI 기술의 발전으로 음성 기반의 인터페이스는 다양한 스마트 기기를제어할수 있는 편리한 방법을 제공한다. 이러한 인터페이스가 안정적으로 작동하려면다양한 잡음 및 화자 특성을 가진 대규모 음성 데이터를 수집하여 관련음성처리 모델을 학습시켜야 한다. 스마트 기기의 실제 사용자로부터 음성 명령을수집하면 각 기기를 해당 사용자의 음성 특성에 익숙하게 함으로써 기기의성능을 향상시킬 수 있다. 그러나 음성 명령을 직접 수집하면 음성 데이터에민감한 화자 정보가 포함되므로 사용자의 개인 정보가 위협받을 수 있다. 이를위한 화자 익명화 알고리즘은 사용자의 음성의 언어적 내용을 보존하면서민감한 정보를 억제하기 위해 적용될 수 있다. 이전의 화자 익명화 알고리즘은학습 데이터 세트에 포함된 화자의 목소리만 익명화 시킬 수 있었다. 화자익명화 알고리즘은 일반적으로 새로운 화자(학습 데이터 세트에 없는 사람)에게적용되기 때문에 이러한 화자(일반적으로 “보이지 않는 화자”라고 함)를 익명화시키는 방법을 개발해야 한다. 본 논문에서는 Zeto-shot learning을 이용하여보이지 않는 화자의 목소리에서 개별적인 특징을 효과적으로 억제하면서도화자의 언어적 내용을 유지할 수 있는 새로운 방법을 제안한다.

목차 (Table of Contents)

• 제 1 장 서론 1
• 제 2 장 관련 연구 3
• 2.1. Voice Conversion 3
• 2.2. Speaker Identity Vector Modeling 6
• 2.3. Speaker Anonymization 8
• 제 3 장 제안하는 방법 9
• 3. Zero-shot Speaker Anonymization 9
• 제 4 장 실험 15
• 4.1. 학습 데이터 15
• 4.2. 음성 익명화 시스템 구조 18
• 4.3. 익명화 성능 평가 모델 20
• 4.4. 소규모 데이터 세트(VCC 2018) 평가 21
• 4.5. 대규모 데이터 세트(VCTK) 평가 24
• 4.6. 두 가지 데이터 세트의 평균 성능 26
• 제 5 장 결론 및 향후 과제 27
• 참고 문헌 28