잡음 환경에서의 음성인식을 위한 온라인 빔포밍과 스펙트럼 감산의 결합 = Combining deep learning-based online beamforming with spectral subtraction for speech recognition in noisy environments

국문 초록 (Abstract)

본 논문에서는 실제 환경에서의 연속 음성 강화를 위한 딥러닝 기반 온라인 빔포밍 알고리듬과 스펙트럼 감산을 결합한 빔포머를 제안한다. 기존 빔포밍 시스템은 컴퓨터에서 음성과 잡음을 완전히 겹친 방식으로 혼합하여 생성된 사전 분할 오디오 신호를 사용하여 대부분 평가되었다. 하지만 실제 환경에서는 시간 축으로 음성 발화가 띄엄띄엄 발성되기 때문에, 음성이 없는 잡음 신호가 시스템에 입력되면 기존 빔포밍 알고리듬의 성능이 저하된다. 이러한 효과를 경감하기 위하여, 심층 학습 기반 온라인 빔포밍 알고리듬과 스펙트럼 감산을 결합하였다. 잡음 환경에서 온라인 빔포밍 알고리듬을 평가하기 위해 연속 음성 강화 세트를 구성하였다. 평가 세트는 CHiME3 평가 세트에서 추출한 음성 발화와 CHiME3 배경 잡음 및 MUSDB에서 추출한 연속 재생되는 배경음악을 혼합하여 구성되었다. 음성인식기로는 Kaldi 기반 툴킷 및 구글 웹 음성인식기를 사용하였다. 제안한 온라인 빔포밍 알고리듬 과 스펙트럼 감산이 베이스라인 빔포밍 알고리듬에 비해 성능 향상을 보임을 확인하였다.

참고문헌 (Reference)

1 J. Barker, "The third ‘CHiME’speech separation and recognition challenge: Dataset, task and baselines" 504-511, 2015

2 E. A. Habets, "The MVDR beamformer for speech enhancement" 225-254, 2010

3 Y. Takahashi, "Structure selection algorithm for less musical-noise generation in integration systems of beamforming and spectral subtraction" 701-704, 2009

4 T. V. d. Bogaert, "Speech enhancement with multichannel Wiener filter techniques in multimicrophone binaural hearing aids" 125 : 360-371, 2009

5 S. Gannot, "Speech enhancement based on the general transfer function GSC and postfiltering" 12 : 561-571, 2004

6 D. Gala, "Speech en-hancement combining spectral subtraction and beam-orming techniques for microphone array" 163-166, 2010

7 S. Zhao, "Robust speech recognition using beamforming with adaptive microphone gains and multichannel noise reduction" 460-467, 2015

8 N. Shankar, "Real-time dual-channel speech enhancement by VAD assisted MVDR beamformer for hearing aid applications using smartphone" 952-955, 2020

9 T. Higuchi, "Online MVDR beamformer based on complex Gaussian mixture model with spatial prior for noise robust ASR" 25 : 780-793, 2017

10 Y. Liu, "Neural network based time-frequency masking and steering vector estimation for two-channel MVDR beamforming" 6717-6721, 2018

11 J. Heymann, "Neural network based spectral mask estimation for acoustic beamforming" 196-200, 2016

12 S. Karimian-Azari, "Modulation spectrum based beamforming for speech enhancement" 91-95, 2017

13 Z. Rafii, "MUSDB18 - a corpus for music separation"

14 "Google WebRTC"

15 "Google Web Speech API"

16 J. S. Lim, "Enhancement and bandwidth compression of noisy speech" 1586-1604, 1979

17 D. Kitamura, "Determined blind source separation unifying independent vector analysis and nonnegative matrix factorization" 24 : 1626-1641, 2016

18 C. Deng, "DNN-based mask estimation integrating spectral and spatial features for robust beamforming" 4647-4651, 2020

19 H. Saruwatari, "Blind source separation combining independent component analysis and beam-forming" 2003 : 569270-, 2003

20 E. Warsitz, "Blind acoustic beamforming based on generalized eigenvalue de-composition" 15 : 1529-1539, 2007

21 E. Warsitz, "Blind acoustic beam forming based on generalized eigenvalue decomposition" 15 : 1529-1539, 2007

22 J. Heymann, "BLSTM supported GEV beamformer front end for the 3rd CHiME challenge" 444-451, 2015

23 Y. Zhou, "A real-time dual-microphone speech enhancement algorithm assisted by bone conduction sensor" 20 : 5050-, 2020

24 Y. Tachioka, "2Coupled Initialization of multi-channel non negative matrix factorization based on spatial and spectral information" 2461-2465, 2017