MobileNet을 이용한 사람 음성 구간의 오디오 축약 방법 = Voice Activity Segment Audio Deduction Method using MobileNet

다국어 초록 (Multilingual Abstract)

Applications for collecting and utilizing audio information from various smart devices are being developed. Human voice is important data among vast amounts of audio, and it is useful to deduct only voice activity segments from audio. This paper proposes a method to contract only voice activity segments excluding non-speech segments using MobileNet. Input audio is divided into 3 second segments and MFCC features are extracted and used for voice detection. A CNN model widely used in the past has a problem of increasing the amount of computation due to its deep structure. Therefore, MobileNet focused on optimizing the amount of computation is used. Experiments were performed using domestic and foreign datasets and audio collected by ourselves. As a result, we achieved the voice detection accuracy of 93.92% for each segment and the reduction accuracy of 88.05% for the entire audio.

국문 초록 (Abstract)

다양한 스마트 기기에서 오디오 정보들을 수집하고 활용하는 응용들이 개발되고 있다. 방대한 오디오 중에서 사람 음성은 중요한 정보로 오디오에서 음성 구간만 축약하는 것은 유용하다. 본 논문에서는 MobileNet을 사용하여 오디오에서 비음성 구간들을 제외한 음성 구간만을 축약시키는 방법을 제안한다. 입력 오디오를 3초 단위 세그먼트로 구분하고, MFCC 특징을 추출하여 사람 음성 판별에 활용하였다. 특히, 기존에 많이 사용되는 CNN 모델은 구조가 깊어져서 연산량이 증가하는 문제가 있어서, 연산량 최적화에 중점을 둔 MobileNet을 활용하였다. 국내외 여러 데이터셋과 자체적으로 수집한 오디오를 사용하여 실험을 수행하였고, 그 결과 세그먼트 단위로 93.92% 음성 검출 정확도와 전체 오디오에 대해 88.05%의 축약 정확도를 달성하였다.

참고문헌 (Reference)

1 B. H. Choi, "Voice Activity Detection Model of Human based on MobileNet" 523-525, 2021

2 윤원희 ; 윤규철 ; 박선우 ; 이주희 ; 조성문 ; 강덕수 ; 변군혁 ; 한혜승 ; 김정선, "The Korean Corpus of Spontaneous Speech" 한국음성학회 7 (7): 103-109, 2015

3 Chang, "Temporal Modeling Using Dilated Convolution and Gating for Voice-Activity-Detection" 5549-5553, 2018

4 N. Li, "Robust Voice Activity Detection Using a Masked Auditory Encoder Based Convolutional Neural Network" 6828-6832, 2021

5 A. Howard, "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications"

6 F. Jia, "MarbleNet:Deep 1D Time-Channel Separable Convolutional Neural Network for Voice Activity Detection" 6818-6822, 2021

7 "Magic Data Korean Conversantional Speech Corpus"

8 "GTZAN Genre Collection Database"

9 Piczak, "ESC : dataset for environmental sound classification" 1015-1018, 2015

10 S. Kopparapu, "Choice of Mel Filter Bank in Computing MFCC of a Resampled Speech" 121-124, 2010

11 "AI Hub Korean Conversation Voice"

12 J. Sohn, "A statistical model-based voice activity detection" 6 (6): 1-3, 1999

13 M. Moattar, "A simple but efficient real-time Voice Activity Detection algorithm" 2549-2553, 2009

14 J. Salamon, "A dataset and taxonomy for urban sound research" 1041-1044, 2014

15 N. Wilkinson, "A Hybrid CNN-BiLSTM Voice Activity Detector" 6803-6807, 2021

16 A. Sehgal, "A Convolutional Neural Network Smartphone App for Real-Time Voice Activity Detection" 6 : 9017-9026, 2018

17 J. Bosch, "A Comparison of Sound Segregation Techniques for Predominant Instrument Recognition in Musical Audio Signals" 559-564, 2012