스펙트럼 변이를 이용한 Soft Decision 기반의 음성향상 기법

최재훈(Jae-Hun Choi),장준혁(Joon-Hyuk Chang),김남수(Nam-Soo Kim) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.5

본 논문에서는 비정상적인 배경 잡음 환경에서 음성향상을 위한 신호의 스펙트럼 변이 (Spectral Deviation)을 적용한 Soft Decision 기반의 잡음전력 수정 기법을 제안한다. 기존의 Soft Decision 기반의 잡음전력 추정에 있어서 잡음신호의 정상성(Stationarity)을 가정한 스무딩 파라미터를 사용하여 잡음전력을 추정하고 갱신하였지만, 잡음신호의 주파수적인 특성이 상대적으로 빠르게 변하는 비정상적인 환경에서는 강인하지 못한 단점을 가지게 된다. 본 논문에서는 신호의 스펙트럼 변이를 추정하여 정상적인 잡음 환경과 비정상적인 잡음 환경에 따라 적응적으로 잡음전력을 추정하고 갱신하여 잡음신호에 의해 오염된 음성신호를 향상시킨다. 제안된 알고리즘은 다양한 배경 잡음 환경에서 객관적인 음질측정 방법인 ITU-T P.862 perceptual evaluation of speech quality (PESQ)에 의해서 평가되었으며, 기존의 Soft Decision 기반의 음성 향상 기법과 비교하여 보다 향상된 성능을 보여주었다 In this paper, we propose a new approach to noise estimation incorporating spectral deviation with soft decision scheme to enhance the intelligibility of the degraded speech signal in non-stationary noisy environments. Since the conventional noise estimation technique based on soft decision scheme estimates and updates the noise power spectrum using a fixed smoothing parameter which was assumed in stationary noisy environments, it is difficult to obtain the robust estimates of noise power spectrum in non-stationary noisy environments that spectral characteristics of noise signal such as restaurant constantly change. In this paper, once we first classify the stationary noise and non-stationary noise environments based on the analysis of spectral deviation of noise signal, we adaptively estimate and update the noise power spectrum according to the classified noise types. The performances of the proposed algorithm are evaluated by ITU-T P. 862 perceptual evaluation of speech quality (PESQ) under various ambient noise environments and show better performances compared with the conventional method.

행오버를 이용한 SOFT DECISION 음성향상기법

장준혁(Joon Hyuk Chang),김남수(Nam Soo Kim) 한국방송·미디어공학회 1999 한국방송공학회 학술발표대회 논문집 Vol.1999 No.-

적응형 문턱값을 가지는 2차 조건 사후 최대 확률을 이용한 통계적 모델 기반의 음성 검출기

김상균,장준혁,Kim, Sang-Kyun,Chang, Joon-Hyuk 한국음향학회 2010 韓國音響學會誌 Vol.29 No.1

본 논문에서는 음성의 통계적 모델에 기반한 음성 검출기 (voice activity detection, VAD)의 성능 향상을 위해 2차 조건 사후 최대 확률 (second-order conditional maximum a posteriori, second-order CMAP)기법을 적용한 우도비 테스트 (likelihood ratio test, LRT)를 제안한다. 제안된 알고리즘은, 기존의 통계적 모델에 기반한 음성 검출기와 CMAP 기반의 음성 검출기를 분석한 다음, 직전 2 프레임에서 음성의 존재와 부재에 대한 조건부 확률에 따라 실시간으로 적응형 문턱값을 구하여 기하 평균한 우도비와 비교하는 음성검출 결정법 (decision rule)을 제시한다. 제안된 알고리즘을 비정상 (non-stationary) 잡음환경에서 기존의 통계적 모델에 기반한 음성 검출기, CMAP 기반의 음성 검출기와 비교하였으며, 향상된 성능을 보였다. In this paper, we propose a novel approach to improve the performance of a statistical model-based voice activity detection (VAD) which is based on the second-order conditional maximum a posteriori (CMAP). In our approach, the VAD decision rule is expressed as the geometric mean of likelihood ratios (LRs) based on adapted threshold according to the speech presence probability conditioned on both the current observation and the speech activity decisions in the pervious two frames. Experimental results show that the proposed approach yields better results compared to the statistical model-based and the CMAP-based VAD using the LR test.

근단 배경 잡음 환경에서 G.729A 음성부호화기 파라미터에 기반한 새로운 음성 강화 기법

최재훈,장준혁,Choi, Jae-Hun,Chang, Joon-Hyuk 한국음향학회 2009 韓國音響學會誌 Vol.28 No.4

본 논문에서는 근단 (Near-End) 잡음 환경에서 ITU-T의 표준 음성부호화기인 G.729A CS-ACELP 기반의 효과적인 음성강화 기법을 제시한다. 일반적으로 다양한 배경 잡음이 존재하는 근단 환경에서 수신하는 원단 화자 음성의 명료도가 매우 감소하므로, 이를 극복하기 위한 원단 화자 음성 강화 기법이 필요하다. 기존의 음성강화 시스템과는 대조적으로, 다양한 배경 잡음이 존재하는 근단 환경에서 음성부호화기에 기반하여, 원단으로부터 수신된 비트스트림 파라미터 중 여기신호(excitation signal)를 강화하는 알고리즘을 제시한다. 구체적으로, 다양한 배경 잡음이 존재하는 근단 환경에서 G.729A CS-ACELP의 부호화기를 통해 배경 잡음의 여기신호를 추정하고, 추정된 배경 잡음의 여기신호를 기반으로 원단 화자로부터 전송된 음성 신호의 여기신호를 강화시키는데, 특별히 G.729A 복호화기내에서 원단의 음성 신호를 직접 강화하는 알고리즘을 제안한다. 제안된 음성 강화 기법의 성능은 다양한 잡음 환경 하에서 ITU-T P.800의 주관적 음질 측정 방법인 CCR (Comparison Category Rating) 테스트에 의해 평가되었으며, 기존의 SNR 복구 기법과 비교해서 우수한 성능을 보여주었다. In this paper, we propose an effective speech reinforcement technique base on ITU-T G.729A CS-ACELP codec under the near-end background noise environments. In general, since the intelligibility of the far-end speech for the near-end listener is significantly reduced under near-end noise environments, we require a far-end speech reinforcement approach to avoid this phenomena. In contrast to the conventional speech reinforcement algorithm, we reinforce the excitation signal of the codec's parameters received from the far-end speech signal based on the G.729A speech codec under various background noise environments. Specifically, we first estimate the excitation signal of ambient noise at the near-end through the encoder of the G.729A speech codec, reinforcing the excitation signal of the far-end speech transmitted from the far-end. we specially propose a novel approach to directly reinforce the excitation signal of far-end speech signal based on the decoder of the G.729A. The performance of the proposed algorithm is evaluated by the CCR (Comparison Category Rating) test of the method for subjective determination of transmission quality in ITU-T P.800 under various noise environments and shows better performances compared with conventional SNR Recovery methods.

일반화된 가우시안 분포를 이용한 신호 준공간 기반의 음성검출기법

엄용섭,장준혁,김동국,Um, Yong-Sub,Chang, Joon-Hyuk,Kim, Dong Kook 한국음향학회 2013 韓國音響學會誌 Vol.32 No.2

본 논문에서는 신호준공간(signal subspace) 영역에서 통계적 모델을 이용한 향상된 음성검출기법을 제안한다. 이를 위해 EP(Embedded Prewhitening) 기법에 의해 비상관적인 (uncorrelated) 신호준공간을 생성하고, 이 영역에서 잡음음성과 잡음에 대한 통계적 특성을 파악하였다. 이러한 통계적 특성에 근거하여 GGD (Generalized Gaussian Distribution)을 사용하여 보다 효율적인 음성검출 알고리즘을 제안한다. 실험을 통해 제안된 기법이 0-15dB SNR의 시뮬레이션 환경에서 기존 Gaussian을 사용한 신호준공간 기법보다 향상된 음성검출 결과를 보여준다. In this paper we propose an improved voice activity detection (VAD) algorithm using statistical models in the signal subspace domain. A uncorrelated signal subspace is generated using embedded prewhitening technique and the statistical characteristics of the noisy speech and noise are investigated in this domain. According to the characteristics of the signals in the signal subspace, a new statistical VAD method using GGD (Generalized Gaussian Distribution) is proposed. Experimental results show that the proposed GGD-based approach outperforms the Gaussian-based signal subspace method at 0-15 dB SNR simulation conditions.

조건 사후 최대 확률과 음성 스펙트럼 변이 조건을 이용한 통계적 모델 기반의 음성 검출기

김상균,장준혁,Kim, Sang-Kyun,Chang, Joon-Hyuk 한국음향학회 2011 韓國音響學會誌 Vol.30 No.6

본 논문에서는 조건 사후 최대 확률 (conditional maximum a posteriori, CMAP)과 음성 스펙트럼 변이 조건을 기반으로 한 새로운 음성 검출기 (voice activity detection, VAD)를 제안한다. 제안된 음성 검출기는 통계적 모델을 기반으로 한 우도비 테스트 (likelihood ratio test, LRT)의 문턱값을 결정하는데 조건 사후 최대 확률과 스펙트럼 변이의 상태 값을 조건부 확률로 부과한다. 제안된 알고리즘을 다양한 잡음 환경에서 기존의 CMAP 기반의 음성 검출기와 비교한 결과 전체적으로 향상된 성능을 보였으며 특히 SNR이 낮은 조건에서 향상 폭이 컸다. In this paper, we propose a novel approach to improve the performance of a statistical model-based voice activity detection (VAD) which is based on the conditional maximum a posteriori (CMAP) with deviation. In our approach, the VAD decision rule is expressed as the geometric mean of likelihood ratios (LRs) based on adapted threshold according to the speech presence probability conditioned on both the speech activity decisions and spectral deviation in the pervious frame. Experimental results show that the proposed approach yields better results compared to the CMAP-based VAD using the LR test.

SVM 기반 음성/음악 분류기의 효율적인 임베디드 시스템 구현

임정수,장준혁,Lim, Chung-Soo,Chang, Joon-Hyuk 한국음향학회 2011 韓國音響學會誌 Vol.30 No.8

제한된 대역폭을 효율적으로 사용하기 위해서 도입된 가변 전송률은 먼저 신호의 정확한 분류를 필요로 한다. 특히 멀티미디어 서비스가 보편화 되면서 음성/음악 신호 분류의 중요성도 높아지게 되었다. 음성/음악 분류기 중, 서포트벡터머신 (SVM)을 이용한 분류기는 높은 분류 정확도로 주목받고 있다. 그러나 SVM는 많은 계산량과 저장 공간을 요구하므로 효율적인 구현이 요구되며, 특히 임베디드 시스템과 같이 자원이 제한 적인 경우에는 더욱 그러하다. 본 논문에서는 먼저 SVM을 이용한 음성/음악 분류기의 임베디드 시스템으로의 구현을 실행시간과 에너지소비의 관점에서 분석하고, 효율적인 구현을 위한 두가지 방법들을 제안한다. 서포트벡터의 판별결과에의 기여도를 바탕으로 기여도가 낮은 벡터들을 제외하는 방법과, 음성/음악 신호에 기본적으로 존재하는 각 프레임간의 상관관계를 이용하여 입력신호의 일부를 건너뛰는 방법이다. 이 기법들은 SVM의 학습 시 사용되는 다른 최적화 기법에 관계없이 적용이 가능하며, 실험을 통해 분류의 정확도, 실행시간, 그리고 에너지소비의 관점에서 그 성능을 증명하였다. Accurate classification of input signals is the key prerequisite for variable bit-rate coding, which has been introduced in order to effectively utilize limited communication bandwidth. Especially, recent surge of multimedia services elevate the importance of speech/music classification. Among many speech/music classifier, the ones based on support vector machine (SVM) have a strong selling point, high classification accuracy, but their computational complexity and memory requirement hinder their way into actual implementations. Therefore, techniques that reduce the computational complexity and the memory requirement is inevitable, particularly for embedded systems. We first analyze implementation of an SVM-based classifier on embedded systems in terms of execution time and energy consumption, and then propose two techniques that alleviate the implementation requirements: One is a technique that removes support vectors that have insignificant contribution to the final classification, and the other is to skip processing some of input signals by virtue of strong correlations in speech/music frames. These are post-processing techniques that can work with any other optimization techniques applied during the training phase of SVM. With experiments, we validate the proposed algorithms from the perspectives of classification accuracy, execution time, and energy consumption.

음성 향상에서 강인한 새로운 선행 SNR 추정 기법에 관한 연구

박윤식,장준혁,Park, Yun-Sik,Chang, Joon-Hyuk 한국음향학회 2006 韓國音響學會誌 Vol.25 No.8

본 논문에서는 잡음 환경에서 단일 마이크로폰의 음성 향상에 대한 새로운 기법을 제시했다. 일반적으로 널리 알려진 스펙트럼 차감법에 근거한 음성 향상 기술은 신호 대 잡음비에 따른 스펙트럼 이득으로 표현된다. 대표적인 Ephraim과 Malah의 decision-directed (DD) 추정치는 잡음 구간에서 효율적으로 뮤지컬 잡음을 제거하지만 음성 구간에서는 이전 프레임의 음성 스펙트럼 성분에 더 큰 비중을 두기 때문에 a priori SNR의 프레임 지연이 발생한다. 따라서 DD에 의해 추정된 a priori SNR이 적용된 잡음 제거 이득은 현재 프레임보다 이전 프레임에 영향을 받으므로 음성 전이 구간에서 잡음 제거 성능을 저하시킨다. 본 논문은 DD의 가중치 파라미터에 Sigmoid Type의 함수를 적용하여 계산적으로는 간단하지만 효과적인 음성 향상 알고리즘을 제안한다. 제안된 접근 방식은 DD의 주요 파라미터인 a priori SNR 지연의 문제점을 해결하면서 뮤지컬 잡음 제거에 우수한 DD의 이점은 유지한다. 제안된 알고리즘의 성능은 다양한 잡음 환경에서 ITU-T P.862 Perceptual Evaluation of Speech Quality (PESQ) 와 Mean Opinion Score (MOS). 그리고 음성 스펙트로그램 (Spectrogram)에 의해 평가했고 기존의 DD의 고정된 가중치 파라미터를 사용했을 때 보다 향상된 결과를 나타내었다. This Paper presents a novel approach to single channel microphone speech enhancement in noisy environments. Widely used noise reduction techniques based on the spectral subtraction are generally expressed as a spectral gam depending on the signal-to-noise ratio (SNR). The well-known decision-directed(DD) estimator of Ephraim and Malah efficiently reduces musical noise under the background noise conditions, but generates the delay of the a prioiri SNR because the DD weights the speech spectrum component of the Previous frame in the speech signal. Therefore, the noise suppression gain which is affected by the delay of the a priori SNR, which is estimated by the DD matches the previous frame rather than the current one, so after noise suppression. this degrades the noise reduction performance during speech transient periods. We propose a computationally simple but effective speech enhancement technique based on the sigmoid type function for the weight Parameter of the DD. The proposed approach solves the delay problem about the main parameter, the a priori SNR of the DD while maintaining the benefits of the DD. Performances of the proposed enhancement algorithm are evaluated by ITU-T p.862 Perceptual Evaluation of Speech duality (PESQ). the Mean Opinion Score (MOS) and the speech spectrogram under various noise environments and yields better results compared with the fixed weight parameter of the DD.

주파수 영역에서의 Gaussian Mixture Model 기반의 동시통화 검출 연구

이규호,장준혁,Lee, Kyu-Ho,Chang, Joon-Hyuk 한국음향학회 2009 韓國音響學會誌 Vol.28 No.4

In this paper, we propose a novel method for the cross-correlation based double-talk detection (DTD), which employing the Gaussian Mixture Model (GMM) in the frequency domain. The proposed algorithm transforms the cross correlation coefficient used in the time domain into 16 channels in the frequency domain using the discrete fourier transform (DFT). The channels are then selected into seven feature vectors for GMM and we identify three different regions such as far-end, double-talk and near-end speech using the likelihood comparison based on those feature vectors. The presented DTD algorithm detects efficiently the double-talk regions without Voice Activity Detector which has been used in conventional cross correlation based double-talk detection. The performance of the proposed algorithm is evaluated under various conditions and yields better results compared with the conventional schemes. especially, show the robustness against detection errors resulting from the background noises or echo path change which one of the key issues in practical DTD. 본 논문에서는 주파수 영역에서의 가우시안 혼합 모델 (Gaussian Mixture Model, GMM) 기반의 새로운 동시통화 검출 (Double-talk Detection, DTD) 알고리즘을 제안한다. 구체적으로 주파수 영역에서의 음향학적 반향억제 (Acoustic Echo Suppression, AES)를 위한 동시 통화 검출 알고리즘을 구성하기 위해 기존의 시간 영역에서의 동시통화 검출에 사용되는 상호 상관계수를 이산 푸리에 변환을 통해 16개 채널의 주파수 영역으로 변환하였다. 이러한 주파수 영역에서의 상호 상관계수를 GMM의 보다 효과적인 구성을 위해 통계적 분류 특성에 근거하여 우수한 7개를 선별하였다. 본 논문은 이러한 특징 벡터로 패턴인식에서 우수한 성능을 보이는 GMM을 구성하였으며 원단화자만 있는 구간, 동시통화 구간, 근단 화자만 있는 구간을 우도 (Likelihood) 비교에 따라 분류함으로써 별도의 원단 화자 신호에 대한 음성 검출기 (Voice Activity Detector, VAD)의 사용 없이 잡음환경과 반향 경로 변화에서 강인한 동시통화 검출 알고리즘을 제안한다. 다양한 실험 결과 제안된 방법은 기존의 상호 상관계수를 고정된 문턱 값과 가부 비교하여 동시 통화 구간을 검출하는 hard decision 방법에 비해 검출 오류 확률 (Detection Error Probability)을 비교한 결과 우수한 성능을 보였다.

결합된 음향학적 반향 및 배경 잡음 전력에 기반한 새로운 통합 제거 알고리즘

박윤식,장준혁,Park, Yun-Sik,Chang, Joon-Hyuk 한국음향학회 2010 韓國音響學會誌 Vol.29 No.6

본 논문에서는 주파수 영역에서 결합된 음향학적 반향 및 배경 잡음 전력에 기반한 효과적인 새로운 통합 제거 알고리즘을 제안한다. 제안된 방법에서는 반향 제거기와 배경잡음 제거기가 직렬로 연결되어 각각의 제거필터에 의해 처리되는 기존의 방법 대신에 원단 (far-end) 신호에 기반한 기중치 파라미터를 이용하여 반향 및 배경잡음 전력을 선별적으로 결합하고 결합된 신호를 하나에 제거 필터에 적용하여 두 신호를 모두 제거한다. 따라서 제안된 기법에서는 기존의 반향 및 잡음 제거기의 연결 순서에 의해 발생되는 단점을 보완하고 잔여반향신호를 효과적으로 제거할수 있도록 한다. 제안된 알고리즘은 기존의 방법과 객관적인 실험을 통해 비교 평가한 결과 다양한 테스트 환경에서 기존의 방법에 비해 전반적으로 우수한 성능을 보였다. In this paper, we propose an efficient integrated suppression algorithm based on combined power of acoustic echo and background noise. The proposed method combines the acoustic echo and noise power by the weighting parameter derived from the decision rule based on the estimated echo to noise power ratio. Therefore, in the proposed approach, the acoustic echo and noise signal are able to be reduced through only one suppression filter based on the estimated combined power. The proposed unified structure improves the problems of the residual echo and noise resulted from the conventional unified structure where the noise suppression (NS) operation is placed after the acoustic echo suppression (AES) algorithm or vice versa. The performance of the proposed algorithm is evaluated by the objective test under various environments and yields better results compared with the conventional scheme.