지능형 TV의 음성인식을 위한 참조 잡음 기반 음성개선

정상배,Jeong, Sangbae 한국정보통신학회 2013 한국정보통신학회논문지 Vol.17 No.2

본 논문에서는 지능형 TV의 음성인터페이스를 위한 잡음제거 시스템에 대해서 제안한다. 음성인식 성능 저하에 매우 나쁜 영향을 주는 TV 소리를 제거하기 위해서 TV 소리 자체를 참조 잡음으로 하는 잡음제거 알고리즘이 구현된다. 제안된 알고리즘에서 TV 스피커와 다채널 장비간의 전달함수를 추정한다. 그 후, 위너 필터를 동작시키기 위해서 잡음의 전력 스펙트럼이 추정된다. 추가적으로 후처리 과정이 적용되어 잔존 잡음을 제거한다. 실험의 의해서 제안된 알고리즘이 5 dB 입력 SNR에서 88 %의 음성인식률을 나타내었다. In this paper, a noise reduction system is proposed for the speech interface in intelligent TV applications. To reduce TV speaker sound which are very serious noises degrading recognition performance, a noise reduction algorithm utilizing the direct TV sound as the reference noise input is implemented. In the proposed algorithm, transfer functions are estimated to compensate for the difference between the direct TV sound and that recorded with the microphone installed on the TV frame. Then, the noise power spectrum in the received signal is calculated to perform Wiener filter-based noise cancellation. Additionally, a postprocessing step is applied to reduce remaining noises. Experimental results show that the proposed algorithm shows 88% recognition rate for isolated Korean words at 5 dB input SNR.

음성존재확률을 이용한 최적 변형 다채널 위너 필터

정상배(Sangbae Jeong),김영일(Youngil Kim) 한국스마트미디어학회 2018 스마트미디어저널 Vol.7 No.3

본 논문에서는 음성존재확률을 이용하여 다채널 위너필터의 이득을 최적으로 변형하는 방법을 제안한다. 기존의 음성존재확률을 이용한 다채널 위너필터의 변형은 다소 경험적인 방법을 사용하기 때문에 잔여잡음의 양을 줄이면 음성왜곡이 증가하는 문제가 있다. 하지만, 제안된 최적 변형 다채널 위너필터는 음성존재확률을 최적 필터를 도출하기 위한 비용함수에 적용하여 비제한적 최소화 문제의 해를 이용하여 잔여잡음의 양과 음성왜곡을 동시에 줄일 수 있는 결과를 보였다. 잡음제거된 파형과 스펙트로그램의 평가를 통해서 제안된 최적 변형 다채널 위너필터가 종래의 다채널 위너필터와 비교하여 향상된 SNR과 음성 왜곡을 나타냄을 확인할 수 있었다. This paper proposes an optimal gain modification method of the Multichannel Wiener filter (MWF) using speech presence probabilities. Conventional gain modification methods of MWFs have the problem of the increase of speech distortions while reducing residual noises with its relative heuristic approach. However, the proposed optimal gain modification method, derived by solving the unconstrained minimization problem of the probability-involved cost function, reduces amounts of residual noises and signal distortions simultaneously. Through an evaluation of the filtered waveforms and spectrograms, it is verified that the proposed method results in an improved SNR with less signal distortions compared to the conventional MWF.

지능형 홈 로봇을 위한 다채널 입력 기반 음성개선

정상배(Sangbae Jeong),이영재(Youngjae Lee),김수환(Suhwan Kim),한석붕(Seok-Bung Han),김영일(Young-Il Kim) 제어로봇시스템학회 2009 제어로봇시스템학회 합동학술대회 논문집 Vol.2009 No.12

유/무성음 구분 및 이종적 특징 파라미터 결합을 이용한 화자인식 성능 개선

강지훈,정상배,Kang, Jihoon,Jeong, Sangbae 한국정보통신학회 2014 한국정보통신학회논문지 Vol.18 No.6

In this paper, separate probabilistic distribution models for voiced and unvoiced speech are estimated and utilized to improve speaker recognition performance. Also, in addition to the conventional mel-frequency cepstral coefficient, skewness, kurtosis, and harmonic-to-noise ratio are extracted and used for voiced speech intervals. Two kinds of scores for voiced and unvoiced speech are linearly fused with the optimal weight found by exhaustive search. The performance of the proposed speaker recognizer is compared with that of the conventional recognizer which uses mel-frequency cepstral coefficient and a unified probabilistic distribution function based on the Gassian mixture model. Experimental results show that the lower the number of Gaussian mixture, the greater the performance improvement by the proposed algorithm. 본 논문에서는 화자 인식의 성능을 개선하기 위해서 유성음 및 무성음에 대한 별도의 확률분포 모델링을 사용하였다. 또한, 종래의 멜-주파수 캡스트럼 계수 이외에 유성음 구간에서 추가적으로 왜도, 첨도, 하모닉 대 잡음비 등을 추출하여 활용하였다. 화자 인식을 위한 스코어는 유성음 및 무성음 확률분포 모델에서 각각 구해지는데 전수 조사방식에 의해서 최적의 스코어 결합 가중치가 결정되었다. 제안된 방식의 화자인식기의 성능은 종래의 멜-주파수 캡스트럼 계수 및 화자당 하나의 혼합 가우시안 기반 확률분포 모델링을 사용한 방식과 비교되었으며 실험 결과 제안된 방식이 가우시안 혼합의 수가 낮아질수록 더 큰 성능 향상을 얻음을 알 수 있었다.

MUSIC 및 반향 성분 제거 기법을 이용한 음성신호의 입사각 추정

장형욱,정상배,김영일,Chang, Hyungwook,Jeong, Sangbae,Kim, Youngil 한국정보통신학회 2014 한국정보통신학회논문지 Vol.18 No.6

본 논문에서는 다중 신호 분류 기반의 음성신호의 입사각 추정 향상 방법을 제안한다. 기본적으로 제안한 방식은 복소 대역통과 필터를 이용하여 신호 분석을 위한 협대역 신호를 생성한다. 또한, 공간 스펙트럼에서의 반향 성분 제거 및 2차 함수 기반의 응답 근사화를 사용하여 추정 각도의 정확도를 향상시켰다. 실험결과 제안한 방법은 일반화된 상호상관도 방식의 입사각 추정 알고리즘보다 검출 오차 및 검출 성공률 측면에서 더 좋은 성능을 보였다. In this paper, we propose a method to improve the performance of the direction-of-arrival (DOA) estimation of a speech source using a multiple signal classification (MUSIC)-based algorithm. Basically, the proposed algorithm utilizes a complex coefficient band pass filter to generate the narrow band signals for signal analysis. Also, reverberation component reduction and quadratic function-based response approximation in MUSIC spatial spectrum are utilized to improve the accuracy of DOA estimation. Experimental results show that the proposed method outperforms the well-known generalized cross-correlation (GCC)-based DOA estimation algorithm in the aspect of the estimation error and success rate, respectively.Abstract should be placed here. These instructions give you guidelines for preparing papers for JICCE.

빔포밍 및 DOA 기반의 마스킹을 이용한 2채널 잡음제거

김영일,정상배,Kim, Youngil,Jeong, Sangbae 한국정보통신학회 2013 한국정보통신학회논문지 Vol.17 No.1

In this paper, we propose a multi-channel speech enhancement algorithm using beamforming and direction-of-arrival (DOA)-based masking. The proposed algorithm enhances noisy speech basically by the linearly constrained minimum variance (LCMV) algorithm and then a mel-scale Wiener filter designed using DOA-based masking is applied to remove still remaining noises. To improve the performance, we optimize the learning rate of the adaptive filters in LCMV and the DOA threshold to detect target speech spectrum. As performance indices, the perceptual evaluation of speech quality (PESQ) score and output SNRs are measured. Experimantal results show that the proposed algorithm outperforms the conventional LCMV beamformer by 0.09 in PESQ score and 5.75 dB in output SNR, respectively. 본 논문에서는 빔포밍과 입사각분석 기반 마스킹을 이용한 다채널 음성개선 알고리즘이 제안된다. 제안된 알고리즘에서는 LCMV 빔포밍을 수행한 후에 입사각 분석을 이용한 멜-주파수 위너필터가 적용되어 잔존하는 잡음을 제거한다. 성능 향상을 위해서 빔포밍의 적응 필터 학습률과 목표 음성 스펙트럼 검출을 위한 입사각 임계치가 최적화된다. 성능 지수로서 PESQ와 출력 SNR이 측정되었으며 실험 결과 제안한 알고리즘이 종전의 최소분산 빔포밍 기법보다 PESQ 관점에서 0.09, 출력 SNR 관점에서 5.75 dB의 성능 향상시킴을 알 수 있었다.

GSC 기반 빔포밍을 위한 주파수 밴드별 전력비 분포의 혼합 가우시안 모델을 이용한 목표 음성신호의 검출

장형욱,김영일,정상배,Chang, Hyungwook,Kim, Youngil,Jeong, Sangbae 한국정보통신학회 2015 한국정보통신학회논문지 Vol.19 No.1

다양한 종류의 잡음에 의해서 발생하는 음성인식 성능 저하를 보상하기 위해서는 잡음제거가 필수적이다. 마이크로폰 배열을 이용하는 많은 잡음제거 기술 중에서, GSC는 비정상성 잡음을 제거하기 위해서 널리 적용되어 왔다. GSC의 성능은 AMC에 의해서 직접적인 영향을 받는다. 즉, 정확한 목표 음성 신호의 검출은 순수 잡음구간에서의 충분한 잡음제거 및 목표 음성구간에서의 적은 왜곡을 보장하기 위해서 필수적이다. 따라서, 본 논문에서는 고정 빔포밍의 출력과 차단 매트릭스의 출력간의 전력비가 주파수 밴드 단위로 계산되는 향상된 AMC 설계법을 제안한다. 그 후, 밴드별 전력비는 가우시안 혼합에 의해서 각 클래스가 확률적으로 모델링 된다. 실험결과, 제안한 알고리즘이 ROC 및 출력 SNR 관점에서 더 높은 성능을 보였다. Noise reduction is necessary to compensate for the degradation of recognition performance by various types of noises. Among many noise reduction techniques using microphone array, generalized sidelobe canceller (GSC) has been widely applied to reduce nonstationary noises. The performance of GSC is directly affected by its adaptation mode controller (AMC). That is, accurate target speech detection is essential to guarantee the sufficient noise reduction in pure noise intervals and the less distortion in target speech intervals. Thus, this paper proposes an improved AMC design technique in which the power ratio of the output of fixed beamforming to that of blocking matrix is calculated frequency bandwise and probabilistically modeled by mixture Gaussians for each class. Experimental results show that the proposed algorithm outperforms conventional AMCs in receiver operating curves (ROC) and output SNRs.

Glottal flow 신호에서의 향상된 특징추출 및 다중 특징파라미터 결합을 통한 화자인식 성능 향상

강지훈,김영일,정상배,Kang, Jihoon,Kim, Youngil,Jeong, Sangbae 한국정보통신학회 2015 한국정보통신학회논문지 Vol.19 No.12

본 논문에서는 화자 인식의 성능을 개선하기 위해서 glottal flow로부터 source mel-frequency cepstral coefficient (SMFCC), 왜도, 첨도를 추출하여 활용하였다. 일반적으로 glottal flow의 고주파 대역은 응답의 크기가 평탄하므로 미리 정한 차단주파수 미만에 대해서만 SMFCC를 추출한다. 추출된 SMFCC, 왜도, 첨도는 종래의 특징 파라미터와 결합된 후 종래의 화자인식 시스템과 동등한 조건에서의 성능 비교를 위하여 principal component analysis (PCA) 및 linear discriminiat analysis (LDA)를 통한 차원축소가 행해진다. 대용량의 화자인식 실험결과를 통해서 제안된 인식 시스템이 종래의 화자인식 시스템 보다 더 좋은 성능을 나타냄을 확인할 수 있었으며, 특히 가우시안 혼합이 낮을 때 더 높은 성능향상을 나타내었다. In this paper, we utilize source mel-frequency cepstral coefficients (SMFCCs), skewness, and kurtosis extracted in glottal flow signals to improve speaker recognition performance. Generally, because the high band magnitude response of glottal flow signals is somewhat flat, the SMFCCs are extracted using the response below the predefined cutoff frequency. The extracted SMFCC, skewness, and kurtosis are concatenated with conventional feature parameters. Then, dimensional reduction by the principal component analysis (PCA) and the linear discriminat analysis (LDA) is followed to compare performances with conventional systems under equivalent conditions. The proposed recognition system outperformed the conventional system for large scale speaker recognition experiments. Especially, the performance improvement was more noticeable for small Gaussan mixtures.

한국형 HRTF를 이용한 입체음향 구현

김재현(Jaehyun Kim),정상배(Sangbae Jeong),양희식(Heesik Yang),한민수(Minsoo Hahn) 한국방송·미디어공학회 2001 한국방송공학회 학술발표대회 논문집 Vol.2001 No.-

OpenRISC 기반의 버츄얼 플랫폼

장형욱,이재진,변경진,엄낙웅,정상배,Jang, HyeongUk,Lee, Jae-Jin,Byun, Kyungjun,Eum, Nakwoong,Jeong, Sangbae 한국스마트미디어학회 2014 스마트미디어저널 Vol.3 No.4

버츄얼 플랫폼은 SoC를 구성하는 프로세서 코어 및 주변장치들을 소프트웨어로 모델링한 것으로, 현재 국내외 대기업에서는 버츄얼 플랫폼을 활용한 Top-Down 설계 플로우를 기반으로 최적 SW+SoC 융합시스템 구조 설계 및 IP 재활용을 통해 개발한 다양한 플랫폼을 제품 개발에 활용하고 있다. 본 논문에서는 오픈 IP인 OpenRISC 프로세서 코어 기반의 버츄얼 플랫폼을 제안한다. 제안된 버츄얼 플랫폼은 타겟 코드를 호스트 코드로 변환하여 수행하는 코드 변환 기법을 사용하여 약 20 MIPS 급의 고속 에뮬레이션을 지원한다. A virtual platform models a processor core and the peripheral devices constituting the SoC in software. Major companies utilize a variety of platforms for product development with optimal SW+SoC integrated system architecture design and IP reuse based Top-Down design flow using a virtual platform. In this paper, we propose a virtual platform based on OpenRISC, an open source RISC based core. The proposed virtual platform supports high speed emulation of approximately 20 MIPS using DBT (Dynamic Binary Translation).