학습 알고리즘을 이용한 AF용 ROI 선택과 영역 안정화 방법

한학용,장원우,하주영,허강인,강봉순,Han, Hag-Yong,Jang, Won-Woo,Ha, Joo-Young,Hur, Kang-In,Kang, Bong-Soon 한국융합신호처리학회 2009 융합신호처리학회 논문지 (JISPS) Vol.10 No.4

본 논문에서는 얼굴을 자동 초점(Auto-focus) 디지털 카메라의 관심영역(ROI : Region Of Interest)으로 이용하는 시스템에서 요구되는 검출 영역의 안정적인 선택을 위한 방법을 제안한다. 이 방법은 디지털 카메라와 모바일 카메라에 포함되는 ISP(Image Signal Processor)에서 실시간으로 처리되는 프로그레시브 입력 영상에서 얼굴 영역을 관심영역으로 간주하고 자동으로 초점을 맞추는 방법이다. 얼굴 영역 검출을 위하여 사용한 학습 알고리즘은 에이다부스트 알고리즘을 이용하였다. 학습에 포함되지 않은 기울어진 얼굴에 대한 검출방법과 검출 결과에 대한 후처리 방법, 관심영역이 흔들리지 않고 일정한 영역을 유지하도록 하기 위한 안정화 대책을 제안한다. 제안된 ROI 영역 안정화 알고리즘에 대한 성능을 평가하기 위하여 움직임이 있는 얼굴에 대하여 기준 궤적과의 차이를 보이고, 각 궤적의 회귀곡선과의 RMS 오차를 안정화 성능평가의 척도로 이용하였다. In this paper, we propose the methods to select the stable region for the detect region which is required in the system used the face to the ROI in the auto-focus digital camera. this method regards the face region as the ROI in the progressive input frame and focusing the region in the mobile camera embeded ISP module automatically. The learning algorithm to detect the face is the Adaboost algorithm. we proposed the method to detect the slanted face not participate in the train process and postprocessing method for the results of detection, and then we proposed the stabilization method to sustain the region not shake for the region. we estimated the capability for the stabilization algorithm using the RMS between the trajectory and regression curve.

HMM의 출력확률을 이용한 신경회로망의 성능향상에 관한 연구

표창수,김창근,허강인,Pyo Chang Soo,Kim Chang Keun,Hur Kang In 한국융합신호처리학회 2000 융합신호처리학회 논문지 (JISPS) Vol.1 No.1

In this paper, the hybrid system of HMM and neural network is proposed and show better recognition rate of the post-process procedure which minimizes the process error of recognition than that of HMM(Hidden Markov Model) only used. After the HMM training by training data, testing data that are not taken part in the training are sent to HMM. The output probability from HMM output by testing data is used for the training data of the neural network, post processor. After neural network training, the hybrid system is completed. This hybrid system makes the recognition rate improvement of about $4.5\%$ in MLP and about $2\%$ in RBFN and gives the solution to training time of conventional hybrid system and to decrease of the recognition rate due to the lack of training data in real-time speech recognition system.

Matrix Factorization을 이용한 음성 특징 파라미터 추출 및 인식

이광석,허강인,Lee Kwang-Seok,Hur Kang-In 한국정보통신학회 2006 한국정보통신학회논문지 Vol.10 No.7

본 연구에서는 행렬 분해 (Matrix Factorization)를 이용하여 음성 스펙트럼의 부분적 특정을 나타낼 수 있는 새로운 음성 파라마터를 제안한다. 제안된 파라미터는 행렬내의 모든 원소가 음수가 아니라는 조건에서 행렬분해 과정을 거치게 되고 고차원의 데이터가 효과적으로 축소되어 나타남을 알 수 있다. 차원 축소된 데이터는 입력 데이터의 부분적인 특성을 표현한다. 음성 특징 추출 과정에서 일반적으로 사용되는 멜 필터뱅크 (Mel-Filter Bank)의 출력 을 Non-Negative 행렬 분해(NMF:Non-Negative Matrix Factorization) 알고리즘의 입 력으로 사용하고, 알고리즘을 통해 차원 축소된 데이터를 음성인식기의 입력으로 사용하여 멜 주파수 캡스트럼 계수 (MFCC: Mel Frequency Cepstral Coefficient)의 인식결과와 비교해 보았다. 인식결과를 통하여 일반적으로 음성인식기의 성능평가를 위해 사용되는 MFCC에 비하여 제안된 특정 파라미터가 인식 성능이 뛰어남을 알 수 있었다. In this paper, we propose new speech feature parameter using the Matrix Factorization for appearance part-based features of speech spectrum. The proposed parameter represents effective dimensional reduced data from multi-dimensional feature data through matrix factorization procedure under all of the matrix elements are the non-negative constraint. Reduced feature data presents p art-based features of input data. We verify about usefulness of NMF(Non-Negative Matrix Factorization) algorithm for speech feature extraction applying feature parameter that is got using NMF in Mel-scaled filter bank output. According to recognition experiment results, we confirm that proposed feature parameter is superior to MFCC(Mel-Frequency Cepstral Coefficient) in recognition performance that is used generally.

이산 지속시간제어 연속분포 HMM을 이용한 연속 음성 인식

이종진,김수훈,허강인,Lee, Jong-Jin,Kim, Soo-Hoon,Hur, Kang-In 한국음향학회 1995 韓國音響學會誌 Vol.14 No.1

본 논문에서는 연속분포 HMM에 이산 지속시간제어와 회귀계수를 파라메터로 추가한 이산 지속시간제어 연속분포 HMM 모델을 이용하여 한국어 연속음성 인식 시스템을 구성하였다. 또한 25 문장의 로보트 제어명령문을 유한상태 오토마타에 의해 구문제어를 실시한 One Pass DP법으로 인식 실험을 실시하였다. 4연 숫자음에 대한 인식 실험에서 이산 지속시간 제어와 회귀 계수를 포함한 경우 평균 $93.8\%$의 인식율을, 포함하지 않은 경우 $80.7\%$의 인식율을 얻었다. 로보트 제어 명령문의 인식에서는 구문제어를 실시하지 않은 경우 평균 $90.9\%$, 유한 상태 오토마타에 의한 구문제어를 이용한 경우 평균 $98.4\%$로 $7.5\%$의 인식율이 향상되었다. In this paper, we report the continuous speech recognition system using the continuous HMM with discrete duration control and the regression coefficients. Also, we do recognition experiment using One Pass DP method(for 25 sentences of robot control commands) with finite state automata context control. In the experiment for 4 connected spoken digits, the recognition rates are $93.8\%$ when the discrete duration control and the regression coefficients are included, and $80.7\%$ when they are not included. In the experiment for 25 sentences of the robot control commands, the recognition rate are $90.9\%$ when FSN is not included and $98.4\%$ when FSN is included.

음성구간 검출기의 실시간 적응화를 위한 음성 특징벡터의 차원 축소 방법

박진영,이광석,허강인,Park Jin-Young,Lee Kwang-Seok,Hur Kang-In 한국융합신호처리학회 2006 융합신호처리학회 논문지 (JISPS) Vol.7 No.3

본 논문에서는 다양한 잡음환경에서의 실시간 적응화 기법을 적용하기 위한 선결 과제로 다차원 음성 특정 벡터를 저차원으로 축소하는 방법을 제안한다. 제안된 방법은 특징 벡터를 확률 우도 값으로 매핑시켜 비선형적으로 축소하는 방법으로 음성 / 비음성의 분류는 우도비 검증 (Likelihood Ratio Test; LRT) 을 이용하여 분류하였다. 실험 결과 고차원 특징 벡터를 이용하여 분류한 결과와 대등하게 분류됨을 확인할 수 있었다. 그리고, 제안된 방법에 의해 검출된 음성 데이터를 이용한 음성인식 실험에서도 10차 MFCC(Mel-Frequency Cepstral Coefficient)를 사용하여 분류한 경우와 대등한 인식률을 보여주었다. In this paper, we propose the dimension reduction method of multi-dimension speech feature vector for real-time adaptation procedure in various noisy environments. This method which reduces dimensions non-linearly to map the likelihood of speech feature vector and noise feature vector. The LRT(Likelihood Ratio Test) is used for classifying speech and non-speech. The results of implementation are similar to multi-dimensional speech feature vector. The results of speech recognition implementation of detected speech data are also similar to multi-dimensional(10-order dimensional MFCC(Mel-Frequency Cepstral Coefficient)) speech feature vector.

세그먼트 차원압축을 이용한 HMM의 음절인식

김주성,이양우,허강인,안점영,Kim, Joo-Sung,Lee, Yang-Woo,Hur, Kang-In,Ahn, Jum-Young 한국음향학회 1996 韓國音響學會誌 Vol.15 No.2

본 논문은 단음절 전구간에 대해 4프레임폭과 7프레임폭을 결합하여 만든 40차원의 세그먼트를 K-L전개와 신경망으로 각각 10, 14, 20차원으로 압축하여 연속분포 HMM의 음성인식 특징파라미터로 사용하였다. 그리고 이산지속시간, 희귀계수 그리고 혼합분포를 특징 파라미터로 추가한 경우와 비교검토하였다. 단음절 100개에 대한 인식실험결과 연속분포 HMM의 인식률 85.19%에 비해 희귀계수를 부가한 경우 1.4%, 혼합분포를 이용한 경우 2.36%, 이산 지속시간제어를 한 경우 2.78%의 인식률이 향상되었다. 그리고 K-L전개에 의한 압축파라미터만 이용한 경우는 멜켑스트럼 + 희귀계수의 경우보다 인식률이 낮았으나, K-L전개에 의한 압축파라미터에 멜켑스트럼과 희귀계수를 부가한 경우는 동등한 결과를 얻을 수 있었다. 신경망에 의한 압축파라미터를 이용한 경우에는 비선형 변환인 시그모이드 함수를 사용하므로 음성의 동적변화가 잘 반영되어 K-L전개 및 다른 방법에 비해 향상된 인식결과를 얻을 수 있었다. In this paper, a 40 dimensional segment vector with 4 frame and 7 frame width in every monosyllable interval was compressed into a 10, 14, 20 dimensional vector using K-L expansion and neural networks, and these was used to speech recognition feature parameter for CHMM. And we also compared them with CHMM added as feature parameter to the discrete duration time, the regression coefficients and the mixture distribution. In recognition test at 100 monosyllable, recognition rates of CHMM +${\bigtriangleup}$MCEP, CHMM +MIX and CHMM +DD respectively improve 1.4%, 2.36% and 2.78% over 85.19% of CHMM. And those using vector compressed by K-L expansion are less than MCEP + ${\bigtriangleup}$MCEP but those using K-L + MCEP, K-L + ${\bigtriangleup}$MCEP are almost same. Neural networks reflect more the speech dynamic variety than K-L expansion because they use the sigmoid function for the non-linear transform. Recognition rates using vector compressed by neural networks are higher than those using of K-L expansion and other methods.

RVM을 이용한 음성인식기의 구현

김창근,고시영,허강인,이광석,Kim, Chang-Keun,Koh, Si-Young,Hur, Kang-In,Lee, Kwang-Seok 한국정보통신학회 2007 한국정보통신학회논문지 Vol.11 No.8

본 논문에서는 음성인식 시스템을 구현함에 있어 중요한 특징 파라미터와 학습, 인식 알고리즘의 선택을 위한 제안을 하기 위하여 각각 세 가지의 방법을 조합하여 인식 실험을 수행하고 검토하였다. 두 종류의 실험을 통하여 하드웨어 장치로 구현할 경우 보다 효과적인 음성 인식 시스템을 제안한다. 첫 번째로는 특징 파라미터의 성능을 평가하기 위하여 기존의 MFCC와 MFCC를 PCA와 ICA를 이용하여 특징 공간을 변화시킨 새로운 특징 파라미터를 제안하여 총 3종류의 특징파라미터에 대한 인식 실험을 수행하였으며, 두 번째로는 학습데이터 수에 따른 HMM, SVM, RVM의 인식 성능을 실험하였다. 이상의 실험에 의하여 ICA에 의한 특징 파라미터가 특징 공간상에서의 높은 선형 분별성에 의해 MFCC와 비교하여 평균 1.5%의 성능향상을 확인할 수 있었으며 학습데이터의 감소에 따른 인식실험에서는 HMM과 비교하여 RVM에서 최고 3.25%의 성능향상을 확인하였다. 이에 근거하여 TI사의 DSP(TMS320C32)를 사용하여 음성 인식기를 구현하여 실시간으로 실험하여 시뮬레이션과 비교하였다. 이와 같은 결과로서 본 논문에서 제안하는 음성인식시스템을 위한 효과적인 방법은 ICA를 이용한 특징 파라미터를 추출하고 RVM을 이용하여 인식을 수행하는 것이라 판단한다. In this paper, we experimented by three kind of method for feature parameter, training method and recognition algorithm of most suitable for speech recognition system and considered. We decided speech recognition system of most suitable through two kind of experiment after we make speech recognizer. First, we did an experiment about three kind of feature parameter to evaluate recognition performance of it in speech recognizer using existent MFCC and MFCC new feature parameter that change characteristic space using PCA and ICA. Second, we experimented recognition performance or HMM, SVM and RVM by studying data number. By an experiment until now, feature parameter by ICA showed performance improvement of average 1.5% than MFCC by high linear discrimination from characteristic space. RVM showed performance improvement of maximum 3.25% than HMM in an experiment by decrease of studying data. As such result, effective method for speech recognition system to propose in this paper derives feature parameters using ICA and un recognition using RVM.

모델적응 HMM을 이용한 모바일환경에서의 음성인식에 관한 연구

안종영,김상범,김수훈,허강인,Ahn, Jong-Young,Kim, Sang-Bum,Kim, Su-Hoon,Hur, Kang-In 한국인터넷방송통신학회 2011 한국인터넷방송통신학회 논문지 Vol.11 No.3

본 논문에서는 모바일 환경에서의 음성인식 개선에 관한 내용으로 기존의 HMM에서 특징보상기법을을 적용한 방식으로 예측잡음이 아닌 실제 오염된 데이터를 적용하여 인식모델을 잡음상황에 맞도록 적응시키는 모델적응 HMM을 사용하였다. 음성인식 시 기존의 방법에서는 주변노이즈를 고려하지 않은 참조패턴을 사용하였으나 본 연구에서는 주변노이즈를 고려한 참조패턴을 생성하여 인식률을 향상 시키는 방법으로 모바일 환경에서의 음성 인식률을 향상 시켰다. In this paper, we propose the MA(Model Adaption) HMM that to use speech enhancement and feature compensation. Normally voice reference data is not consider for real noise data. This method is not to use estimated noise but we use real life environment noise data. And we applied this contaminated data for recognition reference model that suitable for noise environment. MAHMM is combined with surround noise when generating reference patten. We improved voice recognition rate at mobile environment to use MAHMM.

위상상관과 칼만 필터 움직임 예측을 이용한 동영상 안정화

한학용,정효원,강봉순,허강인,Han, Hag-Yong,Jeong, Hyo-Won,Kang, Bong-Soon,Hur, Kang-In 한국융합신호처리학회 2009 융합신호처리학회 논문지 (JISPS) Vol.10 No.2

실시간 영상 안정화 기술은 손떨림에 의한 휴대용 카메라 혹은 외부적 조건에 의한 고정 카메라의 흔들림 보상에 이용된다. 본 논문은 비교적 큰 외부적 요인으로 인하여 발생하는 동영상의 흔들림에 대한 대책에 관한 것이다. 동영상 안정화 파라메터로 이용되는 기준 프레임에 대한 현재 프레임의 변위를 얻기 위하여 DFT에 기반한 위상 상관법을 이용한다. 그리고 위상 상관지도에서의 효율적이고 안정적인 탐색을 위하여 칼만 필터를 이용하여 탐색 범위를 추정하는 방법과 안정적인 성능과 실시간 처리에 필요한 조건을 실험적으로 찾아내고 그 조건을 제시한다. 중심 지점에 대한 평균밝기의 표준편차 값을 동영상 안정화의 성능 평가 척도로 제안하고 가상 흔들림 동영상과 실제 흔들림 동영상에 대하여 성능을 서로 비교하였다. Real-time video stabilization technology is used in correction for the camera vibrations of the hand-held camera by hand or fixed camera by external condition. This paper is about the counterplan to cope with the vibration of the movie generated by the large external cause relatively. we use the movie stabilization parameters with the phase correlation method based the DFT to get the displacements of the current frame to the reference frame. we use the kalman filter for the efficient and stable searching works on the phase correlation map and present the proper conditions for the real-time processing through the experiments. We propose the measure to evaluate the capability of the video stabilizer which is the standard deviation of the brightness of the center block. and compare the capability for the video sequences randomly shifted and the jittered video sequences obtained from camera.

한국의 전통 주법을 표현하기 위한 전자 관악기의 설계

이영주(Young-Joo Lee),허강인(Kang-In Hur) 한국정보기술학회 2015 한국정보기술학회논문지 Vol.13 No.5

Many musicians and researchers have been trying to realize attractive sound of Korean traditional musical instruments using MIDI system. However, since many MIDI controllers are based on performance technique of western musical instruments, it is difficult to express unique performance technique of Korean traditional musical instrument with those controllers. This paper provides a new digital performance interface, named K-Wind, with which playing techniques of Korean traditional wind musical instruments such as daegeum and sogeum can be realized. This performance apparatus provides a player with an interface in the form of a wind instrument and, by collecting and calculating in the MCU data generated from air pressure sensors, touch sensors and gyroscope mounted to the instrument, converts the players traditional style performance into MIDI messages to be transmitted. Through the tests, it is verified that K-Wind is a musical instrument that can be played for various musical notes with traditional playing techniques and scale which can be transposed without changing fingering.