위상상관과 칼만 필터 움직임 예측을 이용한 동영상 안정화

한학용,정효원,강봉순,허강인,Han, Hag-Yong,Jeong, Hyo-Won,Kang, Bong-Soon,Hur, Kang-In 한국융합신호처리학회 2009 융합신호처리학회 논문지 (JISPS) Vol.10 No.2

실시간 영상 안정화 기술은 손떨림에 의한 휴대용 카메라 혹은 외부적 조건에 의한 고정 카메라의 흔들림 보상에 이용된다. 본 논문은 비교적 큰 외부적 요인으로 인하여 발생하는 동영상의 흔들림에 대한 대책에 관한 것이다. 동영상 안정화 파라메터로 이용되는 기준 프레임에 대한 현재 프레임의 변위를 얻기 위하여 DFT에 기반한 위상 상관법을 이용한다. 그리고 위상 상관지도에서의 효율적이고 안정적인 탐색을 위하여 칼만 필터를 이용하여 탐색 범위를 추정하는 방법과 안정적인 성능과 실시간 처리에 필요한 조건을 실험적으로 찾아내고 그 조건을 제시한다. 중심 지점에 대한 평균밝기의 표준편차 값을 동영상 안정화의 성능 평가 척도로 제안하고 가상 흔들림 동영상과 실제 흔들림 동영상에 대하여 성능을 서로 비교하였다. Real-time video stabilization technology is used in correction for the camera vibrations of the hand-held camera by hand or fixed camera by external condition. This paper is about the counterplan to cope with the vibration of the movie generated by the large external cause relatively. we use the movie stabilization parameters with the phase correlation method based the DFT to get the displacements of the current frame to the reference frame. we use the kalman filter for the efficient and stable searching works on the phase correlation map and present the proper conditions for the real-time processing through the experiments. We propose the measure to evaluate the capability of the video stabilizer which is the standard deviation of the brightness of the center block. and compare the capability for the video sequences randomly shifted and the jittered video sequences obtained from camera.

오디오 데이터의 특징 파라메터 구성에 따른 내용기반 분석

한학용,허강인,김수훈 한국음향학회 2002 韓國音響學會誌 Vol.21 No.2

본 논문은 오디오 색인·검색 시스템을 구현하기 위하여 오디오 신호에 대한특징 파라메터 풀 (pool)을 구성하고 이에 따른 오디오 데이터의 내용분석 및 분류에 관한 연구이다. 오디오 데이터는 기본적인 다양한 오디오 형태로 분류되어진다. 본 논문에서는 오디오 데이터의 분류에 이용 가능한 특징 파라메터를 분석하고 추출방법에 대하여 논한다. 그리고 특징 파라메터 풀을 색인 그룹 단위로 구성하여 오디오 카테고리에 대한 설정된 특징들의 포함 정도와 색인기준을 오디오 데이터의 내용을 중심으로 비교 ·분석한다. 그리고 위의 결과를 바탕으로 분류절차를 구성하여 오디오 신호를 분류하는 모의실험을 행하였다. In this paper, we research the content-based analysis and classification according to the composition of the feature parameters pool for the auditory signals to implement the auditory indexing and searching system. Auditory data is classified to the primitive various auditory types. we described the analysis and feature extraction method for the feature parameters available to the auditory data classification. And we compose the feature parameters pool in the indexing group unit, then compare and analysis the auditory data centering around the including level and indexing criterion into the audio categories. Based on this result, we composed the classification procedure and simulate the auditory data classification.

통계적 비선형 차원축소기법에 기반한 잡음 환경에서의 음성구간검출

한학용,이광석,고시영,허강인,Han Hag-Yong,Lee Kwang-Seok,Go Si-Yong,Hur Kang-In 한국정보통신학회 2005 한국정보통신학회논문지 Vol.9 No.5

본 논문은 잡음 환경하에서 적응 가능한 음성구간검출를 구축하기 위하여 우도기반의 음성 특징 파라미터의 비선형 차원축소 방법을 제안한다. 제안하는 차원축소 방법은 음성/비음성 클래스에 대한 가우시아 확률 밀도 함수의 비선형적 우도값을 새로운 특징으로 취하는 방법이다. 음성구간검출기의 음성/비음성 결정은 우도비 검증(LRT)의 통계적 방법을 이용하며, 선형판별분석(LDA)에 의한 차원축소 결과와 성능을 비교한다. 실험 결과 제안된 차원 축소 방법으로 음성 특징 파라미터를 2차원으로 축소한 결과가 원래 특징백터의 차원에서의 결과와 대등한 성능을 확인하였다. This Paper proposes the likelihood-based nonlinear dimension reduction method of the speech feature parameters in order to construct the voice activity detecter adaptable in noisy environment. The proposed method uses the nonlinear values of the Gaussian probability density function with the new parameters for the speec/nonspeech class. We adapted Likelihood Ratio Test to find speech part and compared its performance with that of Linear Discriminant Analysis technique. In experiments we found that the proposed method has the similar results to that of Gaussian Mixture Models.

회귀신경망을 이용한 음성인식에 관한 연구

한학용,김주성,허강인 한국음향학회 1999 韓國音響學會誌 Vol.18 No.3

본 논문은 회귀신경망을 이용한 음성인식에 관한 연구이다. 예측형 신경망으로 음절단위로 모델링한 후 미지의 입력음성에 대하여 예측오차가 최소가 되는 모델을 인식결과로 한다. 이를 위해서 예측형으로 구성된 신경망에 음성의 시변성을 신경망 내부에 흡수시키기 위해서 회귀구조의 동적인 신경망인 회귀예측신경망을 구성하고 Elman과 Jordan이 제안한 회귀구조에 따라 인식성능을 서로 비교하였다. 음성DB는 ETRI의 샘돌이 음성 데이터를 사용하였다. 그리고, 신경망의 최적모델을 구하기 위하여 예측차수와 은닉층 유니트 수의 변화에 따른 인식률의 변화와 문맥층에서 자기회귀계수를 두어 이전의 값들이 문맥층에서 누적되도록 하였을 경우에 대한 인식률의 변화를 비교하였다. 실험결과, 최적의 예측차수, 은닉층 유니트수, 자기회귀계수는 신경망의 구조에 따라 차이가 나타났으며, 전반적으로 Jordan망이 Elman망보다 인식률이 높았으며, 자기회귀계수에 대한 영향은 신경망의 구조와 계수값에 따라 불규칙하게 나타났다. In this paper, we investigates a reliable model of the Predictive Recurrent Neural Network for the speech recognition. Predictive Neural Networks are modeled by syllable units. For the given input syllable, then a model which gives the minimum prediction error is taken as the recognition result. The Predictive Neural Network which has the structure of recurrent network was composed to give the dynamic feature of the speech pattern into the network. We have compared with the recognition ability of the Recurrent Network proposed by Elman and Jordan. ETRI's SAMDORI has been used for the speech DB. In order to find a reliable model of neural networks, the changes of two recognition rates were compared one another in conditions of: (1) changing prediction order and the number of hidden units: and (2) accumulating previous values with self-loop coefficient in its context. The result shows that the optimum prediction order, the number of hidden units, and self-loop coefficient have differently responded according to the structure of neural network used. However, in general, the Jordan's recurrent network shows relatively higher recognition rate than Elman's. The effects of recognition rate on the self-loop coefficient were variable according to the structures of neural network and their values.

예측형과 분류형 신경망을 이용한 한국어 숫자음 인식

한학용,김주성,고시영,허강인,안점영 한국통신학회 1999 韓國通信學會論文誌 Vol.24 No.12

본 논문은 기존 분류형 신경망의 인식성능을 향상시키기 위하여 프레임 정규화와 비선형 사후확률 추정법(N-APPEM)을 제안하고 한국어 숫자음에 대하여 예측형과 분류형 신경망으로 인식성능을 평가하였다. 실험결과 예측형 신경망에서 최고 98.0%의 인식률을 얻었다. 예측형 신경망은 네트워크가 입력패턴의 카테고리 수만큼 마련되는 복잡한 네트워크를 가지는 반면에 분류형 신경망은 단일 네트워크로 구성되며 프레임 정규화와 비선형 사후확률 추정법으로 85.5%까지 인식률을 향상시킬 수 있었으며 이는 기존의 방법보다 인식률이 12.0% 향상된 것이다. This paper proposes a N-APPEM(Nonlinear A Posteriori Probability Estimation Method) with a frame normalization method to conventional classification network to increase speech recognition ability. It also tests the recognition ability of the classification and prediction neural networks for the Korean isolated digits. From the experimental results, the prediction network with MLP(Multi-Layer Perceptron) achieves the highest recognition ability of 98.0%. The prediction requires very complicated networks increased linearly with the number of incoming speech categories. However, the classification network with the N-APPEM and the normalization improves the recognition ability up to 85.5% with a sin81e network, which is almost 12.0% improvement.

학습 알고리즘을 이용한 AF용 ROI 선택과 영역 안정화 방법

한학용,장원우,하주영,허강인,강봉순,Han, Hag-Yong,Jang, Won-Woo,Ha, Joo-Young,Hur, Kang-In,Kang, Bong-Soon 한국융합신호처리학회 2009 융합신호처리학회 논문지 (JISPS) Vol.10 No.4

본 논문에서는 얼굴을 자동 초점(Auto-focus) 디지털 카메라의 관심영역(ROI : Region Of Interest)으로 이용하는 시스템에서 요구되는 검출 영역의 안정적인 선택을 위한 방법을 제안한다. 이 방법은 디지털 카메라와 모바일 카메라에 포함되는 ISP(Image Signal Processor)에서 실시간으로 처리되는 프로그레시브 입력 영상에서 얼굴 영역을 관심영역으로 간주하고 자동으로 초점을 맞추는 방법이다. 얼굴 영역 검출을 위하여 사용한 학습 알고리즘은 에이다부스트 알고리즘을 이용하였다. 학습에 포함되지 않은 기울어진 얼굴에 대한 검출방법과 검출 결과에 대한 후처리 방법, 관심영역이 흔들리지 않고 일정한 영역을 유지하도록 하기 위한 안정화 대책을 제안한다. 제안된 ROI 영역 안정화 알고리즘에 대한 성능을 평가하기 위하여 움직임이 있는 얼굴에 대하여 기준 궤적과의 차이를 보이고, 각 궤적의 회귀곡선과의 RMS 오차를 안정화 성능평가의 척도로 이용하였다. In this paper, we propose the methods to select the stable region for the detect region which is required in the system used the face to the ROI in the auto-focus digital camera. this method regards the face region as the ROI in the progressive input frame and focusing the region in the mobile camera embeded ISP module automatically. The learning algorithm to detect the face is the Adaboost algorithm. we proposed the method to detect the slanted face not participate in the train process and postprocessing method for the results of detection, and then we proposed the stabilization method to sustain the region not shake for the region. we estimated the capability for the stabilization algorithm using the RMS between the trajectory and regression curve.

SKL 알고리즘을 이용한 얼굴인식 후보의 점진적 등록

한학용,이생목,곽부동,최원태,강봉순,Han, Hag-Yong,Lee, Sung-Mok,Kwak, Boo-Dong,Choi, Won-Tae,Kang, Bong-Soon 한국융합신호처리학회 2010 융합신호처리학회 논문지 (JISPS) Vol.11 No.4

본 논문은 주성분 분석을 이용하는 얼굴인식 시스템에서 인식후보를 점진적으로 등록하기 위한 방법과 절차에 관한 연구이다. 점진적인 주성분 갱신 방법으로 R-SVD알고리즘을 변형한 SKL 알고리즘을 이용한다. SKL 알고리즘을 이용하면 주성분을 이용하는 얼굴 인식의 문제점으로 지적되어 왔던 인식 후보의 점진적 증가에 따른 재학습 문제를 해결할 수 있다. 또한 이 방법은 밝기 변화에 견고한 객체 트랙킹 분야에도 이용될 수 있다. 본 논문에서는 얼굴인식 시스템에서 SKL 알고리즘을 이용하여 주성분을 점진적으로 갱신하며 적용하는 절차를 제안하고, 표준 KL 변환에 의하여 주성분을 일괄적으로 계산하는 결과와 얼굴 인식성능을 비교한다. 그리고 SKL 알고리즘에 포함된 망각 인자(forgetting factor)가 얼굴인식 성능에 미치는 효과를 실험적으로 확인한다. This paper is about the method and procedure to register the candidate sequentially in the face recognition system using the PCA(Principal Components Analysis). We use the method to update the principal components sequentially with the SKL algorithm which is improved R-SVD algorithm. This algorithm enable us to solve the re-training problem of the increase the candidates number sequentially in the face recognition using the PCA. Also this algorithm can use in robust tracking system with the bright change based to the principal components. This paper proposes the procedure in the face recognition system which sequentially updates the principal components using the SKL algorithm. Then we compared the face recognition performance with the batch procedure for calculating the principal components using the standard KL algorithm and confirms the effects of the forgetting factor in the SKL algorithm experimentally.

우리말 연속음성의 음절 분할법

한학용,고시영,허강인 한국음향학회 2001 韓國音響學會誌 Vol.20 No.3

본 논문은 우리말 연속음성에 대한 음절단위 분할법을 제안한다. 이 방법은 다음 3단계로 이루어진다: (1) 음성의 시간영역 분할 파라메터인 피치, 에너지, ZCR, PVR을 이용하여 음성데이터를 자음, 자음. 묵음 단위로 라벨링하여 토큰 (Token)을 형성, (2) 형성된 토큰을 유한상태오토마타를 이용하여 한국어 음절구조로 파서 (Parser)를 설계하여 스캐닝 (Scanning), (3) 의사 음절핵 정보를 이용하여 두개 혹은 여러 개의 음절을 가지는 음성부분에 대한 재분할을 통하여 음절단위 분할 완성. 제안된 방법에 대한 성능 평가를 위해서 문장과 단어단위 연속음성에 대한 분할 실험결과 각각 73.7%와 85.9%의 분할률을 얻었다. This paper proposes a syllabic segmentation method for the korean continuous speech. This method are formed three major steps as follows. (1) labeling the vowel, consonants, silence units and forming the Token the sequence of speech data using the segmental parameter in the time domain, pitch, energy, ZCR and PVR. (2) scanning the Token in the structure of korean syllable using the parser designed by the finite state automata, and (3) re-segmenting the syllable parts witch have two or more syllables using the pseudo-syllable nucleus information. Experimental results for the capability evaluation toward the proposed method regarding to the continuous words and sentence units are 73.5%, 85.9%, respectively.

회귀구조에 따른 예측신경망의 음성인식 성능비교

한학용,김주성,허강인 東亞大學校 附設 情報通信硏究所 1998 情報通信硏究所論文誌 Vol.6 No.1

In this paper, we compare the recognition rate between Recurrent Prediction Neural Networks and CHMM according to increasing the prediction order, the number of hidden units for RPNN and the state for CHMM. We perform the recognition experiment of Korean 100 syllables and ETRI's SAMDOLI Speech DB. In the DIGIT syllables, the recognition rate of Neural Networks, 98.5%, similar to CHMM, 99%, of the 5 state numner. In the 100 syllabes, the Jordan's RPNN which based on the number of hidden units is larger than 25 units shows the higher reocgnition rate than CHMM of the 5 state number. When CHMM based on the 6 and 7 state, RPNN's recognition rate is lower than CHMM.

메시와 프로파일 특징을 이용하는 동적 vs. 정적 패턴 정합

한학용(Hag-Yong Han) 한국정보기술학회 2013 한국정보기술학회논문지 Vol.11 No.11

In this paper, we present the optimal feature vectors extraction and recognition methods for the character recognition. The dynamic pattern matching algorithm is used to improve the traditional static pattern matching algorithm applied to the mesh feature vector including the spacial feature of the image. In addition, we define the new features using the profile information and then propose its optimal criteria. We evaluated by comparing the conventional method with the proposed method for the digit blob images extracted from the license plate images. Experimental results show that the proposed dynamic pattern matching method is superior to the static pattern matching method for the mesh feature, and the normalized feature is superior to the non-normalized feature for the proposed profile features.