다이폰 군집화와 개선된 스펙트럼 완만화에 의한 음성합성

장효종,김관중,김계영,최형일,Jang, Hyo-Jong,Kim, Kwan-Jung,Kim, Gye-Young,Choi, Hyung-Il 한국정보처리학회 2003 정보처리학회논문지B Vol.10 No.6

본 논문에서는 단위음소들의 연결을 통한 음성합성 방법에 관하여 기술한다. 이때, 발생하는 가장 큰 문제점은 두 단위음소 사이의 연결부분에서 불연속이 발생하는 것이며, 특히 다른 화자로부터 녹음한 단위음소의 연결에서 불연속이 많이 발생한다. 이 문제를 해결하기 위하여 본 논문에서는 군집화된 다이폰을 이용하며, 포만트 궤적과 스펙트럼의 분포특성을 사용할 뿐 아니라 인간의 청각적인 특성을 반영하여 스펙트럼을 완만화하는 방법을 제안한다. 즉, 제안하는 방법은 단위음소 연결구간의 스펙트럼 분포특성의 유사도를 사용하여 단위음소들을 군집화하고 단위음소의 연결 구간에서 인간의 청각신경 특성을 고려하여 완만화의 양과 범위를 결정한 다음, 두 다이폰 경계의 스펙트럼 분포를 시간에 따라 가중치를 다르게 주어 스펙트럼 완만화를 수행한다. 이 방법은 불연속을 제거하며 완만화로 인하여 발생할 수 있는 음성의 왜곡을 최소화한다. 제안하는 방법의 성능을 평가하기 위하여 5명으로부터 녹음한 20개의 문장 중에서 추출한 500여 개의 다이폰을 사용하여 실험을 수행하였다. This paper describes a speech synthesis technique by concatenating unit phoneme. At that time, a major problem is that discontinuity is happened from connection part between unit phonemes, especially from connection part between unit phonemes recorded by different persons. To solve the problem, this paper uses clustered diphone, and proposes a spectral smoothing technique, not only using formant trajectory and distribution characteristic of spectrum but also reflecting human's acoustic characteristic. That is, the proposed technique performs unit phoneme clustering using distribution characteristic of spectrum at connection part between unit phonemes and decides a quantity and a scope for the smoothing by considering human's acoustic characteristic at the connection part of unit phonemes, and then performs the spectral smoothing using weights calculated along a time axes at the border of two diphones. The proposed technique removes the discontinuity and minimizes the distortion which can be occurred by spectrum smoothing. For the purpose of the performance evaluation, we test on five hundred diphones which are extracted from twenty sentences recorded by five persons, and show the experimental results.

순차영상에서 투영변환과 KLT추적을 이용한 이동 카메라의 위치 및 방향 산출

장효종,차정희,김계영,Jang, Hyo-Jong,Cha, Jeong-Hee,Kim, Gye-Young 한국정보처리학회 2007 정보처리학회논문지B Vol.14 No.3

이동차량 혹은 이동로봇의 자율 주행에 있어서 주변 환경의 인식을 통하여 산출되는 자기위치확인은 가장 핵심적인 요소이다. 일반적으로 GPS나 INS를 통합하여 이동차량 혹은 이동로봇에 장착된 카메라의 위치와 방향을 얻을 수 있지만, 이 경우 정확한 자기위치인식을 위해서는 충분한 지상 기준점을 이용해야만 한다. 본 연구에서는 기존의 호모그래피 방법이 2차원 특징점의 상관관계를 이용하는 것과는 다르게 GPS와 INS 입력값을 이용하여 이전 시점 영상과 중첩된 3차원 모델로부터 얻어진 3차원 좌표를 투영 변환함으로써 예측한 위치와 현재 시점 영상으로부터 KLT 추적방법을 사용하여 산출된 대응 특징점의 위치 사이의 관계로부터 카메라의 위치와 방향을 산출하는 방법을 제안한다. 제안하는 방법의 성능을 평가하기 위해 무선으로 운행되는 간이실험장치 내에 CCD카메라, GPS, INS 등을 장착하였으며, 영상은 15Hz의 프레임율로 획득한 비디오시퀀스를 사용하여 실시간으로 카메라 위치와 방향을 산출하는 실험을 수행하였다. In autonomous navigation of a mobile vehicle or a mobile robot, localization calculated from recognizing its environment is most important factor. Generally, we can determine position and pose of a camera equipped mobile vehicle or mobile robot using INS and GPS but, in this case, we must use enough known ground landmark for accurate localization. hi contrast with homography method to calculate position and pose of a camera by only using the relation of two dimensional feature point between two frames, in this paper, we propose a method to calculate the position and the pose of a camera using relation between the location to predict through perspective transform of 3D feature points obtained by overlaying 3D model with previous frame using GPS and INS input and the location of corresponding feature point calculated using KLT tracking method in current frame. For the purpose of the performance evaluation, we use wireless-controlled vehicle mounted CCD camera, GPS and INS, and performed the test to calculate the location and the rotation angle of the camera with the video sequence stream obtained at 15Hz frame rate.

새로운 스펙트럼 완만화에 의한 합성 음질 개선

장효종(Hyo-Jong Jang),최형일(Hyun-Il Choi) 한국정보과학회 2003 정보과학회논문지 : 소프트웨어 및 응용 Vol.30 No.11·12

본 논문에서는 단위음소로 다이폰을 사용하여 음성을 합성하는 방법에 관하여 기술한다. 음성 합성은 기본적으로 단위음소들의 연결을 통하여 이루어지는데, 이때 발생하는 가장 큰 문제점은 두 단위음소 사이의 연결부분에서 불연속이 발생하는 것이다. 이 문제를 해결하기 위하여 본 논문에서는 포만트 궤적뿐 아니라 스펙트럼의 분포특성과 인간의 청각적인 특성을 반영하여 스팩트럼을 완만화하는 방법을 제안한다. 즉, 제안하는 방법은 단위음소의 연결 구간에서 인간의 청각신경 특성을 고려하여 원만화의 양과 영위를 결정한 다음, 두 다이폰 경계의 스팩트럼 분포를 시간에 따라 가중치를 다르게 주어 스펙트럼 완만화를 수행한다. 이 방법은 불연속을 제거하며 완만화로 인하여 발생할 수 있는 음성의 왜곡을 최소화한다. 제안하는 방법의 성능을 평가하기 위하여 ETRI 음성 DB 샘플과 개인별로 자체 녹음한 총 20 여개의 문장에서 추출한 약 500여 개의 다이폰에 대하여 실험을 수행하였다. This paper describes a speech synthesis technique using a diphone as an unit phoneme. Speech synthesis is basically accomplished by concatenating unit phonemes, and it’s major problem is discontinuity at the connection part between unit phonemes. To solve this problem this paper proposes a new spectral smoothing technique which reflects not only formant trajectories but also distribution characteristics of spectrum and human’s acoustic characteristics. That is, the proposed technique decides the quantity and extent of smoothing by considering human’s acoustic characteristics at the connection part of unit phonemes, and then performs spectral smoothing using weights calculated along a time axis at the border of two diphones. The proposed technique reduces the discontinuity and minimizes the distortion which is caused by spectral smoothing. For the purpose of performance evaluation, we tested on five hundred diphones which are extracted from twenty sentences using ETRI Voice DB sample and individually self-recorded samples.

개선된 스펙트럼 스무딩을 이용한 다이폰 클러스터링 기반의 연결 음성합성

장효종(Hyo-Jong Jang),김계영(Gye-Young Kim),최형일(Hyung-Il Choi) 한국정보과학회 2002 한국정보과학회 학술발표논문집 Vol.29 No.1B

최근의 합성음성단위 연결을 통한 음성합성 방법의 잘 알려진 문제점은 연결 부분에서 불연속이 발생한다는 것이다. 본 논문에서는 음성을 합성할 때 나타나는 스펙트럼의 불연속을 제거하기 위하여 개선된 스펙트럼 스무딩 방법을 제안한다. 그리고 보다 좋은 스무딩의 결과를 얻기 위하여 음성합성의 단위로는 문맥에 민감한 클러스터링된 다이폰을 사용한다. 스무딩 방법에서는 연결 구간에서의 다이폰 바운더리에서의 양쪽 스펙트럼의 분포를 고려하여 시간에 따라 가중치를 다르게 주어 스무딩을 수행한다. 또한 가중치를 결정할 때 비선형 함수인 B-Spline함수를 사용하여 스무딩을 수행하여 보다 자연스러운 스펙트럼을 생성할 수 있었다.

3차원 위성영상과 센서영상의 정합에 의한 가상표적 Overlay 기법

차정희,장효종,박용운,김계영,최형일,Cha, Jeong-Hee,Jang, Hyo-Jong,Park, Yong-Woon,Kim, Gye-Young,Choi, Hyung-Il 한국정보처리학회 2004 정보처리학회논문지D Vol.11 No.6

제한된 훈련장안에서 실전에 대비한 훈련이 되려면, 다양한 전투상황이 부여된 현실감 있는 모의훈련이 필수적이다. 본 논문에서는 현실감 있는 모의훈련을 위해 가상영상이 아닌 지상기반 CCD 카메라영상에 지정된 시나리오대로 가상표적을 전시하는 방법을 제안한다. 이를 위해 고해상도 GeoTIFF(Geographic Tag Image File Format) 위성 영상과 DTED(Digital Terrain Elevation Data)를 이용하여 현실감 있는 3차원 모델을 생성(운용자용)하고, 입력된 CCD 영상(운용자, 훈련자용)으로부터 도로를 추출하였다. 위성영상과 지상기반 센서영상은 관측위치, 분해능, 스케일 등에 많은 차이가 있어 특징기반 정합이 어렵다. 따라서 본 논문에서는 영상 워핑함수인 TPS(Thin-Plate Spline) 보간 함수를 일치하는 두개의 제어점 집합에 적용하여 3차원 모델에 표시된 이동경로를 따라 CCD 영상에서도 표적이 전시되는 이동 동기화 방법을 제안하였다. 실험환경은 Pentium4 1.8MHz(RAM 512M)의 PC 2대를 사용하였으며, 실험 영상은 대전지역의 위성영상과 CCD 영상을 이용, 제안한 알고리즘의 유효성을 입증하였다. To organize training in limited training area for an actuai combat, realistic training simulation plugged in by various battle conditions is essential. In this paper, we propose a virtual target overlay technique which does not use a virtual image, but Projects a virtual target on ground-based CCD image by appointed scenario for a realistic training simulation. In the proposed method, we create a realistic 3D model (for an instructor) by using high resolution Geographic Tag Image File Format(GeoTIFF) satellite image and Digital Terrain Elevation Data (DTED), and extract the road area from a given CCD image (for both an instructor and a trainee). Satellite images and ground-based sensor images have many differences in observation position, resolution, and scale, thus yielding many difficulties in feature-based matching. Hence, we propose a moving synchronization technique that projects the target on the sensor image according to the marked moving path on 3D satellite image by applying Thin-Plate Spline(TPS) interpolation function, which is an image warping function, on the two given sets of corresponding control point pair. To show the experimental result of the proposed method, we employed two Pentium4 1.8MHz personal computer systems equipped with 512MBs of RAM, and the satellite and sensor images of Daejoen area are also been utilized. The experimental result revealed the effective-ness of proposed algorithm.

DEM을 이용한 실영상기반 가상표적의 폐색처리기법

차정희,장효종,김계영,Cha, Jeong-Hee,Jang, Hyo-Jong,Kim, Gye-Young 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.7

실 세계 영상에 가상표적을 효과적으로 전시하여 현실감을 높이려면 먼저 두 세계를 정합한 후 폐색영역을 산출하여 가상객체의 위치를 결정하는 것이 필수적이다. 본 논문에서는 실 영상위에 지정된 경로에 따라 가상표적을 이동시킬 때 발생하는 폐색문제를 해결하는 새로운 방법을 제안한다. 이를 위해 먼저 실험 영역의 DEM을 이용하여 3차원 가상세계를 생성하고 이를 CCD 카메라 영상과 시각적 단서를 이용하여 정합한다. 또한 스네이크 알고리즘과 픽킹 알고리즘을 이용하여 영상에서 폐색 처리될 지점의 3차원 정보를 산출하고 표적이동시 이를 이용하여 폐색문제를 해결하는 방법을 제안하였다 실험에서는 부분적 폐색이 발생하는 환경에서 제안한 방법의 유효성을 입증하였다. For virtual target to be displaying on real image realistically, it is essential to determine the location of the virtual object together with producing the occlusions area after registering two world. In this paper, we propose the new method to solve occlusions which happens during virtual target moves according to the simulated route on real image. For this purpose, we first construct three dimensional virtual world by DEM of experimental area and register CCD camera image on it by visual clues. Next, we also propose a method to solve the occlusion using snake and picking algorithm which can extract the three dimensional information of the position happening occlusion in the image and can use it when target moves that area. In the experiment, we proved the effectiveness of the proposed method in the environment which a partial occlusions happens.

퍼지 RANSAC을 이용한 강건한 인수 예측

이중재(Joong-Jae Lee),장효종(Hyo-Jong Jang),김계영(Gye-Young Kim),최형일(Hyung-il Choi) 한국정보과학회 2006 정보과학회논문지 : 소프트웨어 및 응용 Vol.33 No.2

컴퓨터 비전 분야에서 다루는 많은 문제는 대부분 수학적 모델을 기반으로 하고 있으며 그 모델의 인수를 예측하는 방법을 사용하여 주어진 문제에 대한 최적의 해를 구한다. 그런데 입력 데이타 집합에 보통의 잡음에 비해 상대적으로 크기가 큰 이상치가 포함되어 있다면 이것은 부정확한 결과를 초래한다. 이러한 문제를 해결하기 위해 사용되는 대표적인 방법으로 강건한 예측기법인 RANSAC 알고리즘이 있다. 기존 RANSAC 알고리즘의 가장 큰 문제점은 이상치의 비율과 같은 데이타 분포에 대한 사전지식이 필요하다는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위해 매 반복 수행시마다 퍼지분류 기법을 이용하여 전체 데이타를 좋은 샘플집합(good sample set)과 나쁜 샘플집합(bad sample set) 그리고 모호한 샘플집합(vague sample set)으로 분류한 뒤 좋은 샘플집합에서만 샘플링을 해나감으로써 이상치에 대한 제거율과 해의 정확도를 향상시키는 FRANSAC 알고리즘을 제안한다. 실험 결과에서는 제안한 알고리즘을 각각 선형회귀 문제와 호모그래피 계산 문제에 대해 적용했을 때의 성능을 보인다. Many problems in computer vision are mainly based on mathematical models. Their optimal solutions can be found by estimating the parameters of each model. However, provided an input data set is involved outliers which are relatively larger than normal noises, they lead to incorrect results. RANSAC is a representative robust algorithm which is used to resolve the problem. One major problem with RANSAC is that it needs priori knowledge(i.e. a percentage of outliers) of the distribution of data. To solve this problem, we propose a FRANSAC algorithm which improves the rejection rate of outliers and the accuracy of solutions. This is peformed by categorizing all data into good sample set, bad sample set and vague sample set using a fuzzy classification at each iteration and sampling in only good sample set. In the experimental results, we show that the performance of the proposed algorithm when it is applied to the linear regression and the calculation of a homography.