웨이블릿 변환과 적응적 변이 추정을 이용한 스테레오 영상 블라인드 워터마킹

고정환,김성일,김은수,Ko Jung-Hwan,Kim Sung-Il,Kim Eun-Soo 한국통신학회 2006 韓國通信學會論文誌 Vol.31 No.2c

본 논문에서는 웨이블릿 변환과 적응적 변이 추정 알고리즘을 이용한 새로운 스테레오 입체영상 블라인드 워터마킹 기법을 제시하였다. 즉, 좌, 우 스테레오 영상 중 우 영상에 이산 웨이블릿 변환을 이용하여 워터마크 영상을 삽입하고 워터마킹된 우영상과 좌 영상으로부터 변이정보를 추출한 다음 추춘된 변이정보는 좌영상과 함께 채널을 통해 전송된다. 그리고, 수신단에서는 전송되어온 변이정보와 좌 영상으로부터 적응적 정합 기법을 이용하여 워터마킹된 우 영상을 복원하게 되며, 최종적인 워터마크 추출과정에서는 복원된 우 영상으로부터 원 영상을 사용하지 않고 워터마크 영상을 추출하는 블라인드 방식을 사용하였다. CCETT의 'Manege'와 실제로 획득한 영상 'Friends', 그리고 영문 알파벳 '3DRC'를 스테레오 및 워터마크 영상으로 사용한 실험결과, 복원 영상으로부터 추출된 워터마크 영상에 대한 PSNR 측정의 경우, 2.64dB, 3.03dB가 향상되었으며 본 논문에서 제안한 알고리즘의 성능 분석을 위한 다양한 공격 실험에서도 강건한 실험결과를 얻을 수 있었으며, 이를 통해 본 논문에서 새로이 제안한 적응적 변이추정 기반의 스테레오 입체영상 워터마킹 기법의 실질적 응용 가능성을 제시하였다. In this paper, a new stereo image watermarking scheme based-on adaptive disparity estimation algorithm is proposed. That is, a watermark image is embedded into the right image of a stereo image pair by using the DWT and disparity information is extracted from this watermarked right image and the left image. And then, both of this extracted disparity information and the left image are transmitted to the recipient through the communication channel. At the receiver, the watermarked right image is reconstructed from the received left image and disparity information through an adaptive matching algorithm. a watermark image is finally extracted from this reconstructed right image. From some experiments using CCETT's 'Manege' and 'Friends' images as a stereo image and English alphabet '3DRC' as a watermark image, it is found that the PSNRs of the watermarked image from the reconstructed right images through the adaptive matching algorithm & DWT is improved 2.03 dB, 3.03 dB and robusted against various attacks. These experimental results also suggest a possibility of practical implementation of an adaptive matching also-rithm-based stereo imagewatermarking scheme proposed in this paper.

시차 움직임 벡터에 기반한 스데레오 물체추적 및 다시점 영상복원 시스템

고정환,김은수,Ko Jung-Hwan,Kim Eun-Soo 한국통신학회 2006 韓國通信學會論文誌 Vol.31 No.2c

본 논문에서는 적응적 시차 움직임 벡터에 기반한 스테레오 물체추적 및 3차원 디스플레이 시스템을 제안하였다. 즉, 제안된 시스템에서는 스테레오 입력영상 시퀸스로부터 적응적으로 추출된 시차 벡터로부터 프레임간 적응적 시차 움직임 벡터를 구한 다음 이를 이용하여 각 프레임에서 표적물체가 존재하는 영역 및 위치좌표를 효과적으로 검출하였다. 또한, 이를 프레임간 표적의 이동거리 좌표를 구하여 최종적으로 팬/틸트를 제어해 줌으로써 표적 물체를 추적하였다. 256$\times$256 픽셀 크기의 스테레오 영상 20 프레임을 사용한 물체추적 실험 결과, 표적 물체의 실제위치와 실험을 통해 얻은 이동위치 간의 평균 에러율이 약 3.05$\%$로 낮게 나타남으로써 본 논문에서 새로이 제안한 적응적 시차 움직임 벡터 기반의 스테레오 물체추적 시스템의 실질적친 응용 가능성과 영상복원 기법을 사용하여 이동 물체의 3차원적 입체 디스플레이 또한 가능하다. In this paper, a new stereo object tracking system using the disparity motion vector is proposed. In the proposed method, the time-sequential disparity motion vector can be estimated from the disparity vectors which are extracted from the sequence of the stereo input image pair and then using these disparity motion vectors, the area where the target object is located and its location coordinate are detected from the input stereo image. Being based on this location data of the target object, the pan/tilt embedded in the stereo camera system can be controlled and as a result, stereo tracking of the target object can be possible. From some experiments with the 2 frames of the stereo image pairs having 256$\times$256 pixels, it is shown that the proposed stereo tracking system can adaptively track the target object with a low error ratio of about 3.05$\%$ on average between the detected and actual location coordinates of the target object.

팬/틸트 제어기반의 스데레오 카메라의 기하학적 정보를 이용한 새로운 높이 추정기법

고정환,김은수,Ko Jung-Hwan,Kim Eun-Soo 한국통신학회 2006 韓國通信學會論文誌 Vol.31 No.2c

본 논문에서는 지능적인 보안 시스템 구현의 새로운 접근 방식으로, 인공지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 기하학적 정보를 이용한 사람 키 높이 추정기법을 제안하였다. 제안된 시스템에서는 먼저, 스데레오 카메라에서 입력된 영상으로 부터 YCbCr 컬러 모델과 위상형 상관 기법을 사용하여 표적 얼굴영역의 중심좌표를 검출한 다음, 지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 능동적인 제어각도 산출을 통해 표적의 다양한 변화에 관계없이 표적의 3차원 좌표를 실시간적으로 검출하고, 이를 통한 표적 대상의 적응적인 신체 크기 추정을 수행하였다. 각기 다른 신장을 가진 3사람의 다양한 이동경로를 가진 480 프레임의 테스트용 스테레오 영상을 사용한 실험 결과, 표적의 추정된 신체 크기값 역시 계산치 및 측정치 사이의 표준편차가 평균 1.03의 작은 값으로 유지됨은 물론, 제안된 시스템에서 계산된 좌표값과 실제 실험대상으로 참여한 사람의 정확한 실제 위치와의 차이 역시 평균 1.2cm 미만의 오차와 전체적으로 1.18$\%$의 오차를 보임으로써 이를 통한 새로운 실시간 스테레오 표적 감시추적 시스템의 구현 가능성을 제시하였다. In this paper, a new intelligent moving target tracking and surveillance system basing on the pan/tilt-embedded stereo camera system is suggested and implemented. In the proposed system, once the face area of a target is detected from the input stereo image by using a YCbCr color model and phase-type correlation scheme and then, using this data as well as the geometric information of the tracking system, the distance and 3D information of the target are effectively extracted in real-time. Basing on these extracted data the pan/tilted-imbedded stereo camera system is adaptively controlled and as a result, the proposed system can track the target adaptively under the various circumstance of the target. From some experiments using 480 frames of the test input stereo image, it is analyzed that a standard variation between the measured and computed the estimated target's height and an error ratio between the measured and computed 3D coordinate values of the target is also kept to be very low value of 1.03 and 1.18$\%$ on average, respectively. From these good experimental results a possibility of implementing a new real-time intelligent stereo target tracking and surveillance system using the proposed scheme is finally suggested.

스테레오 카메라 기반의 적응적인 공간좌표 검출 기법을 이용한 자율 이동로봇 시스템

고정환,김성일,김은수,Ko Jung-Hwan,Kim Sung-Il,Kim Eun-Soo 한국통신학회 2006 韓國通信學會論文誌 Vol.31 No.1c

본 논문에서는 지능적인 경로 계획을 위한 스테레오 카메라 기반의 공간좌표 검출 기법을 이용한 자율 이동 로봇 시스템을 제안하였다. 우선 스테레오 카메라로부터 입력된 영상 중 좌 영상에 YCbCr 컬러 모델 및 무게 중심법을 이용하여 이동중인 보행자의 얼굴 영역과 중심좌표를 검출하고, 검출된 좌표 값에 따라 스테레오 카메라의 능동적인 로봇 제어를 통해 이동하는 보행자를 실시간적으로 검출하게 된다. 다음으로, 로봇구동에 의해 추적 제어된 스테레오 카메라의 좌, 우 영상간의 시차정보와 스테레오 카메라 내부 변환관계를 통해 깊이 정보를 검출한 후, 검출된 깊이 지도로부터 각 열에 존재하는 최소값을 이용한 2차원 공간좌표를 검출하여 이동 로봇과 보행자간의 거리와 위치좌표는 물론 다른 물체들과의 상대 거리를 산출하게 되며, 산출된 위치 좌표를 토대로 이동 로봇의 지능적인 경로 추정 및 판단에 따라 자율적인 주행을 수행하게 된다. 실시간적으로 입력되는 240 프레임의 스테레오 영상을 사용한 실험결과, 이동 로봇과 전방에 존재하는 장애물간의 거리 및 보행자와 장애물간 상대거리의 계산치와 측정치간의 오차가 평균 $2.19\%$와 $1.52\%$이하로 각각 유지됨으로써 경로 계획을 위한 공간좌표 검출에 기반을 둔 실질적인 이동 로봇 시스템의 구현 가능성을 제시하였다. In this paper, an automatic mobile robot system for a intelligent path planning using the detection scheme of the spatial coordinates based on stereo camera is proposed. In the proposed system, face area of a moving person is detected from a left image among the stereo image pairs by using the YCbCr color model and its center coordinates are computed by using the centroid method and then using these data, the stereo camera embedded on the mobile robot can be controlled for tracking the moving target in real-time. Moreover, using the disparity map obtained from the left and right images captured by the tracking-controlled stereo camera system and the perspective transformation between a 3-D scene and an image plane, depth information can be detected. Finally, based-on the analysis of these calculated coordinates, a mobile robot system is derived as a intelligent path planning and a estimation. From some experiments on robot driving with 240 frames of the stereo images, it is analyzed that error ratio between the calculated and measured values of the distance between the mobile robot and the objects, and relative distance between the other objects is found to be very low value of $2.19\%$ and $1.52\%$ on average, respectably.

Dynamic scene에 대한 카메라 정보 추출 기법

고정환,Ko, Jung-Hwan 대한전자공학회 2013 전자공학회논문지 Vol.50 No.11

본 논문에서는 동적 영상에서 이동하는 관심 물체의 위치좌표를 추출하고 영역화할 수 있는 자동 3D 촬영 시스템의 카메라 정보 추출 기법을 제안하였다. 즉, 기존 블록 기반의 MSE (mean square error) 알고리즘을 이용하여 초기화된 기준영상과 현재 입력되는 스테레오 영상간의 비교를 통해 좌, 우측 관심 물체의 위치좌표를 추출한 다음, 이들 추출된 위치좌표를 이용하여 스테레오 카메라의 팬/틸트를 제어하고, 제어된 팬/틸트의 움직임 각도와 스테레오 카메라의 기하학적인 구성요소를 이용하여 관심물체의 마스크 크기를 결정함으로써 다음 프레임의 기준영상으로 사용될 표적 영역화가 이루어진다. 새롭게 영역화된 기준영상은 이후 같은 방법으로 갱신되며, 검출된 위치좌표에 따라 스테레오 카메라의 주시각 제어 및 FOV 제어를 통해 실시간 자동 추적이 이루어지게 된다. In this paper, a new stereo object extraction algorithm using a block-based MSE (mean square error) algorithm and the configuration parameters of a stereo camera is proposed. That is, by applying the SSD algorithm between the initial reference image and the next stereo input image, location coordinates of a target object in the right and left images are acquired and then with these values, the pan/tilt system is controlled. And using the moving angle of this pan/tilt system and the configulation parameters of the stereo camera system, the mask window size of a target object is adaptively determined. The newly segmented target image is used as a reference image in the next stage and it is automatically updated in the course of target tracking basing on the same procedure. Meanwhile, a target object is under tracking through continuously controlling the convergence and FOV by using the sequentiall extracted location coordinates of a moving target.

적응적 시차 추정기법을 이용한 웹 기반의 원격 다시점 3D 화상 통신 시스템의 구현

고정환,김은수,Ko Jung-Hwan,Kim Eun-Soo 한국통신학회 2006 韓國通信學會論文誌 Vol.31 No.1c

본 논문에서는 실시간으로 입력되는 스테레오 영상에 효과적인 시차 추정 기법을 적용한 새로운 웹 기반의 원격 다시점 3D 화상 통신 시스템을 구현하였다. 제시된 방법에서는 먼저, IEEE 1394 방식의 스테레오 카메라를 이용하여 자체 설계된 Intel Xeon 서버 시스템을 통해 실시간으로 입력되며, 입력된 스테레오 영상을 중심으로 특징점의 크기에 따라 세밀하면서도 정확한 시차 지도를 검출한 뒤, 검출된 시차지도와 좌 영상을 Directshow SDK를 이용하여 네트워크 채널로 연결된 클라이언트 영역으로 전송하게 된다. 전송된 클라이언트 영역에서는 수신된 시차지도와 좌 영상을 중심으로 정확한 우 영상을 복원한 뒤, 중간시점 합성 기법을 이용하여 16시점의 다시점 입체 화상 통신을 이루게 된다. 각기 다른 상황에서 촬영된 'Joo' 영상과 'Hoon'영상을 웹 기반의 실시간 전송 및 중간영상 합성 실험결과, 본 논문에서 제안된 전송기법으로 우 영상을 복원할 경우 각각 30dB, 27dB의 높은 PSNR이 측정되었으며, 4시점의 8비트 영상을 전송할 경우, 각각 67.2ms의 속도로 디스플레이 함으로써 이를 통한 새로운 실시간 웹 기반의 원격 3D 화상 통신 시스템의 실질적인 구현 가능성을 제시하였다. In this paper, a new web-based remote 3D imaging communication system employing an adaptive matching algorithm is suggested. In the proposed method, feature values are extracted from the stereo image pair through estimation of the disparity and similarities between each pixel of the stereo image. And then, the matching window size for disparity estimation is adaptively selected depending on the magnitude of this feature value. Finally, the detected disparity map and the left image is transmitted into the client region through the network channel. And then, in the client region, right image is reconstructed and intermediate views be synthesized by a linear combination of the left and right images using interpolation in real-time. From some experiments on web based-transmission in real-time and synthesis of the intermediate views by using two kinds of stereo images of 'Joo' & 'Hoon' captured by real camera, it is analyzed that PSNRs of the intermediate views reconstructed by using the proposed transmission scheme are highly measured by 30dB for 'Joo', 27dB for 'Hoon' and the delay time required to obtain the intermediate image of 4 view is also kept to be very fast value of 67.2ms on average, respectively.

AGV의 작업자 식별 및 회피를 위한 2D 공간 지도 구성

고정환(Jung-Hwan Ko) 대한전자공학회 2012 전자공학회논문지 Vol.49 No.9

본 논문에서는 지능적인 경로 계획을 위한 스테레오 카메라 기반의 AGV의 작업자 식별 및 회피를 위한 2D 공간 지도 구성 기법을 제안하였다. 우선 스테레오 카메라로부터 입력된 영상 중 좌 영상에 YCbCr 컬러 모델 및 무게 중심법을 이용하여 이동중인 작업자의 얼굴 영역과 중심좌표를 검출하고, 검출된 좌표 값에 따라 스테레오 카메라 제어를 통해 이동하는 작업자를 실시간적으로 검출하게 된다. 다음으로, AGV 구동에 의해 추적 제어된 스테레오 카메라의 좌, 우 영상간의 시차정보와 카메라 내부 변환관계를 통해 깊이 정보를 검출한 후, 검출된 깊이 지도로부터 각 열에 존재하는 최소값을 이용한 2차원 공간좌표를 검출하여 AGV과 작업자간의 거리와 실제좌표는 물론 다른 물체들과의 상대 거리를 산출하게 되며, 산출된 위치 좌표를 토대로 AGV의 지능적인 경로 추정 및 판단에 따라 자율적인 주행을 수행하게 된다. 실시간적으로 입력되는 240 프레임의 스테레오 영상을 사용한 실험결과, 산출된 2차원 공간좌표는 검출된 작업자의 위치좌표와의 관계를 통해 작업자의 폭과 실제 측정한 값과의 오차율이 평균 1.8% 이하로 유지됨으로써 보다 지능적인 AGV 시스템의 구현 가능성을 제시하였다. In this paper, an 2D spatial-map construction for workers identification and avoidance of AGV using the detection scheme of the spatial coordinates based on stereo camera is proposed. In the proposed system, face area of a moving person is detected from a left image among the stereo image pairs by using the YCbCr color model and its center coordinates are computed by using the centroid method and then using these data, the stereo camera embedded on the mobile robot can be controlled for tracking the moving target in real-time. Moreover, using the disparity map obtained from the left and right images captured by the tracking-controlled stereo camera system and the perspective transformation between a 3-D scene and an image plane, depth map can be detected. From some experiments on AGV driving with 240 frames of the stereo images, it is analyzed that error ratio between the calculated and measured values of the worker’s width is found to be very low value of 2.19% and 1.52% on average.

LCD 표면 검사를 위한 적응적 결함패턴 분류 알고리즘

고정환(Jung-Hwan Ko),이원석(Won-Seok Lee),원영진(Young-Jin Won) 대한전자공학회 2010 대한전자공학회 학술대회 Vol.2010 No.6

스테레오 비젼 기반의 능동형 물체 추적 시스템

고정환(Jung-Hwan Ko) 대한전자공학회 2016 전자공학회논문지 Vol.53 No.4

본 논문에서는 지능적인 보안 시스템 구현의 새로운 접근 방식으로, 인공지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 기하학적 정보를 이용한 능동형 물체 추적 시스템을 제안하였다. 제안된 시스템에서는 먼저, 스테레오 카메라에서 입력된 영상으로 부터 YCbCr 컬러 모델과 위상형 상관 기법을 사용하여 표적 얼굴영역의 중심좌표를 검출한 다음, 지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 능동적인 제어각도 산출을 통해 표적의 다양한 변화에 관계없이 표적의 3차원 좌표를 실시간적으로 검출하고, 이를 통한 표적 대상의 적응적인 신체 크기 추정을 수행하였다. 각기 다른 신장을 가진 3사람의 다양한 이동경로를 가진 480 프레임의 테스트용 스테레오 영상을 사용한 실험 결과, 표적의 추정된 신체 크기값 역시 계산치 및 측정치 사이의 표준편차가 평균 1.03의 작은 값으로 유지됨은 물론, 제안된 시스템에서 계산된 좌표값과 실제 실험대상으로 참여한 사람의 정확한 실제 위치와의 차이 역시 평균 1.2cm 미만의 오차와 전체적으로 1.18 %의 오차를 보임으로써 이를 통한 새로운 실시간 스테레오 표적 감시추적 시스템의 구현 가능성을 제시하였다. In this paper, an active object tracking system basing on the pan/tilt-embedded stereo camera system is suggested and implemented. In the proposed system, once the face area of a target is detected from the input stereo image by using a YCbCr color model and phase-type correlation scheme and then, using this data as well as the geometric information of the tracking system, the distance and 3D information of the target are effectively extracted in real-time. Basing on these extracted data the pan/tilted-embedded stereo camera system is adaptively controlled and as a result, the proposed system can track the target adaptively under the various circumstance of the target. From some experiments using 480 frames of the test input stereo image, it is analyzed that a standard variation between the measured and computed the estimated target"s height and an error ratio between the measured and computed 3D coordinate values of the target is also kept to be very low value of 1.03 and 1.18% on average, respectively. From these good experimental results a possibility of implementing a new real-time intelligent stereo target tracking and surveillance system using the proposed scheme is finally suggested.

지능형 무인차량 시스템을 위한 3차원 비젼 기반의 적응적 맵 빌딩 구성 기법

고정환(Jung-Hwan Ko),원영진(Young-Jin Won) 대한전자공학회 2007 대한전자공학회 학술대회 Vol.2007 No.11

In this paper, an Adaptive Map Building Scheme based on 3D Vision for a Intelligence UGV System is suggested and implemented. In the proposed system, once the face area of a target is detected from the input stereo image by using a YCbCr color model and then, using this data as well as the geometric information of the tracking system, the distance and 3D information of the target are effectively extracted in real-time.