연속된 영상으로부터 조밀한 대응점을 이용한 3차원 재구성

서융호,김상훈,최종수,Seo Yung-Ho,Kim Sang-Hoon,Choi Jong-Soo 한국통신학회 2005 韓國通信學會論文誌 Vol.30 No.8C

비교정 연속영상(uncalibrated sequence images)에서의 조밀한 데이터로부터 3차원 재구성할 경우, 대량의 대응점 탐색 문제 및 계산시간 문제에 봉착한다. 본 논문에서는 이에 대한 대응책으로, 비교정 영상에서 중요영상 선택법을 제안하고, 이를 이용해 최소한의 영상으로 효율적인 3차원 재구성하는 새로운 방법을 제안한다. 즉 입력된 영상에서 소수만의 영상을 이용해서 작업을 수행하게 된다. 선택된 중요영상에서 대응점을 선택한다. 선택된 대응점은 카메라 교정을 수행하는데 이용된다. 외곽선 이미지를 이용하여 조밀한 형태의 대응점을 추출한다. 조밀한 대응점을 찾기 위한 제안된 알고리즘은 3차원 구조 복원을 효과적으로 수행하는데 이용된다. In case of 3D reconstruction from dense data in uncalibrated sequence images, we encounter with the problem for searching many correspondences and the computational costs. In this paper, we propose a key frame selection method from uncalibrated images and the effective 3D reconstruction method using the key frames. Namely, it can be performed on smaller number of views in the image sequence. We extract correspondences from selected key frames in image sequences. From the extracted correspondences, camera calibration process will be done. We use the edge image to fed dense correspondences between selected key frames. The method we propose to find dense correspondences can be used for recovering the 3D structure of the scene more efficiently.

모션 캡쳐를 위한 다시점 영상의 효율적인 분석법

서융호(Yung-Ho Seo),박유신(You-Shin Park),구떠올라(Ddeo-Ol-Ra Koo),두경수(Kyoung-Soo Doo),최종수(Jong-Soo Choi) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.6

기존 모션 캡쳐의 경우, 고가의 장비나 사용의 복잡도, 동작자의 움직임 제한 등 모션 캡쳐의 어려움이 있었다. 최근 실시간으로 모션 캡쳐가 가능한 컴퓨터 비젼 기반 시스템에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 다시점 영상으로부터 쉽고, 빠르게 추출할 수 있는 피부색과 정확한 3차원 복원을 위한 2차원 영상 좌표 보정을 사용하여 효율적인 다시점 영상 분석 알고리즘을 제안한다. 동작자의 피부색을 검출하고, 카메라 보정 및 에피폴라 기하학 정보를 이용하여 보다 정확한 영상 분석, 그리고 칼만 필터(Kalman filter)를 사용한 추적 등을 통해 보다 안정적인 모션 캡쳐가 가능하게 된다. 실험결과를 통하여, 제안된 방법은 보다 정확한 위치 추정 및 실시간 모션 캡쳐를 위한 알고리즘임을 보여주고 있다. Previous hardware devices to capture human motion have many limitations; expensive equipment, complexity of manipulation or constraints of human motion. In order to overcome these problems, real-time motion capture algorithms based on computer vision have been actively proposed. This paper presents an efficient analysis method of multiple view images for real-time motion capture. First, we detect the skin color regions of human being, and then correct the image coordinates of the regions by using camera calibration and epipolar geometry. Finally, we track the human body part and capture human motion using kalman filter. Experimental results show that the proposed algorithm can estimate a precise position of the human body.

인체의 구조적 특성과 역운동학을 이용한 모션 캡처

서융호(Yung-Ho Seo),두경수(Kyoung-Soo Doo),최종수(Jong-Soo Choi),이칠우(Chil-Woo Lee) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.2

기존 모션 캡쳐의 경우, 고가의 장비나 사용의 복잡도, 동작자의 움직임 제한 등 모션 캡쳐의 어려움이 있었다. 최근 실시간으로 모션 캡쳐가 가능한 컴퓨터 비젼 기반 시스템에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 다시점 영상으로부터 쉽고, 빠르게 추출할 수 있는 피부색과 정확한 3차원 복원을 위한 2차원 영상 좌표 보정을 사용하여 효율적인 다시점 영상 분석 알고리즘을 제안한다. 동작자의 피부색을 검출하고, 카메라 보정 및 에피폴라 기하학 정보를 이용하여 보다 정확한 영상 분석, 그리고 칼만 필터(Kalman filter)를 사용한 추적 등을 통해 보다 안정적인 모션 캡쳐가 가능하게 된다. 실험결과를 통하여, 제안된 방법은 보다 정확한 위치 추정 및 실시간 모션 캡쳐를 위한 알고리즘임을 보여주고 있다. Previous hardware devices to capture human motion have many limitations; expensive equipment, complexity of manipulation or constraints of human motion. In order to overcome these problems, real-time motion capture algorithms based on computer vision have been actively proposed. This paper presents an efficient analysis method of multiple view images for real-time motion capture. First, we detect the skin color regions of human being, and then correct the image coordinates of the regions by using camera calibration and epipolar geometry. Finally, we track the human body part and capture human motion using kalman filter. Experimental results show that the proposed algorithm can estimate a precise position of the human body.

카메라 재투영 오차로부터 중요영상 선택을 이용한 3차원 재구성

서융호(Yung-Ho Seo),김상훈(Sang-Hoon Kim),최종수(Jong-Soo Choi) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.1

중요영상 선택 알고리즘은 다수의 비교정 영상으로부터 3차원 재구성을 위해 필수 영상을 선택하는 과정이다. 또한 3차원 재구성을 위해 영상들 사이의 카메라 자동교정(auto-calibration)이 필수적이다. 본 논문은 재구성 오차를 최대한 줄이는 최적의 영상을 선택하는 중요영상 선택 알고리즘을 제안한다. 선택된 중요영상들 사이의 카메라 투영행렬은 카메라 전자동교정(full-auto-calibration)과정을 통하여 추정한다. 정확하게 추정된 카메라 투영행렬로부터 대수학적 유도를 이용하여 기본행렬(fundamental matrix)을 계산하고, 이로부터 잘못된 대응점들을 제거하여 최종적으로 3차원 데이터를 얻는다. 실험 결과는 제안한 중요영상 선택 알고리즘이 다른 알고리즘에 비해 적은 시간이 소요되며, 재구성된 3차원 데이터의 오차가 가장 작았다. 대수학적 유도로부터 얻어낸 기본행렬은 다른 알고리즘에 비해 매우 짧은 시간이 소요 되며 평균 오차는 비슷한 결과를 갖는다. Key-frame selection algorithm is defined as the process of selecting a necessary images for 3D reconstruction from the uncalibrated images. Also, camera calibration of images is necessary for 3D reconstruction. In this paper, we propose a new method of Key-frame selection with the minimal error for camera calibration. Using the full-auto-calibration, we estimate camera parameters for all selected Key-frames. We remove the false matching using the fundamental matrix computed by algebraic deviation from the estimated camera parameters. Finally we obtain 3D reconstructed data. Our experimental results show that the proposed approach is required rather lower time costs than others, the error of reconstructed data is the smallest. The elapsed time for estimating the fundamental matrix is very fast, and the error of estimated fundamental matrix is similar to others.

행동 탐지 기반의 효율적인 객체 선택 알고리듬

박왕배(Wang-Bae Park),서융호(Yung-Ho Seo),두경수(Kyoung-Soo Doo),최종수(Jong-Soo Choi) 大韓電子工學會 2010 電子工學會論文誌-SP (Signal processing) Vol.47 No.3

본 논문에서는 행동 탐지 기반으로 사람의 지시행위를 인식하여 지시방향의 객체를 선택하고 이를 추적하는 시스템을 제안한다. 일반적으로 사람은 무엇인가를 지시할 경우, 얼굴 방향을 목표물에 두게 된다. 따라서 얼굴과 손끝을 연결한 직선을 지시방향이라 간주하고, 지시된 객체를 선택한다. 제안된 알고리듬에서는 카메라를 통해 입력된 영상으로부터 움직임 영역을 검출하기 위해 배경 차분을 사용하여 실시간으로 관심 객체의 움직임을 추출한다. 보행 여부의 판단은 주성분(PCA) 분석과 객체의 움직임 변위로 결정되며, 이 때 사람이 정지 상태면, 머리를 기준으로 손에 이르는 벡터 관계를 계산하여 사용자의 지시방향을 최종적으로 결정한다. 실험결과를 통하여 다시점 카메라를 이용한 다각도의 영상에서 사람의 지시 방향을 정확하게 추정해 냄으로서 제안된 알고리즘의 유효성을 검증하였다. This paper presents an efficient object selection algorithm by analyzing and detecting of human activity. Generally, when people point any something, they will put a face on the target direction. Therefore, the direction of the face and fingers and was ordered to be connected to a straight line. At first, in order to detect the moving objects from the input frames, we extract the interesting objects in real time using background subtraction. And the judgment of movement is determined by Principal Component Analysis and a designated time period. When user is motionless, we estimate the user's indication by estimation in relation to vector from the head to the hand. Through experiments using the multiple views, we confirm that the proposed algorithm can estimate the movement and indication of user more efficiently.

2D, 3D Mesh 면적 정보를 이용한 효과적인 noise 평활화 필터

여유진(You-Jin You),서융호(Yung Ho Seo),최종수(Jong-Soo Choi) 한국통신학회 2004 한국통신학회 학술대회논문집 Vol.2004 No.7

회전 영상에서 기본 행렬 추정 및 키 프레임 선택을 이용한 전방향 3차원 영상 재구성

김상훈(Sang-Hoon Kim),서융호(Yung-Ho Seo),김태은(Tae-Eun Kim),최종수(Jong-Soo Choi) 대한전자공학회 2009 電子工學會論文誌-SP (Signal processing) Vol.46 No.2

본 논문은 회전 테이블에서 취득된 영상으로부터 카메라 교정을 위한 강건한 기본 행렬을 계산하기 위한 새로운 알고리즘과 적은 수의 영상만을 이용하는 키 프레임 선택 알고리즘을 통해서 전방향 3차원 영상 재구성 시스템을 구현하였다. 비 교정영상에서 3차원 영상 재구성을 위해서는 카메라 교정 작업이 필수이다. 카메라 교정 과정은 기본 행렬로부터 추정 할 수 있는데, 정확한 기본 행렬의 추정이 선행되어야 한다. 단일 축 회전 움직임은 몇 가지 고정된 특성을 가지고 있는데, 이러한 특성은 영상간의 아웃라이어를 제거하는데 이용되고, 기본 행렬을 구하기 위한 새로운 알고리즘을 제공한다. 또한 제안한 키 프레임 선택 알고리즘을 통해서 선택된 영상의 사영 행렬을 정렬 시킨 다음, 재구성된 3차원 데이터들을 정합시킴으로서 전방향 3차원 영상 재구성을 구현한다. 자체 제작한 영상 취득 시스템(Potonovo)을 통해서 취득한 실제 영상을 대상으로 기존의 기본행렬 방법 및 키프레임 선택 방법들과 비교 실험을 통하여 제안된 방법들이 더 우수함을 확인하였다. The fundamental matrix and key frame selection are one of the most important techniques to recover full 3D reconstruction of objects from turntable sequences. This paper proposes a new algorithm that estimates a robust fundamental matrix for camera calibration from uncalibrated images taken under turn-table motion. Single axis turntable motion can be described in terms of its fixed entities. This provides new algorithms for computing the fundamental matrix. From the projective properties of the conics and fundamental matrix the Euclidean 3D coordinates of a point are obtained from geometric locus of the image points trajectories. Experimental results on real and virtual image sequences demonstrate good object reconstructions.

실세계 3차원 기하학 정보를 이용한 실시간 지시영역 추정 시스템의 구현 및 응용

한윤상(Yun-Sang Han),서융호(Yung-Ho Seo),두경수(Kyoung-Soo Doo),김진태(Jin-Tae Kim),최종수(Jong-Soo Choi) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.2

본 논문에서는 취득된 영상으로부터 실세계 지시 영역을 추정하는 방법을 제안한다. 일반적으로 사람은 무엇인가를 지시할 경우, 얼굴 방향을 목표물에 두게 된다. 따라서 얼굴영역과 손끝 영역을 연결한 직선을 지시방향이라 간주하였다. 먼저, 제안된 알고리듬은 2대의 카메라로부터 실시간으로 얻어진 영상에서 피부색 검출을 통해 사용자의 얼굴 및 손끝영역에서 2점을 추출하고, 이를 실세계 3차원 기하학 정보를 이용하여 지시방향 및 지시영역을 추정한다. 또한 제안된 알고리듬을 이용한 정확한 지시영역 추출을 기반으로 두 대의 카메라와 한 대의 빔 프로젝터로 구성된 ‘양방향 영화정보 안내 시스템(ICIGS: Interactive Cinema Information Guiding System)’을 구성하여 제안된 알고리듬의 실용화 가능성을 확인하였다. In this paper we propose a real-time method to estimate a pointing region from two camera images. In general, a pointing target exists in the face direction when a human points to something. Therefore, we regard the direction of pointing as the straight line that connects the face position with the fingertip position. First, the method extracts two points in the face and the fingertips region by using detecting the skin color of human being, And we used the 3D geometric information to obtain a pointing detection and its region. In order to evaluate the performance, we have build up an ICIGS(Interactive Cinema Information Guiding System) with two camera and a beam project.

3차원 기하학 정보를 이용한 실세계 지시 영역 추정

한윤상(Yun-Sang Han),서융호(Yung-Ho Seo),두경수(Kyoung-Soo Doo),최종수(Jong-Soo Choi) 대한전자공학회 2007 대한전자공학회 학술대회 Vol.2007 No.7

This paper proposes the method which estimates the pointing region at the real world. This paper uses the technique to easily calibrate a camera of Z. Zhang. First, we calculate the projection matrix of each camera by the technique. Next, we estimate the location of the shoulder and the fingertip. Then we compute the pointing region in 3D real world by using projection matrix of each camera. Experiment result showed that the error between estimated point and the plane center point is less than 5㎝.

단면 형상 영상을 이용한 3차원 모델 검색

박유신(Yu-Sin Park),서융호(Yung-Ho Seo),윤용인(Yong-In Yun),권준식(Jun-Sik Kwon),최종수(Jong-Soo Choi) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.6

멀티미디어 기술과 콘텐츠의 발달로 3차원 데이터의 사용 범위가 넓어지고, 이를 보다 효율적으로 관리하고 검색하기 위한 시스템이 필요하다. 본 논문은 효율적인 3차원 모델의 형상 기반 검색을 하기위해 모델의 특징을 추출하는 단면 형상 영상 방법을 제안한다. 3차원 모델의 특징 기술자는 모델에 대한 위치, 회전, 크기에 불변해야 하므로 모델을 정규화 시키는 작업이 필요하다. 본 논문에서는 주성분 분석 방법을 이용하여 정규화하였다. 제안한 알고리즘은 주성분 분석을 통해 각 축의 방향 성분을 찾고, 각 축에 직교하는 n 개의 평면을 생성한다. 이 평면은 각 축의 방향과 직교 성분을 갖으며 단면 형상 영상을 구하는데 사용된다. 단면 형상 영상은 3차원 모델과 각 평면이 교차해서 생기는 2차원 평면 영상이다. 제안한 3차원 모델의 특징 기술자는 단면 형상 영상의 중심점과 2차원 형상(shape)을 이루는 직선까지의 유클리디안 거리(distance)값들의 분포도이다. 검색 성능 평가는 MPEG-7에서 제시한 표준 평가 방법인 표준화된 수정 검색 순위의 평균(ANMRR)을 이용하였고, 제안한 방법의 우수성을 실험 결과를 통해 입증하였다. Applications of 3D data increase with advancement of multimedia technique and contents, and it is necessary to manage and to retrieve for 3D data efficiently. In this paper, we propose a new method using the sliced shape which extracts efficiently a feature description for shape-based retrieval of 3D models. Since the feature descriptor of 3D model should be invariant to translation, rotation and scale for its model, normalization of models requires for 3D model retrieval system. This paper uses principal component analysis(PCA) method in order to normalize all the models. The proposed algorithm finds a direction of each axis by the PCA and creates orthogonal n planes in each axis. These planes are orthogonalized with each axis, and are used to extract sliced shape image. Sliced shape image is the 2D plane created by intersecting at between 3D model and these planes. The proposed feature descriptor is a distribution of Euclidean distances from center point of sliced shape image to its outline. A performed evaluation is used for average of the normalized modified retrieval rank(ANMRR) with a standard evaluation from MPEG-7. In our experimental results, we demonstrate that the proposed method is an efficient 3D model retrieval.