멀티 프로젝터 3차원 디스플레이 시스템을 위한 이중 스크린 매핑 기반 캘리브레이션 기술 연구

다국어 초록 (Multilingual Abstract)

Generally, for a multi-projector 3D display system, a precise multi-projector calibration is very important in terms of the necessity of accurately projecting images projected from each projector on a screen in order to obtain a high-quality 3D display image. However, for a multi-projector 3D display system, a keystone effect, which is a geometric distortion, occurs due to the arrangement of a multi-projector having different positions and directions with respect to a screen.
  In order to correct the keystone effect and to obtain images that match the projected images of the projectors on the screen, it is necessary to use the pin-hole camera model for the calibration process and the projector calibration method based on homography estimation has been used. However, such a method can not consider a lens model for nonlinear distortion because it uses an ideal pin-hole camera model that does not consider lens distortion with nonlinear characteristics. In addition, in the case of multi-projector calibration based on homography estimation, the calibration accuracy for the camera required for mapping between the coordinates on the screen located in the 3D coordinate system and the coordinates of the 2D image plane of the projector is determined by the projector calibration accuracy. Therefore, the calibration accuracy obtained by this method is not sufficient for providing a high-quality 3D image.
  Radial basis function interpolation (RBFI) is directly mapped to the projector space coordinates without approximation such as homography estimation. Since RBFI is a nonlinear interpolation method, the distortion of the projected image of the projector is also taken into consideration, so that the accuracy can be higher than that of the homography estimation method. However, in this thesis, in the 3D object reconstruction of the multi-projector 3D display system used in this experiment, as the depth value of the 3D object to be projected becomes larger, the multi-projector 3D display system can not provide a high quality three-dimensional image to the observer. As a result of analyzing the above causes, it is confirmed that the accuracy of multi-projector position estimation for 3D object reconstruction is insufficient.
  In this thesis, we propose a method to estimate the position of a projector using mapping data extracted from dual screens to improve the accuracy of multi–projector position estimation. As a result, it was confirmed that the projector position estimation accuracy obtained from the multi-projector calibration based on dual screen mapping is higher than the one based on RBFI. In addition a multi-projector 3D display system with a dual screen mapping projector calibration method shows the result of reconstructing a object in which less error is found even if the depth value increases.

국문 초록 (Abstract)

일반적으로 멀티 프로젝터 3차원 디스플레이 시스템에서 정밀한 멀티 프로젝터 캘리브레이션은 고화질의 3차원 디스플레이 영상을 얻기 위해 각 프로젝터에서 투사된 영상들이 스크린 상에서 정확하게 일치해야 한다는 필요성 면에서 매우 중요하다. 그러나 실제로 멀티 프로젝터 3차원 디스플레이 시스템은 스크린을 기준으로 서로 다른 위치와 방향을 갖는 멀티 프로젝터의 배치 때문에 스크린에 대해 기하학적 왜곡 현상인 키스톤 현상이 발생할 수밖에 없다.
키스톤 현상을 보정하고 스크린 상에 각 프로젝터의 투사 영상들이 일치된 영상을 얻기 위해 지난 수십 년간 프로젝터를 카메라와 기능은 다르지만 동일한 광학 모델을 사용할 수 있다는 점을 착안해 캘리브레이션 과정을 위해 필요한 핀홀 카메라 모델을 적용하여 호모그래피 추정 기반의 카메라 캘리브레이션 방법을 사용해왔다. 하지만 이와 같은 방법은 비선형 특성을 가지는 렌즈 왜곡을 고려하지 않은 이상적인 핀홀 카메라 모델을 적용하기 때문에 비선형 왜곡 보정을 위한 렌즈 모델을 생성할 수 없다. 또한 호모그래피 추정 기반의 멀티 프로젝터 캘리브레이션의 경우 3차원 좌표계에 위치한 스크린 상의 좌표와 프로젝터의 2차원 영상 평면 상 좌표간의 매핑 (mapping)을 위해 필요한 카메라에 대한 캘리브레이션 정밀도도 최종적으로 얻고자 하는 프로젝터 캘리브레이션 정밀도에 영향을 미친다. 따라서 이와 같은 방법으로 얻어진 캘리브레이션 정밀도는 고화질의 3차원 영상을 제공하기에 충분하지 않다.
Radial basis function interpolation (RBFI)은 비선형 interpolation 기법이기 때문에 프로젝터 투사 영상이 가지는 렌즈 왜곡 현상도 고려하므로 기존의 방법보다 높은 정밀도를 가질 수 있다. 그러나 본 논문에서 실험에 사용한 멀티 프로젝터 3차원 디스플레이 시스템의 3차원 오브젝트 재구성 부분에서 투사하고자 하는 3차원 오브젝트의 깊이값이 커질수록 오류가 커짐에 따라 특정 깊이값 이상에서 충분한 화질의 3차원 영상을 관찰할 수 없음이 확인되었다. 이와 같은 원인을 분석한 결과 3차원 오브젝트 재구성을 위한 멀티 프로젝터 위치 추정 정밀도가 충분하지 않은 것에 원인이 있음을 확인하였다.
본 논문에서는 멀티 프로젝터 위치 추정에 대한 정밀도를 개선하기 위하여 두 개의 스크린으로부터 추출한 매핑 데이터를 활용하여 프로젝터 위치를 추정하는 방법을 제안하고 수행하였다. 그 결과 RBFI 기반 멀티 프로젝터 캘리브레이션에서 얻은 프로젝터 위치 추정 정밀도보다 높은 정밀도를 획득하였고 3차원 오브젝트 재구성 면에서 3차원 오브젝트의 깊이값이 커지더라도 충분한 화질의 3차원 영상을 관찰할 수 있음을 확인하였다.