Study on implementation of three-dimensional image projection systems based on light field display

김영민 경희대학교 대학원 2018 국내박사

This thesis presents study on various applications of light field three-dimensional projection display systems that can be used in a wide range of fields. Integral imaging display is one of the light field displays, which was reported by many papers to presents accommodation cues under certain system conditions. This means that accommodation-vergence conflict which is one of the major causes of the visual discomfort can be reduced by constructing proper integral imaging displays. However, there are some restrictions to utilize the integral imaging display itself in various fields, such as limitations of viewing angle and expressible depth range which make it difficult to implement large-sized display and present feel of presence of distance. Thus, projection systems are used to be combined with the light field display to enhance the applicability, because it is easy to make variations can be used in wide ranges of use by designing the system to meet the intended use. In this thesis, some applications of the light field projection are introduced, including an analysis of the expressible depth range of the integral imaging. Because these studies are related to realize various three-dimensional displays without accommodation-vergence conflict, a focus-free retinal projection display using a retroreflector film and a pinhole projector without the conflict is also introduced. A method of the expressible depth range of the integral imaging is studied with a practical criterion based on image blur at defocused depths, which is one of the most noticeable image degradations, caused by overlaps among voxels in both the real and focused mode. This study eventually shows the inherent limitation on the depth-expressing performance of integral imaging displays. In order to obtain the preferably precise area of overlaps among voxels at each depth, display pixels are regarded as surface light sources in the process of voxel size calculation. As a criterion for determining the range, the tolerable limit of the overlaps among voxels is determined to be at least resolved from each other. Based on this principle, several mathematical expressions about the expressible depth range can be derived in both the real mode and focused mode, and their feasibilities are demonstrated by several experiments. The analyses are processed based on both wave optics and ray optics. For improving the applicability of the integral imaging which has such small depth-expression performance as shown in the previous analysis, an improved off-axis integral floating display using a concave mirror is proposed with a novel compensation method for multiple view vectors. The proposed system is for watching three-dimensional images directly through a projection concave mirror of a relatively large aperture without use of any screen. It can be applied to various augmented reality three-dimensional display systems by amplifying feel of distance or presence depending on the purpose of the design. The off-axis integral floating display, which is a light field projection system using a concave mirror in off-axis structure, has a great light efficiency due to absence of a light-dividing optical component such as a beam splitter. However, the off-axis image deformation should be compensated. The proposed compensation method can generate the elemental image into which the multiple pre-distortion images is integrated for the corresponding multiple view directions. The basic concept of the compensation method is based on the light field feature of the integral imaging which only presents a specific view vector on a part of the elemental image. The number of the view vectors per sub-image depends on the determination of the number of the segments of the sub-image in the elemental image. The more the number of the view vectors per sub-image, the higher degree of compensation. The appropriate number of the view vectors per sub-image is discussed and analyzed based on the small-angle approximation. Finally, the experiments to show the feasibility of the proposed method are presented. As another application for large-sized light field display, a projection-type integral imaging system using a convex mirror array and a three-dimensional screen consisting of a lens array and a retroreflector film is introduced. The projection-type integral imaging system suffers from the disadvantage of low-visibility images because of the inherently small exit pupil size of the projector. In order to resolve this problem, a three-dimensional screen is used to avoid the demerits of a diffusing screen, such as off-screen image blur and loss of parallax. To determine the appropriate configuration of the three-dimensional screen in the system, a simulation based on a ray transfer matrix analysis method is performed. The results show that the three-dimensional screen should be located near the central depth plane of the integral imaging system, which leads to the conclusion that only the real mode is available for the proposed system. Furthermore, the proposed system is characterized by realizing real mode integral imaging using convex mirror array. Generally, a convex mirror images real objects in virtual side, but a real image mode can be implemented by generating virtual elemental images, which can be due to the projection system. The real mode implemented by a convex mirror array has the advantage of solving a pseudoscopic image fundamentally. The experiments to verify this configuration condition and the feasibility of the system were conducted using a system constructed with a real mode integral imaging system. A focus-free retinal projection display using a retroreflector film and a pinhole projector is implemented. Although the proposed system is difficult to be classified as a light field display, it has the common point in that it is possible to eliminate the accommodation-vergence conflict, which is one of the purposes of the use of light field display. The retroreflector film is an optical component to make a conjugate image without the magnification distortion. Thus, with a pinhole projector, the Maxwellian view focus-free retinal projection can be implemented using a retroreflector. The image conjugation part which consists of a retroreflector film and beam splitter forms the small conjugate pupil of the pinhole of the projector. As the conjugate pupil is placed at the eye lens, the Maxwellian view can be realized. For better imaging onto the retina, a collimating lens is used as an imaging lens combined with a pinhole. The point spread function of the system to show its focus-free feature is calculated. And, the experiments to demonstrate the feasibility of the system is presented. 본 논문은 다양한 분야에 응용할 수 있는 라이트 필드 디스플레이 기반의 다양한 3차원 프로젝션 디스플레이 시스템의 구현에 관해 논한다. 라이트 필드 디스플레이 중 하나인 집적 영상 디스플레이는 특정한 조건에 있어 초점 조절의 3차원 깊이 인지 요소를 제공할 수 있다는 장점으로 인해 최근 주목을 받고 있는 디스플레이로 떠오르고 있다. 현재 3차원 디스플레이 기술은 초점 조절과 수렴 간의 불일치에 의해서 발생하는 시청 장애가 가장 큰 문제로 떠오르는데, 이러한 집적 영상의 풍부한 깊이 인지 요소 제공으로 인해 초점 조절과 수렴의 불일치 문제를 해결할 수 있다. 하지만, 집적 영상 디스플레이는 다양한 분야에 폭넓게 응용하기에는 여러 가지 시청 제한이 존재하는데, 특히 표현 가능한 깊이 영역의 제한은 3차원 영상의 깊이 표현을 매우 한정적으로 만드는 요소다. 이러한 이유로, 다양한 시스템의 응용이 가능한 프로젝션 시스템을 이용한 라이트 필드 디스플레이와의 결합을 통해 라이트 필드 디스플레이의 응용성을 향상 시키고자 한다. 본 논문은 집적 영상 디스플레이의 표현 가능한 깊이 영역 분석을 포함한 두 가지의 라이트 필드 프로젝션 시스템에 대해 소개한다. 그리고, 라이트 필드 디스플레이의 최대 장점 중 하나인 초점 조절과 수렴 간의 불일치를 해소할 수 있는 핀홀 프로젝터와 재귀반사 필름을 이용한 헤드마운트 타입의 자유 초점 망막 프로젝션 디스플레이 또한 소개한다. 본 논문은 먼저 집적 영상 디스플레이의 제한된 표현 가능한 깊이 영역에 대해 기존의 연구와 다른 실용적이고 실증적인 분석에 대해 소개한다. 집적 영상 디스플레이의 표현 가능한 깊이 영역은 비주요면 깊이의 이미지 블러에 의해 발생한다. 이 이미지 블러는 근본적으로는 비주요면 깊이에 따른 복셀 크기의 확대로 인한 이웃한 복셀간의 오버랩에 의해 발생한다. 따라서, 기본적으로 깊이에 따른 복셀 크기의 정확한 계산이 중요한데, 이를 위해서 기존의 픽셀의 점광원 근사 대신 면광원 근사를 도입한다. 그리고 이렇게 구해진 복셀의 오버랩을 이용하여 표현 가능한 깊이 범위를 특정하기 위해서는 허용 가능한 복셀의 오버랩의 정도를 정의해야 한다. 이 허용 가능한 오버랩은 설계하고자 하는 디스플레이 시스템의 성능 기준에 따라 다양하게 정할 수 있지만, 본 논문에서는 Rayleigh 의 회절 한계 기준을 도입하여 특정 복셀의 가장자리 위치가 이웃하는 복셀 중앙의 위치를 넘지 않는 깊이를 기준으로 정하였다. 이러한 이론을 바탕으로, 실상 모드 및 초점 모드의 표현 가능한 깊이 범위를 수식적으로 유도하였다. 이 분석은 파동 광학 기반과 선 광학 기반 두 가지 모두 진행되었으며, 두 경우의 비교를 통해 선 광학 기반의 분석의 유효성에 관해 논하였으며, 현재 널리 사용되는 평판 디스플레이의 해상도로는 선 광학 기반의 분석으로도 충분하다는 결론을 내릴 수 있었다. 이러한 한정된 깊이 표현 범위를 가지는 집적 영상 디스플레이 시스템을 보다 더 넓은 범위에 활용하기 위한 첫 번째 어플리케이션으로 대구경 프로젝션 렌즈를 결합한 집적 부양 디스플레이 중 하나인 오목 거울을 이용한 비근축 집적부양 디스플레이를 제안하고, 다중 뷰 벡터를 이용한 비근축 영상 변형의 보정을 소개한다. 제안된 시스템은 스크린을 사용하지 않고 대구경의 프로젝션 오목 거울을 통해 직접 영상을 관찰하는 방식이다. 설계하는 방식에 따라 깊이감 혹은 임장감을 증폭시켜 다양한 증강 현실 3차원 디스플레이 시스템에 응용될 수 있다. 비근축 집적 부양 디스플레이는 거울을 사용함으로 인해 색수차가 없고 빔 스플리터 등을 사용하지 않기 때문에 높은 광효율의 시스템을 구현 가능하다. 하지만, 비근축 구조로 인한 영상의 변형을 변형해야 하는 단점 또한 가지고 있다. 제안된 보정 방법은 각 기초영상 영역의 뷰 벡터 방향에 맞는 다중의 프리디스토션 이미지를 발생시키고 기록하는 방식이다. 이 보정 방법 구현은 기본적으로 집적 영상이 특정 기초 영상의 영역은 특정된 방향으로만 재생되는 라이트 필드 특성으로 인해 가능하다. 서브 이미지 당 뷰 벡터 개수는 기초 영상 내의 서브 이미지를 몇 개로 나누는 지에 따라 달라지는데, 많은 개수로 나눌수록 더욱 높은 보정 효과를 얻을 수 있다. 본 논문에서는 적절한 뷰 벡터의 개수에 대해서 작은 각도에서의 근사에 기반하여 분석하고 논하고자 한다. 최종적으로 이러한 보정 방법을 이용하여 제안된 시스템을 구현하고 보정 알고리즘에 대한 구현 가능성을 보였다. 또 다른 프로젝션 라이트 필드 디스플레이 응용 시스템으로 대형화를 위한 볼록 거울 어레이와 3차원 스크린을 이용한 프로젝션 집적 영상 디스플레이 시스템에 대해 논한다. 일반적으로 프로젝션 집적 영상 디스플레이는 프로젝션 렌즈의 작은 구경에 의해 시인성이 낮다는 단점을 가지고 있다. 이러한 문제점을 해소하기 위해, 제안된 시스템에서 재귀 반사 필름과 렌즈 어레이로 구성된 3차원 스크린을 사용한다. 3차원 스크린은 일반적인 스크린과 달리 스크린 깊이에 위치하지 않는 3차원 영상의 이미지 블러를 줄이고 3차원 영상의 시차를 유지시켜준다. 3차원 스크린과 프로젝션 집적 영상 디스플레이와의 구성 조건을 구하기 위해서, 광선 전달 행렬 분석법에 기반한 시뮬레이션을 시행한다. 이 시뮬레이션의 결과로서 3차원 스크린은 프로젝션 집적 영상 디스플레이의 주요면에 위치시켜야 한다는 것을 확인 할 수 있다. 이는 또한, 3차원 스크린을 사용하기 위해서 실상 모드의 집적 영상 시스템만을 허용한다는 것을 보여주기도 한다. 그리고 제안된 시스템은 볼록 거울 어레이를 이용하여 실상 모드를 구현한다. 일반적으로 볼록 거울은 실물체에 대해 허상을 만들어내지만, 프로젝션 시스템을 이용한 허상의 기초 영상 발생으로 실상 모드를 구현할 수 있다. 볼록 거울 어레이를 이용한 실상 모드는 pseudoscopic 영상을 근본적으로 해결할 수 있는 장점 또한 가지고 있다. 이러한 시스템과 구성 조건의 실효성을 증명하기 위한 실험이 수행되었고, 대형화 된 라이트 필드 프로젝션 디스플레이의 가능성을 보여주었다. 마지막으로 초점 조절과 수렴 간의 불일치가 없는 재귀 반사 필름과 핀홀 프로젝터를 이용한 헤드 마운트 자유 초점 망막 프로젝션 디스플레이에 대해 소개한다. 제안된 시스템은 라이트 필드 디스플레이로 분류하기 어렵지만, 라이트 필드 디스플레이의 사용 목적 중 하나인 초점과 수렴 간의 불일치를 제거할 수 있다는 공통점이 있기 때문에 함께 소개하고자 한다. 재귀 반사 필름은 배율 왜곡 없이 켤레 이미지를 형성할 수 있는 광학 소자이다. 이를 핀홀 프로젝터와 결합하여 맥스웰리안 뷰 기반의 자유 초점 망막 프로젝션 시스템을 구현할 수 있다. 제안된 시스템에서 재귀 반사 필름과 빔 스플리터로 이루어진 켤레 이미지 파트는 핀홀 프로젝터의 핀홀에 대한 켤레 이미지를 형성시킨다. 이 켤레 동공을 수정체의 위치와 일치 시키면 맥스웰리안 뷰가 구현된다. 실제 시스템을 구성할 때 망막에서 보다 향상된 이미징을 위해, 평행광 렌즈를 이미징 렌즈로서 사용한다. 제안된 시스템의 자유 초점 특성을 점 확산 함수를 구하여 분석하고, 이론 상 시스템이 자유 초점 특성을 가짐을 보인다. 그리고 실제 시스템을 구현하여 특정 깊이 구간에 대해 제안된 시스템이 자유 초점 특성을 가짐을 증명한다

Three-dimensional display systems using half mirror with lens function

홍지수 서울대학교 대학원 2012 국내박사

This dissertation proposes a new optical component, the half mirror with lens function, and studies about its application to three-dimensional display systems. Half mirror with lens function is a half mirror which provides a lens function by the reflective optic implementation. As an optical combiner, the definition of half mirror with lens function touts the advantageous features of see-through imaging and easy alignment of the optical system. Three viable fabrication methods, each of which has its pros and cons, are proposed to realize the half mirror with lens function. And the comparison of the characteristics of prototypes implemented by the three methods is also given as a reference in determining which one will be the most appropriate for the given application. The usefulness of the half mirror with lens function is studied in two different aspects: one is the source of inspiration in retrieving new concept of the three-dimensional display system; the other is providing a new way to resolve the existing problems of the conventional three-dimensional display system. The study is conducted by providing various types of three-dimensional display system based on the integral imaging principle. Two new types of three-dimensional display systems, which are inspired by adopting the half mirror with lens function, are presented considering the applications for the augmented reality. See-through and bidirectional integral imaging is a totally new concept that displays an autostereoscopic three-dimensional image, which is based on the integral imaging principle, around a see-through image without any mechanical motion. It is only realizable using the array of half mirrors with lens function which eventually has the surface structure of concave mirror array. Using the analysis of the imaging principle of the projection-type integral imaging, the half mirrors with lens function with 10\% of reflectance were implemented showing natural overlay of three-dimensional image onto the real world scene. See-through head mounted display, which can address a correct accommodation, is also presented with the convex side of the half mirror with lens function utilizing the principle of integral floating. The analysis is given which demonstrates that the pixel pitch of the display device imposes the restriction to the imaging distance of the integrated image. The use of convex mirror effectively reduces the pixel pitch of the display device enabling the farther imaging of integrated image without physical improvement of the system. The half mirror with lens function can also be useful in resolving the long-known problem of integral imaging, implementation of three-dimensional/two-dimensional convertible feature. Especially, there was no adequate solution for the projection-type integral imaging because the conventional methods incorporate the active devices with the size comparable to the screen. The adoption of half mirror with lens function provides the way to implement three-dimensional/two-dimensional convertible feature with the passive optical component. The proposed system is the first proposal to the three-dimensional/two-dimensional convertible projection-type integral imaging. A number of methods have been investigated for the three-dimensional/two-dimensional convertible integral imaging of \textit{focused mode} configuration while only one method exists for the \textit{real/virtual mode} integral imaging. The half mirror with lens function provides the new method to realize the three-dimensional/ two-dimensional convertible feature for the \textit{real/virtual mode} integral imaging. The proposed system also touts various advantageous features such as the wider viewing angle and the shorter optical path difference in creating multiple central depth planes for the depth enhancement. Though the usefulness of the half mirror with lens function is investigated only focusing on the three-dimensional display, it is expected that the half mirror with lens function will also be useful for various optical applications. 본 논문에서는 새로운 광학 소자로써 렌즈 기능의 반거울을 제안하고, 이를 이용한 3차원 디스플레이 시스템들에 대하여 논한다. 렌즈 기능의 반거울은 반사형 광학 구조를 통해 렌즈의 광학적 기능을 구현하는 반거울이다. 광 결합기로써 렌즈 기능의 반거울은 see-through 이미징 특성을 가지며 광학 시스템의 정렬에 있어서 장점을 가진다. 본 논문은 렌즈 기능의 반거울을 실제로 구현할 수 있는 세 가지 공정 방법을 제안한다. 각각의 공정 방법은 서로 다른 장단점을 가지고 있기 때문에 응용처에 따라서 적절한 공정 방법을 택할 수 있도록 각 공정 방법에 의해 원형들을 제작하고 그 특성을 비교 및 분석한다. 본 논문에서는 두 가지 측면에서 렌즈 기능의 반거울의 유용성을 살펴본다. 첫째로 렌즈 기능의 반거울이라는 새로운 광학 소자의 도입을 통해서 새로운 개념의 3차원 디스플레이 시스템을 제안할 수 있는 기반을 제공한다는 측면, 두번째로는 기존의 3차원 디스플레이에 존재하였던 문제점들을 해결할 수 있는 새로운 방법들을 제공한다는 측면을 살펴본다. 본 논문에서는 집적 영상 방법에 기반한 다양한 3차원 디스플레이들을 구현함으로써 이와 같은 연구를 수행한다. 먼저 렌즈 기능의 반거울의 도입으로 증강 현실에 적용 가능한 새로운 2가지의 3차원 디스플레이시스템을 제안할 수 있음을 제시한다. See-through 및 양방향 이미징 집적 영상 시스템은 어떠한 기계적 움직임 없이도 시스템 주변으로 무안경식 3차원 이미지를 보여줄 수 있는 새로운 개념으로써 제안된다. 이는 렌즈 기능의 반거울을 어레이로 이용하여 구현할 수 있으며, 이때 렌즈 기능의 반거울 어레이는 결국 오목 거울 어레이의 기능을 갖게 된다. 프로젝션형 집적 영상의 이미징 원리의 분석을 통해 10\%의 반사율을 갖는 렌즈 기능의 반거울을 사용하여 실세계에 3차원 영상을 자연스럽게 겹쳐 보여줄 수 있음을 보인다. 렌즈 기능의 반거울의 볼록 거울 방향에 집적 부유형 디스플레이의 원리를 적용하여 정확한 초점 조절을 유발할 수 있는 see-through head mounted display의 개념을 제시한다. 디스플레이 장치의 픽셀 크기가 집적 영상의 원거리 이미징을 제한하는 원인임을 밝히고, 볼록 거울의 사용이 어떠한 물리적 개선 없이 효과적으로 디스플레이 장치의 픽셀 크기를 줄여 결과적으로 집적 영상의 원거리 이미징이 가능토록 함을 보인다. 또한 렌즈 기능의 반거울은 기존의 집적 영상에 알려진 문제였던 2차원/3차원 변환 기능의 구현에도 유용하게 사용될 수 있다. 특히, 프로젝션형 집적 영상의 경우, 기존의 방법들은 스크린 크기에 대응하는 크기의 능동 소자를 사용하여야 하기 때문에, 지금까지는 2차원/3차원 변환을 구현할 수 있는 적절한 방법이 존재하지 않았다. 반면 렌즈 기능의 반거울을 적용하면 2차원/3차원 변환 기능을 수동 소자를 이용하여 구현할 수 있는 방법을 제시할 수 있다. 따라서 본 논문에서는 렌즈 기능의 반거울을 적용하여 2차원/3차원 변환 기능을 구현한 프로젝션형 집적 영상 시스템을 최초로 제안한다. 기존에는 focused mode의 집적 영상 구조에 대한 2차원/3차원 변환 기능을 구현하기 위한 연구가 다수 이루어져 왔으나 real/virtual mode 집적 영상에 대해서는 오직 한가지 방법만이 제안된 바 있다. 본 논문에서는 렌즈 기능의 반거울을 이용하여 real/virtual mode 집적 영상의 2차원/3차원 변환 기능을 구현하기 위한 새로운 방법을 제안한다. 제안된 시스템은 또한 넓은 시야각과 깊이감 향상을 위한 다층 중심 깊이 평면 생성에 있어 광경로 단축과 같은 여러 가지 장점들을 보여준다. 비록 본 논문에서는 렌즈 기능의 반거울의 유용성을 3차원 디스플레이 시스템에 한정하여 살펴보았으나, 그 외의 다양한 광학적 응용에 대해서도 렌즈 기능의 반거울이 유용하게 사용될 것으로 기대된다.

Depth-cube three-dimensional display using selective scattering film

정정훈 경희대학교 대학원 2012 국내석사

Depth cube three-dimensional (DCD) display method using polarization distributed depth map is proposed and analyzed. The structure of the proposed method consists of two parts: the projection part is composed of the projector to generate the two dimensional image and the twisted nematic liquid crystal display (TN-LCD) as polarization modulating device for adjusting the polarization status for the proper depth, while the display part is composed of air-spaced stack of the selective scattering polarizers which make the incident light to scatter selectively as the polarization of light rays. The image from projector whose depth information is added as passing through the TN-LCD progresses into the stack of selective scattering polarizers and then three-dimensional image is generated. At that time, the polarization states of each polarizer are set on 0°, 45° and 90° sequentially, and then the incident light rays are scattered by the different polarizers as the polarization states of these rays. If the light ray has the mid polarization state between those of polarizers, this light ray is scattered by plural polarizers and the image is located on gap between polarizers. The proposed method can be implemented easily than the previous methods.

Study of improved visual characteristics of volumetric three-dimensional display

김현호 경희대학교 대학원 2021 국내석사

In this dissertation, propose a method for realizing a multi-layered three-dimensional display in the form of projections by devising a method for recognizing the depth of human eyes. The purpose of this study is to implement a three-dimensional display of a large screen with better characteristics in existing multi-layer display systems. The conventional 2D display lacks much information about the depth that can be provided in the image. To provide this information, multilayer three-dimensional display system among Volumetric three-dimensional display systems is needed. Advantage of this system is that it requires relatively little data in expressing depth compared to other three- dimensional displays. This means that 3D images can be implemented quickly and data obtained in real time can be directly reflected in the 3D display. In addition to a conducted experiment, in order to correct the image by changing the structure of the software image and the hardware, depth fusion theory was used to solve the problems. Discontinuity of the image and the angle of view constraints caused by the display implementation, not just the simple implementation of the three-dimensional display would be an example. In this dissertation, we have studied the visual characteristics of the images formed by implementing the multi-layer display and discussed in depth what can be done through this experiment. 본 논문은 사람 눈의 깊이를 인식하는 방법을 고안하여 프로젝션 형태의 다층 3차원 디스플레이를 구현하는 방법을 제안한다. 본 연구의 목적은 기존의 다층 3차원 디스플레이 시스템에서 영상의 시각적 특성을 향상 한 가진 대형 화면의 3차원 디스플레이를 구현하는 것이다. 기존의 2D 디스플레이에 존재하지 않는 깊이에 대한 정보를 볼류메트릭 3차원 디스플레이 시스템 중 하나인 프로젝션 형태의 다층 3차원 디스플레이 시스템을 사용하였고, 구현되는 영상의 특성을 개선하는 연구를 진행하였다. 본 시스템의 장점은 다른 3차원 디스플레이와 비교하여 깊이의 표현에 상대적으로 적은 데이터가 필요하다는 것으로, 3D 영상을 신속하게 구현가능 하다는 이점이 있다. 영상의 시각적 특성을 향상하는 실험은 소프트웨어 보정와 하드웨어의 구조를 변경하여 진행되었다. 소프트웨어를 통한 영상 보정은 Depth-fusing 이론을 적용하였다. 또한 하드웨어 보정은 스페이서의 간격과 디스플레이의 구조 변경을 통해 수행하였다. 이를 통해 단순한 3차원 디스플레이 구현 만이 아니라 이미지의 불연속성 및 시야각의 제약을 해결하였음을 확인하였다. 본 논문은 다층 디스플레이를 구현하여 형성된 영상의 시각적 특성을 연구하였으며, 그에 대한 실험 방법 및 결과를 작성하였다.

Study about depth location in multi-layer 3D display

백호길 경희대학교 대학원 2014 국내석사

In this paper, we analyze expressed depth location of images in multi-layer 3D display. For this, we explain our active type and passive type of lamina 3D display and try various experiments on the expression of depth by using the two types of lamina 3D display. Based on the actual experimental conditions, the expressed depth of images is also calculated and simulated by mathematically complicated formulas. To verify the validity of our simulation, we compare the experimental results and simulation results. Through simulation and actual experiment, the feasibility of similarity is confirmed. As a result, our mathematically complicated formulas and simulation are expected to help for image analysis in multi-layer 3D displays. 본 논문은 멀티레이어 타입의 3차원 디스플레이에서 나타나는 영상의 깊이 표현에 대하여 분석을 하였다. 이를 위해, 멀티레이어 타입의 볼륨메트릭 3차원 디스플레이의 일종인 패시브 타입과 액티브 타입의 라미나 디스플레이들에 대하여 설명하고 두 종류의 라미나 디스플레이를 이용하여 영상의 깊이 표현에 대한 실험을 하였다. 실험 조건들을 바탕으로 수식적으로 영상의 깊이 표현에 대해 계산하고 시뮬레이션을 하였다. 실험의 결과와 시뮬레이션의 결과를 비교하여 분석을 하였다. 비교 분석 결과, 실제 실험과의 유사성을 통하여 시뮬레이션의 타당성을 확인하였다. 본 논문에서 제안된 시뮬레이션은 멀티레이어 타입의 3차원 디스플레이에서의 깊이 표현에 대한 분석이 가능하다는 것을 실제와 유사하게 나타나는 것을 확인하였다. 또한, 이를 이러한 시뮬레이션을 이용할 경우 다른 종류의 멀티레이어 3차원 디스플레이에서의 영상의 깊이 표현 분석에도 사용할 수 있음을 제안하고, 그에 대한 분석방법 및 결과를 작성하였다.

Study on three-dimensional anamorphic volumetric display system

박길배 서울대학교 대학원 2012 국내박사

This dissertation proposed novel three-dimensional (3D) display systems which use the principle of anamorphosis. There have been many attempts to display three-dimensional information based on various kinds of technologies such as stereoscopic and auto-stereoscopic technologies, volumetric display technology, holography, and so on. The technologies use much bigger amount of information for 3D display than that for 2D display. However, since conventional display devices have limitations in the amount of information to display, many researches for 3D display have used sequential or spatial multiplexing methods. The author proposes an anamorphic floating display system using a cylindrical mirror and tracking technology. The cylindrical mirror can be used like a convex lens in the polar axis. It means that the cylindrical mirror can float an image from a 2D display panel and a viewer can see the floated image over the cylindrical mirror. To give the parallax in the longitudinal axis to the viewers, the tracking technology will be used to generate the images according to the position of the viewers. In addition, the author designs an anamorphic volumetric display system using a digital mirco-mirror device (DMD) projector which can project images in high speed, a cylindrical mirror, wedge prisms, and an anisotropic diffuser. The projector can be used to project a large number of directional images to many directions in high speed. And the cylindrical mirror can float images from the projector at the position by the lens formula in the polar axis of the cylindrical mirror. To project directional images to the respective directions, wedge prisms and motor driving are used. A wedge prism can deviate a beam to a different angle in the longitudinal plane from the incident angle. The author drives an electric motor to rotate wedge prisms. The rotation of the wedge prisms makes the deviation angle of the incident images from the wedge prisms change. Deviated images are reflected and distorted by the cylindrical mirror. The image distortion is similar to that in anamorphosis. To correct the distortion caused by the cylindrical mirror, inversely distorted images are generated by processes in five steps and those images are projected to the cylindrical mirror. The exit aperture size and diverging angle of the projector are not big enough to cover the vertical positions of viewers. In other words, a viewer can see only some lines from the projector. To solve this problem, an anisotropic diffuser is attached to the cylindrical mirror, and used to diffuse images in only vertical direction. Specific information and further explanations of each component will be provided and experimental results will be presented for verification. 본 논문은 왜상 기법을 사용하는 새로운 3차원 디스플레이 시스템들을 제안하였다. 3차원 영상 정보의 디스플레이를 위한 방법으로는 안경식과 무안경식 3차원 디스플레이, 체적형 디스플레이, 홀로그래피 등과 같은 다양한 기술의 수많은 연구가 진행중이다. 이러한 3차원 디스플레이 기술은 3차원 영상을 재생하기 위해 2차원 디스플레이보다 훨씬 많은 양의 정보를 사용한다. 그러나 디스플레이에 사용되는 소자들의 한계로 인해서 많은 연구들이 기존 소자들을 순차적 혹은 공간적으로 다중화하는 기법을 사용한다. 본 논문에서 제안한 시스템 중 하나는 원통거울과 추적기술을 사용한 왜상 부유형 디스플레이 시스템이다. 원통거울은 축방향으로 볼록렌즈와 같은 역할을 한다. 이를 이용해 2차원 디스플레이 패널의 영상을 공간상에 띄우고, 관찰자는 원통거울 위에 떠 있는 영상을 볼 수 있게 된다. 본 시스템에서 관찰자에게 운동 시차를 제공하기 위해서는 추적기술을 사용하여 관찰자의 위치에 따라 다른 영상을 디스플레이한다. 이에 따라 관찰자는 위치에 따라 다른 방향의 영상을 보게 되고, 3차원 물체가 원통거울 위에 떠 있는 것처럼 인식할 수 있다. 그리고, 본 논문은 고속의 DMD 프로젝터와 원통거울, 왜상 프리즘, 이방성 확산판을 사용한 왜상 체적형 디스플레이 시스템을 제안하였다. 이 시스템에서 DMD 프로젝터는 수 백개의 방향으로 그 수만큼의 방향별 영상을 고속으로 투사하는 역할을 한다. 그리고 원통거울은 프로젝터에서 투사된 영상들이 반사되어 원통거울의 축방향으로 띄우도록 한다. 이 때, 프로젝터로부터 투사되는 영상이 각기 다른 방향으로 투사되도록 하기 위해서는 모터로 회전 구동이 되는 왜상 프리즘이 사용되었다. 왜상 프리즘은 프리즘을 통과하는 영상의 투사방향이 기울어지도록 한다. 이러한 왜상 프리즘을 회전시키면, 수직으로 투사된 영상이 왜상 프리즘을 통과한 후 기울어진 투사방향으로의 영상이 원통거울의 안쪽면을 따라 투사되도록 할 수 있다. 이 때, 원통거울에서 반사되는 영상은 원통거울의 곡면에 의해 왜곡된다. 이 영상의 왜곡은 왜상의 원리와 유사하며, 왜곡을 없애기 위해 역으로 왜곡시킨 영상을 다섯 단계의 보정과정을 이용하여 생성하고, 이를 프로젝터를 통해 투사시킨다. 프로젝터의 출사동의 크기와 확산각은 관찰자 위치의 세로 범위를 충족시키기에는 크지 않기 때문에, 관찰자가 원통거울을 직접 바라보게 되면 제대로 된 영상이 아닌 1차원 형태의 영상들만을 보게 된다. 이 문제를 해결하기 위해서 이방성 확산판을 원통거울의 안쪽면에 부착하여 반사되는 영상이 세로방향으로 확산이 되도록 하였다. 각 구성 품목의 자세한 설명과 사양은 본 논문에 소개되었으며, 실험 결과들도 함께 제공되었다.

(A) study about transmission-type three-dimensional screen using micro hole mirror array

성현식 경희대학교 일반대학원 2015 국내석사

The three-dimensional screen using micro hole-mirror array is proposed to resolve the visibility of the image in the projection-type integral imaging without the diffuser. The proposed system is applied on the projection-type integral imaging system to enhance the visibility of image. Thanks to the characteristic of the micro hole-mirror array, the proposed systme help to design the off-axis optical system for avoiding the direct light of the projector. The validity of the proposed system is proved by the experimental results.

Continuous-motion-parallax tabletop three-dimensional display with extended viewing zone : 시청 영역의 확장을 통해 연속적인 시차를 제공하는 테이블탑 3차원 디스플레이

허대락 경북대학교 대학원 2023 국내박사

3차원 디스플레이는 관찰자의 시청 방향에 따라서 변화하는 입체 영상을 제공할 수 있습니다. 과거에는 TV 형태의 3차원 디스플레이에 대해 많이 연구되었지만, 최근에는 테이블탑 디스플레이처럼 도면에 대한 검토, 혹은 미팅을 위한 상황을 고려한 형태의 연구도 활발하게 이루어집니다. 테이블탑 형태의 3차원 디스플레이는 TV 형태의 디스플레이와 달리 3차원 영상이 상영되는 위치와 관찰자의 시청 방향이 이루는 각도가 큽니다. 그러므로 테이블탑 디스플레이에 사용되는 광학계는 큰 각도 영역에서도 성능이 보장되어야 합니다. 3차원 영상을 형성하는 대표적인 광학계인 마이크로 렌즈 어레이 (MLA)를 사용한 방식은 광학계의 개구부와 영상이 재생되는 영역이 일치하는 장점이 있습니다. 기존의 MLA는 낮은 개구수를 갖고 있어 테이블탑 디스플레이에 적용될 만큼 큰 각도에서 성능을 보장할 수 없습니다. 한편 MLA가 아닌 테이블 중심에 영상 정보를 집적하여 3차원 영상을 재생하는 방식이 있습니다. 영상 정보를 집적하는 방식은 투사 광학계의 투사 방향과 테이블탑의 시청 방향을 동일하게 하여 광학계의 낮은 개구수에 대한 문제를 해결합니다. 이러한 방식에서 투사 광학계의 수가 시점의 수와 동일하여, 투사 광학계의 수를 늘리면 시청영역이 확장됩니다. 일반적으로 시청영역을 확장하기 위해서 공간 및 시간 다중화로 디스플레이를 구현하고 있습니다. 본 논문에서는 MLA를 테이블탑 디스플레이에 적용하기 위한 새로운 구조를 제안하고, 세 가지의 영상 정보를 집적하는 방식의 테이블탑 디스플레이 구조를 소개합니다. 챕터 2에서는 테이블탑에 적합한 MLA 구조를 이용한 테이블탑 디스플레이를 제안합니다. 기존의 MLA는 평면과 구면으로 이루어진 단일 렌즈로 배열되어있습니다. 평면과 구면으로 이루어진 단일 렌즈는 자이델의 5대 수차가 보정되지 않아 광축의 근축에서만 성능을 보장할 수 있습니다. 단일 렌즈의 성능적 측면을 고려하지 않더라도 결국 넓은 시야각을 형성하기 위해서 개구수 이상의 영역에서 오는 광선을 굴절시켜야 합니다. 하지만 MLA의 단일 렌즈는 평면이 요소 이미지의 방향에 있고, 구면이 공기 중을 향하고 있습니다. 이 경우 높은 각도에서는 렌즈 표면에서 공기 중으로 전파할 때 전반사 조건에 의해서 빛은 출사하지 못하고 전반사합니다. 그 외에도 MLA는 테이블탑 디스플레이에 적합하기 위해서는 높은 시야각에서 균일한 각도 해상도를 가져야 하지만, 단일 렌즈의 요소 이미지의 위치는 3차원 영상을 재생하는 출력 각도의 탄젠트 값을 갖습니다. 이러한 직선 변환은 높은 시야각을 확보하기 위하여 렌즈의 중심으로부터 더 먼 위치에 있는 요소 이미지의 빛으로부터 만들어지고, 앞서 언급한 전반사 조건이 야기될 가능성이 큽니다. 또한, 시청 위치에서 각 정보가 중복되지 않아야 하므로, 정보의 누화가 발생하지 않아야 합니다. 즉, 테이블탑 디스플레이에 적합한 MLA는 넓은 시야각을 가지면서 균일한 각 해상도 및 낮은 누화를 가져야 합니다. 따라서, 다중 레이어와 반전 렌즈 구조를 이용한 다중 레이어 반전 MLA (MLR-MLA)를 제안합니다. 반전 렌즈 구조는 구면이 요소 이미지를 향하게 배치하여 기존의 MLA와 대비하여 더 먼 거리의 요소 이미지의 빛도 전반사 조건에 부합하지 않습니다. 그리고 다중 레이어 구조는 입력과 출력의 관계를 선형적으로 변환합니다. 이러한 선형적인 관계는 요소 이미지의 균일한 간격의 픽셀값을 각도로 변환하므로, 시청영역 내부에서 균일한 운동 시차를 제공합니다. 결과적으로 제안하는 MLR-MLA를 사용하는 테이블탑 디스플레이는 최대 ±53.8°의 높은 시야각에서도 낮은 누화를 갖는 3차원 영상을 재생합니다. 챕터 3에서는 구형 렌즈와 2축 스캐너를 이용한 완전 시차 테이블탑 디스플레이를 제안합니다. 테이블탑 디스플레이는 인지 요소 중에서 양안 시차를 극대화하기 위해 수평 방향으로 시청영역을 확장하고 있습니다. 하지만 수직 방향으로 시청영역이 확장되지 않는 것은 관찰자에게 평면 영상과 동일한 정보를 전달하므로 시청 거리가 달라짐에 따라 3차원 영상의 정보는 원근 왜곡됩니다. 이러한 원근 왜곡이 없는 3차원 영상을 재생하기 위해서는 3차원 디스플레이가 완전 시차를 형성해야 합니다. 시간 다중화 방식에서 완전 시차를 형성하기 위해서는 2축 스캐너가 필요합니다. 하지만 일반적인 2축 스캐너의 두 가지 방식 중 미세 전기 기계 시스템은 주사를 위한 빔 크기와 주사 각도가 작습니다. 그리고 2개의 1축 스캐너를 교차하는 방식은 거울 간의 간격으로 인하여 수평과 수직 주사의 회전축이 물리적으로 다릅니다. 이 중에서 2개의 1축 스캐너 사이에 주사 광학계를 배치하여 간격으로 인한 회전축 불일치 문제를 해결하였습니다. 그리고 제안하는 디스플레이는 개선된 2축 스캐너와 구형 렌즈를 사용하여 완전 시차를 형성하기 때문에 시청 거리의 변화에도 원근 왜곡이 없습니다. 챕터 4는 240도의 시야각을 갖는 테이블 소품형 디스플레이를 제안합니다. 기존의 테이블탑 디스플레이는 넓은 수평 시야각을 형성하기 위한 광학계로 인하여 디스플레이의 부피가 큽니다. 시간 다중화 방식이 공간 다중화 방식과 대비해 광학계의 수가 적게 필요하며, 굴절 광학계는 반사 광학계보다 물리적으로 광 경로가 점유하는 크기가 큽니다. 디스플레이의 부피를 최소화하기 위해 시간 다중화 방식과 반사 광학계를 다수 사용하였고, 영상 정보를 제공하기 위한 공간 광 변조기와 같은 다수의 광학 장치를 반사 광학계의 개구부 사이에 배치하였습니다. 하지만, 시간 다중화 방식을 이용하여 시청영역을 확보하기 위해서는 높은 구동 속도를 갖는 공간 광 변조기 및 광학 스캐너가 필요합니다. 그리고 충분한 구동 속도를 확보하지 못하면 각 단일 시청영역 간의 간격이 커지거나 시청영역의 크기가 커져야 합니다. 시청영역 간의 간격이 커진다면 각 시청영역 사이에 시청할 수 없는 영역을 만듭니다. 반면 시청영역이 커진다면 관찰자가 시청하는 3차원 영상의 운동 시차가 감소합니다. 이러한 문제점을 해결하기 위해 단일 시점의 3차원 영상은 홀로그램으로 재생되어, 부드러운 운동 시차를 갖습니다. 따라서 제안하는 테이블 소품형 디스플레이는 210 mm3 이내의 부피임에도 240도의 시야각을 갖는 1.5인치의 3차원 영상을 재생할 수 있습니다. 챕터 5는 테이블 소품형 디스플레이의 광학 구조에 기초하여 360도의 시야각 및 풀-컬러 영상을 제공하는 테이블탑 디스플레이를 제안합니다. 테이블 소품형 디스플레이는 수평 시차가 극대화되었지만, 360도의 시야각을 달성하지 못하였습니다. 거기다 시청영역은 수평으로만 확장되어 수직 시야각은 아주 협소합니다. 제안하는 테이블탑 디스플레이는 수직 시청영역을 확장하기 위해 회절을 이용한 복제 시청영역을 형성합니다. 테이블 소품형 디스플레이는 가상 공간 광 변조기가 스캐너의 표면에 위치하지만, 챕터 5의 디스플레이의 가상 공간 광 변조기는 하부 반사 광학계의 표면에 위치합니다. 하부 반사 광학계 표면에 있는 가상 공간 광 변조기는 하부 반사 광학계 표면에 회절격자 무늬에 의해 수직 시청영역이 복제될 수 있도록 합니다. 또한, 스캐너 및 광학 장치의 위치를 반사 광학계의 개구부를 전부 사용할 수 있도록 배치하였습니다. 최종적으로 제안하는 테이블탑 디스플레이는 360도의 수평 시야각 및 20도의 수직 시야각을 갖는 풀-컬러 3차원 영상을 재생할 수 있습니다. 본 논문에서는 다양한 형태의 테이블탑 디스플레이를 제안하였으며, 시청영역의 확장에 대해서 주로 다루었습니다. 첫 번째 디스플레이는 기존의 MLA 구조를 분석하여 테이블탑 디스플레이에 적합한 MLR-MLA를 제안하였습니다. 그리고 영상 집적 방식을 사용하는 세 개의 디스플레이는 테이블탑을 위한 구조를 제안하고, 디스플레이의 광학계를 설계하고 구현 및 실험하였습니다. 각 디스플레이는 독립적인 디스플레이로 볼 수 있지만, 2축 스캐너 기술과 360도 수평 시청영역을 확장하는 기술은 서로 조합될 수 있습니다. 즉, 조합된 기술은 수평으로 360도의 시청영역을 확보하면서도, 수직으로 시청영역이 확대된 디스플레이를 설계할 수 있습니다. 결과적으로 각 디스플레이의 요소 기술들은 테이블탑 디스플레이에 국한되지 않고 다양한 3차원 디스플레이를 연구에 기여될 것으로 기대됩니다.

Autostereoscopic three-dimensional imaging methods using holographic recording techniques on photopolymer

홍기훈 서울대학교 대학원 2014 국내박사

이 박사학위 논문에서는 새로운 홀로그래픽 기록방법들을 이용하여 기존의 무안경식 삼차원 디스플레이의 제한점들을 개선하는 방법에 대해 논한다. 두 종류의 새로운 홀로그래픽 기록방법을 무안경식 삼차원 디스플레이를 구현하기 위해 제안한다. 첫 번째 방법은 호겔 중첩을 이용하여 홀로그래픽 스테레오그램의 해상도를 증가시키는 방법이며, 다른 하나의 방법은 렌즈어레이 홀로그래픽 광학소자를 이용하여 투명한 특성을 가지는 이차원 및 삼차원 영상을 구현하는 방법이다. 이 박사학위 논문에서는 홀로그래픽 기록매질로 광중합체 필름을 사용한다. 단일파장 기록방법과 세 파장 다중화 기록방법을 이용해 제작된 광중합체 필름 상에 기록되는 체적홀로그램에 대한 노출반응 특성을 실험을 통해 분석한다. 광중합체 필름에 기록된 세 파장 다중화된 홀로그램의 투명한 특성과 회절효율을 재생실험을 통해 평가하며, 광중합체 필름의 수축특성에 대해 이론적으로 분석하고 실험적으로 검증한다. 홀로그래픽 프린팅 방법을 이용해 기록된 홀로그래픽 스테레오그램의 해상도를 증가시키기 위한 호겔중첩 방법을 제안한다. 홀로그래픽 프린팅 방법을 이용해 홀로그래픽 스테레오그램을 기록할 때 해상도 증가를 위해 호겔의 크기를 무한정 줄일 수 없음을 컴퓨터 시뮬레이션을 통해 검증한다. 호겔 크기를 줄여 해상도를 증가시키는 방법 대신에 호겔을 중첩 기록시키는 방법을 이용해 홀로그래픽 스테레오그램의 해상도를 증가시킬 수 있는 방법을 제안한다. 홀로그래픽 스테레오그램을 기록할 수 있는 실험환경을 구축하였으며 이를 이용하여 기존의 방법과 제안된 호겔 중첩 방법을 적용한 서로 다른 두 개의 홀로그래픽 스테레오그램을 제작한다. 제작된 두 개의 홀로그래픽 스테레오그램의 재생 영상을 비교함으로써 제안된 호겔중첩 방법을 적용한 홀로그래픽 스테레오그램이 기존의 방법보다 높은 해상도를 가짐을 검증한다. 집적영상을 통해 투명한 특성을 가지는 이차원 및 삼차원 가상영상을 재생할 수 있는 렌즈어레이 홀로그래픽 광학소자를 제안한다. 홀로그래픽 광학소자를 기록하기 위한 실험환경에 파장다중화 기록 방법과 공간다중화 기록방법을 적용하여 총천연색 홀로그램 기록과 대면적 기록을 가능하게 하는 방법에 대해 논한다. 제안된 렌즈어레이 홀로그래픽 광학소자의 특성을 재생실험을 통해 평가한다. 제안된 구조에서 재생된 집적영상을 통해 렌즈어레이 홀로그래픽 광학소자가 증강현실 기술에 적용하기 적합한 광학적으로 투명한 특성을 만족시키면서 총천연색의 삼차원 가상영상을 재생 가능함을 검증한다. 제안된 렌즈어레이 홀로그래픽 광학소자를 통해 재생되는 영상의 관찰특성들을 렌즈어레이 홀로그래픽 광학소자의 광학변수들을 이용하여 평가하며, 이를 이용해 제안된 방법이 이차원/삼차원 투명스크린으로 사용될 수 있는 가능성을 제시한다. 이차원과 삼차원 투명스크린 역할을 할 수 있는 두 개의 서로 다른 사양의 렌즈어레이 홀로그래픽 광학소자들을 제작한다. 이 두 렌즈어레이 홀로그래픽 광학소자들은 재생실험의 결과를 통해 이차원/삼차원 투명 스크린으로 응용할 수 있음을 보이며, 이 때 재생되는 영상들의 관찰 특성들을 평가한다. 또한 외부의 이미지 프로젝터 등의 광변조장치를 통해 제공되는 영상정보를 사용하여 렌즈어레이 홀로그래픽 광학소자 상에서 동적 삼차원 가상영상을 재생하는 방법을 제시한다. 동적 요소영상을 컴퓨터 그래픽스를 이용하여 제작하였으며, 제안된 렌즈어레이 홀로그래픽 광학소자가 동적 삼차원 가상영상을 재생할 수 있음을 실험적으로 검증한다. The novel holographic recording techniques suggested in this dissertation are experimentally investigated to improve the limitations of conventional autostereoscopic three-dimensional (3D) displays. Two types of holographic recording techniques for implementing novel autostereoscopic 3D imaging methods are presented in this dissertation work: i) hogel overlapping method for enhancing lateral resolution of a holographic stereogram, and ii) lens-array holographic optical element (HOE) for providing a see-through property in an integral imaging method. Photopolymer film is used as a holographic material in this work. Dosage responses of a single wavelength and a three-wavelength multiplexed hologram recorded in the photopolymer film are presented. See-through property and diffraction efficiencies of the three-wavelength multiplexed hologram recorded in the photopolymer film are evaluated by the display experiments. Additionally, shrinkage of the photopolymer film is theoretically analyzed and measured by the experiments. The hogel overlapping method for a holographic printing technique is proposed to enhance the lateral resolution of holographic stereograms. A numerical analysis by computer simulation shows that there is a limitation on decreasing the hogel size while recording holographic stereograms. Instead of reducing the size of hogel, the lateral resolution of holographic stereograms can be improved by printing overlapped hogels. An experimental setup for holographic printing is built, and two holographic stereograms using the conventional and proposed overlapping methods are recorded, respectively. The resultant images from the experimentally generated holographic stereograms make a comparison between the conventional and proposed methods. The experimental results confirm that the proposed hogel overlapping method improves the lateral resolution of holographic stereograms compared to the conventional holographic printing method. The lens-array HOE is suggested for a see-through 3D imaging based on the integral imaging. The full-color lens-array HOE provides a see-through property with three-dimensional virtual images. An HOE recording setup is built, and the full-color lens-array HOEs are recorded by using holographic recording techniques of a spatial and wavelength multiplexing. The experimental results confirm that the suggested method can provide the full-color 3D virtual images with the see-through property. The viewing characteristics of the presented autostereoscopic 3D display are evaluated by the optical parameters of the lens-array HOE. Two lens-array HOEs with different optical parameters are fabricated to have both functions of the two-dimensional (2D) and 3D transparent screens. Display experiments for the 2D and 3D imaging on the proposed transparent screens are carried out, and the viewing characteristics in both cases are discussed. The autostereoscopic 3D display using the lens-array HOE can provide dynamic 3D virtual images because it has an external spatial light modulator. The dynamic elemental images are generated by computer graphics, and the feasibility of displaying the dynamic 3D virtual images on the lens-array HOE is experimentally verified.

Binocular Three-Dimensional Computational Near-Eye Displays with Wide Depth Range

유동헌 서울대학교 대학원 2023 국내박사

The COVID-19 pandemic has led to a surge in demand for non-face-to-face communication, making it a mainstream method. This has brought the concept of the metaverse, a digitized virtual world, to the forefront. Many IT companies are investing in hardware and software platforms for the metaverse, but there are still challenges to overcome in order to create a virtual world that is indistinguishable from reality. One such challenge is the development of a near-eye display that supports accommodation responses, allowing for a perceptually realistic virtual world. However, most commercialized near-eye displays are unable to do this. This dissertation presents two high-fidelity binocular computational near-eye displays that provide focus cues over a wide depth range, addressing this issue. To solve the issue of limited focus cue fidelity in near-eye displays, the author proposes a binocular head-mounted display that utilizes a multifocal display methodology to provide highly reliable focus cues over a wide depth range. The system utilizes a fast, low-resolution binary backlight, a liquid crystal display panel, and a focus-tunable lens to decompose three-dimensional volumes from 18 cm to optical infinity into smaller focal blocks rather than traditional focal planes, resulting in higher image quality than multifocal displays with 4 and 6 focal planes. This approach overcomes the limitations of traditional multifocal displays, which are constrained by the density of focal planes and the size or refresh rate of the system. A proof-of-concept prototype of the system has been developed, and simulation and experimental results are presented to validate its effectiveness. In the second part of this dissertation, the author presents the design of a high-fidelity binocular holographic near-field display. The chapter is divided into three main sections. The first section proposes a hologram optimization algorithm to enable the holographic display to reconstruct high-quality three-dimensional images and support various accommodative states. The second section presents a non-iterative hologram generation algorithm that utilizes neural networks to compensate for spatially varying aberrations, improving the image quality of the holographic display. The final section combines these algorithms with a MEMS-based phase modulator to create a high-fidelity holographic binocular near-eye display system. Experimental results are provided to demonstrate the feasibility of these approaches. The author believes in the potential of the metaverse and hopes this dissertation can help realize an indistinguishable metaverse from our physical world via near-eye displays. 코로나19 팬데믹으로 비대면 소통에 대한 수요가 급증하면서, 이제 비대면 소통은 하나의 주류화된 방식으로 자리잡게 되었다. 이에 따라 메타버스라는 디지털화된 가상의 세계가 대중의 주목을 받게 되었으며, 많은 IT 기업들은 메타버스의 잠재적인 가능성에 주목하여 메타버스를 위한 하드웨어 및 소프트웨어 플랫폼에 많은 투자를 하고 있다. 그러나 현실 세계와 구별할 수 없을 만큼 정교한 가상의 세계를 구현하기까지는 아직까지 해결해야할 많은 과제가 남아 있다. 특히, 메타버스에 접속하기 위한 주요한 하드웨어 플랫폼 중의 하나인 근안 디스플레이가 초실감적인 가상 세계를 구축할 수 있으려면 다양한 초점 상태를 지원할 수 있어야 한다. 하지만 지금까지 상용화된 대부분의 근안 디스플레이는 그렇지 못하다. 본 박사학위 논문에서는 이 문제를 해결하기 위해, 넓은 깊이 범위에서 초점 신호를 제공하는 두 개의 고신뢰도 양안 근안 디스플레이를 제시한다. 먼저, 저자는 다초점 디스플레이의 원리를 활용하여 넓은 깊이 범위에서 고신뢰도의 초점 신호를 제공하는 양안 머리 착용형 디스플레이를 설계한다. 통상적으로 다초점 디스플레이는 3차원 볼륨을 2차원 평면들의 집합으로 모사하기 때문에 초점 신호 충실도는 초점면의 밀도에 의해 좌우된다. 그러나 이 초점면 밀도는 시스템의 크기 혹은 디스플레이의 주사율과 밀접하게 연결되어 있어 쉽게 높일 수 없다. 저자는 빠르지만 저해상도를 지닌 바이너리 백라이트, 액정 표시 패널, 그리고 가변 초점 렌즈를 사용하여 이러한 한계를 극복한다. 이 시스템은 18 cm에서 광학적으로 무한대까지의 3차원 볼륨을 기존의 초점면이 아닌 더 작은 초점 블록들로 분해하여 4개 및 6개의 초점면을 가진 다초점 디스플레이보다 높은 영상 품질을 달성한다. 저자는 본 개념을 증명하는 프로토타입을 구축하고, 시뮬레이션 및 실험 결과를 제시함으로써 이 시스템을 검증한다. 두 번째로, 저자는 고신뢰도의 양안 홀로그래픽 근안 디스플레이를 설계한다. 본 챕터는 크게 세 가지 파트로 나누어져 있다. 첫 번째 파트에서 저자는 홀로그래픽 디스플레이가 고품질의 3차원 이미지를 재생하고 동시에 다양한 초점 상태를 지원할 수 있도록 하는 홀로그램 최적화 알고리즘을 제안한다. 두 번째 파트에서 저자는 인공 신경망을 활용하는 것으로 공간적으로 변하는 수차를 보상하여 홀로그래픽 디스플레이의 영상 품질을 향상시킬 수 있는 비반복적 홀로그램 생성 알고리즘을 제안한다. 마지막으로, 위의 알고리즘에 더해 MEMS 기반 위상 변조기를 사용하여 고신뢰도의 홀로그래픽 양안 근안 디스플레이 시스템을 구축한다. 저자는 모든 파트에 대해 실험 결과를 제시하여 그들의 실현 가능성을 확인한다. 저자는 메타버스의 가능성을 믿으며, 본 박사학위 논문이 근안 디스플레이를 통해 우리의 물리적 세계와 구별할 수 없는 메타버스를 구현하는 데 도움이 되기를 희망한다.