응시 상호작용을 이용한 증강현실 시스템에 관한 연구

다국어 초록 (Multilingual Abstract)

This study examines the realization of wearable augmented reality system based on vision with gaze interaction. The augmented reality system based on vision is not the method using equipment such as a position tracker, a gyroscope, and GPS (Global Positioning System) etc. but the technology supposing the location and direction of a camera in real time based on two-dimensional images entered into a camera. The wearable computer system basically consists of a small size PC, an input device, and an output device. The output device for this study is HMD (Head Mounted Device). HMD is the most typically used device in the wearable computer system. In the augmented reality environment, the coordinate system virtually made is matched after calculating the coordinate system of real environment by using inputted information through the input device of camera and so on. If printing out this on HMD, the user experiences augmented reality environment by the compositeness of real world and virtual world. Most of the previous studies were progressed from the view using various devices by the hand for the user’s input. S. Feiner’s system consists of HMD, GPS, and a touch screen and so the user can check the information about the building through HMD while going around the campus in University. In this study, because the user controls the touch screen with both hands, the problem that the user cannot use one’s hand occurs. And also, as the user continuously controls it with hands and moves, wearability and mobility are also reduced. In other words, the act of the interaction using a device has a demerit of requiring the interaction between the attachment and the control of the device. For solving this problem, the method of not the interaction based on the device but the interaction based on the user’s gesture is being researched. The method based on the gesture has advantages that the equipment attaching to the user’s body can be reduced and users can immediately interact when they want. In V. Buchmann’s study, the hand is found in the camera scope which the user watches and the interactions of the move, choice, rotation etc. are realized by the hand’s specific pattern, the number of fingers, and the movement. However, there are problems which the body part cannot be used as the purpose except for the interaction and of kinetic constraints. To solve these problems, the study on the face part, especially the eyes is needed in the wearable computer system. If employing the system using pupils, these constraints on the body part disappear. The interaction by the eyes can make both hands free. The studies on the eyes like this are being consistently progressed. In Z. Lieberman’s study, in order to make the system which they can use their computer and help their lives for patients having physical defects, the study using the movement and blinking of the eyes was performed. T.E. Hutchinson’s study is conducting the research on the eyes in the various interfaces on the strength of the development of HCI (Human Computer Interaction). These studies are mainly the works tracking the user’s eyes by attaching to the monitor or obtaining the information of the eyes by attaching to people’s glasses who can hardly move. The studies using by obtaining the information of this pupils are now beginning. Specially, the study on the interaction of the pupils by the attachment to HMD is being significantly investigated in the wearable computer system. As the wearable computer equipment gets lighter and smaller with the development of technology, because the ideal study is by method using the pupils in performing the studies on the simple and convenient interaction. By the development of these studies, the integration of the camera obtaining images and HMD is being tried. The researches about this are Tanriverdi’s and susan’s. In their researches, a target is gazed by using the information of the pupils and then the methods choosing the target through the accumulation of the gaze time and the blink movement of one eye are examined and the blink can be conveniently used, but the fatal and important problems that the user cannot see by closing eyes and at the moment of blinking, the pupils cannot be found occur. Moreover, in the study through gaze duration time, the problem of the judgment about the gaze of target for the choice or the natural gaze by simply moving occurs. This is called as Midas touch problem and the multiple choice work using the gaze duration and the blink is conducted for the solution. The research on half-blink movement, which people partly blink, is performed as the method for solving the problem of blink movement. The most important problem for the realization of the interaction using the pupil tracking based on HMD is the detection and the tracking of the pupils. This is because the detection and the movement of the pupils determine all results. The detection and the tracking methods of the pupils are employed in the various fields and the relevant studies have been conducted. In the wearable computer system, the size became small and the performance was improved by the development of the hardware part, but the method of the existing environment is still being used. In the existing environment, the devices such as keyboard, mouse, keypad, and touch interface etc. require for the input. Here users wear these input devices on their body parts and this brings about many constraints by involving the limitation of hands movement or the awkward movement. Furthermore, the use of the input device does not allow users freely use their hands. This study realized the effective gaze interaction system by using the movement of the pupils, the gaze duration time, and the half-blink movement based on the interaction method applying the information of the user’s pupils in the wearable computer system. The composition of this thesis is as follows. Chapter 1 is an introduction. Chapter 2 is the explanation about the general camera model, projective geometry, projective matrix estimation methods, camera calibration technique, HMD, the detection and the tracking methods using the eyes. Chapter 3 treats the system configuration and explanation for the gaze interaction, the system theory and realization purposed for half-blink movement of the eyes based on the explained theory. Chapter 4 assesses the performance of the system purposed in Chapter 3 and treats application plans for the utilization and Chapter 5 draws a conclusion.

국문 초록 (Abstract)

본 논문에서는 응시 상호작용(Gaze Interaction)을 이용한 시각기반의 착용형 증강현실(Augmented Reality) 시스템 구현에 관한 내용을 논한다. 시각기반의 증강현실 시스템은 위치추적장치(position tracker), 자이로스코프(gyroscope), 위성항법장치(GPS; Global Positioning System) 등의 장치를 부가적으로 사용하는 방법이 아닌 카메라로 입력되는 2차원 영상을 기반으로 카메라의 위치, 방향을 실시간으로 추정하는 기술이다. 착용형 컴퓨터 시스템은 기본적으로 소형PC, 입력장치 그리고 출력장치로 이루어져 있다. 연구에서 사용되는 출력장치는 HMD(Head Mounted Device)를 사용한다. HMD는 착용형 컴퓨터 시스템에서 가장 대표적으로 사용되는 장치이다. 증강현실 환경에서는 카메라 등의 입력장치를 통한 입력정보를 이용 실제 환경의 좌표계를 연산한 후에 가상으로 만들어진 좌표계를 정합하게 된다. 이를 출력장치인 HMD에 출력하면 사용자는 실세계와 가상세계의 합성으로 증강현실 환경을 경험하게 된다. 지난 연구의 대부분은 사용자의 입력을 손을 이용한 다양한 장치를 활용하는 연구가 진행되었다. S. Feiner의 시스템에서는 HMD, GPS, 터치스크린으로 구성되어서 사용자가 대학내 캠퍼스를 다니면서 건물에 대한 정보를 HMD를 통하여 확인할 수 있다. 이 연구에서는 사용자가 터치스크린을 두 손을 이용하여 조작하기 때문에 손을 사용하지 못하게 되는 문제가 발생한다. 또한 계속 손으로 조작 하면서 이동을 하게 되면서 착용성과 이동성도 떨어지게 된다. 즉, 장치를 이용한 상호작용을 하는 행위는 장치의 부착과 장치를 제어하는 상호작용이 필요하다는 단점이 있다. 이러한 문제를 해결하는 과정에서 장치 기반의 상호작용이 아닌 사용자의 제스쳐 기반의 상호작용 방법이 연구되고 있다. 제스처 기반의 방법은 사용자가 몸에 부착하게 되는 장비를 줄일 수 있고 사용자가 원할 때 즉각적으로 상호작용을 할 수 있는 장점이 있다. V. Buchmann의 연구를 보면 사용자가 바라보는 카메라 영역 안에서 손을 찾아내고 손의 특정 패턴 손가락의 개수와 움직임에 따라서 이동과 선택, 회전 등의 상호작용을 구현하였다. 하지만 신체 부위를 상호작용 외의 용도로 사용할 수 없고, 활동에 제약을 가지게 되는 문제가 있다. 이러한 문제를 해결하기 위해서 착용형 컴퓨터 시스템에서는 얼굴부위 특히 눈에 대한 연구가 필요하다. 눈동자를 이용한 시스템을 사용하게 되면 이러한 신체 부위에 대한 제약이 없어진다. 손으로 하던 상호작용을 눈으로 하면 양 손이 자유롭게 사용할 수 있다는 것이다. 이러한 눈을 이용한 연구는 지속적으로 진행되고 있다. Z. Lieberman의 연구에서는 사지가 불편한 환자를 대상으로 컴퓨터를 사용하고 생활에 도움을 줄 수 있는 시스템을 구현하기 위해서 눈의 움직임과 깜박임을 이용하는 연구가 진행 되었다. T.E. Hutchinson 의 연구는 HCI(Human Computer Interaction)의 발전에 힘입어서 다양한 인터페이스의 연구에서 눈을 이용한 연구를 진행하고 있다. 이러한 연구들은 모니터에 장착되어서 사용자의 눈을 추적한다 던지 움직이기 힘든 환자의 안경에 장착해 눈의 정보를 취득하는 작업이 주를 이루었다. 착용형 컴퓨터 시스템에서 이러한 눈동자의 정보를 취득하여 활용하는 연구는 이제 시작되고 진행되고 있는 단계이다. 특히 HMD에 장착되어서 눈동자의 상호작용하는 연구는 착용형 컴퓨터 시스템에서 더욱 중요시 되면서 연구되고 있다. 기술의 발전에 따른 착용형 컴퓨터 장비들이 경량화되고 소형화되면서 간단하고 편리하게 상호작용 하는 연구가 진행되는데 이상적인 연구가 눈동자를 이용하는 방법이기 때문이다. 이러한 연구의 발전으로 영상을 취득하는 카메라가 HMD와 일체화를 시도하고 있다. 이와 관련된 연구로는 Tanriverdi와 susan의 연구를 예로 들 수 있는데 이들 연구들에서는 눈동자의 정보를 이용하여 원하는 대상을 응시하고 응시 시간의 누적을 통하여 원하는 대상을 선택하는 방법과 한 눈의 깜박임 동작을 통해 선택하는 작업으로 진행하게 되는데 깜박임 동작은 편리하게 사용될 수 있지만 사용자가 눈을 감으면서 앞을 보지 못하게 되는 치명적인 문제가 생기게 되고, 깜박이는 순간에는 눈동자를 찾지 못하게 되는 중요한 문제가 생기게 된다. 또한 응시 지속시간을 통한 연구는 선택을 위해 원하는 대상을 바라보는지 아니면 단순히 이동하면서 바라보게 되는 것 인지에 대한 판단의 문제가 생기게 된다. 이를 마이더스 터치 문제라고 하는데 이를 해결하기 위해서 응시 지속과 깜박임을 이용한 다중 선택 작업을 수행한다. 깜박인 동작의 문제에 대해서 해결 할 수 있는 방법으로 눈을 반만 깜박이는 반 깜박임 동작에 관한 연구를 진행한다. HMD 기반의 눈동자 추적을 이용한 상호작용 구현을 위해서 가장 중요한 문제는 눈동자의 검출과 추적이다. 이는 눈동자의 검출과 움직임이 모든 결과를 결정하기 때문이다. 이러한 눈동자의 검출 및 추적 방법은 여러 분야에서 활용되고 그에 따른 연구가 진행되어 왔다. 착용형 컴퓨터 시스템에서는 하드웨어적인 발전으로 크기가 작아지고 성능이 향상되었지만, 여전히 기존 환경의 방법을 사용하고 있다. 기존 환경에서는 입력을 위해서 키보드, 마우스, 키패드, 터치인터페이스 등의 장치를 필요로 한다. 이는 사용자가 신체부위에 이러한 입력장치를 착용하게 되는데 이는 손의 움직임 제한이나 부자연스러운 동작을 수반하게 되므로 많은 제약을 가져오게 된다. 또한 입력장치의 사용은 사용자에게 손의 자유로움을 허용하지 않는다. 본 논문에서는 착용형 컴퓨터 시스템에서 사용자의 눈동자 정보를 활용한 상호작용 방법을 기반으로 눈동자의 움직임, 응시 지속시간, 반 깜박임 동작을 사용하여 효율적인 응시 상호작용 시스템을 구현하였다. 본 논문의 구성은 1장 서론에 이어, 2장에서는 일반적인 카메라 모델 및 사영기하에 대하여 설명하고 카메라 사영 행렬 추정 방법 및 카메라 교정 기법에 대하여 설명한다. 또한 HMD에 대한 설명과 눈을 이용한 검출 및 추적 기법에 대하여 설명된다. 3장에서는 설명된 이론을 바탕으로 응시 상호작용을 위한 시스템 구성과 설명, 눈의 반 깜박임 동작에 대한 제안된 시스템 이론 및 구현에 관해서 논한다. 4장에서는 3장에서 제안된 시스템의 성능을 평가하고 활용을 위한 응용방안에 대하여 논하며, 5장에서 결론을 맺는다.

목차 (Table of Contents)

• 제1장 서 론 1
• 1.1 연구배경 2
• 1.2 연구의 목적 및 내용 14
• 1.3 논문의 구성 17
• 제2장 카메라 사영 변환 및 HMD(Head Mounted Device) 18
• 2.1 증강현실 구현을 위한 좌표 변환 및 정합 19
• 2.2 이상적인 카메라 모델의 사영 기하 22
• 2.2.1 카메라 모델의 선형화 24
• 2.2.2 카메라의 내부 변수와 교정 행렬 25
• 2.2.3 카메라의 이동과 회전 27
• 2.2.4 일반적인 사영 카메라(projective camera) 모델 29
• 2.2.5 사영 카메라의 구조 및 특성 30
• 2.2.6 사영 카메라의 정사영 및 역사영 32
• 2.2.7 카메라 행렬의 분해 34
• 2.3 카메라 사영 행렬의 추정 36
• 2.3.1 대응점 관계를 이용한 카메라 행렬의 계산 36
• 2.3.2 직선 대응 관계를 이용한 카메라 행렬의 계산 38
• 2.3.3 평면 호모그래피 및 좌표계의 직교조건을 이용한 카메라 행렬의 추정 39
• 2.4 HMD(Head Mounted Device) 41
• 2.4.1 일반적인 증강현실 시스템의 구조 및 특성 41
• 2.4.2 HMD의 종류 및 특성 42
• 2.5 눈의 구조 및 시선추적 기술 45
• 2.5.1 눈의 구조 45
• 2.5.2 눈동자 영역의 검출 방법 46
• 2.5.3 눈의 시선추적 기술 49
• 2.6 기술의 응시 상호작용 증강현실 시스템의 적용 54
• 제3장 눈동자 기반의 응시 상호작용 증강현실 시스템 55
• 3.1 서 론 56
• 3.2 시스템 구성 57
• 3.3 눈의 형태 정보를 이용한 응시점 추적 알고리즘 62
• 3.3.1 눈동자 추적을 위한 전처리 62
• 3.3.2 칼만필터를 이용한 응시점 추적 기법 67
• 3.4 눈의 깜박임 동작을 이용한 사용자 상호작용 72
• 3.4.1 눈을 이용한 상호작용 72
• 3.4.2 눈동자 깜박임 73
• 3.4.3 깜박임 동작의 사용자 상호작용의 적용 74
• 3.5 응시 상호작용 기반의 증강현실 시스템 80
• 3.5.1 제안된 시스템의 눈동자 추적 카메라와 HMD의교정 81
• 3.5.2 실세계 취득 카메라와 HMD의교정 84
• 제4장 실험 및 고찰 86
• 4.1 눈동자 검출 및 추적 평가 87
• 4.2 눈의 응시 상호작용 평가 92
• 4.3 제안된 시스템의 증강현실 구현 및 응용 97
• 제5장 결 론 104
• 참 고 문 헌 109
• 국 문 초 록 120
• ABSTRACT 124