증강현실 환경하에서 사용자 중심의 상호작용 지원을 위한 Natural, Tangible, Mobile 인터페이스

국문 초록 (Abstract)

증강현실은 현실에 실시간으로 가상의 개체(이미지, 텍스트, 사운드, 모션 등)를 합성하여 사용자에게 정보를 제공하는 기술이다. 증강현실의 특성인 현실감은 사용자가 현실에 중첩되어 보이는 정보를 직관적으로 쉽게 얻을 수 있게 하고 몰입 감을 높이며, 인터페이스(interface) 측면에서도 거부감을 적게 하고 이해가 용이해 사용자는 한층 강력한 상호작용과 사용자 경험(UX: user experience)을 창출한다. 다양한 분야에서 이러한 증강현실의 장점을 이용하여 사용자와의 상호작용성을 높여주기 위한 필요성이 대두되고 있다. 하지만 기존의 증강현실 콘텐츠 상호작용 기술은 콘텐츠 가시화나 단순한 형태의 조작만 제공하므로 다양한 분야에서 이용하기가 어려운 실정이다.
최근에는 키보드와 마우스와 같은 별도의 입력 장치 없이도 증강현실 공간에서 맨 손 등을 인터페이스로 사용하여 콘텐츠와 자연스럽게 상호작용할 수 있는 기술의 필요성이 증가 되고 있다. 또한 증강현실 콘텐츠에서 사용자가 원하는 형태의 정보를 검색하고 이용할 수 있는 인터페이스에 대한 필요성이 커지고 있다. 뿐만 아니라 최근 스마트폰의 발전으로 인하여 다양한 인터넷 정보를 활용하여 증강된 형태로 정보를 제공하는 증강 정보 서비스 기반의 모바일 증강현실이 각광 받고 있다.
따라서, 본 연구에서는 증강현실 환경에서 사용자 중심의 상호작용 서비스를 지원하기 위한 Natural, Tangible, Mobile 상호작용 방법을 제안한다. 첫 번째로, Depth Camera를 이용하여 사용자의 맨손 터치 및 제스처를 통해 자연스럽게 상호작용이 가능한 Natural User Interface를 제안한다. 두 번째로, RFID(radio frequency identification)를 인터페이스 기반의 필터링 및 그룹핑을 통한 정보에 대한 접근 방법을 통해 정보를 용이하게 검색하고 이용할 수 있는 Physical Query Interface 제안한다. 세 번째로 소셜 네트워크를 활용하여 친구들의 이야기와 추억 정보를 이용할 수 있는 소셜 증강현실 서비스를 제공한다. 또한 소셜 지식 기반의 소셜 협업 상호작용 기술을 이용한 Mobile Social Interface 기술을 제안한다. 제시한 상호작용 방법의 유용성을 검증하기 위하여 다양한 형태의 시나리오를 구현하고 실험 평가를 수행하였다. 마지막으로 본 연구의 결과를 요약하였고, 제안한 연구가 기여한 바를 설명하고 연구의 한계점 및 제언을 통해 향후 연구 과제를 제시한다.
본 연구에서 제안한 증강현실 환경에서 사용자 중심의 Natural, Tangible, Mobile 인터페이스 기반 상호작용기술은 기존의 증강현실 콘텐츠의 단순한 형태의 조작을 넘어서서 자연스러운 형태로 상호작용하고, 쿼리를 통해 정보를 필터링 및 그룹핑 할 수 있으며 모바일 환경에서 소셜 증강현실을 통한 상호작용 서비스를 제공해줄 수 있을 것이다. 구체적으로 본 연구를 통해서 기여한 내용은 다음과 같다.
Natural User Interface 측면에서 Depth Camera를 이용한 손과 팔 등의 가려짐 해결 및 Markerless가시화를 통해 자연스러운 형태의 증강현실 상호작용이 가능하여 사용자에게 보다 자연스러운 콘텐츠 결과를 제공해준다. 또한 Depth Camera 기반의 맨손 터치나 제스처 기반의 상호작용 방법을 통해 보다 자연스럽게 콘텐츠와 상호작용할 수 있는 방법을 제공해준다.
Physical Query Interface 측면에서 RFID Physical 인터페이스를 이용하여 이들의 조합을 통한 정확하고 유용한 형태의 정보 검색이 가능하도록 한다. 인터페이스 조합을 통한 필터링 등의 쿼리 생성을 통해 콘텐츠에 대한 접근성을 높여줌으로써 콘텐츠에 대한 접근 복잡도를 줄여준다. 인터페이스 기반의 그룹핑을 통해 사용자의 작업에 맞는 형태의 가시화 툴과 데이터를 그룹핑 해줌으로써 상호작용 용이성을 높여준다.
Mobile Social Interface 측면에서 기존 연구에서 고려하지 않았던 방대한 소셜 네트워크를 이용함으로써 사용자의 사회적인 관계를 고려한 콘텐츠를 모바일 증강현실에서 이용할 수 있도록 한다. 이를 통해 사용자에게 친구들의 이야기와 추억이 담긴 친근한 콘텐츠 정보를 제공해준다. 이를 통해 모바일 소셜 증강현실 연구의 시발점을 제공해준다.

목차 (Table of Contents)

• I. 서론 1
• 1. 연구의 필요성 1
• 2. 연구 목적 및 내용 4
• Ⅱ. 이론적 배경 7
• 1. 증강현실 7
• 1.1 증강현실의 개념 7
• 1.2 증강현실의 기술전망 9
• 1.3 증강현실의 특징 10
• 2. 스마트폰 16
• 2.1 스마트폰 개념 16
• 2.2 스마트폰의 특징 17
• 3. RFID/NFC 기술 18
• 3.1 RFID 개념 및 특징 18
• 3.2 NFC 개념 및 특징 19
• Ⅲ. 관련연구 20
• 1. Natural User Interaction 21
• 1.1 Natural AR Visualization 21
• 1.2 Paddle based Interaction 23
• 1.3 Globe based Interaction 24
• 1.4 Hand based Visualization 25
• 1.5 Natural User Interaction 기존 연구 문제점 요약 27
• 2. Physical Query Interaction 28
• 2.1 Glove based Interaction 28
• 2.2 Special Purpose Device based Interaction 30
• 2.3 Physical Query Interface based Interaction 30
• 2.4 Physical Query Interface 기존 연구 문제점 요약 32
• 3. Mobile Interaction 33
• 3.1 Collaboration&Visualization Interaction 33
• 3.2 Mobile based Touch Interaction 34
• 3.3 Multi-User based Interaction 35
• 3.4 Mobile Interaction 기존 연구 문제점 요약 38
• Ⅳ. Natural User Interface를 제공하기 위한 맨손 기반의 증강현실 상호작용 39
• 1. Markerless 기반 증강현실 콘텐츠 가시화 43
• 1.1 적응적 임계값 기반의 FAST 코너를 통한 3D Feature 추출 44
• 1.2 Kalman 필터 기반의 3D 포즈 추적 47
• 2. 손 터치 및 제스처를 통한 상호작용 49
• 2.1 3차원 증강현실 공간에서 Natural Marker의 2차원 영역 추출 50
• 2.2 맨손기반의 터치 및 제스처 영역 필터링 52
• 2.3 맨손 터치 및 제스처 인식 및 이벤트 등록 53
• 3. 증강현실 콘텐츠 가시화로 인한 사용자의 손이나 팔 등의 가려짐 문제 해결 56
• 3.1 검출된 손 영역의 잡음 필터링 57
• 3.2 자연스러운 가시화를 위한 블랜딩 처리 59
• 4. 구현 60
• 4.1 증강현실기반의 스마트 패드 서비스 60
• 4.2 증강현실기반의 게임 캐릭터 62
• 4.3 증강현실기반의 가상 모델 서비스 64
• 5. 실험 및 평가 66
• 5.1 실험 목적 및 환경 66
• 5.2 참가자 선정 66
• 5.3 실험 평가를 위한 자료 수집 66
• 5.4 작업내용 67
• 5.5 설문조사 내용 67
• 5.6 설문을 통한 분석 결과 68
• 5.7 관찰 및 인터뷰를 통한 분석 결과 69
• 5.8 기존 Natural User Interface기반 AR상호작용 연구들과의 비교 분석 결과 70
• 6. 결론 72
• Ⅴ. Tangible Interaction 지원을 위한 Physical Query Interface 73
• 1. 필터링, 그룹핑 등의 질의 처리를 위한 Physical Query Interface 소개 77
• 2. RFID 메모리 기반의 콘텐츠 정보 운용 81
• 3. Physical Query Interface 기반 상호작용 서비스 제공 85
• 3.1 정보의 체계화된 필터링, 그룹핑 등 지원을 위한 콘텐츠 정보 지식화 86
• 3.2 텐저블 인터페이스 쿼리 기반 콘텐츠 검색 87
• 3.3 텐저블 인터페이스 쿼리 기반 콘텐츠 필터링 90
• 3.4 텐저블 인터페이스 쿼리 기반 콘텐츠 그룹핑 93
• 4. 시스템 구현 98
• 4.1 아키텍처 98
• 4.2 인터페이스를 이용한 증강현실 기반의 가상 제품 콘텐츠 상호작용 101
• 4.3 복합 인터페이스를 이용한 고객용 자동차 팜플렛 102
• 5. 실험평가 105
• 5.1 실험 목적 및 환경 １０５
• 5.2 실험 참가자 １０５
• 5.3 실험 평가를 위한 자료 수집 １０５
• 5.4 작업내용 １０６
• 5.5 설문조사 내용 １０６
• 5.6 설문을 통한 분석 결과 １０７
• 5.7 관찰 및 인터뷰를 통한 분석 결과 １０８
• 5.8 기존 Physical Query Interface기반 AR 상호작용 연구들과의 비교 분석 결과 １０９
• 6. 결론 １１１
• Ⅵ. 모바일 인터페이스 기반의 소셜 증강현실 서비스 １１２
• 1. 소셜 증강현실 서비스 １１５
• 1.1 소셜 증강현실 서비스 제공을 위한 소셜 네트워크 분석 １１６
• 1.2 맞춤형 정보 기반의 모바일 AR 및 Physical UI 상호작용 １２２
• 2. 소셜 지식 기반의 모바일 AR 협업 상호작용 서비스 제공 １２５
• 2.1 소셜 상호작용을 위한 지식 모델 １２７
• 2.2 Local Space 위치 트래킹기반의 모바일 AR 상호작용 １３０
• 3. 구현 １３６
• 3.1 경복궁 관광 소셜 모바일 증강 현실 서비스 １３６
• 3.2 소셜 지식 기반의 소셜 협업 서비스 １４１
• 4. 결론 １４４
• Ⅶ. 결론 및 논의 １４５
• 1. 결과 요약 １４５
• 1.1 종합결과 요약 １４５
• 1.2 비교 결과 요약 １４７
• 2. 본 연구를 통해서 기여한 내용 １４９
• 3. 본 연구의 한계점 １５１
• 3.1 종합적인 한계점 １５１
• 3.2 세부적인 연구들의 한계점 １５１
• 4. 향후 연구내용 １５３
• 참고문헌 １５５