제스처 인터랙션 평가를 위한 설계 가이드라인 : 제스처 문헌 125편의 분석 및 가이드라인 개발과 이를 활용한 완전 자율주행 자동차 실내 제스처 사례 연구 = Design Guidelines for Gesture Interaction Evaluation : Analysis of 125 Gesture Studies, Guideline Development, and Applied Case Study on In-Vehicle Gestures for Fully Autonomous Vehicle

국문 초록 (Abstract)

본 연구의 첫 번째 목적은 먼저 125편의 제스처 문헌 분석을 실시하여 이를 바탕으로 제스처 인터랙션 평가 설계 가이드라인을 개발하여 제스처 제어 실험을 설계하고 구현하는 연구자들이 보다 효율적으로 제스처 인터랙션 평가 실험을 설계할 수 있도록 지원하는 것이다. 두 번째 목적은 개발한 제스처 인터랙션 평가 설계 가이드라인을 활용하여 실제로 완전 자율주행 자동차 실내 대형 디스플레이에 적합한 제스처 인터랙션 디자인 사례 연구를 진행해 봄으로써 개발된 제스처 인터랙션 평가 설계 가이드라인의 효용성을 입증하는 것이다.
이를 위해 먼저 1년간 125편의 제스처 문헌에 대한 체계적인 문헌 분석을 통해 제스처 및 기능 650건 이상을 포함한 5가지 제스처 인터랙션 평가 설계 요소들을 분석하였다. 제스처 인터랙션 평가 설계 요소로는 연구 분야, 평가 방법, 제스처 인식 장비, 입력 모달리티(Input Modalities), 기능 종류가 있으며 각 문헌마다 제스처 인터랙션 평가 설계 요소들을 코드로 분류하여 최종적으로 각 문헌의 연구 코드명을 도출해 내었다. 그리고 125편의 제스처 문헌 중 특정 기능에 대해 좋은 연구 결과를 얻었던 사례들을 토대로 추천 기능별 제스처 조합을 도출해 내었으며 각 연구 분야별로 새로운 제스처 인터랙션 평가 설계 시 참고가 가능한 가이드라인을 도출하였다.
다음으로 개발한 제스처 인터랙션 평가 설계 가이드라인을 활용하여 사례 연구를 진행하는데 있어 연구 분야, 평가 방법, 제스처 인식 장비, 입력 모달리티, 기능 종류를 선정하고 연구 코드를 정의하는 과정까지 수월하게 마칠 수 있었다. 그리고 최종적으로 실험을 진행한 후 완전 자율주행 자동차 실내 대형 디스플레이에 적합한 제스처 인터랙션 디자인을 도출해 낼 수 있었다. 개발된 제스처 인터랙션 평가 설계 가이드라인으로 인해 얻은 결과는 다음과 같다.
첫째, 125편의 제스처 문헌에 대한 체계적인 분석을 통해 개발된 제스처 인터랙션 평가 설계 가이드라인을 활용하여 사례 연구를 진행하는데 있어서 실험 설계 요소들을 손쉽게 판단하고 결정할 수 있었으며 이에 따라 개발된 가이드라인의 효용성을 입증할 수 있었음을 확인하였다.
둘째, 개발된 제스처 인터랙션 평가 가이드라인을 활용하여 사례 연구를 진행한 후 얻은 정성적, 정량적 평가 데이터를 기반으로 완전 자율주행 자동차 실내 대형 디스플레이에 적합한 제스처 인터랙션 디자인을 최종적으로 도출할 수 있었다. 사용자들은 익숙하지 않거나 신체적 부담이 큰 제스처에 대해 불편함과 높은 작업부하를 느끼는 것으로 나타났다. 특히 수전증과 같은 질환 보유자나 특정 동작에 트라우마가 있는 사용자들은 특정 제스처에 대해 어려움을 겪는다는 점을 확인했다. 이는 특정 기능에 대한 기본 제스처는 평소에 익숙하고 신체적, 정신적 부담이 적은 동작으로 설정하되, 질환이나 트라우마 등 부정적 요인을 유발하지 않도록 대체 제스처 옵션을 함께 제공해야 함을 알게 되었다.
후속 연구에서는 본 연구를 통해 개발된 제스처 인터랙션 평가 가이드라인을 활용하여 가장 최신으로 개발되고 있는 디스플레이, 스마트홈, 자동차 실내, 로봇, MR(Mixed reality) 등의 연구 분야에서 새롭게 제스처 인터랙션 연구를 수행한 후 가이드라인의 효용성을 입증할 수 있는 연구들이 더 많이 이루어져야 할 것이다.

다국어 초록 (Multilingual Abstract)

The primary objective of this study is to support researchers in designing efficient gesture interaction evaluation experiments by developing comprehensive design guidelines based on a systematic analysis of 125 gesture-related publications. Secondary to this, the research aims to validate the utility of these guidelines through a case study focusing on gesture interaction design optimized for large-scale interior displays in fully autonomous vehicles.
To achieve this, a systematic literature review of 125 papers was conducted over one year, resulting in the analysis of five key evaluation design elements—research field, evaluation method, gesture recognition equipment, input modality, and function type—encompassing more than 650 gesture-function mappings. Each publication was categorized by these design elements to derive specific research codes. Based on cases demonstrating superior research outcomes for specific functions, the study derived recommended gesture combinations and established guidelines applicable to various research domains.
The subsequent case study demonstrated that the proposed guidelines facilitate a seamless design process, from the selection of experimental elements to the definition of research codes. The final experimental results led to the development of a gesture interaction design suitable for large-scale displays in fully autonomous vehicles. The key findings are as follows:
First, the developed gesture interaction evaluation design guidelines effectively streamlined the decision-making process for experimental design elements in the case study, thereby confirming the practical utility and efficiency of the guidelines.
Second, based on qualitative and quantitative data obtained through the case study, an optimized interaction design for autonomous vehicle interiors was finalized. The results indicated that users experience significant discomfort and high workload when performing unfamiliar or physically demanding gestures. Notably, the study confirmed that users with specific medical conditions, such as tremors, or those with trauma related to certain movements, encounter difficulties with specific gestures. This suggests that while default gestures should be intuitive and minimize physical and mental strain, alternative gesture options must be provided to accommodate users with diverse physical or psychological needs.
Future research should continue to validate and refine these guidelines by applying them to emerging technological fields, such as smart homes, robotics, and mixed reality(MR), to further establish their universal utility.

목차 (Table of Contents)

• Part Ⅰ. 제스처 인터랙션 문헌 집대성 - 제스처 문헌 125편의 분석 - 1
• 제 1 장 서 론 2
• 1.1 제스처 인터랙션에 대한 이해 2
• 1.1.1 제스처의 정의 및 범주 2
• 1.1.2 HCI 분야에서의 제스처 인터랙션 8
• 1.1.3 제스처 인터랙션 평가 가이드라인 개발의 필요성 12
• 1.2 연구의 방법 및 진행체계 13
• 1.3 연구의 범위 및 한계점 15
• 제 2 장 연구 방법 16
• 2.1 평가 설계 요소 분석 16
• 2.1.1 연구 분야 16
• 2.1.2 평가 방법 20
• 2.1.3 제스처 인식 장비 23
• 2.1.4 입력 모달리티(Input Modalities) 27
• 2.1.5 기능 종류 29
• Part Ⅱ. 제스처 인터랙션 평가 설계 가이드라인 개발 - 연구 코드 정의, 추천 기능별 제스처 조합 도출 및 제스처 인터랙션 평가 설계 가이드라인 개발 - 33
• 제 3 장 제스처 인터랙션 평가 설계 가이드라인 개발 결과 34
• 3.1 연구 코드 정의 34
• 3.2 추천 기능별 제스처 세트 조합 37
• 3.3 가이드라인 45
• Part Ⅲ. 제스처 인터랙션 평가 설계 가이드라인 효용성 검증 - 완전 자율주행 자동차 실내 대형 디스플레이에 적합한 제스처 인터랙션 디자인 사례 연구 - 56
• 제 4 장 사례 연구 57
• 4.1 설계 요소 선정 57
• 4.2 연구의 목적 및 필요성 58
• 4.3 선행연구 검토 61
• 4.4 연구 방법 63
• 4.4.1 실험 참여자 63
• 4.4.2 실험에 사용된 실내 행위 종류와 기능 및 제스처 종류 64
• 4.4.3 실험 장비 67
• 4.4.4 설문 문항 69
• 제 5 장 평가 결과 72
• 5.1 데이터 분석 방법 72
• 5.1.1 정량적 데이터 72
• 5.1.2 정성적 데이터 74
• 5.2 데이터 분석 결과 75
• 5.2.1 평균값 분석 75
• 5.2.2 연령대별 분석 81
• 5.2.3 성별 분석 88
• 5.3 완전 자율주행 자동차 실내 대형 디스플레이에 적합한 제스처 인터랙션 디자인 96
• 제 6 장 결 론 98
• 6.1 요약 및 결론 98
• 참고문헌 100