자율주행 차량에서 혼합현실 장비 사용에 따른 운전자의 제어권 인수 반응시간 및 작업부하에 관한 연구 = A Study of the Impact of Using Mixed Reality Devices on Drivers' Reaction Time and Workloads in an Automated Vehicle

국문 초록 (Abstract)

최근 메타버스가 다양한 분야에 활용되고 있다. 그러나, 자동차 분야에서의 연구는 상대적으로 부족한 실정이다. 본 연구의 목적은 자율주행 환경에서 혼합 현실(MR) 장비가 운전자에게 미치는 영향을 분석하는 것이다. 자율주행 환경에서 운전자의 제어권 인수 시간, 작업 부하, 그리고 혼합현실 장비 사용에 대한 선호도를 측정하고 분석하여, 이러한 변수들이 운전자의 경험과 안전에 어떠한 영향을 미치는지 연구하였다. 약 6~10분 가량의 주행 시나리오를 총 4건 설계하였고, 30명의 실험대상자가 실험에 참여하였다. 실험 중 운전자는 자율주행 모드로 주행하며, 동영상을 시청하다가, 사고 발생 7초 전 제어권 인수 요청을 받았다. 혼합 현실 장비 사용 시, 운전자는 홀로그램을 통해 차량 관련 정보(속도, 엔진 회전수, 기어 위치 등), 동영상 제공 받았다. 혼합 현실 장비 미사용 시에는, 클러스터를 통해 차량 관련 정보를 받으며, 태블릿 PC를 통해 동영상을 제공 받았다. 분석 결과, 혼합 현실 장비 사용 여부에 관계 없이, 제어권 인수 시간, 작업 부하 수준에 유의한 차이가 없었다. 본 연구 결과는 자율주행 자동차에 메타버스 기술을 적용하기 위한 이론적 근거를 제공하여, 자율주행 자동차의 경쟁력 및 안전성을 향상 시킬 것으로 기대된다. 본 연구 결과를 바탕으로, 혼합 현실 장비와 메타버스 기술을 결합한 자율주행 자동차 인터페이스의 개선 방안에 대한 연구를 향후 진행할 예정이다.

다국어 초록 (Multilingual Abstract)

Despite the widespread application of metaverse in various domains, research in the automotive field remains relatively scarce. In this regard, the present study aims to analyze the impact of using Mixed Reality (MR) devices on drivers in an autonomous driving environment. More specifically, the current research focused on understanding the influence of various variables such as the driver's take-over time, workload, and preference for using MR devices in an autonomous driving context, on the driver’s experience and safety. Four driving scenarios each lasting for approximately 6 to 10 minutes were developed, and thirty participants were recruited. In the experiment, the drivers were engaged in autonomous mode while watching a video, with a take-over request made seven seconds prior to a potential collision. While using the MR devices, the drivers received vehicle information (speed, engine RPM, and gear position) and videos via holograms, and when the MR devices were not employed, the received vehicle information were received through clusters and videos via a tablet PC. The analysis revealed no significant difference in take-over times or workload levels between participants using the MR devices and those who did not. This study contributes to the theoretical basis for applying metaverse technology in autonomous vehicles, which is anticipated to enhance the competitiveness and safety of the autonomous vehicles. Based on the findings of the current study, future research would be carried out to improvise the autonomous vehicle interfaces that integrate MR devices and metaverse technology.

목차 (Table of Contents)

• 제1장 서 론 1
• 1.1 연구의 배경 및 필요성 1
• 1.2 연구 동향 2
• 1.2.1 자동차 분야에서 혼합현실 개념 관련 연구 동향 2
• 1.2.2 작업부하 관련 연구 동향 5
• 1.3 연구 목표 9
• 제2장 혼합현실 장비 사용 여부 비교를 위한 Human-in-the-loop 실험 10
• 2.1 실험 가설 10
• 2.2 독립 변수 11
• 2.2.1 혼합현실 장비 사용 여부 12
• 2.2.2 주행 환경 12
• 2.3 종속 변수 14
• 2.3.1 제어권 인수 방식 16
• 2.3.2 제어권 인수 시간 16
• 2.3.3 작업 부하 16
• 2.4 실험 시나리오 18
• 2.4.1 도심로 시나리오 18
• 2.4.2 자동차전용로 시나리오 18
• 2.5 실험 장비 20
• 2.5.1 차량 시뮬레이터 20
• 2.5.2 혼합현실 장비 21
• 2.6 실험 절차 22
• 2.7 IRB 심의 및 실험 참가자 모집 25
• 제3장 Human-in-the-loop 실험 결과 분석 28
• 3.1 분석 방법 28
• 3.2 분석 결과 29
• 3.2.1 결과 요약 29
• 3.2.2 제어권 인수 시간 비교 분석 결과 30
• 3.2.3 설문조사 데이터 분석 결과 32
• 3.2.3.1 작업부하에 대한 분석 결과 32
• 3.2.3.2 선호도 비교 분석 결과 42
• 제4장 결론 46
• 4.1 연구 결과 46
• 4.2 본 연구의 성과 48
• 4.3 향후 과제 50
• 참고 문헌 51
• Abstract 56