자율주행차 탑승자의 정보 수용 및 의사결정 지원을 위한 시스템 가이드라인 연구 : 탑승자의 주변환경 정보 수용 과정을 중심으로

권수연 연세대학교 커뮤니케이션대학원 2021 국내석사

본 논문은 아직 상용화 되지 않은 자율주행 4단계 이상의 차량에서 탑승자들이 요구하게 될 정보에 대해 파악하고 인지 및 의사결정 과정에 도움이 되는 형태로서 탑승자를 지원하기 위한 시스템 디자인에 관하여 연구하였다. 자율주행이 고도화 됨에 따라 운전자의 1차 과제인 주행에서 자유로워진 차량 탑승자들은 기존에 제공받던 주행관련 정보가 아닌 새로운 정보에 대한 요구가 발생할 수 있다. 따라서 이러한 새로운 정보유형에 대한 요구를 지원하고 효과적으로 수용할 수 있도록 하기 위해 차량 시스템 인터페이스 및 인터랙션 방식을 제안하였다. 문헌 연구와 유사 사례 서비스 분석 및 사용자 리서치를 통해 제안된 새로운 시스템은 자율주행 차량 내에서 외부 환경에 존재하는 주변 정보를 효과적으로 소비하기 위한 방식을 제안하며 기존 차량과 다른 형태의 시스템-사용자 상호작용에 대한 가능성을 확인하기 위해 총 3가지의 인터페이스와 2가지의 인터랙션 방식을 제공하여 디자인된 시스템의 사용성을 평가하였다. 또한 차량의 탑승자를 인원수 별로 유형화하여 각 그룹별로 자율주행 상황에서 차량 시스템을 통한 정보 수용 및 의사결정 과정에서 어떠한 차이가 발생하는지 관찰하였으며 자율주행 차량 내에서의 최적의 정보수용 경험을 제공하기 위해서는 시스템이 어떤 시점에 어떤 역할을 해야 하는지 최종적인 가이드라인을 제시하였다. This paper identified information that would be required by occupants with four or more stages of autonomous driving that have not yet been commercialized; and conducted research on system design that would help cognition and decision-making process. As autonomous driving becomes more advanced, vehicle passengers who are free from driving, the primary task of drivers, may be required for new information rather than the driving-related information they have received. Therefore, this paper proposes a vehicle system interface and interaction method to support and effectively accommodate the needs for this new type of information. Through literature research, similar service analysis, and user research, the new system proposes a method to effectively consume peripheral information present in the external environment within self-driving vehicles; and provides a total of three interfaces and two interaction methods to verify the potential for system-user interactions with existing vehicles. This paper characterized the occupants of a vehicle by a number of people, observed the differences in the information acceptance and decision-making process through the vehicle system in autonomous driving situations, and gave final guidelines at what point the system should play in order to provide an optimal information acceptance experience within an autonomous vehicle.

차량 내 인포테인먼트 시스템을 위한 터치 버튼 인터페이스의 사용성 평가

정수환 인천대학교 일반대학원 2021 국내석사

본 연구에서는 자동차 정보 시스템 인터페이스 연구의 일환으로 인포테인먼트 시스템의 버튼 입력 방안을 분석하였다. 최근 자동차 정보 시스템에 다양한 주행 보조, 엔터테인먼트 기능 등이 추가되고 있다. 그에 따라, 자동차와 인간과의 상호작용이 복잡해지고, 잠재적 사고 위험이 증가하고 있다. 운전자의 움직임을 최소화하고 작업량을 감소시키기 위해 터치 입력을 활용한 차량 디스플레이가 등장했다. 하지만, 터치 버튼이 물리적 버튼에 비해 작업수행도가 떨어진다는 다수 연구 결과에 따라, 현재 상용화되고 있는 차량에서는 물리적 버튼과 터치 스크린의 활용이 공존하는 과도기적인 상태이다. 따라서, 터치 스크린의 정보 표시 및 차내 터치 입력의 관점에서 일단의 연구가 추가적으로 필요한 상황이다. 본 연구에서는 이전에 연구되지 않았던 터치 버튼 모양, 배경, 버튼 및 글자의 색상 조합, 버튼 테두리의 유무가 버튼 입력 조작에 미치는 영향을 분석하였다. 총 20명의 실험 참여자가 운전 시뮬레이터 환경에서 다양한 조건의 버튼 누름 작업을 수행하였다. 작업 완료 시간, 에러율 등의 작업 수행도 측정치 이외에 실험 참여자의 아이트레킹 데이터와 작업 부하, 시스템 혼잡도, 운전 경험에 대한 다수의 데이터가 실험을 통해 수집되었으며, 정제하여 분석에 사용하였다. 분석 결과, 대각선 길이가 같은 키패드의 경우 정사각형 모양의 터치 키패드를 추천한다. 또한, 테두리와 특정 색상 조합을 사용하면 전반적인 작업 성능과 사용자 만족도에 긍정적인 영향을 미쳤다. 본 연구에서는 다양한 인터페이스 요인 중 기존에 연구되지 않았던 일부 요인(i.e., 모양, 색, 테두리)에 대하여 객관적인 지표를 활용한 상세한 설계를 진행하고 비교 분석하였다. 본 연구의 결과는 효과적인 정보 표시 및 입력을 위한 자동차 정보 시스템의 인터페이스 개발 자료로 활용될 것으로 기대된다. In recent years, various tasks, including non-driving-related tasks (NDRT), can be performed using the in-vehicle display while stopping or driving. As the automotive human-machine interface (HMI) gets more complex, the risk of potential accidents may be increasing. This study analyzed the usability of the shape, color, and border of the touch button interface, regarding the in-vehicle infotainment system. A total of twenty participants performed button presses tasks under various conditions using the driving simulator. The task completion time, the number of errors and eye tracked indices were automatically recorded with smartphone prototype and eye-tracker. Each participant subjectively rated several questionnaire items after each trial, including the NASA task load index (TLX), reduced clutter score (RCS), and driving experience measures. As a result, a square-shaped button that has a salient board is recommendable. Certain color combinations (e.g., a blue button over black background in which text is marked as white) turned out to have better performances. The results of this study are expected to be used for developing interfaces of vehicle information systems.

사용자 입력 방식과 도로 상황이 운전 경험에 미치는 효과 연구 : 차량용 음성 에이전트의 오인식 오류 회복 과정을 중심으로

이지현 연세대학교 정보대학원 2020 국내석사

Voice interface is used to control the function of vehicles and infotainment systems such as navigation, music play. This study examined whether the type of input(touch or speech) or the road circumstance(easy or hard) can affect drivers’ subjective workload, cognitive demand, error recovery time and driving performance in the misunderstanding error recovery process of the In-vehicle Voice Agent System. Based on the results, I tried to find the effective input type that could be rapidly and accurately recovered from errors while improving the driving experience for each road circumstance. For this paper, two types of driving experiments and surveys of measuring subjective workload and cognitive demand were conducted and then proceeded in-depth interview. The experiments showed that, for all dependent values excepting the main effect of input type on error recovery time and the interaction between input type and road circumstance in cognitive demand, there were main effects and interactions of input type and road circumstance. There was a significant difference in subjective workload and error recovery time, especially when the road circumstance was easy. Compared with the hard road circumstance, the easy road circumstance presented lower subjective workload ratings when participants used the speech-type and took less time to recover from errors when they used the touch-type. Meanwhile, a remarkable difference in driving performance presented when the road circumstance was hard, and the driving performance was higher when they used the speech-type. According to the analysis of in-depth interviews, participants felt more psychological anxiety and time pressure, when the road circumstance was hard. In particular, the touch-type was found to be more uncomfortable due to physical constraints. This study has academic implications finding which input type is more effective depending on the road circumstance, based on quantitative analysis through experiments and qualitative analysis through interview and observation, and analyzing its results comprehensively. Also, it has a practical implication to suggest the guidelines for the voice agent UX design to improve usability and effectively recover errors. 음성 인터페이스는 차량 기능 조작이나 내비게이션, 음악 재생 등과 같은 인포테인먼트 시스템을 조작하기 위한 인터페이스 중 하나로 활용되고 있다. 본 연구는 차량용 음성 에이전트의 오인식 오류 발생 상황에서 오류 회복을 위한 입력 방식(터치, 발화)과 도로 상황(쉬움, 어려움)이 운전자의 작업 부하(Workload)와 인지적 요구(Cognitive Demand)에 미치는 영향을 알아보고, 입력 방식별로 도로 상황에 따라 오류 회복 시간(Recovery Time)과 운전 수행도(Driving Performance)가 차이가 있는지 비교하였다. 그리고 이를 바탕으로, 도로 상황별로 운전자의 전반적인 운전 경험을 개선하면서, 오류를 빠르고 정확하게 회복할 수 있는 효과적인 오류 회복을 위한 입력 방식을 찾고자 하였다. 연구를 위하여 자동차 운전 실험과 작업 부하 및 인지적 요구에 대한 설문을 진행하였고, 실험에서 획득한 데이터를 정량적으로 분석하였다. 이후, 참가자가 운전 실험에서 보였던 행동과 심층 인터뷰 데이터를 정성적으로 분석하여 실험 결과에 대해 종합적으로 해석하였다. 실험 결과, 입력 방식이 오류 회복시간에 미치는 주효과와 입력 방식과 도로 상황이 인지적 요구에 미치는 상호 작용 효과를 제외한 모든 요인에서 유의미한 차이가 있는 것으로 나타났다. 특히 주관적 작업 부하와 오류 회복 시간의 경우, 도로 상황이 쉬울 때 입력 방식 간의 그 차이가 컸으며, 발화 입력 방식일 때 주관적 작업 부하가 낮았고, 터치 입력 방식일 때 오류 회복 시간이 짧았다. 한편 운전 수행도의 경우, 도로 상황이 어려울 때 입력 방식 간의 차이가 컸으며, 발화 입력 방식이 터치 입력 방식보다 운전 수행도가 높았던 것으로 나타났다. 참가자 인터뷰 분석 결과, 도로 상황이 어려울 때 심리적 불안감과 시간적 압박을 느끼는 것으로 응답하였으며, 특히 터치 입력 방식에서 신체적 제약 때문에 불편함이 더 큰 것으로 확인되었다. 본 연구는 실험을 통한 정량 분석과 참가자 인터뷰 및 관찰을 통한 정성 분석을 바탕으로, 차량용 음성 에이전트에서 발생한 오인식 오류 회복 과정에서 도로 상황별로 효과적인 입력 방식이 무엇인지 알아보고 그 결과에 대해 종합적으로 분석한 데에 학문적 의의가 있다. 또한, 연구 내용을 바탕으로 음성 에이전트의 오류 발생 상황에서 사용자 편의를 증대시키고 효과적으로 오류를 회복할 수 있는 UX 설계 방안을 제시한 데에도 실무적 의의가 있다.

Network Intrusion Detection and Prevention System for Connected Vehicles

Seonghoon Jeong 고려대학교 정보보호대학원 2023 국내박사

Our daily lives are getting more and more dependent on connected and autonomous vehicles (CAVs) than ever. With the evolution of connectivity and computerized automotive technology, in-vehicle infotainment (IVI) systems have become a central component of CAVs. The IVI system plays an important role in the way drivers interact with state-of-the-art vehicles to navigate, utilize convenient features, adjust autonomous driving features, and so on. A CAV is equipped with high-definition sensors to establish a perception of adjacent objects. Automotive Ethernet was proposed to replace legacy in-vehicle network technology and deal with high bandwidth in-vehicle communications. This dissertation focuses on two essential components to protect CAVs from network attacks. First, IEEE 1722 Audio/Video Transport Protocol (AVTP) is considered. IEEE 1722 is one of the crucial protocols to establish time-sensitive networking required by vehicular applications. I unveil that the protocol is exposed to packet injection attacks. To detect the attacks, I consider a convolutional neural network-based intrusion detection model. The proposed model is designed to calculate packet-by-packet anomaly scores. The experimental result shows outstanding performance—F1-score and recall are .9704 and .9949, respectively. Considering the limited computational resource of CAV, the model is designed as lightweight as possible while keeping the detection performance higher. Second, I consider an infotainment system powered by Automotive Grade Linux (AGL). Some commercialized vehicles have already suffered from zero-day attacks. Nevertheless, I have identified three new critical vulnerabilities and reported the corresponding CVEs. In addition, I confirmed two vulnerabilities inherited from the other domain. I provided mitigation strategies to enhance the security of the IVI system on Automotive Grade Linux. The impact and the consequences of infotainment system hacking follow in this dissertation, including command injection attacks and privacy/privacy-identifiable information leakage. To mitigate cyberattacks against CAVs, I propose guidelines for an intrusion prevention system (IPS) for connected vehicles. The guidelines are motivated by software-defined networking technologies. It allows a remote intrusion detection system to examine statistics of Ethernet-based in-vehicle networks. The IPS can block suspicious flows so CAVs can keep moving safely.

운전 중 IVIS 조작 상황에서 과제의 난이도와 Motor cue가 과제 전환과 운전 주행에 미치는 영향

유은현 연세대학교 대학원 2018 국내석사

As information technology is more actively incorporated into automobiles, the role of IVIS(In-Vehicle Infotainment System) is becoming increasingly important as the main medium that provides convenience and entertainment for the drivers. However, using the infotainment systems while driving requires task switching between two tasks, as it involves attending to two visual resources simultaneously. We simulated a setting where participants have to drive while interacting with the infotainment system and examined how task difficulty and motor cues impact driver’s task-switching and driving performance, specifically whether the effect of motor cues differ depending on the task difficulty. For the infotainment display, we used two types of number array depending on the congruency between the digit repetition and the chunking unit, while task difficulty was manipulated by the size of the touch-keys. Participants were instructed to dial two numbers on the screen while we recorded the dialing time, lateral position, inter-key press intervals, and steering wheel control. We found that dialing time and lateral position was affected by task difficulty, while the type of number array had no effect. However, the inter–key press intervals between chunked numbers and the steering wheel movement both increased when participants had to dial an incongruent number array, which indicates that if number digits are repeated, chunking is ignored by the drivers. Our findings indicate that in a dual-task condition, motor cues offset the effect of chunking and that motor cues can effectively signal the timing for task switching. 최근 자동차와 IT 기술의 융합으로 차량 내 인포테인먼트 시스템이 운전자에게 편의 및 오락 기능을 제공하며 역할이 중요해지고 있다. 하지만 운전과 인포테인 먼트 시스템을 조작하는 것은 동시에 시각 리소스를 요구하는 과제로 과제를 전환 하며 수행해야 한다. 따라서 본 연구는 운전 중 인포테인먼트 시스템 조작 상황에 서 조작 과제의 난이도와 motor cue 가 과제 전환과 운전 주행능력에 미치는 영향 과 함께, motor cue 의 효과가 조작 과제의 난이도 수준에 따라 차이가 있는지 보 고자 하였다. motor cue 와 조작 과제 난이도의 효과를 살펴보기 위해 반복되는 숫 자가 청크 단위와 일치하는지에 따라 두 종류의 번호를 사용하였으며, 터치 키의 크기로 난이도 수준을 조절했다. 실험에서 참가자들은 모의 주행을 하며 스크린에 번호를 입력하도록 지시받았고, 과제 수행 중 번호 입력시간, 차선 유지능력, 숫자 키 입력 시간 간격과 핸들 움직임을 측정했다. 그 결과, 난이도 수준에 따라 운전 주행 능력과, 번호 입력 시간의 차이가 유의미했고, 번호 종류에 따른 차이는 나타 나지 않았다. 하지만 Incongruent 번호 입력 시, 청크로 구분된 두 숫자를 입력하는 시간의 간격과 핸들 움직임이 크게 증가하였다. 이는 반복된 숫자가 청크로 구분되어도 청크를 무시하고 한 번에 입력하였음을 나타낸다. 종합하면, 다중 과제 상황에서 청크 단위는 motor cue 에 의해 상쇄되며 과제 전환 시점을 결정하는 데 에 motor cue 의 효과가 있음을 시사한다.

Exploring Mixed Reality Human-Machine Interfaces for Enhanced Driving Experience and Safety

김덕수 서울대학교 대학원 2026 국내석사

In vehicle infotainment systems (IVIS) are becoming more complex, which makes it harder to prototype realistic interactions and evaluate input techniques under consistent conditions. This thesis investigates mixed reality (MR) as a controlled test bench for IVIS tasks and presents a reusable MR IVIS toolchain built on Meta Quest 3 and Unity. The system renders world anchored WebView panels at fixed poses and maps modality specific inputs to a shared interaction vocabulary under the same access and closure rules. Timing anchors and interaction telemetry are logged on a single monotonic clock to support traceable analysis. The toolchain is evaluated in a seated, non driving expert study with a within subjects design (N = 6). Three input modalities are compared, Controller Ray, Hand Ray, and a desk anchored Tangible. Participants complete four IVIS tasks, Music, Navigation, HVAC, and Phone, under fixed access and completion rules and identical success conditions. Objective measures include total completion time and task specific interaction measures derived from telemetry, complemented by SUS and CTAM-Lite ratings of usability, perceived control or precision, effort, safety or trust, and intention to use. Results show strong task dependence. Hand Ray produced the longest completion times overall, with the largest gap in Navigation. Tangible was fastest in Navigation, while Controller Ray was fastest in tasks dominated by pointing and selection. Subjective ratings were similar in overall level, with Tangible rated highest for perceived control and safety or trust, and Hand Ray rated highest for intention to use. Overall, the findings suggest that modality choice should be guided by task demands and interpreted using both end to end time and task specific interaction measures. 차량 내 인포테인먼트 시스템 (IVIS) 은 점점 더 복잡해지고 있으며, 그 결과 현실적인 상호작용을 빠르게 프로토타이핑하고 일관된 조건에 서 입력 기법을 평가하는 일이 어려워지고 있습니다. 본 논문은 IVIS 과 제를 위한 통제된 평가 테스트벤치로서의 혼합현실 (MR) 을 검토하고, Meta Quest 3 와 Unity 기반의 재사용 가능한 MR IVIS 툴체인을 제안합 니다. 시스템은 고정된 자세의 월드 앵커드 WebView 패널을 렌더링하 고, 모달리티별 입력을 공통 상호작용 어휘로 매핑하며, 동일한 접근 및 종료 규칙을 적용합니다. 또한 단일 모노토닉 클록에서 타이밍 앵커와 상호작용 텔레메트리를 기록하여 추적 가능한 분석을 가능하게 합니다. 제안한 툴체인은 착석 상태의 비주행 전문가 실험에서 within subjects 설 계로 평가되었습니다 (N = 6). 세 가지 입력 모달리티, Controller Ray, Hand Ray, 그리고 책상 고정형 Tangible 을 비교하였습니다. 참가자는 고 정된 접근 및 완료 규칙과 동일한 성공 조건 하에서 네 가지 IVIS 과제, Music, Navigation, HVAC, Phone 을 수행하였습니다. 객관 지표로는 총 완료 시간과 텔레메트리 기반의 과제별 상호작용 지표를 사용하였고, 주관 지표로는 SUS 와 CTAM Lite 를 통해 사용성, 지각된 제어 또는 정 밀도, 노력, 안전 또는 신뢰, 사용 의도를 수집하였습니다. 결과는 과제 요구에 따른 강한 의존성을 보였습니다. Hand Ray 는 전 체적으로 가장 긴 완료 시간을 보였으며, 특히 Navigation 에서 차이가 가장 컸습니다. Tangible 은 Navigation 에서 가장 빠른 성능을 보였고, Controller Ray 는 포인팅과 선택이 중심인 과제에서 가장 빠른 성능을 보였습니다. 주관 평가는 전반적으로 유사한 수준이었으나, Tangible 은 지각된 제어와 안전 또는 신뢰에서 가장 높게 평가되었고, Hand Ray 는 사용 의도에서 가장 높게 평가되었습니다. 종합하면, 모달리티 선택은 과제 요구에 기반해 이루어져야 하며, 결과 해석에는 총 완료 시간과 과 제별 상호작용 지표를 함께 사용하는 것이 유용함을 시사합니다.

An Adaptive Channel Coordination Scheme for Infotainment Service in Vehicular Ad Hoc Networks : 차량 애드 혹 네트워크에서 인포테인먼트 서비스 성능 향상을 위한 채널 조정 기법

이희창 경북대학교 대학원 2014 국내석사

차량 애드 혹 네트워크(VANET, Vehicular Ad Hoc Network)는 기존의 모바일 애드 혹 네트워크(MANET, Mobile Ad Hoc Network)의 한 형태로서 고속으로 이동하는 차량에 적용하기 위한 통신기술이다. 차량 통신 네트워크는 차량과 차량 사이의 통신인 V2V(vehicle-to-vehicle)와 차량과 노변장치 사이의 통신인 V2I (vehicle-to-infrastructure)를 통해 충돌 방지, 사고 경보와 같은 운 전자 안전 정보 서비스를 제공할 뿐만 아니라 웹 브라우징, 미디어 스트리밍, 실시간 교통정보 등의 다양한 인포테인먼트 서비스를 제공할 수 있다. 그러나 IEEE 802.11p/WAVE의 장점에도 불구하고 도로 상의 차량 단말기의 수가 많아지게 되면 차량 통신 네트워크에 많은 양의 트래픽을 유발시키는 심각한 문제점을 가지고 있다. 특히 차량 통신 네트워크에서 트래픽 증가는 운전자에게 필요한 정보가 늦게 도착하게 만들거나 손실되게 할 수 있기 때문에 운전자의 차량운행에 치명적인 영향을 미칠 수 있다. 이 문제들을 해결하기 위하여 기존의 연구들에서 일종의 예약방식을 이용하여 다음 SCH 구간 동안 경쟁 없이 인포테인먼트 데이터를 전송할 수 있는 방식들을 제안하였다. 그러나 이 방식들은 예약 기간이 지난 뒤에 들어온 데이터들에 대해서는 다음 스케줄링 기간까지 기다려야 하는 문제가 있다. 또한 유연한 데이터 전송을 불가능하다는 단점을 가지고 있다. 따라서 본 논문에서는 기존의 랜덤 접근 방식의 장점을 유지하면서 채널의 충돌의 영향을 줄이는 방법에 대하여 살펴본다. 이를 위하여 CCH 구간 동안에 WSA메시지와 비콘메시지, 그리고 SCH 할당표를 이용하여 다음 SCH(service channel)을 정함으로 채널효율을 높인다. 또한, 노변장치 (RSU, roadside unit)는 이 정보를 이용하여 다음 SCH 구간 동안의 TXOP 리미트 값 및 CW 값 그리고 CCH와 SCH 구간을 조절함으로 채널 접근 충돌을 줄여 채널효율을 향상시키고 중요한 정보의 QoS를 보장하여 트래픽이 증가할 경우에도 최대한 성능을 제공할 수 있다. 더욱이, 이 방식은 기존 표준의 변경을 최소한으로 하며 CCH 구간 동안에 데이터 트래픽의 증가가 없다는 장점을 가지고 있다. 그 후 컴퓨터 시뮬레이션을 통하여 제안한 동적 채널조정방식이 기존의 IEEE 802.11p 표준보다 포화처리율과 접근지연 관점에서 보다 높은 성능을 보임을 확인하였다.