제스처 인식을 이용한 IVI 시스템 제어 : 근접센서를 활용한 제스처 인식

정순철 한성대학교 대학원 2019 국내석사

자동차 시장은 커넥티비티, 스마트카의 보급이 확산되고 있다. 이와 병행하여 주행 중인 자동차 내부에 제어해야 할 기기들의 기능이 다양해지고 있어, 이를 제어하기 위한 방법이 기존 스위치 방식, 터치 스크린 방식을 벗어나, 음성인식, 제스처 인식 등으로 발전해 가고 있는 추세이다. 자동차 제스처 인식 시장이 인포테인먼트 시스템을 중심으로 빠르게 성장하면서 2018년부터 2024년까지 연평균 44%의 성장세를 이어갈 것이란 전망도 있다. 제스처 인식과 음성인식은 운전자가 운전 중 차량 내 기기를 제어할 때 주의 분산을 방지하기 위한 기술로 자동차 회사들이 경쟁적으로 연구하고 있는 분야이다. AI 기반 음성인식 기술은 IT기업들인 Google, Apple 등의 주도하에 자동차에 적용 중에 있으며, 제스처 인식 기술은 완성차 기업 또는 정보기기 기업들이 주도적으로 진행하고 있는 기술이다. 대부분의 기업들은 주로 카메라기반 비전센서를 이용하여 제스처를 구현하고 있다. 비전센서는 다양한 제스처를 구현 할 수 있는 장점이 있지만, 영상처리를 위하여 하드웨어 시스템의 성능이 중요하고, 조명 등 외부환경에 영향을 많이 받는 단점이 있다. 본 연구에서는 저렴한 가격으로 손쉽게 제스처를 구현할 수 있는 시스템을 개발하기 위하여 근접센서를 활용하여 진행 하였다.

차량 인포테인먼트 시스템의 포렌식 아티팩트 비교·분석

김선재 단국대학교 2026 국내석사

차량의 전장화가 고도화됨에 따라 차량 내부의 전자 제어 장치와 정보 시스템에서는 다양한 디지털 데이터가 생성되며, 이는 교통사고 조사 및 범죄 수사에서 활용 가능한 중요한 디지털 증거가 되고 있다. 특히 차량 인포테인먼트 시스템은 위치 정보, 통신 기록, 내비게이션 경로, 사용자 상호 작용 활동 등 운전자 행위와 차량 운행 특성을 반영하는 정보를 포함하고 있어 차량 디지털포렌식의 핵심 분석 대상이다. 그러나 차량 인포테인먼트 시스템의 포렌식 분석에는 다음의 한계점이 존재한다. 첫째, 차량 제조사·모델 및 적용된 운영체제와 소프트웨어 아키텍처에 따라 저장되는 데이터의 유형과 형식이 상이하여 일관된 포렌식 절차를 적용하기 어렵다. 둘째, 포렌식 아티팩트를 체계적으로 수집·분석하기 위한 표준화 된 가이드라인과 절차가 부족한 실정이다. 본 논문에서는 현대·기아자동차의 대표적인 두 인포테인먼트 플랫폼을 대상으로 디지털포렌식에 대한 비교·분석 연구를 수행하였다. 분석 대상은 안드로이드 OS 기반의 표준형 5W 인포테인먼트 시스템과 현대자동차에서 자체 개발한 ccOS 기반의 ccNC 인포테인먼트 시스템이다. 두 시템에서 생성되는 로그 데이터를 수집·정제하고, 운영체제 구조 차이에 따른 로그 생성 방식, 이벤트 기록 범위, 사용자·차량 정보의 표현 방식 차이를 체계적으로 비교·분석하였다. 또한 포렌식 아티팩트 간 연관성을 활용하여 차량 운행 시나리오를 재구성함으로써 각 시스템이 제공하는 포렌식 아티팩트의 차이점을 규명하였다. 본 논문은 서로 다른 두 인포테인먼트 플랫폼의 포렌식 아티팩트를 비교·분석함으로써 향후 차량 인포테인먼트 시스템에 대한 포렌식 자동화 및 표준화 연구에 기초 자료를 제공하고, 실무에서의 도전적인 이슈를 제시한다.

차량 세대별 IVI 시스템의 펌웨어 보안 분석 및 업데이트 메커니즘 우회

푸레브바타르 순천향대학교 일반대학원 2025 국내석사

차량이 지능적이고 상호 연결된 플랫폼으로 계속 진화함에 따라, 차량 내 인포테인먼트 시스템(IVI, In-Vehicle Infotainment)은 사용자 경험 향상, 내비게이션, 미디어 제어, 차량 시스템 통합 등을 제공하는 핵심 구성 요소로 자리 잡고 있다. 그러나 이러한 시스템의 복잡성이 증가함에 따라, 특히 펌웨어 업데이트 메커니즘에서 심각한 보안 문제가 발생하고 있다. 본 논문은 2016년부터 2021년 사이에 출시된 세 가지 상용 차량에 탑재된 IVI 시스템을 대상으로, 역공학 및 펌웨어 보안 분석을 수행하였다. 먼저, 공식적인 펌웨어 획득 방법을 조사하고, 업데이트 패키지를 분석하여 시스템 구조, 암호화 방식, 검증 절차 등을 파악하였다. 또한 부트로더와 업데이트 데몬 등 주요 바이너리 구성 요소에 대한 분석을 통해 해시 검증, 키 관리, 권한 제어 등의 취약점을 식별하였다. 본 연구는 펌웨어 무결성 검사를 우회하고, 암호화된 업데이트 패키지를 복호화하며, 시스템 파티션을 수정하는 실제 기법을 제시한다. 최신 세대 시스템에서는 엔지니어링 모드 및 UART 포트와 같은 숨겨진 개발자 인터페이스를 통해 보다 깊은 수준의 시스템 접근과 펌웨어 조작이 가능함을 입증하였다. 본 연구는 체계적인 역공학, 펌웨어 추출, 실제 차량 테스트를 통해 IVI 플랫폼에서 노출되는 공격 지점을 규명하고, 이러한 취약점이 자동차 사이버 보안에 미치는 영향을 분석한다. 아울러 차량 세대 간 일관된 보안 업데이트 표준의 부재를 지적하며, 향후 자동차 시스템에는 강력한 펌웨어 인증, 견고한 암호화 방식, 그리고 강화된 시스템 보안 메커니즘의 도입이 필요함을 강조한다. As vehicles continue to evolve into intelligent and interconnected platforms, In-Vehicle Infotainment (IVI) systems have become central to delivering enhanced user experiences, including navigation, media control, and integration with core vehicle functions. However, their growing complexity introduces critical security challenges, particularly within firmware update mechanisms. This thesis presents a comprehensive reverse engineering and firmware security analysis of three generations of IVI systems deployed in commercially available vehicles released between 2016 and 2021. The analysis begins by examining official firmware acquisition methods and analyzing update packages to understand system structures, encryption schemes, and verification workflows. Through binary analysis of key components—including bootloaders and update daemons—this research uncovers vulnerabilities in hash verification, key management, and privilege enforcement. Practical methods are demonstrated for bypassing firmware integrity checks, decrypting update packages, and modifying system partitions. In later-generation systems, hidden developer interfaces such as UART ports and Engineering Mode menus are identified, enabling deeper system access and firmware manipulation. Through systematic reverse engineering, firmware extraction, and on-vehicle testing, this research exposes critical firmware-level attack surfaces and examines their implications for automotive cybersecurity. The findings highlight the absence of consistent secure update standards across vehicle generations and emphasize the urgent need for stronger firmware authentication, robust encryption, and hardened system-level protections in future automotive platforms.

스마트폰-자동차 연결 기술이 자동차 구매 결정에 미치는 영향 분석 연구 : 자동차 인포테인먼트 시스템 중심으로

이희정 고려대학교 기술경영전문대학원 2016 국내석사

최근 ICT 기술의 발달은 우리 생활에 많은 변화를 일으켰으며, 지금도 변화와 혁신이 진행되고 있다. 그 중에서도 스마트 폰으로 인한 ICT 기술의 혁신은 짧은 시간동안 우리의 주변 환경에 매우 큰 영향을 미치고 있다. 이러한 변화는 우리가 가지고 있는 생각과 가치관에도 변화를 일으켰으며, 변화된 생각과 가치관으로 인해 제품을 구매하는 소비자들의 제품 구매결정과정에도 많은 영향을 미치게 되었다. 반면에 자동차 산업은 과거 이동수단의 혁신으로써 우리의 삶에 많은 변화를 주었다. 그러나 오랜 시간 동안 자동차가 주었던 가치는 크게 변화되지 않았으며, ICT 기술의 혁신으로 인해 영향을 받은 소비자의 생각과 가치관의 변화와 더불어 이제는 자동차의 새로운 가치가 요구되는 시대적 변화의 시기가 되었다. 이러한 변화와 더불어 ICT 기술이 자동차에 적용되고 있으며, ICT 기술과 자동차 기술의 융합을 통해 진보된 자동차인 스마트 카의 수요와 시장이 빠르게 성장하고 있다. 이는 스마트 폰의 초기 성장기를 떠올릴 정도로 매우 큰 변화와 성장을 보여주고 있으며, 이러한 변화와 더불어 자동차 산업은 더 이상 기존 운송수단으로써의 가치로는 ICT 환경에 영향을 받은 소비자의 욕구를 충족시켜주지 못하게 되었다. 이제 ICT 기술과 자동차 기술의 융합을 통해 새로운 가치를 제공하는 자동차만이 변화된 소비자의 욕구를 만족시킬 수 있는 시기가 다가온 것이다. 이러한 ICT 기술이 융합된 자동차의 기능들 중 멀티미디어, 자동차 주행 정보, 안전기능, 텔레메틱스 기능이 융합된 자동차 인포테인먼트 시스템은 변화된 소비자의 욕구를 높은 수준으로 충족시켜 주는 스마트 카의 일부분이다. 특히 자동차 인포테인먼트 시스템에 적용된 기술들 중 스마트 폰-자동차 연결 기술을 통해 소비자는 일상생활에서 누리던 스마트 폰 서비스를 운전 중에도 사용하게 되었다. 이와 같이 스마트폰-자동차 연결 기술은 기존에 없었던 새로운 가치와 서비스를 창출해 내고 있다. 스마트 카 분야에서 가장 직접적으로 운전자와 접촉하며, ICT 기술과 자동차 기술의 융합이 가장 빠르게 진행되고 있는 인포테인먼트 시스템의 스마트 폰-자동차 연결 기술 분야를 중심으로 이 연결기술이 소비자에게 제공하는 새로운 가치가 ICT 환경을 통해 변화된 소비자의 자동차 구매결정과정에 어떠한 영향을 미치는지 분석해 보고자 한다. 나아가서 ICT 와 자동차 융합 기술이 자동차 구매결정에 영향을 미치는 과정을 분석하여 자동차 기업과 IT 기업이 스마트 카 산업에 대해 고려해야할 요소가 무엇인지 알아보고 통찰력 및 경쟁우위 전략을 도출하는 것에 본 연구의 의의가 있다.

운전 중 IVIS 조작 상황에서 과제의 난이도와 Motor cue가 과제 전환과 운전 주행에 미치는 영향

유은현 연세대학교 대학원 2018 국내석사

As information technology is more actively incorporated into automobiles, the role of IVIS(In-Vehicle Infotainment System) is becoming increasingly important as the main medium that provides convenience and entertainment for the drivers. However, using the infotainment systems while driving requires task switching between two tasks, as it involves attending to two visual resources simultaneously. We simulated a setting where participants have to drive while interacting with the infotainment system and examined how task difficulty and motor cues impact driver’s task-switching and driving performance, specifically whether the effect of motor cues differ depending on the task difficulty. For the infotainment display, we used two types of number array depending on the congruency between the digit repetition and the chunking unit, while task difficulty was manipulated by the size of the touch-keys. Participants were instructed to dial two numbers on the screen while we recorded the dialing time, lateral position, inter-key press intervals, and steering wheel control. We found that dialing time and lateral position was affected by task difficulty, while the type of number array had no effect. However, the inter–key press intervals between chunked numbers and the steering wheel movement both increased when participants had to dial an incongruent number array, which indicates that if number digits are repeated, chunking is ignored by the drivers. Our findings indicate that in a dual-task condition, motor cues offset the effect of chunking and that motor cues can effectively signal the timing for task switching. 최근 자동차와 IT 기술의 융합으로 차량 내 인포테인먼트 시스템이 운전자에게 편의 및 오락 기능을 제공하며 역할이 중요해지고 있다. 하지만 운전과 인포테인 먼트 시스템을 조작하는 것은 동시에 시각 리소스를 요구하는 과제로 과제를 전환 하며 수행해야 한다. 따라서 본 연구는 운전 중 인포테인먼트 시스템 조작 상황에 서 조작 과제의 난이도와 motor cue 가 과제 전환과 운전 주행능력에 미치는 영향 과 함께, motor cue 의 효과가 조작 과제의 난이도 수준에 따라 차이가 있는지 보 고자 하였다. motor cue 와 조작 과제 난이도의 효과를 살펴보기 위해 반복되는 숫 자가 청크 단위와 일치하는지에 따라 두 종류의 번호를 사용하였으며, 터치 키의 크기로 난이도 수준을 조절했다. 실험에서 참가자들은 모의 주행을 하며 스크린에 번호를 입력하도록 지시받았고, 과제 수행 중 번호 입력시간, 차선 유지능력, 숫자 키 입력 시간 간격과 핸들 움직임을 측정했다. 그 결과, 난이도 수준에 따라 운전 주행 능력과, 번호 입력 시간의 차이가 유의미했고, 번호 종류에 따른 차이는 나타 나지 않았다. 하지만 Incongruent 번호 입력 시, 청크로 구분된 두 숫자를 입력하는 시간의 간격과 핸들 움직임이 크게 증가하였다. 이는 반복된 숫자가 청크로 구분되어도 청크를 무시하고 한 번에 입력하였음을 나타낸다. 종합하면, 다중 과제 상황에서 청크 단위는 motor cue 에 의해 상쇄되며 과제 전환 시점을 결정하는 데 에 motor cue 의 효과가 있음을 시사한다.

자율주행차 탑승자의 정보 수용 및 의사결정 지원을 위한 시스템 가이드라인 연구 : 탑승자의 주변환경 정보 수용 과정을 중심으로

권수연 연세대학교 커뮤니케이션대학원 2021 국내석사

본 논문은 아직 상용화 되지 않은 자율주행 4단계 이상의 차량에서 탑승자들이 요구하게 될 정보에 대해 파악하고 인지 및 의사결정 과정에 도움이 되는 형태로서 탑승자를 지원하기 위한 시스템 디자인에 관하여 연구하였다. 자율주행이 고도화 됨에 따라 운전자의 1차 과제인 주행에서 자유로워진 차량 탑승자들은 기존에 제공받던 주행관련 정보가 아닌 새로운 정보에 대한 요구가 발생할 수 있다. 따라서 이러한 새로운 정보유형에 대한 요구를 지원하고 효과적으로 수용할 수 있도록 하기 위해 차량 시스템 인터페이스 및 인터랙션 방식을 제안하였다. 문헌 연구와 유사 사례 서비스 분석 및 사용자 리서치를 통해 제안된 새로운 시스템은 자율주행 차량 내에서 외부 환경에 존재하는 주변 정보를 효과적으로 소비하기 위한 방식을 제안하며 기존 차량과 다른 형태의 시스템-사용자 상호작용에 대한 가능성을 확인하기 위해 총 3가지의 인터페이스와 2가지의 인터랙션 방식을 제공하여 디자인된 시스템의 사용성을 평가하였다. 또한 차량의 탑승자를 인원수 별로 유형화하여 각 그룹별로 자율주행 상황에서 차량 시스템을 통한 정보 수용 및 의사결정 과정에서 어떠한 차이가 발생하는지 관찰하였으며 자율주행 차량 내에서의 최적의 정보수용 경험을 제공하기 위해서는 시스템이 어떤 시점에 어떤 역할을 해야 하는지 최종적인 가이드라인을 제시하였다. This paper identified information that would be required by occupants with four or more stages of autonomous driving that have not yet been commercialized; and conducted research on system design that would help cognition and decision-making process. As autonomous driving becomes more advanced, vehicle passengers who are free from driving, the primary task of drivers, may be required for new information rather than the driving-related information they have received. Therefore, this paper proposes a vehicle system interface and interaction method to support and effectively accommodate the needs for this new type of information. Through literature research, similar service analysis, and user research, the new system proposes a method to effectively consume peripheral information present in the external environment within self-driving vehicles; and provides a total of three interfaces and two interaction methods to verify the potential for system-user interactions with existing vehicles. This paper characterized the occupants of a vehicle by a number of people, observed the differences in the information acceptance and decision-making process through the vehicle system in autonomous driving situations, and gave final guidelines at what point the system should play in order to provide an optimal information acceptance experience within an autonomous vehicle.

텔레비전 탈장르 프로그램의 제작과정 특성에 관한 연구 : KBS 2TV <스펀지>를 중심으로

김상근 韓國外國語大學校 大學院 2006 국내박사

사용자 입력 방식과 도로 상황이 운전 경험에 미치는 효과 연구 : 차량용 음성 에이전트의 오인식 오류 회복 과정을 중심으로

이지현 연세대학교 정보대학원 2020 국내석사

Voice interface is used to control the function of vehicles and infotainment systems such as navigation, music play. This study examined whether the type of input(touch or speech) or the road circumstance(easy or hard) can affect drivers’ subjective workload, cognitive demand, error recovery time and driving performance in the misunderstanding error recovery process of the In-vehicle Voice Agent System. Based on the results, I tried to find the effective input type that could be rapidly and accurately recovered from errors while improving the driving experience for each road circumstance. For this paper, two types of driving experiments and surveys of measuring subjective workload and cognitive demand were conducted and then proceeded in-depth interview. The experiments showed that, for all dependent values excepting the main effect of input type on error recovery time and the interaction between input type and road circumstance in cognitive demand, there were main effects and interactions of input type and road circumstance. There was a significant difference in subjective workload and error recovery time, especially when the road circumstance was easy. Compared with the hard road circumstance, the easy road circumstance presented lower subjective workload ratings when participants used the speech-type and took less time to recover from errors when they used the touch-type. Meanwhile, a remarkable difference in driving performance presented when the road circumstance was hard, and the driving performance was higher when they used the speech-type. According to the analysis of in-depth interviews, participants felt more psychological anxiety and time pressure, when the road circumstance was hard. In particular, the touch-type was found to be more uncomfortable due to physical constraints. This study has academic implications finding which input type is more effective depending on the road circumstance, based on quantitative analysis through experiments and qualitative analysis through interview and observation, and analyzing its results comprehensively. Also, it has a practical implication to suggest the guidelines for the voice agent UX design to improve usability and effectively recover errors. 음성 인터페이스는 차량 기능 조작이나 내비게이션, 음악 재생 등과 같은 인포테인먼트 시스템을 조작하기 위한 인터페이스 중 하나로 활용되고 있다. 본 연구는 차량용 음성 에이전트의 오인식 오류 발생 상황에서 오류 회복을 위한 입력 방식(터치, 발화)과 도로 상황(쉬움, 어려움)이 운전자의 작업 부하(Workload)와 인지적 요구(Cognitive Demand)에 미치는 영향을 알아보고, 입력 방식별로 도로 상황에 따라 오류 회복 시간(Recovery Time)과 운전 수행도(Driving Performance)가 차이가 있는지 비교하였다. 그리고 이를 바탕으로, 도로 상황별로 운전자의 전반적인 운전 경험을 개선하면서, 오류를 빠르고 정확하게 회복할 수 있는 효과적인 오류 회복을 위한 입력 방식을 찾고자 하였다. 연구를 위하여 자동차 운전 실험과 작업 부하 및 인지적 요구에 대한 설문을 진행하였고, 실험에서 획득한 데이터를 정량적으로 분석하였다. 이후, 참가자가 운전 실험에서 보였던 행동과 심층 인터뷰 데이터를 정성적으로 분석하여 실험 결과에 대해 종합적으로 해석하였다. 실험 결과, 입력 방식이 오류 회복시간에 미치는 주효과와 입력 방식과 도로 상황이 인지적 요구에 미치는 상호 작용 효과를 제외한 모든 요인에서 유의미한 차이가 있는 것으로 나타났다. 특히 주관적 작업 부하와 오류 회복 시간의 경우, 도로 상황이 쉬울 때 입력 방식 간의 그 차이가 컸으며, 발화 입력 방식일 때 주관적 작업 부하가 낮았고, 터치 입력 방식일 때 오류 회복 시간이 짧았다. 한편 운전 수행도의 경우, 도로 상황이 어려울 때 입력 방식 간의 차이가 컸으며, 발화 입력 방식이 터치 입력 방식보다 운전 수행도가 높았던 것으로 나타났다. 참가자 인터뷰 분석 결과, 도로 상황이 어려울 때 심리적 불안감과 시간적 압박을 느끼는 것으로 응답하였으며, 특히 터치 입력 방식에서 신체적 제약 때문에 불편함이 더 큰 것으로 확인되었다. 본 연구는 실험을 통한 정량 분석과 참가자 인터뷰 및 관찰을 통한 정성 분석을 바탕으로, 차량용 음성 에이전트에서 발생한 오인식 오류 회복 과정에서 도로 상황별로 효과적인 입력 방식이 무엇인지 알아보고 그 결과에 대해 종합적으로 분석한 데에 학문적 의의가 있다. 또한, 연구 내용을 바탕으로 음성 에이전트의 오류 발생 상황에서 사용자 편의를 증대시키고 효과적으로 오류를 회복할 수 있는 UX 설계 방안을 제시한 데에도 실무적 의의가 있다.