가솔린 차량의 탄소 배출을 저감을 위한 강화학습 기반 주행 최적화 모델 = Reinforcement Learning-Based Driving Optimization Model for Carbon Emission Reduction in Gasoline Vehicle

국문 초록 (Abstract)

본 연구는 실시간 탄소 배출 저감을 목적으로, 실제 가솔린 차량에서 수집한 OBD-II 기반의 센서 데이터를 바탕으로 강화학습 기반 주행 최적화 모델을 제안한다. 최근 자동차 산업에서 친환경 기술의 수요가 높아지고 있는 가운데, 기존 연구는 연료 소비량 또는 CO₂ 배출량의 단순 예측에 집중되어 왔다. 하지만 예측 결과만으로는 운전자의 행동을 실질적으로 변화시키거나 탄소 배출을 직접적으로 줄이기 어렵다는 한계가 존재한다.

이에 본 논문에서는 Flutter로 개발된 모바일 앱과 V-Gate사의 iCar2 OBD-II 장치를 통해 10,788건의 실차 데이터를 수집하였고, 수집한 데이터는 AWS 기반의 EC2인스턴스에 Node.js기반의 API서버 환경을 통해 AWS RDS Database에 저장하였다.

수집된 데이터는 Speed, RPM, Throttle Position, Fuel Consumption, Mass Air Flow 등 총 14개의 주요 변수를 포함하며, 15초 이내 연속 구간을 그룹화하여 하나의 주행 시퀀스로 재구성하였다. 이후 결측치 및 이상치를 정제하고 정규화 및 표준화를 수행하여, 머신러닝 학습에 적합한 형태로 전처리하였다.

지도학습 단계에서는 RandomForest, XGBoost, LightGBM 모델을 활용하여 Fuel Consumption 및 계산된 탄소 배출량을 예측하였으며, 성능 평가지표로는 MAE, RMSE, R²를 사용하였다. 특히 LightGBM 모델이 가장 높은 예측 정확도를 보이며 주요 변수로는 Mass Air Flow(질량 공기 유량)과 Throttle Position을 도출하였다.

이러한 예측 결과를 기반으로, 본 연구는 강화학습 환경을 OpenAI Gym 구조로 구성하고, 행동(Action)으로는 Speed, RPM, Throttle Position의 3차원 연속 제어 공간을 설정하였다. 보상 함수는 연료 소비, 탄소 배출, 주행의 부드러움(Smoothness)을 통합한 다면적 기준으로 설계되었으며, 지도학습 모델의 예측 값을 활용해 실시간 보상을 계산하는 방식으로 정책을 학습하였다. 강화학습 알고리즘으로는 DQN(Deep Q-Network)을 기반으로 한 연속 제어 에이전트를 구현하여 500 에피소드에 걸쳐 학습을 진행하였고, RandomForest 기반의 보상 모델이 가장 높은 평균 보상값(372.98)을 기록하였다.

뿐만 아니라, Chain-of-Thought(CoT) 기반의 자기검증 기법을 도입하여 단순 수치 기반 평가를 넘어서 모델의 추론 과정의 논리적 일관성과 주행 조건별 안정성을 분석하였다. 저속/중속/고속 주행, 저부하/고부하 조건으로 나누어 성능을 재평가한 결과, LightGBM이 모든 조건에서 높은 일관성과 정확도를 보이며 최종 모델로 선정되었다.

본 연구는 다음과 같은 기여점을 가진다. 첫째, 실제 차량 데이터를 수집하고 직접 시뮬레이션 환경을 구축하여 학습 가능한 강화학습 기반 주행 최적화 모델을 설계했다는 점. 둘째, 단일 예측모델이 아닌, 예측과 행동을 통합하는 복합 AI 구조를 제안함으로써 실질적인 탄소 배출 저감 방안을 제시한 점. 셋째, CoT 기반의 자기검증을 통해 정량 지표뿐 아니라 주행 시나리오별 타당성까지 평가할 수 있는 다차원 검증 체계를 구축했다는 점이다.

목차 (Table of Contents)

• 그림 차례 iv
• 표 차례 vi
• 국문요지 vii
• 제 1 장 서 론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 2
• 제 2 장 관련연구 4
• 2.1 OBD-II 기반 차량 데이터 수집 4
• 2.1.1 OBD-II 개요 4
• 2.1.2 OBD-II 원리 5
• 2.1.3 OBD-II 데이터 기반 주행 최적화 연구 6
• 2.2 지도학습 기반 예측 7
• 2.2.1 지도학습 개요 7
• 2.2.2 지도학습 원리 7
• 2.2.3 지도학습 기반 연료 소비 예측 연구 8
• 2.3 DQN 기반 강화학습 9
• 2.3.1 DQN 기반 강화학습 개요 9
• 2.3.2 DQN 기반 강화학습 원리 10
• 2.3.3 강화학습 기반 주행 전략 최적화 연구 11
• 2.4 CoT 기반 자기검증 12
• 2.4.1 Chain-of-Thought(CoT) 개요 12
• 2.4.2 Chain-of-Thought(CoT) 원리 12
• 2.4.3 Chain-of-Thought(CoT) 기반 자기검증 적용 연구 13
• 제 3 장 설계 및 구현 14
• 3.1 시스템 구성 개요 14
• 3.2 데이터 수집 15
• 3.2.1 실차 기반 데이터 수집 환경. 15
• 3.2.2 수집 데이터 항목 및 구조 17
• 3.3 데이터 전처리 및 시퀀스 구성 18
• 3.3.1 결측치 및 이상치 처리 18
• 3.3.2 시퀀스 구성 방식 19
• 3.4 지도학습 기반 예측모델 20
• 3.4.1 회귀 모델 구성 20
• 3.4.2 성능 평가 및 SHAP 분석 22
• 3.5 강화학습 환경: Deep Q-Network Agent 23
• 3.5.1 강화학습 시뮬레이션 환경 23
• 3.5.2 보상함수 설계 25
• 3.5.3 Deep Q-Network Agent 구현 및 학습 26
• 3.6 Chain-of-Thought 기반 자기검증 26
• 3.6.1 시나리오 기반 성능 평가 26
• 3.6.2 이상치 탐지 및 패널티 적용 27
• 3.6.3 종합 점수 산정 방식 27
• 제 4 장 성능 평가 28
• 4.1 지도학습 모델 성능 비교 28
• 4.2 강화학습 성능 평가 29
• 4.3 CoT 기반 자기 검증 및 시나리오별 성능 평가 31
• 제 5 장 결론 35
• 5.1 연구 요약 35
• 5.2 연구의 기여 35
• 5.3 연구의 한계 36
• 5.4 향후 연구 방향 37
• 5.5 최종 결론 38
• 참고문헌 39
• ABSTRACT 41
• 감사의 글 43