차량 손상 탐지·복원 및 설명 가능한 수리 권고를 위한 통합 AI 시스템 = An Integrated AI System for Vehicle Damage Detection, Restoration, and Explainable Repair Recommendation

국문 초록 (Abstract)

차량 사고가 발생한 경우, 손상 여부와 범위를 확인하기 위해 정비 전문 가의 경험에 크게 의존해왔다. 그러나 이러한 방식은 시간이 오래 걸리 고 주관적 판단에 따른 편차로 인해 정확도가 일정하지 않다는 한계가 존재한다. 본 연구에서는 객체 탐지와 이미지 복원을 결합하여 손상을 자동으로 탐지하고 적절한 수리 방식을 제안하는 인공지능 기반 시스템 을 구축하였다. 먼저 YOLOv8 모델을 활용하여 차량 이미지에서 손상 부위를 탐지하였으며, 이어서 ResNet, ConvNeXt, Swin 등 다양한 백본 을 혼합한 모델을 적용하여 손상 부위의 특징을 추출하고 긁힘 (Scratched), 찌그러짐(Crushed), 파손(Breakage), 이탈(Separated) 등 주 요 손상 유형을 판별하였다. 또한 Diffusion 기반 복원 기법을 통해 손상 전 상태를 추정하는 이미지를 생성하고 SSIM, LPIPS, CLIP 유사도와 같은 지표를 활용하여 손상 정도를 정량적으로 평가하였다. 마지막으로 손상 면적, 길이, 깊이를 종합하여 Severity Index를 산출하고, 이를 기 준으로 도색(coating), 판금(sheet metal repair), 교체(exchange) 중 적절 한 수리 방법을 제안하였다. 실험 결과, 다중 백본을 결합한 모델은 단일 백본 대비 성능이 향상되어 Macro-F1 기준 약 0.74를 기록하였다. 특히 손상 면적이 30% 이상이고, SSIM이 0.5 이하이며, LPIPS가 0.6 이상인 경우 판금 복원의 필요성을 효과적으로 구별할 수 있었다. 아울러, 유사 사례 검색 기능과 GPT를 활용한 설명 보고서 및 챗봇 질의응답 모듈을 통해 결과 해석의 투명성과 사용자 신뢰성을 제고하였다. 결과적으로 본 연구는 손상 탐지 단계를 넘어 손상 종류 분류, 복원 품질 평가, 수리 방 식 권고, 설명 기능까지 통합적으로 수행하는 통합형 차량 손상 분석 프 레임워크를 제시하였다.

다국어 초록 (Multilingual Abstract)

Vehicle damage assessment after accidents has traditionally relied on the subjective judgment of repair experts, which is both time-consuming and inconsistent. To address these issues, this study proposes an AI-based system integrating object detection and image restoration to automatically identify damage and recommend appropriate repair methods. The YOLOv8 model was used to detect damaged regions in vehicle images, while a hybrid backbone combining ResNet, ConvNeXt, and Swin extracted features for classifying scratches, crushes, breakages, and separations. A diffusion-based restoration technique generated pre-damage images, and metrics such as SSIM, LPIPS, and CLIP similarity were employed to quantitatively evaluate restoration quality. A Severity Index, derived from damage area, length, and depth, guided the recommendation of coating, sheet metal repair, or replacement. Experimental results showed that the multi-backbone model outperformed single-backbone baselines, achieving a Macro-F1 score of about 0.74. Conditions such as damage area ≥ 30%, SSIM ≤ 0.5, and LPIPS ≥ 0.6 effectively indicated the necessity of sheet metal repair. In addition, similar-case retrieval and GPT-based explanatory reports with chatbot interactions improved interpretability and user trust. Overall, this study introduces an integrated vehicle damage analysis framework that goes beyond detection to include classification, restoration evaluation, repair recommendation, and explainable AI, demonstrating strong potential for application in automotive repair and insurance assessment.

목차 (Table of Contents)

• 표 목차 ⅲ
• 그림 목차ⅳ
• 국문초록 ⅵ
• 영문초록 ⅷ
• Ⅰ. 서론 1
• 1. 연구 배경 및 필요성 1
• 2. 연구 목적 및 목표 3
• 3. 연구 범위 및 한계 5
• 4. 논문 구성 8
• Ⅱ. 관련 연구 10
• 1. 차량 손상 탐지 및 연구 동향 10
• 2. 이미지 복원 11
• 3. 다중 백본 기반 특징 추출 연구 15
• 4. 손상 정량화 및 설명형 AI 연구 16
• Ⅲ. 시스템 설계 19
• 1. 전체 시스템 개요 19
• 2. 데이터 구성 및 전처리 22
• 3. 손상 탐지 모듈 (YOLOv8) 24
• 4. 복원 모듈 27
• 5 특징 추출 모듈 29
• 6 손상 분류 모듈 (MLP 분류기) 31
• 7 손상 정량화 및 수리 권고 모듈 32
• 8 유사 사례 검색 모듈 34
• 9 GPT 설명형 견적서 생성 모듈 36
• 10 AI 챗봇 질의응답 모듈 39
• 11 시스템 통합 및 최적화 42
• Ⅳ. 실험 및 결과 분석 44
• 1 실험 환경 및 데이터셋 구성 44
• 2 탐지 성능 평가 (YOLOv8) 46
• 3 복원 품질 평가 48
• 4 손상 분류 결과 52
• 5 Severity Index 검증 54
• 6 수리 유형 예측 결과 56
• 7 유사 사례 검색 기능 57
• 8 GPT 리포트 평가 60
• 9 Ablation Study 62
• Ⅴ. 결론 및 향후 연구 64
• 1. 연구 요약 64
• 2 연구 의의 65
• 3 한계점 66
• 4 향후 연구 방향 68
• 참고문헌 70