멀티모달 대규모 언어 모델과 검색 증강 생성을 결합한 실내 화재 대응 조언 시스템 개발에 관한 연구 = A Study on the Development of Indoor Fire Response Advisory System Using Multimodal LLM and Retrieval-Augmented Generation

국문 초록 (Abstract)

멀티모달 대규모 언어 모델과 검색 증강 생성을 결합한 실내 화재 대응 조언 시스템 개발에 관한 연구 이호원 컴퓨터융합전자공학과, 컴퓨터융합전자공학전공 선문대학교 일반대학원 실내 화재는 동일 면적 대비 피해가 급격히 커지고 골든타임이 짧은 재 난 유형으로, 국내 통계에 따르면 최근 10년간 주택화재 사망자 비중이 전 체 화재 사망자의 40.5~63.6%에 달한다. 현행 소방 관련 법령은 예방·시설· 대응 체계를 견고히 마련했으나, 현장 이미지로부터 상황을 분석하고 근거 기반 조언을 즉시 제공하는 지능형 보조 시스템은 여전히 부재하다. 기존 재난 대응 기술은 정적 규칙 기반 경보 시스템이나 단순 객체 탐지에 한정 되어, 화재의 확산 방향, 구조적 위험, 2차 위험 요소와 같은 복잡한 시각적 맥락을 종합적으로 해석하여 실행 가능한 지침으로 변환하는 데 명백한 한 계를 보인다. 본 연구는 이러한 기술적 공백을 메우기 위해, 실내 화재 장면 이미지를 입력으로 상황을 구조적으로 서술하고 소방 기준 및 공적 지침에 근거한 실행 가능 조언을 실시간에 가깝게 산출하는 지능형 조언 시스템 FLARE(Fire, Life, and REscue)를 제안한다. FLARE는 세 가지 핵심 모듈 로 구성된다. 첫째, 재난 이미지 생성 모듈은 Stable Diffusion 3.5 기반 텍 스트-이미지 생성과 프론티어급 멀티모달 LLM을 활용하여 시뮬레이션 기 반 이미지-설명 쌍 데이터셋을 자동으로 구축한다. 둘째, AI Advisor 모듈 은 Microsoft Phi-3.5 Vision Instruct 모델을 전체 파라미터 파인튜닝하여 재난 상황에 특화된 분석 능력을 확보하고, 검색 증강 생성(RAG) 구조를 통해 재난현장 표준작전절차(SOP), 매뉴얼 등 외부 지식과 연동하여 환각 을 억제하고 신뢰성 있는 조언을 생성한다. 셋째, 데이터베이스 체인 피드 백 구조는 사용자 평가를 [이미지-설명-조언-피드백] 형태로 축적하여 재 학습에 활용함으로써 자가 개선이 가능한 시스템을 구현한다. 성능 평가는 정량적, 정성적, 사용자 설문조사의 세 차원에서 수행되었 다. 정량적 평가 결과, 설명 데이터에서 FLARE는 기존 모델 대비 BLEU-4 405%, ROUGE-L 30.6%, BERTScore F1 26.8% 향상을 달성했으 며, 조언 데이터에서는 BLEU-4 368%, ROUGE-L 71%, BERTScore F1 116% 향상을 기록했다. 정성적 평가에서는 5개 대표 사례 분석을 통해 FLARE가 구체성, 시각적 정합성, 환각 억제 측면에서 우수하며, 특히 전기 화재 시 물 사용 금지, 전용 소화기 사용 등 상황 특화 조언을 정확히 제공 함을 확인했다. 60명 대상 설문조사에서는 88.3%가 FLARE의 설명이 우수 하다고 평가했으며, 58.3%가 조언의 품질을 선호했다. T-Test와 Wilcoxon-Test를 통한 통계적 검증 결과, 모든 지표에서 p < 0.05 수준의 유의성이 확인되었다. 본 연구는 재난 대응 분야에서 멀티모달 LLM과 RAG를 결합한 최초의 실시간 조언 생성 시스템을 제안하며, 시뮬레이션 데이터 자동 생성 파이프 라인, 도메인 특화 파인튜닝, 외부 지식 연동을 통한 신뢰성 확보, 자가 개 선 구조 설계라는 네 가지 핵심 기여를 제시한다. 향후 실제 재난 데이터 통합, 엣지 환경 최적화, 피드백 루프 실증, 고위험 도메인 특화 평가 지표 도입을 통해 FLARE는 현장 대응자의 실질적 의사결정 지원 도구로 발전 할 잠재력을 지닌다.

다국어 초록 (Multilingual Abstract)

Indoor fires are a type of disaster characterized by rapid damage escalation per unit area and extremely short golden times. According to domestic statistics, residential fires have accounted for 40.5–63.6% of all fire-related deaths over the past decade. Although current fire safety laws in Korea have established robust prevention, facility, and response frameworks, there remains a lack of intelligent support systems capable of analyzing on-site imagery and providing evidence-based, immediate guidance. Existing disaster response technologies are typically limited to static rule-based alarm systems or basic object detection, showing clear limitations in synthesizing complex visual contexts—such as fire spread direction, structural hazards, and secondary risks—into actionable operational advice. To address this technological gap, this study proposes FLARE (Fire, Life, and REscue), an intelligent advisory system that receives indoor fire scene images as input and generates structured situation descriptions and actionable guidance grounded in fire safety standards and public directives, in near real time. FLARE comprises three core modules. First, the Disaster Image Generation Module automatically constructs simulation-based image–description paired datasets using Stable Diffusion 3.5 and frontier-grade multimodal large language models. Second, the AI Advisor Module fine-tunes the Microsoft Phi-3.5 Vision Instruct model across all parameters to specialize in disaster scene analysis, integrating external knowledge sources such as standard operating procedures (SOPs) and emergency manuals through a retrieval-augmented generation (RAG) framework to suppress hallucinations and enhance reliability. Third, the Database-Chain Feedback Module accumulates user evaluations in the form of [image–description–advice–feedback] loops, enabling continual self-improvement through iterative retraining. Performance was evaluated across quantitative, qualitative, and user survey dimensions. Quantitatively, FLARE outperformed baseline models by 405% in BLEU-4, 30.6% in ROUGE-L, and 26.8% in BERTScore F1 for descriptive data, and by 368%, 71%, and 116%, respectively, for advisory data. Qualitative evaluation of five representative cases demonstrated superior specificity, visual coherence, and hallucination suppression, with FLARE correctly offering context-specific recommendations such as avoiding water use in electrical fires and employing proper extinguishers. In a survey of 60 participants, 88.3% rated FLARE’s descriptions as excellent, and 58.3% preferred its advice quality. Statistical tests (T-test and Wilcoxon test) confirmed significance across all metrics (p < 0.05). This study presents the first real-time multimodal LLM–RAG–integrated advisory system for disaster response, with four key contributions: (1) a simulation-based data generation pipeline, (2) domain-specialized fine-tuning, (3) reliability enhancement via external knowledge integration, and (4) a self-improving feedback architecture. Future work will focus on integrating real-world disaster data, optimizing for edge deployment, empirically validating the feedback loop, and introducing domain-specific high-risk evaluation metrics, advancing FLARE toward a practical decision-support tool for on-site emergency responders.

목차 (Table of Contents)

• 제1장 서론 1
• 1. 연구 배경 및 필요성 1
• 2. 연구 목적 5
• 3. 연구 범위 7
• 4. 제도적 정합성 분석 및 기술 수용의 법적 제약 11
• 1) 소방법 체계와의 정합성 11
• 2) 데이터·개인정보·위치정보 관련 법적 고려 11
• 제2장 관련 연구 13
• 1. 개요 13
• 2. 전문 도메인 특화 LLM의 적용 및 한계 14
• 3. 재난 관리 분야의 LLM 활용 동향 18
• 4. 데이터 생성 및 멀티모달 AI의 활용 21
• 5. 실내 재난 대응을 위한 지능형 시스템 연구 24
• 6. 신뢰성 확보를 위한 외부 지식 베이스 26
• 7. 본 연구의 차별성 30
• 제3장 시스템 설계 33
• 1. 시스템 설계 목적 33
• 1) 이미지 기반 실시간 상황 인식 33
• 2) 도메인 지식 연계 조언 생성 33
• 3) 실시간성 및 자가 개선 구조 확보 34
• 2. 시스템 구조 34
• 3. 재난 이미지 생성 모듈 37
• 1) 시나리오 프롬프트 자동 구성기 38
• 2) 프롬프트 기반 이미지 생성기 39
• 3) 설명 텍스트 자동 생성기 40
• 4. AI Advisor 모듈 41
• 1) 멀티모달 추론 엔진 42
• 2) 대응 조언 산출 43
• 3) 데이터베이스 체인 피드백 44
• 4) 추론 과정 45
• 5. 인터페이스 모듈 48
• 1) 입력 기능 48
• 2) 출력 기능 48
• 3) 피드백 기능 48
• 6. 시스템 구현 환경 49
• 1) 개발 환경 49
• 2) 하드웨어 사양 49
• 3) 학습 전략 50
• 제4장 성능 평가 51
• 1. 목적 51
• 1) 상황 설명 생성 성능 향상 여부 51
• 2) 조언 생성 품질 및 신뢰성 확보 여부 51
• 2. 평가 데이터셋 52
• 1) 데이터 구성 52
• 2) 데이터셋 분리 및 검증 53
• 3. 골드 스탠다드 구축 53
• 1) 시뮬레이션 이미지의 경우 53
• 2) 실제 화재 이미지의 경우 54
• 4. 평가 방법 54
• 1) 정량적 평가 방법 54
• 2) 정성적 평가 방법 55
• 5. 평가 결과 58
• 1) 설명 데이터에 대한 정량적 평가 58
• 2) 설명 데이터에 대한 정성적 평가 60
• 3) 조언 데이터에 대한 정량적 평가 83
• 4) 조언 데이터에 대한 정성적 평가 85
• 6. 설문조사 기반 평가 113
• 1) 설명 데이터 품질 평가 114
• 2) 조언 데이터 품질 평가 114
• 7. 통계적 검증 115
• 1) 설명 데이터 116
• 2) 조언 데이터 117
• 3) 종합 해석 118
• 제5장 결론 119
• 1. 연구 요약 119
• 2. 주요 연구 기여 120
• 3. 시스템 고도화 및 실용화 방향 121
• 1) 실제 재난 데이터의 통합을 통한 현실성 제고 121
• 2) 엣지 환경 최적화를 통한 현장 적용성 확보 122
• 3) 피드백 루프의 실증을 통한 자가 개선 시스템 완성 123
• 4) 고위험 도메인 특화 평가 지표의 도입 123
• 5) 사용자 인터페이스 구현 및 현장 실증 124
• 4. 최종 결론 124