LMM 기반 흉부 X-ray RAG시스템 설계에 관한 연구 = A Study on the Design of a RAG System for Chest X-rays Using Large Multimodal Models

국문 초록 (Abstract)

흉부 X-ray 영상은 폐질환 진단에서 가장 광범위하게 활용되는 영상 데이터로, 임상 환경에서 핵심적인 진단 도구로 기능하고 있다. 이에 따라 해당 영상을 기반으로 한 자동화 진단 시스템 개발에 대한 관심이 증가하였고, 이를 위해 다양한 딥러닝 기반 접근이 시도 되어 왔다. 특히 CNN(Convolutional Neural Network) 기반의 폐질환 분류 모델은 영상 특징 추출과 병변 유무 판별에 있어 일정 수준의 성능을 확보하였으나, 모델의 판단 근거를 설명하지 못하는 ‘블랙박스(Black Box)’ 문제로 인해 실질적인 임상 적용에는 한계를 드러내고 있다. 이러한 문제를 해결하기 위해서는 사용자의 질문에 의미 기반으로 응답할 수 있는 설명 가능성(Explainability)과 문맥 정합성(Contextual Coherence)을 확보하는 질의응답 기반의 의료 AI 시스템 구현을 위한 구체적 방안이 필요하다.
이에 본 연구는 이미지와 텍스트를 통합적으로 처리할 수 있는 대규모 멀티모달 모델(Large Multimodal Model, LMM)과 의미 기반 응답 생성을 위한 검색 기반 생성(Retrieval-Augmented Generation, RAG)을 결합한 구조의 LLM 기반 흉부 X-ray 질의응답 시스템을 설계하였다. 제안된 시스템은 LLaVA-Med 1.5 모델을 기반으로 하며, 의료영상을 CLIP 기반 시각 임베딩을 통해 텍스트 판독 보고서와 동일한 벡터 공간에 맵핑한 후, 유사한 사례를 벡터 DB에서 검색하여 프롬프트에 통합하는 RAG 아키텍처로 구성되었다. 이를 통해 단순한 폐질환 분류를 넘어서, 의미 기반의 자연어 응답을 생성하고, 진단 응답의 근거를 제공할 수 있는 구조를 구현하였다.
실험은 공개 의료영상 데이터셋인 MIMIC-CXR를 기반으로 수행되었으며, 두 가지 실험 조건이 설정되었다. 첫째, View Position이 “PA(Posteroanterior)”로 설정된 전체 영상 데이터셋을 활용한 실험이며, 둘째는 라벨링 분포 기준 상위 30개 병변에 해당하는 영상만을 정제하여 구성한 고빈도 라벨 기반 데이터셋을 활용한 실험이다. 두 조건 모두에 대해 LoRA(Low-Rank Adaptation)를 적용한 Fine-Tuning을 수행하였고, 성능 평가는 BLEU, ROUGE-L, BERTScore_F1 세 가지 정량적 자연어 생성 품질 지표를 기준으로 이루어졌다.
실험 결과, 전체 데이터셋을 기반으로 학습을 진행했을 때 BLEU는 0.0456, ROUGE-L은 0.2468, 그리고 BERTScore_F1은 0.1230으로, 주로 1에서 3 epoch 구간에서 성능이 정점에 도달한 뒤, 이후 반복 학습이 진행됨에 따라 성능이 점차 하락하는 양상이 나타났다. 특히 10 epoch 시점에서는 BERTScore_F1 값이 -0.0339로 전환되며, 의미 기반의 응답 정합성이 무너지는 과적합(overfitting) 현상이 확인되었다. 반면, 고빈도 라벨을 정제하여 구성한 데이터셋을 기반으로 학습을 수행한 결과, BLEU는 약 0.0884로, 이는 모델이 생성한 문장과 정답 문장 간의 단어 수준에서의 유사도가 비교적 높다는 것을 의미한다. ROUGE-L 성능 수치는 0.3090으로, 정답 문장과 생성 문장 사이의 가장 긴 공통 부분 문자열이 일정 수준 이상 일치함을 보여주며, 문장 구조의 유사성이 잘 유지되고 있음을 나타낸다. 또한, 의미 기반의 유사도를 측정하는 BERTScore_F1 지표는 0.2194로, 모델이 생성한 응답이 의미적으로도 정답과 상당 부분 일치함을 시사한다.
또한, RAG 구조를 적용한 모델은 BLEU 및 ROUGE-L 지표에서는 미세한 감소가 있었으나, BERTScore_F1 지표에서는 성능이 유지되거나 향상되는 경향을 보였다. 이는 검색된 유사 사례가 프롬프트에 통합될 때, 응답 문장의 의미 일치도와 문맥적 설득력이 강화된다는 점을 의미한다. 특히, Top-K 유사 사례의 근거 제시 기능은 의료 질의응답과 같이 설명 가능성이 중요한 도메인에서 RAG 구조의 실용성을 보여주는 핵심적인 증거로 작용하였다.
LMM 기반 흉부 X-ray RAG 시스템을 실제로 활용 가능한지 확인하기 위해서 총 20개의 영상에 대한 RAG 시스템의 답변을 생성하였고 이를 토대로 전문가에게 Likert 5점 척도 기반으로 정성 평가를 진행하였다. 평가 항목은 “의학적 정합성”, “표현 명료성”, “임상 적용성”으로 실제 의료 환경에서 활용 가능한지를 중심적으로 평가를 수행하였다. 정성 평가 결과, 전반적으로 높은 문법적 완성도와 의료 용어 정합성을 보였으며, 특히 고빈도 병변(예: 폐렴, 결절 등)에서는 명확하고 일관된 표현을 보였다고 답변하였다. 하지만 일부 응답에서는 의료 진단으로써 명확성이 부족하였고 병변 강조의 세밀함이 미흡하다는 한계점을 지적하였다. 이러한 결과로 프롬프트 설계 시 반복적인 기술보다는 병변의 특이성을 강조할 수 있게 답변을 생성할 수 있도록 프롬프트 설계가 중요하다는 점을 분석할 수 있었다.
이러한 연구 결과를 바탕으로 다음과 같은 시사점을 도출할 수 있다.
먼저, 학술적 관점에서 본 연구는 기존 BLEU나 ROUGE-L과 같은 전통적인 텍스트 정합성 중심의 평가 방식을 넘어서, BERTScore_F1이라는 의미 기반의 평가 지표를 병행하여 모델 성능을 정밀하게 측정하였다. 이는 단순히 문장의 구조적 일치 여부만을 평가하던 기존 접근에서 벗어나, 생성된 응답이 질문에 대해 의미적으로 얼마나 적절하고 타당한지를 분석할 수 있는 평가 체계를 제시한 것이다. 이러한 시도는 Vision-Language 기반의 의료 질의응답 시스템뿐 아니라 향후 다양한 멀티모달 인공지능 모델에 적용 가능한 새로운 평가 프레임워크의 기초로 활용될 수 있다.
기술적인 측면에서 본 연구는 Fine-Tuning 과정에서 학습 성능이 무작정 epoch 수를 늘린다고 해서 향상되지 않음을 실증적으로 보여주었으며, 오히려 과도한 학습이 모델의 일반화 능력을 저하시킬 수 있음을 밝혔다. 실험 결과에 따르면, 응답의 의미 정합성이 가장 우수하게 나타나는 구간은 약 3∼5 epoch에 집중되어 있었으며, 이 시점을 기준으로 조기 종료(Early Stopping) 전략을 적용하는 것이 모델 성능을 최적화하는 데 효과적이었다. 더불어, 학습 데이터 구성에 있어서도 병변 라벨의 빈도를 고려해 고빈도 중심으로 정제된 데이터셋을 사용할 경우, 응답 품질과 학습의 안정성이 뚜렷하게 향상됨을 확인하였다. 이는 의료영상 기반의 LLM 모델 개발 시, 보다 정교하고 전략적인 Fine-Tuning 설계를 가능하게 한다는 점에서 기술적으로 유의미한 결과다.
실무적인 시사점으로는 성능 개선 방식으로 데이터의 양을 늘리는 방식이 유리하다고 여겨졌지만, 실질적인 성능에는 데이터셋의 구성과 데이터 품질이 더 큰 영향을 준다는 사실을 실증하였다. 특히 정제된 병변 중심의 라벨 데이터를 활용하고, 여기에 RAG 기반의 유사 사례 검색을 결합한 구조는 의료 현장에서 더욱 신뢰할 수 있고 설명 가능한 응답을 생성하는 데 효과적이었다. 이러한 시스템은 실제 진료 지원 도구, 의료 인력 교육 시스템, 자동 판독 보조 소프트웨어 등에 실질적으로 적용 가능하며, 현장 적합성이 높다.
더 나아가, 본 연구는 사회적 기여도 측면에서도 높은 가치를 지닌다. 의료 인공지능 시스템이 실제 임상에 적용되기 위해서는 단순히 높은 정확도만으로는 부족하며, 환자와 의료진 모두가 납득할 수 있는 ‘설명 가능성’과 ‘의미 정합성’이 중요하다. 본 연구에서 제안한 멀티모달 기반의 질의응답 시스템은 이러한 요구를 충족시키는 구조를 갖추고 있으며, 이는 향후 임상 진단 보조 시스템, 의료 교육 플랫폼, 또는 공공 보건 서비스를 위한 상담 시스템 등 다양한 실무 영역에서 기술적 기반으로 활용될 수 있다.
또한 제안된 LMM기반 RAG 시스템 구조는 의료 도메인에 한정되지 않고, 법률 문서 해석, 민원 자동응답, 기술 문서 질의응답 등과 같은 고신뢰 응답이 필요한 분야로도 확장 가능하다. 이는 멀티모달 인공지능 기술의 실용화 가능성과 함께, 향후 관련 정책 수립이나 공공부문 서비스 혁신에도 적용할 수 있는 확장성을 지닌다. 따라서 본 연구는 단순한 모델 설계를 넘어, 학문적 기여와 기술적 진보, 실용화 기반 확보라는 세 가지 측면에서 모두 의의를 갖는 실증적 연구로 평가될 수 있다.

다국어 초록 (Multilingual Abstract)

Chest X-ray imaging remains one of the most essential diagnostic tools in the clinical identification of pulmonary diseases. With the widespread availability of medical imaging data, interest has grown in the development of automated diagnostic systems using deep learning techniques. While convolutional neural networks (CNNs) have shown promising results in image-based classification tasks, their clinical implementation is often hindered by the "black box" nature of such models, which lack transparency in their decision-making processes.
To address this issue, this study presents a medical question-answering system that integrates a Large Multimodal Model (LMM) with a Retrieval-Augmented Generation (RAG) framework. The system leverages both image and text inputs to produce semantically meaningful and contextually coherent responses. Specifically, the proposed model architecture is based on LLaVA-Med 1.5, which utilizes CLIP-based image encoders to map X-ray images into a shared embedding space alongside textual radiology reports. Relevant prior cases are retrieved from a vector database and incorporated into the prompts, enabling the generation of more informative and explainable responses beyond basic disease classification.
Experiments were conducted using the publicly available MIMIC-CXR dataset under two settings: (1) using the full dataset consisting of images labeled with a posteroanterior (PA) view, and (2) a curated dataset comprising images associated with the 30 most frequently occurring disease labels. Fine-tuning was applied through Low-Rank Adaptation (LoRA), and model performance was evaluated using BLEU, ROUGE-L, and BERTScore_F1—standard metrics for assessing the quality of generated natural language.
Under the full dataset condition, the model initially achieved modest performance improvements within the first 1 to 3 epochs. During this early training phase, the BLEU score, which quantifies the degree of word-level overlap between generated and reference sentences, reached approximately 4.56%, while the ROUGE-L score, assessing the longest common subsequence in the sentences, achieved 24.68%. The BERTScore_F1, which evaluates the semantic similarity between outputs using contextual embeddings, peaked at 12.30%. However, continued training led to a performance drop due to overfitting; by the 10th epoch, BERTScore_F1 decreased sharply to -3.39%, indicating that the model's semantic understanding deteriorated with excessive training.
In contrast, training with the refined dataset focused on high-frequency disease labels yielded consistently better results across all evaluation metrics. The BLEU score increased to 8.84%, nearly doubling the performance observed with the full dataset, signifying improved lexical alignment. ROUGE-L rose to 30.90%, reflecting stronger structural similarity. Most notably, BERTScore_F1 improved significantly to 21.94%, indicating enhanced semantic fidelity in the generated responses. These findings underscore the importance of data quality and label distribution in enabling accurate and semantically relevant answer generation.
Furthermore, the inclusion of the RAG architecture led to slight reductions in surface-level similarity scores (BLEU and ROUGE-L), but BERTScore_F1 remained stable or improved, suggesting that integrating retrieved examples into the prompt strengthened the model’s ability to generate context-aware and semantically aligned answers. In high-stakes domains such as medicine, this capacity for semantic depth and contextual evidence is essential.
To assess real-world applicability, the system's responses for 20 X-ray cases were qualitatively evaluated by medical experts using a 5-point Likert scale. Evaluation criteria included medical validity, clarity, and clinical applicability. Experts reported strong grammatical accuracy and consistent use of medical terminology, especially for common conditions such as pneumonia and pulmonary nodules. Some responses, however, lacked sufficient detail or specificity, highlighting the importance of designing prompts that emphasize the unique attributes of each pathological case rather than relying on repetitive templates.
Academically, this study contributes to evaluation methodologies by integrating semantic-level metrics like BERTScore_F1 with traditional surface-level metrics such as BLEU and ROUGE-L. This comprehensive approach provides a more nuanced understanding of model performance in vision-language tasks.
From a technical perspective, the study demonstrates that increasing training epochs does not linearly improve model performance. In fact, extended training may lead to overfitting and semantic degradation. The optimal performance was observed around 3 to 5 epochs, supporting the adoption of early stopping strategies. Additionally, constructing the dataset using frequent label distribution improved both stability and quality of responses, offering practical insights for the fine-tuning of medical LLMs.
On a practical level, this research shows that the composition and refinement of training data has a more profound impact on performance than sheer data volume. The combination of label refinement and RAG-based retrieval enables the system to produce responses that are not only accurate but also explainable, making it a promising tool for clinical decision support, medical education, and automated reporting systems.
Beyond healthcare, the proposed LMM-RAG framework holds potential for application in other high-trust domains such as legal document interpretation, public service automation, and technical support systems—anywhere where explainable, semantically coherent AI responses are critical. Accordingly, this study makes a meaningful contribution to academic research, technological advancement, and practical deployment in the development of explainable multimodal AI systems.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구 배경 및 필요성 1
• 1.2 연구의 내용 2
• 1.3 논문의 구성 3
• 제 2 장 관련 연구 5
• 2.1 AI 기반 흉부 X-ray 분석 개요 5
• 2.2 LMM 개요 7
• 2.2.1 LMM 기술의 정의 7
• 2.2.2 LMM의 유형 8
• 2.2.3 LLM의 유형 11
• 2.2.4 Modality Encoder 15
• 2.2.5 Modality Fusion 19
• 2.2.6 Fine-Tuning 19
• 2.2.7 성능 평가 모델 22
• 2.3 RAG 개요 24
• 2.3.1 RAG의 정의 24
• 2.3.2 Vector DB 25
• 2.3.3 RAG 수행 과정 25
• 2.3.4 RAG 유형 27
• 2.3.5 국내·외 RAG 기술 적용 사례 29
• 2.4 의료영상 분석을 위한 딥러닝 기술에 관한 선행 연구 분석 31
• 제 3 장 LMM기반 흉부 X-ray RAG 시스템 설계 33
• 3.1 LMM기반 흉부 X-ray RAG 시스템 개요 33
• 3.2 시스템 아키텍처 33
• 3.3 학습 환경 및 데이터셋 34
• 3.3.1 학습 환경 34
• 3.3.2 데이터셋 구성 35
• 3.4 RAG 시스템 설계 40
• 3.4.1 Image Vectorization 40
• 3.4.2 RAG 파이프라인 41
• 3.5 실험방법 42
• 제 4 장 실험 결과 및 성능 평가 43
• 4.1 실험 43
• 4.1.1 실험모델 43
• 4.1.2 Fine-Tuning 전략 44
• 4.1.3 RAG 시스템 47
• 4.1.4 흉부 X-ray 판독 텍스트 기반 질의응답 생성 실험 50
• 4.2 실험 결과 53
• 4.2.1 PA View Position 기반 실험 결과 분석 53
• 4.2.2 라벨링 값 Top 30 실험 결과 54
• 4.2.3 RAG 시스템 적용 모델 성능 분석 55
• 4.3 성능 평가 분석 56
• 4.3.1 실험 성능 평가 결과 분석 56
• 4.3.2 전문가 정성 평가 및 분석 58
• 제 5 장 결론 및 시사점 63
• 5.1 결론 63
• 5.2 시사점 65
• 5.2.1 학술점 시사점 65
• 5.2.2 기술적 시사점 65
• 5.2.3 실무적 시사점 66
• 5.3 연구의 확산 및 활용 가능성 67
• 5.3.1 임상 현장 내 실질적 확산 가능성 67
• 5.3.2 의료 인공지능 인증 및 정책적 확산 기반 67
• 5.3.3 타 산업 및 도메인으로의 기술적 확산 가능성 68
• 5.3.4 산업화 및 기술이전 가능성 68
• 참고문헌 69
• Abstract 79
• 부록 83