멀티모달 LLM의 환각 응답 분석과 입력 방식별 오류 특성 비교에 관한 연구 = A Study on Hallucination Response Analysis of Multimodal LLM and Error Characteristics Across Input Modalities|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Recent advances in large language models (LLMs) have led to the emergence of multimodal LLMs capable of jointly interpreting and generating information from both visual and linguistic inputs. Representative models such as GPT-4o, Gemini, Claude, and LLaVA demonstrate high performance in complex visual question answering, explanation generation, and creative reasoning tasks, thereby expanding their applicability across domains such as education, healthcare, law, and design. Despite these advancements, multimodal LLMs frequently generate responses that appear plausible yet are factually incorrect, a phenomenon commonly referred to as hallucination. This issue continues to pose a fundamental challenge to the reliability of AI systems.
In multimodal settings, hallucination errors cannot be sufficiently captured through simple correctness judgments. Errors often involve complex interactions among factors such as text–image inconsistency, overgeneralization of visual attributes, misinterpretation of user intent, and selective information bias. Prior studies have focused predominantly on hallucinations in text-only LLMs and have lacked systematic analyses of how hallucinations emerge and differ under multimodal conditions. In addition, the absence of a structured error taxonomy and the limited integration of quantitative and qualitative evaluation frameworks have constrained progress in building reliable multimodal AI systems.
To address these gaps, this study conducts a structured analysis of hallucination errors in state-of-the-art multimodal LLMs under three input conditions: text-only, image-only, and text+image. The proposed framework combines automated evaluation metrics (e.g., GPTScore, CLIPScore) with expert-based qualitative assessment. Furthermore, this study introduces a multimodal hallucination error taxonomy consisting of four core error types—factual error, interpretive error, exaggeration/distortion, and logical inconsistency—supported by a codebook and evaluation protocol. Representative response analyses are used to interpret underlying error mechanisms, including processing pathways, fusion failures, and interaction constraints between input modalities and model structure.
The results demonstrate distinct error patterns depending on input modality: text-only conditions predominantly yielded reasoning and interpretive errors, image-only conditions revealed failures in fine-grained attribute perception and contextual overgeneralization, while text+image conditions exhibited pronounced cross-modal alignment failures and information integration omissions. Notably, hallucination severity varied even under identical prompts, depending on input configuration. Model-wise comparison indicated that GPT-4o and Gemini produced more stable responses overall, whereas models such as LLaVA displayed tendencies to over-rely on visual cues or misinterpret query focus.
This study contributes in four significant ways. First, it reframes hallucination in multimodal LLMs not as a surface-level correctness issue, but as a structural phenomenon rooted in information processing and fusion mechanisms. Second, it establishes a reusable error classification and evaluation framework for future multimodal AI research. Third, it proposes targeted improvement directions for multimodal model design, including enhanced cross-modal integration, grounding stabilization, and attribute reasoning refinement. Fourth, it demonstrates the value of a combined quantitative–qualitative analysis pipeline, enabling both large-scale evaluation and in-depth interpretive insight.
Overall, the findings of this study provide foundational guidance for improving the reliability, transparency, and safety of multimodal LLM systems. As AI becomes increasingly embedded in everyday decision-making and collaborative contexts, understanding the origins and mechanisms of hallucination will be essential to developing models that are not only capable but trustworthy.

번역하기

국문 초록 (Abstract)

최근 대형언어모델(Large Language Models, 이하 LLM)의 진보는 단순한 자연어 처리 능력을 넘어 시각 정보와 언어 정보를 동시에 이해하고 생성하는 멀티모달 LLM(multimodal LLM)의 등장을 견인하고 있다[1]. GPT-4o, Gemini, Claude, LLaVA 등 대표적 멀티모달 모델들은 이미지와 텍스트를 결합한 복합 질의응답, 설명 생성, 창작 등 다양한 응용 영역에서 놀라운 성능을 보여주며 실용적 가능성을 빠르게 확장해가고 있다[2]. 이러한 기술 발전은 교육, 의료, 법률, 디자인 등 고차원의 지식 작업에도 인공지능의 활용을 가능하게 한다는 점에서 사회적 기대가 크다. 그러나 이와 동시에 멀티모달 LLM의 응답이 그럴듯하지만 사실과 어긋난 오류, 즉 환각(hallucination) 문제를 자주 발생시킨다는 점에서 신뢰성 문제는 여전히 본질적 한계로 지적되고 있다[3,4].
특히, 멀티모달 환경에서 발생하는 환각 오류는 단순히 사실과 다르다는 판단만으로는 포착되기 어렵다. 텍스트와 이미지 간 정보 불일치, 특정 속성의 과잉 일반화, 질문 의도 오해, 정보 선택 편향 등 복합적 요인이 얽혀 있어 오류의 발생 양상과 원인을 구조적으로 분석하기 어렵기 때문이다. 기존 연구들은 대부분 텍스트 기반 LLM의 환각을 정답/오답 방식으로 평가하는 데 그쳤으며 멀티모달 문맥에서 환각이 어떻게 나타나고 어떤 메커니즘에 의해 유발되는지를 체계적으로 분석한 연구는 매우 부족한 실정이다[5]. 또한, 오류 유형 분류체계의 부재, 정량·정성 평가의 미비, 입력 방식별 특성 분석의 한계로 인해 멀티모달 LLM의 신뢰성을 평가하고 개선하기 위한 기반 연구가 절실한 상황이다[6].
본 논문은 이러한 문제의식을 바탕으로 최신 멀티모달 LLM을 대상으로 한 환각 오류의 체계적 분석 및 유형화, 그리고 오류 발생 메커니즘의 실증적 규명을 목표로 한다. 구체적으로, 동일한 질문을 text-only, image-only, text+image 세 가지 입력 조건으로 나누어 실험을 설계하고 각 조건에서 생성된 응답을 자동화 지표(GPTScore, CLIPScore 등)와 전문가 정성 평가를 병행하여 다층적으로 분석하였다. 이를 위해 본 논문에서는 사실 오류, 해석 오류, 과장/왜곡, 논리 오류 등 네 가지 핵심 오류 유형을 중심으로 멀티모달 환각 오류 분류체계를 새롭게 제안하고 코드북 기반의 평가 프로토콜을 수립하였다. 또한, 오류 발생 빈도와 유형 분포를 계량화할 수 있는 평가 지표를 설계하고 representative 사례 분석을 통해 오류의 정보처리적 경로, 융합 실패 유형, 입력-모델 간 상호작용 문제 등을 해석적으로 도출하였다.
연구 결과는 텍스트만 주어진 조건에서는 언어적 추론 오류와 해석 오류가, 이미지만 주어진 조건에서는 세부 속성 해석 실패와 맥락 과잉일반화 오류가, 텍스트와 이미지가 결합된 조건에서는 cross-modal alignment 실패, 정보 결합 누락, 선택 편향 등이 주요 오류로 나타났다. 특히 동일 질문임에도 입력 조건에 따라 오류 유형과 심각도가 현저히 달라지는 패턴이 다수 관찰되었으며 이는 멀티모달 LLM의 환각 오류가 단순한 응답 실패를 넘어 구조적 편향과 설계상의 제약에서 비롯됨을 시사한다. 모델 간 비교에서는 GPT-4o와 Gemini가 전반적으로 안정적인 응답을 보였으나 LLaVA 등 일부 오픈소스 모델은 이미지 정보에 과도하게 의존하거나 질문 초점을 해석하는 데 실패하는 경향이 뚜렷하게 나타났다.
본 논문의 의의는 네 가지로 정리된다. 첫째, 멀티모달 LLM의 환각 오류를 단순한 정확성 문제가 아니라 정보처리 구조, 입력 해석 메커니즘, 융합 전략의 결과로 해석함으로써 오류 분석의 해상도를 높였다. 둘째, 오류 유형 분류체계 및 코드북 기반의 정성 평가 체계를 제안하여 향후 멀티모달 AI 평가에 지속적으로 활용 가능한 이론적·실험적 기반을 마련하였다. 셋째, 모델별·입력별 오류 양상을 비교·분석함으로써 향후 cross-modal integration 강화, grounding 안정화, 세부 속성 처리 개선 등 기술적 개선 방향을 제시하였다. 넷째, 정량·정성 분석을 통합한 평가 프레임워크를 구현함으로써 대규모 실험과 사례 중심 해석을 동시에 가능하게 하였다.
향후 본 논문은 멀티모달 LLM의 사회적 신뢰성 제고, 설명 가능성 확보, 사용자 중심의 피드백 설계 등 다양한 후속 연구의 출발점이 될 수 있을 것이며 생성형 AI의 안정적 활용을 위한 핵심 기반 기술로 확장될 수 있을 것으로 사료된다.더불어, 인간과 AI 간 협업이 일상화되는 시대에 있어 오류의 본질을 이해하고 그 메커니즘을 해석할 수 있는 기술적·인문적 통합 접근의 중요성을 환기하는 계기가 되기를 기대한다.

번역하기

최근 대형언어모델(Large Language Models, 이하 LLM)의 진보는 단순한 자연어 처리 능력을 넘어 시각 정보와 언어 정보를 동시에 이해하고 생성하는 멀티모달 LLM(multimodal LLM)의 등장을 견인하고 있...

목차 (Table of Contents)