Enhancing Reliability of Multimodal Foundation Models = 멀티모달 기반모델의 신뢰성 향상

국문 초록 (Abstract)

멀티모달 기반 모델은 시각과 언어를 통합하는 단일 임베딩 공간에 의존하며, 이를 통해 폭넓은 교차 모달 작업을 수행한다. 하지만 급격한 발전과 확장되는 실무적 유용성에도 불구하고, 신뢰성(reliability)은 여전히 근본적인 과제로 남아 있다. 시각-언어 모델은 시각적 근거가 불충분할 때조차 확신에 찬 응답을 내놓는 과잉 확신(overconfidence) 현상을 자주 보이며, 텍스트-이미지 생성 모델은 복잡한 사용자 제약을 충족하지 못하는 미정렬(misalignment) 문제로 어려움을 겪는다. 나아가 멀티모달 거대 언어 모델은 시각적 입력에 근거하지 않은 콘텐츠를 생성하는 환각(hallucination) 현상에 취약하다.

본 학위 논문은 멀티모달 스택 전반의 신뢰성 확보를 목표로 하는 세 가지 상호 보완적인 방향을 통해 이러한 도전 과제를 해결한다: (i) 과잉 확신의 감소, (ii) 의미론적 정렬의 개선, 그리고 (iii) 환각 현상의 완화가 그것이다.

첫째, CLIP의 공동 임베딩 공간을 활용하여 시각적 분포 외(out-of-distribution) 탐지 성능을 개선하는 방법인 TOE(Textual Outlier Exposure)를 소개한다. TOE는 구하기 어려운 시각적 이상치(outliers)에 의존하는 대신, 단어에서부터 상세한 묘사에 이르는 다양한 텍스트 이상치를 효율적이고 유연한 대체재로 사용한다. 실험 결과는 텍스트 모달리티로부터 얻은 지식이 시각 인식의 강건성을 효과적으로 향상할 수 있음을 입증하며, 공유된 멀티모달 표현의 실질적인 이점을 강조한다.

둘째, 텍스트-이미지 확산 모델의 정렬을 강화하기 위해 효과적인 부정 프롬프트(negative prompts)를 찾아내는 프레임워크인 NPC(Negative Prompting for Image Correction)를 제안한다. NPC는 검증자(verifier), 설명자(captioner), 제안자(proposer)로 구성된 세 개의 협력 에이전트와 텍스트-이미지 정렬을 정량적으로 평가하는 보상 모델을 운용한다. 나아가 본 연구는 부정 프롬프트가 정렬을 개선하는 방식에 대한 심층적인 분석을 제공하며, 부정 프롬프트가 의도하지 않은 의미 영역으로부터 디노이징(denoising) 과정을 효과적으로 이탈시킨다는 점을 입증한다. 이러한 접근법은 체계적인 부정 프롬프트 생성과 선택이 기저의 생성 모델을 수정하지 않고도 의미론적 충실도를 실질적으로 향상할 수 있음을 보여준다.

마지막으로, MLLM의 환각 현상을 완화하기 위해 희소 오토인코더(sparse autoencoder) 기반의 잠재 스티어링(latent steering) 방법인 SAVE(SAE-based Visual Enhancement)를 소개한다. SAVE는 충실한 시각적 이해와 환각적 시각적 이해에 연관된 잠재 피처(latent features)를 식별함으로써, 내부 표현이 근거 있는 해석을 향하도록 유도하고 이를 통해 환각을 억제한다. 어텐션 패턴과 토큰 확률에 대한 상세한 분석은 왜 희소 잠재 스티어링이 환각을 효과적으로 감소시키고 시각적 근거(groundedness)를 강화하는지에 대한 기계론적 통찰을 제공한다.

종합적으로, 이러한 기여는 멀티모달 처리의 다양한 단계에서 과잉 확신, 미정렬, 환각 문제를 해결함으로써 멀티모달 파운데이션 모델의 신뢰성이 체계적으로 개선될 수 있음을 보여준다. 본 학위 논문은 더욱 강건하고, 정렬되어 있으며, 시각적 근거가 확실한 멀티모달 AI 시스템의 발전에 기여한다.

다국어 초록 (Multilingual Abstract)

Multimodal foundation models rely on a unified embedding space that integrates vision and language, enabling a wide spectrum of cross-modal tasks. However, despite their rapid progress and expanding utility, reliability remains a fundamental challenge. Vision–language models often exhibit overconfidence, producing certain responses even when visual evidence is insufficient. Text-to-image generative models suffer from misalignment, failing to satisfy complex user constraints. Furthermore, multimodal large language models (MLLMs) are prone to hallucinations, generating content unsupported by visual input.

This dissertation addresses these challenges through three complementary directions that target reliability across the multimodal stack: (i) reducing overconfidence, (ii) improving semantic alignment, and (iii) mitigating hallucination.

First, we introduce TOE (Textual Outlier Exposure), a method for improving visual out-of-distribution detection by leveraging the joint embedding space of CLIP. Instead of relying on scarce visual outliers, TOE employs textual outliers—ranging from single words to detailed descriptions—as efficient and flexible substitutes. Our results demonstrate that knowledge from the text modality can effectively enhance robustness in visual recognition, highlighting the practical benefits of shared multimodal representations.

Second, to enhance alignment in text-to-image diffusion models, we propose NPC (Negative Prompting for Image Correction), a framework for discovering effective negative prompts. NPC employs three cooperative agents—a verifier, captioner, and proposer—together with a reward model that quantitatively evaluates text–image alignment. Furthermore, we provide an in-depth analysis of how negative prompts improve alignment, demonstrating that they effectively steer the denoising process away from unintended semantic regions. This approach shows that systematic generation and selection of negative prompts can substantially improve semantic fidelity without modifying the underlying generative model.

Finally, we introduce SAVE (SAE-based Visual Enhancement), a sparse autoencoder–based latent steering method for mitigating hallucination in MLLMs. By identifying latent features associated with faithful versus hallucinatory visual understanding, SAVE steers internal representations toward grounded interpretations, thereby reducing hallucinations. Detailed analyses of attention patterns and token probabilities provide mechanistic insight into why sparse latent steering effectively reduces hallucination and enhances visual groundedness.

Collectively, these contributions demonstrate that reliability in multimodal foundation models can be systematically improved by addressing overconfidence, misalignment, and hallucination at various stages of multimodal processing. This dissertation advances the development of multimodal AI systems that are more robust, aligned, and grounded.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Tables vii
• List of Figures ix
• 1 INTRODUCTION 1
• 1.1 Motivation 1
• 1.2 Contents of Dissertation 3
• 1.3 Challenges and Contributions 5
• 2 BACKGROUND 7
• 2.1 Multimodal Foudnation Models 7
• 2.1.1 Vision Language Models 8
• 2.1.2 Text-to-Image Generative Models 9
• 2.1.3 Multimodal Large Language Models 9
• 2.2 Reliability in Multimodal Foundation Models 10
• 2.2.1 Overconfidence 12
• 2.2.2 Text-Image Alignment 14
• 2.2.3 Hallucination Mitigation 18
• ON THE POWERFULNESS OF
• TEXTUAL OUTLIER EXPOSURE
• FOR VISUAL OOD DETECTION 23
• 3.1 Introduction 23
• 3.2 Problem Setup 26
• 3.3 Understanding the Potential of Textual Outlier 28
• 3.3.1 Auxiliary Datasets 28
• 3.3.2 Synthesis in Feature Space 29
• 3.3.3 Analysis 31
• 3.4 Method 32
• 3.4.1 Generating Textual Outliers in Three Types 34
• 3.4.2 Optimizing ID Embeddings with Textual Outlier 38
• 3.4.3 Test Time OoD Detection 38
• 3.5 Experiments 39
• 3.5.1 Comparison with Competitive Baseline Approaches 40
• 3.5.2 Textual Outliers in Hard OoD Situation 43
• 3.5.3 Ablation Studies 44
• 3.5.4 Model Agnoistic Effectiveness of TOE 50
• 3.6 Related work 53
• 3.7 Conclusion 54
• 4 GUIDING WHAT NOT TO GENERATE:
• AUTOMATED NEGATIVE PROMPTING
• FOR TEXT-IMAGE ALIGNMENT 55
• 4.1 Introduction 55
• 4.2 Related work 59
• 4.2.1 Text-to-Image Diffusion Models 59
• 4.2.2 Text-Image Alignment 59
• 4.3 The Role of Negative Prompts 60
• Negative Prompting in T2I Models 60
• 4.3.2 Measuring Cross-Attention Allocation 61
• 4.3.3 Analysis Result 63
• 4.4 NPC 63
• 4.4.1 Negative Prompt Candidate Generation 65
• 4.4.2 Negative Prompt Selection 67
• 4.5 Experiments 69
• 4.5.1 Experimental Setting 69
• 4.5.2 Main Results 73
• 4.5.3 Ablation Study 76
• 4.5.4 Model Agnostic Effectiveness of NPC 79
• 4.5.5 Additional Results 80
• 4.6 Conclusion 82
• 5 SAVE: SPARSE AUTOENCODER-DRIVEN
• VISUAL INFORMATION ENHANCEMENT
• FOR MITIGATING OBJECT HALLUCINATION 83
• 5.1 Introduction 83
• 5.2 Related work 86
• 5.2.1 Object Hallucination in MLLMs 86
• 5.2.2 Mechanistic Interpretability with SAE 86
• 5.3 Preliminaries 88
• 5.3.1 Sparse Autoencoder 88
• 5.3.2 Multimodal SAE 89
• 5.4 Visual Understanding Feature 91
• 5.4.1 Collect SAE Activations 91
• 5.4.2 Identify Visual Understanding Feature 92
• 5.4.3 Steering Model Behavior 93
• 5.4.4 Feature Visualization 94
• Experiments 95
• 5.5.1 Experimental Settings 95
• 5.5.2 Benchmarks and Metrics 96
• 5.5.3 Results 99
• 5.5.4 Additional Results 106
• 5.5.5 Analysis 111
• 5.6 Conclusion 114
• 6 CONCLUSION 115
• 6.1 Summary of Dissertation 115
• 6.2 Limitations and Future Research Directions 117
• 6.3 Outlook 119
• Bibliography 121
• Abstract (In Korean) 153
• 감사의 글 155