Toward Reliable Multimodal Intelligence: Methods for Representation, Interaction, and Factuality = 신뢰성 있는 멀티모달 지능을 위한 표현, 상호작용, 사실성 향상 기법

국문 초록 (Abstract)

최근 멀티모달 인공지능의 발전은 시각과 언어 두 가지 모달리티를 모두 처리하고 생성할 수 있는 모델의 학습을 가능하게 하였으며, 이는 이미지 캡셔닝, 시각적 질의응답(VQA), 크로스모달 검색과 같은 핵심 과제의 기반이 되었다. 초기의 신경망 기반 캡셔닝 모델과 VQA 모델부터 CLIP, BLIP, GPT-4V와 같은 파운데이션 모델에 이르기까지 이 시스템들은 점점 더 강력해지고 있지만, 여전히 해결해야 할 중요한 도전 과제가 존재한다. 본 논문은 멀티모달 인공지능의 신뢰성과 응용 가능성을 향상시키기 위해 세 가지 분야인 표현(Representation), 상호작용(Interaction), 사실성(Factuality)을 중심으로 연구를 수행하였다.

첫째, 우리는 유해한 콘텐츠를 직접 사용하지 않고도 유해한 시각적 데이터셋을 분류할 수 있는 분류기를 얻기위해 Hassle-Free Textual Training (HFTT) 방법을 제안한다. 이 방법은 사전학습된 비전-언어 임베딩과 합성된 텍스트 데이터만을 사용하여 유해 이미지를 분류할 수 있는 효과적인 분류기를 학습시키며, 실제 이미지 데이터는 전혀 사용하지 않는다. 이를 통해 텍스트 기반의 프록시만으로도 이미지 공간의 의미론적 분류가 가능함을 보였으며, 이는 멀티모달 임베딩의 활용 가능성을 확장시킨다.

둘째, PlugIR이라는 플러그 앤 플레이 방식의 상호작용이 가능한 이미지 검색 시스템을 제안한다. 이 시스템은 대형 언어 모델(LLM)을 활용하여 사용자 질의를 해석하고, 기존의 정적이고 단발성 입력에 의존하던 전통적인 검색 방식과 달리, LLM이 명확한 질문을 생성하고 대화 문맥에 따라 질의를 반복적으로 재구성할 수 있도록 한다. 이를 통해 검색 시스템에서의 사용자 해석력과 제어력을 향상시키며, 기본 비전-언어 모델을 재학습할 필요 없이 동적이고 대화 중심의 검색을 가능하게 한다.

셋째, 특히 상세한 이미지 캡셔닝(hyper-detailed image captioning)에서 두드러지는 멀티모달 대형 언어 모델(MLLM)의 환각(hallucination) 문제를 해결하고자 한다. 우리는 CapMAS라는 다중 에이전트 기반 시스템을 제안하며, 이는 생성된 캡션을 사실 단위로 분해하고, 이를 비전-언어 모델을 통해 검증한 후, 언어 모델을 이용하여 부정확한 내용을 수정한다. 아울러, 생성된 캡션의 사실성(factuality)과 포괄성(coverage)을 평가할 수 있는 이중 평가 지표를 제안하고, 새로운 벤치마크 데이터셋을 통해 이를 검증한다. 실험 결과 CapMAS는 GPT-4V를 포함한 다양한 모델의 캡션에 대해 사실성을 크게 향상시키며, 그 제안된 평가 지표는 기존 평가 지표보다 인간 평가와 더 높은 정합성을 보인다.

이 세 가지 기여는 멀티모달 AI 시스템의 경계를 확장하며, 보지 못한 콘텐츠에 대한 추론, 자연어를 통한 상호작용 기반 시스템으로의 확장, 그리고 멀티모달 기술의 신뢰도 향상을 가능하게 한다. 본 연구는 결국 보다 지능적이고 상호작용 가능하며, 실제 환경에서 더욱 신뢰할 수 있고 안전한 비전-언어 모델 개발에 기여한다.

다국어 초록 (Multilingual Abstract)

Recent advances in multimodal artificial intelligence have enabled models to process and generate information across both vision and language modalities, forming the backbone of tasks such as image captioning, visual question answering (VQA), and cross-modal retrieval. While these systems have grown increasingly capable---spanning from early neural captioners and VQA models to foundation models like CLIP, BLIP, and GPT-4V---substantial challenges remain. This dissertation investigates three key dimensions critical to enhancing the reliability and applicability of multimodal intelligence: representation, interaction, and factuality.

First, we address the challenge of curating visual datasets without exposing models or humans to harmful content. We propose Hassle-Free Textual Training (HFTT), a method that leverages pre-trained vision-language embeddings and synthetic textual supervision to train effective classifiers for unwanted images---entirely without using visual examples. This demonstrates that robust semantic partitioning of image space is achievable solely via textual proxies, expanding the utility of multimodal embeddings for content moderation.

Second, we introduce PlugIR, a plug-and-play framework for interactive text-to-image retrieval that incorporates large language models (LLMs) to interpret dialogue-based user queries. Unlike traditional retrieval methods that rely on static, one-shot inputs, PlugIR allows an LLM to ask clarifying questions and iteratively reformulate queries based on dialogue context. This enables dynamic, conversational retrieval without retraining the underlying vision-language model and improves interpretability and user control in search systems.

Third, we tackle the pervasive problem of hallucination in multimodal large language models (MLLMs), particularly in hyper-detailed image captioning. We present CapMAS, a multi-agent system that decomposes a generated caption into atomic facts, verifies them via vision-language models, and revises inaccuracies using a language model. Additionally, we propose a dual evaluation metric that assesses both factuality and coverage in generated captions, validated against a new benchmark dataset. Our findings reveal that the proposed captioning and evaluation methods not only enhance the faithfulness of captions---including those from GPT-4V---but also align better with human judgments than traditional metrics.

Together, these three contributions push the boundaries of multimodal AI systems: enabling them to reason over unseen content, interactively refine outputs through natural language, and generate reliable, grounded descriptions. This work ultimately advances the development of vision-language models that are not only more intelligent and interactive but also more trustworthy and safe in their real-world deployment.

목차 (Table of Contents)

• 4.2 Related Work 70
• 4.3 Method 72
• 4.3.1 Preliminaries: Interactive Text-to-Image Retrieval 72
• 4.3.2 Context Reformulation 73
• 4.3.3 Context-aware Dialogue Generation 75
• 4.3.4 The Best log Rank Integral Metric 82
• 4.4 Experiments 83
• 4.4.1 Experimental Settings 83
• 4.4.2 Evaluation Metric 85
• 4.4.3 Results 88
• 4.4.4 BRI’s Alignment with Human Evaluation 89
• 4.5 Analysis 90
• 4.5.1 Analyzing Dialogue Utilization in Model Fine-tuning and Context Reformulation 90
• 4.5.2 Adaptability to Various Pre-trained Models 91
• 4.5.3 Ablation Study 91
• 4.5.4 Efficiency Analysis 92
• 4.5.5 Robustness to Context Perturbation 93
• 4.5.6 Compatibility with Fine-tuned Models 94
• 4.6 Human Evaluation Details 95
• 4.7 Additional Analyses Using Conventional Metrics 96
• 4.8 Effects of Different Clusters 98
• 4.9 Hallucination Issues in Context-aware Dialogue Generation 99
• 4.10 Evaluating Query Style Preference in a Large Vision-Language Model: Caption versus Dialogue 100
• 4.11 Conclusion 101
• 5 Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage 111
• 5.1 Introduction 111
• 5.2 Related Work 114
• 5.3 Method 116
• 5.3.1 Motivating Observations 116
• 5.3.2 Caption Factuality Enhancing MultiAgent System 119
• 5.3.3 Evaluation Methods 120
• 5.4 Experimental Results and Discussion 123
• 5.4.1 Experimental Setup 123
• 5.4.2 Our Metric’s Correlation with Human Evaluation 124
• 5.4.3 Undesirable Bias in FACTSCORE 125
• 5.4.4 Improving Captioning Model Factuality 125
• 5.4.5 Ablation Study 127
• 5.4.6 Comparison with Other Methods 127
• 5.4.7 Consistency Between MLLM Captioning and VQA Evaluation Results 129
• 5.5 Conclusion 131
• 6 Conclusion 140
• 6.1 Summary of Dissertation 140
• 6.2 Discussion: Strengths, Challenges, and Future Directions 141
• 6.2.1 Strengths 141
• 6.2.2 Challenges 142
• 6.2.3 Future Directions 145
• Abstract (In Korean) 172
• 감사의 글 174