VisDoT: 사고 분해（Decomposition-of-Thought）를 통한 대형 MLLM에서 소형 MLLM으로의 시각적 추론 전이 = VisDoT: Visual Reasoning Transfer from Large to Small MLLMs via Decomposition-of-Thought

다국어 초록 (Multilingual Abstract)

Charts are a core medium for conveying quantitative and qualitative information, yet small multimodal large language models still struggle to reliably ground visual primitives and connect them to downstream reasoning. This thesis proposes VisDoT, a framework that transfers visual reasoning from large multimodal models to compact models by combining Decomposition-of-Thought prompting with perceptualtask supervision. The proposed method decomposes a chart question into perception-oriented and logic-oriented sub-questions and trains small models to recover visual evidence before performing higher-level reasoning. To strengthen visual grounding, the framework formalizes four perceptual tasks, namely Position, Length, Pattern, and Extract, and constructs the VisDoTQA dataset with stepwise reasoning annotations. Experimental results show that VisDoT improves InternVL-4B on ChartQA from 75.08% to 84.36%, and to 85.60% under the short-answer setting. On the VisDoTQA benchmark, the model improves from 43.30% to 76.52%, outperforming GPT-4o and Gemini-Flash 2.0 on this benchmark. Additional comparisons with public instruction and distillation pipelines show that VisDoT remains highly data efficient, achieving competitive performance with only 7.4K question-answer pairs in the controlled comparison setting. Zero-shot gains on POPE and MMMU further suggest that perception-first decomposition can extend beyond chart-specific tasks. These findings indicate that human-like interpretation grounding and decomposition-based supervision provide an effective and interpretable path for robust chart understanding in small multimodal large language models.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구의 목적 1
• 제2절 연구의 범위 및 방법 3
• 1. 연구의 범위 3
• 2. 연구의 방법 4
• 제2장 연구에 관한 이론적 배경 6
• 제1절 차트 이미지 이해 MLLM 기존 연구 및 기존 연구와 차이점 6
• 1. 차트 이미지 이해 MLLM 기존 연구 6
• 2. 차트 이미지 이해 MLLM 기존 연구와 차이점 7
• 제2절 복잡한 추론을 위한 LLM 전략에 대한 기존 연구 및 기존 연구와 차이점 8
• 1. 복잡한 추론을 위한 LLM 전략에 대한 기존 연구 8
• 2. 복잡한 추론을 위한 LLM 전략에 대한 기존 연구와 차이점 8
• 제3절 시각 추론 작업을 위한 분해 전략에 대한 기존 연구 및 기존 연구와 차이점 9
• 1. 시각 추론 작업을 위한 분해 전략에 대한 기존 연구 9
• 2. 시각 추론 작업을 위한 분해 전략에 대한 기존 연구와 차이점 10
• 제3장 방법론 11
• 제1절 문제 정의: VQA를 분해 가능한 시각 추론 문제로 바라보기 11
• 1. 문제 확립 11
• 2. Visual Question Answering 과제 정의 12
• 제2절 시각 추론 전략 12
• 제3절 VQA 데이터셋 구축 및 지식이전 16
• 1. 인간 지각 과업 기반 질문 생성 17
• 2. DoT annotation 생성 19
• 3. 소형 MLLM 학습 20
• 제4장 실험 21
• 제1절 데이터셋 및 벤치마크 21
• 1. 학습 데이터셋 구성 21
• 2. 평가 데이터셋 및 VisDoTQA 테스트셋 22
• 제2절 비교 대상 및 평가 지표 22
• 1. 모델 수준 비교 대상 22
• 2. 방법론 수준 비교 대상 23
• 3. 평가 지표 24
• 제3절 실험 환경 및 구현 세부사항 24
• 1. 모델 구성 24
• 2. 학습 설정 25
• 3. 구현 환경 26
• 제5장 실험 결과 27
• 제1절 기존 모델과의 성능 비교 27
• 1. ChartQA 및 ChartQAPro 성능 비교 28
• 2. VisDoTQA 성능 비교 28
• 제2절 데이터 생성증류 기반 방법과의 비교 31
• 1. 공개 instruction/distillation 방법과의 비교 31
• 2. 데이터 효율성 관점의 분석 32
• 제3절 절제 연구 32
• 1. Perceptual Alignment와 DoT의 결합 효과 33
• 2. 개별 지각 과업의 기여 분석 34
• 제4절 DoT 프롬프트의 일반화 성능 분석 35
• 1. POPE에서의 zero-shot 성능 35
• 2. MMMU에서의 zero-shot 성능 36
• 제6장 결론 및 향후 연구 37
• 참 고 문 헌 39
• ABSTRACT 43