Gated Cross-Modal Fusion for Egocentric Video Question Answering = 1인칭 비디오 질의응답을 위한 게이트 교차 모달 융합

국문 초록 (Abstract)

최근 AI와 멀티모달 학습의 발전으로 Vision–Language Model(VLM)
은 복잡한 시각 장면을 해석하는 핵심 기술로 자리 잡고 있다. 그러나 1
인칭 시점(Egocentric) 기반의 Video Question Answering(VideoQA)은 시
간적으로 연속된 영상과 자연어 질의를 동시에 처리해야 하므로 여전히
높은 난이도를 지닌 과제이다. 기존 연구의 대부분은 비디오와 텍스트를
마지막 단계에서만 결합하는 듀얼 인코더(Dual-Encoder) 구조를 채택하
고 있어, 고차원 추론에 필요한 정밀한 크로스모달 상호작용을 충분히
포착하지 못하는 한계가 있다.
본 연구에서는 이러한 문제를 해결하기 위해 Frozen in Thought 프레
임워크를 기반으로, 트랜스포머 백본 내부에서 비디오와 언어 표현을
조기에 양방향으로 통합하는 Cross-Modal(CM) 상호작용 아키텍처를 제
안한다. 이 구조는 텍스트 질의와 시간적으로 관련된 영상 단서를 보다
정교하게 정렬할 수 있도록 설계되어, 의도(intent), 미래 예측(prediction),
인과 추론(causality), 간접 단서(indirect cues)와 같은 고차원적 추론 능력
을 효과적으로 강화한다.
EgoTaskQA 벤치마크 실험 결과, 제안한 모델은 14개 모든 추론 범주
에서 강력한 듀얼 인코더 기반 모델을 크게 상회하였다. 특히 intent(+18.7
포인트)와 prediction(+12.0포인트) 범주에서 두드러진 향상을 보였으며,
다양한 영상·텍스트 노이즈 조건과 프레임 샘플링 비율 변화(nf pv =
4, 8, 16)에서도 높은 강건성(Robustness)을 유지하였다. 또한 크로스모달
어텐션 패턴을 추출·시각화하는 진단 메커니즘을 도입하여, 모델이 텍
스트 질의를 가장 관련성 높은 시간 구간과 어떻게 정렬하는지를 직관적
으로 확인할 수 있는 해석 가능성을 제시하였다.
종합하면, 본 연구는 백본 내부에서의 크로스모달 결합 강화가 1인
칭 시점 VideoQA 성능 향상에 효과적인 전략임을 확인하였다. 제안한
아키텍처는 추론 성능을 높이고, 입력 교란에 대한 강건성을 강화하며,
어텐션 기반 분석을 통해 향상된 해석 가능성을 제공한다.

다국어 초록 (Multilingual Abstract)

Recent progress in AI and multimodal learning has positioned Vision--Language Models (VLMs) as essential tools for understanding complex visual scenes. Egocentric Video Question Answering (VideoQA), however, remains particularly challenging because models must jointly reason over temporally continuous visual observations and natural-language queries. Most prior approaches rely on dual-encoder architectures that fuse video and text only at the final stage, limiting their ability to capture fine-grained cross-modal interactions required for higher-level reasoning.

To address these limitations, we introduce a backbone-level Cross-Modal (CM) interaction architecture, building upon the \textit{Frozen in Thought} framework, that performs early bidirectional fusion between video and language representations inside the transformer backbone. This design enables the model to align textual queries with temporally relevant visual evidence more effectively, supporting deeper reasoning about intent, future predictions, causal relations, and indirect cues.

Extensive experiments on the EgoTaskQA benchmark demonstrate that our method substantially outperforms a strong dual-encoder baseline across all 14 reasoning categories. The CM model achieves notable improvements---most prominently in \textit{intent} (+18.7 points) and \textit{prediction} (+12.0 points)---and maintains strong robustness under noisy video/text conditions and varying frame sampling rates. Furthermore, we introduce a diagnostic mechanism that extracts and visualizes cross-modal attention patterns, providing interpretable evidence of how the model grounds textual queries in the most relevant temporal segments.

Overall, our findings indicate that enhancing cross-modal fusion within the backbone is an effective strategy for advancing egocentric VideoQA. The proposed architecture improves reasoning performance, increases robustness to input perturbations, and offers enhanced interpretability through attention-based analysis.

목차 (Table of Contents)

• I. Introduction 1
• 1.1 Contributions 3
• II. Related Works 4
• 2.1 Video Question Answering (VideoQA) 4
• 2.2 Egocentric Video Understanding 5
• 2.3 Cross-Modal Fusion Strategies 5
• 2.4 Transformer-Based Video Models 6
• 2.5 Cross-Modal Attention and Interpretability 8
• 2.6 Gap Analysis and Motivation 8
• III.Proposed Method 10
• 3.1 Overall Architecture 10
• 3.2 Input Processing Pipeline 11
• 3.2.1 Video Embedding 11
• 3.2.2 Text Embedding 12
• 3.3 Gated Cross-Modal Fusion 12
• 3.4 Interpretability via Cross-Modal Attention 14
• 3.5 Training Objective 15
• IV. Experiments 17
• 4.1 Datasets 18
• 4.2 Evaluation Metrics 18
• 4.3 Implementation Details 20
• 4.4 Results and Analysis 21
• 4.4.1 Quantitative Results 22
• 4.4.2 Ablation Study on Fusion Depth 25
• 4.4.3 Effect of Frame Sampling Rate (nfpv = 4, 8, 16) 27
• 4.4.4 Robustness to Noisy Inputs 28
• 4.4.5 Comparison of Fine-tuning Strategies 29
• 4.4.5.1 MoE vs. LoRA 30
• 4.4.6 Training from Scratch Analysis 31
• 4.5 Runtime and Complexity Analysis 32
• 4.5.1 Baseline Dual-Encoder Complexity 32
• 4.5.2 Additional Cost of Cross-Modal Fusion 34
• 4.5.3 Memory Considerations 35
• 4.5.4 Accuracy–Efficiency Trade-off 35
• 4.6 Qualitative Analysis 36
• 4.6.1 Attention Distribution Analysis 36
• 4.6.2 Visualization of Adaptive Attention 36
• 4.6.3 Dynamic Attention Regimes and Temporal Stability 41
• 4.7 Summary of Findings 43
• 4.7.1 Discussion 44
• V. Limitations 46
• VI.Conclusion 47
• A. Failure Case Analysis 49
• References 51
• Abstract (In English) 55
• Abstract (In Korean) 57