Advancing Text-Video Retrieval with Frame-Wise Generative Information : 프레임 단위 생성 정보를 활용한 텍스트-비디오 검색 기술 개선

국문 초록 (Abstract)

본 논문은 텍스트-비디오 검색(Text-Video Retrieval)에서의 의미 정렬 성능을 향상시키기 위한 새로운 프레임워크를 제안한다. 특히, 기존의 전통적인 시각 정보 기반 접근 방식이나 비디오 전체에 대한 단일 요약 캡션을 사용하는 기법의 한계를 극복하고자, 본 연구는 생성 기반 프레임 수준 캡션(Frame-level Captions)을 활용하여 더 정밀하고 시간적인 정보가 반영된 의미 표현을 구축하였다.

제안된 프레임워크는 내레이션을 전반적인 검색 파이프라인에 전략적으로 통합하며, 다음과 같은 핵심 모듈들로 구성된다. 첫째, 영상과 생성된 내레이션 간의 양방향 크로스모달 상호작용(co-attention)을 통해 서로의 표현을 보완하는 특징 증강을 수행하고, 둘째, 쿼리와의 의미적 일치를 기반으로 무관하거나 잘못 생성된 정보에 대해 적응적으로 필터링하는 쿼리 인식 필터링(query-aware filtering) 모듈을 설계하였다. 셋째, 쿼리-비디오, 쿼리-내레이션 간의 coarse/fine-grained 유사도 계산을 통해 복합적인 의미 정렬을 정교하게 수행하며, 마지막으로 교차 관점 하드 네거티브 손실(Cross-view Hard Negative Loss)을 활용하여 검색 모델의 표현 학습을 정교화하였다.

MSR-VTT, MSVD, VATEX, DiDeMo 등 대표적인 벤치마크 데이터셋에서의 실험을 통해 제안 기법은 기존 최첨단(SOTA) 방법 대비 높은 검색 정확도(Recall@K)를 기록하며 성능 우위를 입증하였다. 특히, 시간에 따라 변화하는 동적인 비디오(예: 스포츠, 사용자 생성 콘텐츠 등)에 대해서는 제안된 프레임 기반 내레이션이 더 세밀한 의미 정렬에 기여함으로써 뛰어난 검색 결과를 나타내었다. 이는 내레이션이 단순한 보조 정보가 아닌, 시간적 의미를 강화하는 핵심 요소로 작용할 수 있음을 시사한다.

결론적으로, 본 논문은 텍스트-비디오 검색 분야에서 생성 기반 정보의 적극적 활용이라는 새로운 방향성을 제시하며, 복잡한 멀티모달 표현을 효과적으로 연결하는 기반 기술을 구축하였다. 제안된 프레임워크는 검색 정확도를 획기적으로 향상시켰을 뿐만 아니라, 향후 비디오 질문응답, 이벤트 검출, 멀티모달 요약 등 다양한 비디오 기반 응용과 생성 정보 기반 의미 추론 연구 전반에 활용 가능한 확장성 높은 플랫폼으로 기여할 수 있을 것으로 기대된다.

목차 (Table of Contents)

• I. Introduction 1
• 1.1 Multimodal understanding with retrieval 1
• 1.2 Text-video retrieval 2
• 1.3 Motivation for the utilization of generative information 5
• 1.4 Proposed retrieval framework 8
• II. Related work 10
• 2.1 Multimodal representation learning 10
• 2.1.1 Advances in single-modality representation learning 10
• 2.1.2 Learning multimodal representations with large-scale data 11
• 2.1.3 Applications and limitations of multimodal representation learning 12
• 2.2 Text-video retrieval 13
• 2.2.1 Early research for text-video retrieval 13
• 2.2.2 Text-video retrieval with vision-language pretrained features 14
• 2.3 Generative information for multimodal learning 16
• III.Proposed method 18
• 3.1 Problem definitions 18
• 3.2 Overall structure of proposed system 19
• 3.3 Narration Generation from Video 20
• 3.4 Video-Narration Cross-Modal Interaction 22
• 3.4.1 Co-attention block for cross-modality enhancement 22
• 3.4.2 Temporal-relation enhancement 23
• 3.5 Query-Aware Adaptive Filtering 26
• 3.6 Query-Video-Narration Matching 27
• 3.6.1 Coarse-grained matching 28
• 3.6.2 Fine-grained matching 29
• 3.7 Cross-modality enhancement loss 31
• 3.7.1 Info-NCE loss 31
• 3.7.2 Cross-view hard negative loss 32
• 3.8 Inference 35
• IV. Experiments 37
• 4.1 Experimental settings 37
• 4.1.1 Dataset 37
• 4.1.2 Evaluation metrics 39
• 4.1.3 Implementation Details 39
• 4.2 Experiments on Benchmark Datasets 40
• 4.2.1 MSR-VTT dataset 42
• 4.2.2 MSVD dataset 43
• 4.2.3 VATEX dataset 44
• 4.2.4 DiDeMo dataset 45
• 4.3 Ablation Studies 46
• 4.3.1 Impact of Narration Matching 46
• 4.3.2 Impact of cross-modal interaction module 47
• 4.3.3 Impact of Query-aware adaptive filtering 49
• 4.3.4 Impact of Cross-view hard negative loss 50
• 4.3.5 Analysis for narration generation models 52
• 4.4 Discussion 57
• 4.4.1 Verification of narration utilization for retrieval 57
• 4.4.2 Cross-View Hard Negative Loss 60
• 4.4.3 Hard-negative sample selection for loss 61
• 4.4.4 Analysis on video-level captions utilization 64
• 4.4.5 Analysis of Performance across Video Types 67
• 4.4.6 Computational cost 70
• 4.4.7 Experiments on Long CLIP Encoder 72
• 4.4.8 Feature representation analysis 73
• 4.4.9 Additional alignment loss 77
• 4.4.10 Data augmentation using different narration set 80
• 4.4.11 Voting strategy using different narration set 82
• 4.5 Qualitative Studies 85
• V. Conclusion 91
• References 94
• Abstract (In Korean) 105