Target-aware multimodal stance detection with LLM-derived semantic alignment

국문 초록 (Abstract)

스탠스 감지는 소셜 미디어 상에서 특정 타깃에 대한 사용자의 의견이나 태도를 추론하는 것을 목표로 한다.
텍스트와 이미지를 함께 포함하는 게시물이 급격히 증가함에 따라, 텍스트 기반 접근법만으로는 시각적 단서나 이들이 타깃과 상호작용하며 드러내는 입장 정보를 충분히 포착하기 어렵다.
특히 게시물에서 표현되는 스탠스는 본질적으로 타깃에 의존적이다. 동일하거나 유사한 텍스트 및 이미지라도 타깃이 “Donald Trump”에서 “Joe Biden”으로 바뀌면 전혀 반대의 입장을 내포할 수 있다.
이러한 현상은 스탠스가 타깃 맥락에 따라 달라진다는 점을 보여주며, 타깃 조건에 따른 의미 변화를 명시적으로 모델링할 수 있는 타깃 인식형 멀티모달 프레임워크의 필요성을 시사한다.

본 연구에서는 이러한 문제를 해결하기 위해 StanceX를 제안한다.
StanceX는 텍스트, 이미지, 그리고 대형 언어 모델 기반 의미 정보를 통합하는 멀티모달 스탠스 감지 프레임워크로,
(i) 텍스트 인코더 내 각 트랜스포머 층에 타깃 정보를 주입하여 문맥 표현을 조정하는 Target-Conditioned Adapter (TCA),
(ii) 타깃 의미를 이용해 이미지 내 입장 관련 영역을 강조하는 Target-Guided Visual attention (TGV),
(iii) 대형 언어 모델로부터 추출된 의미 표현을 활용해 모달 간 의미 정렬을 수행하고 멀티모달 표현 학습을 강화하는 LLM-Derived Semantic Embeddings (LSE) 세 가지 모듈로 구성된다. 또한 StanceX는 대형 언어 모델을 교사로 활용하는 소프트 라벨 기반 지식 증류(soft-label Knowledge Distillation, KD)를 도입하여, 언어적·상식적 추론 능력을 학생 모델로 이전함으로써 예측 정확도와 신뢰도를 동시에 향상시킨다.

다섯 개의 벤치마크 데이터셋에서 수행한 실험 결과, StanceX는 기존의 강력한 멀티모달 베이스라인들을 지속적으로 능가하였으며, 최대 +8.37의 macro F1 향상을 달성하였다.
또한 ECE, NLL, Brier score가 동시에 감소하여, 모델의 확률적 예측이 한층 더 신뢰할 수 있게 되었음을 확인하였다.
이러한 결과는 TCA, TGV, LLM 기반 의미 지식 통합의 결합이 견고하고 신뢰성 높은 멀티모달 스탠스 예측을 가능하게 함을 보여준다.

다국어 초록 (Multilingual Abstract)

Stance detection seeks to infer opinions toward specific targets in social media.
As text–image posts proliferate, text-only methods often fail to capture stance cues grounded in visuals and their interaction with the target.
However, the stance expressed in a post is inherently target-dependent; even similar or identical textual and visual content may convey opposite attitudes when the target changes (e.g., from “Donald Trump” to “Joe Biden”).
This phenomenon underscores the necessity of a target-aware multimodal framework that explicitly models stance-conditioned contextual shifts.
We present StanceX, a multimodal stance detection framework that integrates textual, visual, and LLM-derived semantic information through (i) Target-Conditioned Adapters (TCA) for text, (ii) Target-Guided Visual attention (TGV) for images, and (iii) LLM-Derived Semantic Embeddings (LSE) for semantic alignment between modalities, enriching multimodal representation learning. StanceX further incorporates soft-label knowledge distillation from a large language model teacher, transferring high-level linguistic and commonsense cues to improve both predictive accuracy and calibration.
Across five benchmark datasets, StanceX consistently surpasses strong multimodal baselines, achieving a maximum in-target gain of +8.37 macro F1.
Calibration analyses show concurrent reductions in ECE, NLL, and Brier scores, indicating more reliable confidence estimation.
These findings demonstrate that integrating target-conditioned encoding, target-guided vision, and LLM-derived knowledge yields robust and well-calibrated multimodal stance prediction.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Related Work 5
• 2.1 Multimodal Stance Detection 5
• 2.2 Knowledge Distillation 6
• 3 PROPOSED APPROACH 8
• 3.1 Overview 8
• 3.2 Phase I: LSE-based Multimodal Representation Alignment 9
• 3.3 Phase II: KD-based Logit Refinement 16
• 3.4 Training Objectives 17
• 4 EXPERIMENTS 19
• 4.1 Experimental Setup 19
• 4.2 Experimental Results 26
• 5 ANALYSIS 34
• 5.1 Ablation Studies 34
• 5.2 Case Study 36
• 5.3 Reliability and Calibration Analysis 37
• 6 CONCLUSION 40
• References 42
• Appendix 53
• Appendix 1 Additional Implementation Details 53
• Appendix 2 Experimental Conditions and Limitations in LLM Comparison 53
• Appendix 3 Gini Index 56
• 초 록 58