Sinkhorn based Graph Enhancement for Multimodal Recommendation = 싱크혼 기반 그래프 강화 멀티모달 추천

국문 초록 (Abstract)

멀티모달 추천 시스템(Multimodal Recommendation, MMRec)은 이미지와 텍스트와 같은 풍부한 콘텐츠 정보를 활용하여 전통적인 협업 필터링에서 발생하는 데이터 희소성 문제를 완화한다. 그러나 기존의 그래프 기반 방법론들은 두 가지 주요한 한계를 지닌다. 첫째, 다양한 멀티모달 특징으로부터 구조적으로 의미 있는 이웃 관계를 구성하지 못한다는 점이며, 둘째, 이웃 선택 과정이 휴리스틱 규칙이나 단순한 유사도 기반 방법에 의존한다는 점이다. 이러한 한계를 해결하기 위해 본 논문에서는 아이템-아이템 이웃 선택 문제를 정형화된 최적수송 할당 문제로 재정식화한 Sinkhorn 기반 그래프 강화 프레임워크를 제안한다. 제안한 프레임워크는 멀티모달 유사도를 입력으로 받아 Multi-Layer Perceptron을 통해 점수 행렬을 학습하고, 이후 최적수송 해의 미분 가능한 근사해로 작동하는 Sinkhorn 정규화를 적용한다. 이 정규화 과정은 할당 행렬이 행과 열의 합이 1이라는 균형 제약을 만족하도록 명시적으로 강제함으로써, 전역적인 구조 정규화를 보장하고 고품질의 비국소적 아이템-아이템 연결을 생성한다. 공개 벤치마크 데이터셋에 대한 광범위한 실험을 통해, 제안한 방법이 그래프 구조의 품질을 효과적으로 개선함을 확인하였으며, 이를 통해 최적수송 기반 접근법이 멀티모달 추천을 위한 그래프 강화에 효과적임을 입증하였다.

다국어 초록 (Multilingual Abstract)

Multimodal recommendation systems (MMRec) leverage rich content features, such as images and text, to address data sparsity in traditional collaborative filtering. However, existing graph-based MMRec often suffer from two primary limitations: (1) the failure to construct structurally meaningful neighborhoods from these diverse multimodal features, and (2) the reliance on heuristic or simple similarity-based neighbor selection. To address this, we propose a Sinkhorn-based Graph Enhancement Framework that reformulates item-item neighbor selection as a principled Optimal Transport (OT) assignment problem. Our framework uses a Multi-Layer Perceptron (MLP) to learn a score matrix from multimodal similarities and subsequently applies Sinkhorn Normalization, which serves as a differentiable approximation to the OT solution. This normalization process explicitly enforces a balanced assignment constraint (A1 = 1 and A^T1 = 1), which guarantees global structural regularization and enables the construction of high-quality, non-local item-item edges. Extensive experiments on public datasets demonstrate that our method improves graph structure quality, confirming the effectiveness of the Optimal Transport approach for graph enhancement.

목차 (Table of Contents)

• Abstract 2
• 1 Introduction 3
• 2 Preliminaries 6
• 2.1 The Kantorovich Problem of Optimal Transport 7
• 2.2 Entropic Regularization of Optimal Transport 8
• 2.3 The Sinkhorn-Knopp Algorithm and Convergence 9
• 2.4 Geometric Interpretation: Bregman Projections 12
• 3 Related Works 13
• 3.1 Early Approaches 13
• 3.2 Evolution of Graph-based Multimodal Models 14
• 3.3 Latent Structure Mining, Graph Refinement 15
• 3.4 Self-Supervised Learning, Aligning Modalities 16
• 3.5 Efficiency, Robustness, and Critical Perspectives 16
• 4 Methodology 17
• 4.1 Overall Framework 17
• 4.2 Multimodal Similarity Learning 18
• 4.3 Sinkhorn-based Balanced Assignment 19
• 4.4 Graph Enhancement and Prediction 20
• 5 Experiments 21
• 5.1 Experimental Setup 21
• 5.2 Main Results 23
• 5.3 Model Analysis 25
• 6 Conclusion 27
• Bibliography 28
• 국문초록 34