Improving linear item-item recommender models for data bias, semantics, and temporality

다국어 초록 (Multilingual Abstract)

Linear item-item models have recently garnered significant attention in recommender systems due to their high efficiency and competitive performance compared to complex non-linear models. This high efficiency makes them effective and highly suitable for rapid adoption in real-world applications. However, these models face several limitations stemming from the nature of recommendation data. Key challenges include popularity bias, which leads to the over-recommendation of popular items, and neighborhood bias, which overemphasizes local relationships and fails to capture global patterns. Furthermore, their reliance on high sparsity creates a semantic gap, and their foundational design is often static, failing to capture the dynamic non-temporal nature of user preferences. This dissertation systematically addresses these challenges through a three-part investigation.
First, we address intrinsic issues with recommendation data. (1) To combat both popularity bias and neighborhood bias, we propose a structural normalization method called Data-Adaptive Normalization (DAN). DAN is a model-agnostic technique that dynamically adjusts item and user influence based on dataset-specific characteristics, such as distribution skewness and a novel weighted homophily metric, effectively mitigating both biases. (2) To tackle high sparsity and the resulting semantic gap, we propose semantic enrichment with LLMs in a model named L³AE. This is the first framework to integrate Large Language Models (LLMs) into linear autoencoders, using a two-phase, closed-form solution. It distills rich semantic knowledge from LLMs to enhance the collaborative signal, especially for sparse interactions.
Second, we extend the model beyond its static nature. (3) To address the non-temporal nature of classic linear models, we introduce a temporal-aware extension called the TemporAl LinEar item-item model (TALE). TALE is an efficient linear sequential recommendation model that successfully incorporates temporal context. It introduces three key components: single-target augmentation to preserve temporal correlations, time interval-aware weighting to adjust item significance based on actual timestamps, and trend-aware normalization to capture dynamic item popularity.
In conclusion, the methods presented in this dissertation demonstrate that linear item-item models, when enhanced with sophisticated normalization, rich semantic understanding from LLMs, and dynamic temporal awareness, can overcome their traditional weaknesses. These contributions establish advanced linear models as a highly efficient, accurate, and robust alternative to more complex neural architectures in modern recommender systems.

국문 초록 (Abstract)

선형 아이템-아이템(item-item) 모델은 최근 복잡한 비선형 모델 대비 높은 효율성과 경쟁력 있는 성능으로 인해 추천 시스템 분야에서 상당한 주목을 받고 있다. 이러한 높은 효율성은 선형 모델을 실제 상용 어플리케이션(real-world applications)에 빠르고 효과적으로 적용할 수 있게 만든다. 하지만 이 모델들은 추천 데이터의 본질적인 특성에서 비롯되는 몇 가지 한계에 직면한다. 주요 도전 과제로는 인기 아이템이 과도하게 추천되는 인기 편향(popularity bias)과, 전역적(global) 패턴을 포착하지 못하고 국소적(local) 관계에 과도하게 집중하는 이웃 편향(neighborhood bias)이 있다. 더욱이, 데이터의 높은 희소성(sparsity)에 의존하는 것은 의미적 간극(semantic gap)을 야기하며, 모델의 기본 설계가 정적이어서 사용자 선호도의 동적인 특성을 포착하지 못하는 문제도 있다. 본 학위 논문은 이러한 도전 과제들을 세 부분의 연구를 통해 체계적으로 해결한다.
첫째, 추천 데이터의 본질적인 문제들을 해결한다. (1) 인기 편향과 이웃 편향 모두에 대응하기 위해, 데이터 적응형 정규화(Data-Adaptive Normalization, DAN)라는 구조적 정규화 방법을 제안한다. DAN은 분포의 왜도(skewness)나 가중 동질성 비율(weighted homophily ratio) 지표와 같은 데이터셋 고유 특성에 기반하여 아이템과 사용자의 영향력을 동적으로 조정하며, 두 편향을 효과적으로 조절한다. (2) 높은 희소성과 그로 인한 의미적 간극을 해결하기 위해, LLM 강화 선형 오토인코더 (LLM-enhanced Linear AutoEncoder, L³AE)라는 모델로 대규모 언어 모델(LLM)을 활용한 의미적 강화(semantic enrichment)를 제안한다. 이는 LLM을 선형 오코인코더에 통합한 최초의 프레임워크로, 2단계 closed-form 해법을 사용한다. L³AE는 LLM으로부터 풍부한 의미적 지식을 증류(distill)하여, 특히 희소한 상호작용 환경에서 협업 필터링 신호를 강화한다.
둘째, 모델의 정적인 특성을 확장한다. (3) 고전적인 선형 모델의 비시간적 특성(non-temporal nature)을 해결하기 위해, 시간적 선형 아이템-아이템 모델(TemporAl LinEar item-item model, TALE)이라는 시간 인식 확장(temporal-aware extension)을 제안한다. TALE은 시간적 맥락을 성공적으로 통합한 효율적인 선형 순차 추천 모델이다. 이 모델은 시간적 상관관계를 보존하는 단일-타겟 증강(single-target augmentation), 실제 타임스탬프를 기반으로 아이템 중요도를 조정하는 시간 간격 인식 가중치(time interval-aware weighting), 그리고 동적인 아이템 인기도를 포착하는 트렌드 인식 정규화(trend-aware normalization)라는 세 가지 핵심 요소를 도입한다.
결론적으로, 본 학위 논문에서 제시하는 방법론들은 선형 아이템-아이템 모델이 정교한 정규화, LLM 기반의 풍부한 의미적 이해, 그리고 동적인 시간성 인식을 통해 강화될 때, 기존의 약점들을 극복할 수 있음을 보여준다. 이러한 기여는 진보된 선형 모델을 현대 추천 시스템에서 복잡한 신경망 아키텍처를 대체할 수 있는 매우 효율적이고 정확하며 강건한 대안으로 확립시킨다.

목차 (Table of Contents)

• 1. INTRODUCTION 1
• 1.1 Collaborative Filtering 1
• 1.2 Preliminaries 2
• 1.2.1 Problem Definition 2
• 1.2.2 Linear Item-Item Models 3
• 1.2.3 Linear Autoencoders (LAEs) 3
• 1.2.4 Additional Notations for Extensions 5
• 1.3 Dissertation Outline 7
• 1.3.1 Data Bias 7
• 1.3.2 Semantics 7
• 1.3.3 Temporality 8
• 1.4 Published Works 8
• 2. RELATED WORK 9
• 2.1 Linear Recommender Models 9
• 2.2 Normalization in Recommendation 10
• 2.3 Side Information-Enhanced Recommendation 11
• 2.3.1 Linear Models with Attribute Data 11
• 2.3.2 Large Language Model-Enhanced Models 11
• 2.4 Sequential Recommendation (SR) 12
• 2.4.1 Linear SR Models 13
• 2.4.2 Neural SR Models 14
• 3. DATA BIAS 16
• 3.1 Motivation 16
• 3.2 Existing Normalization Methods 20
• 3.2.1 RW Normalization 20
• 3.2.2 Sym Normalization 22
• 3.3 Normalized Linear Autoencoders 22
• 3.3.1 Generalized Normalization to LAEs 23
• 3.3.2 Existing Normalization for LAEs 24
• 3.4 Proposed Method: DAN 25
• 3.4.1 Item-Adaptive Normalization 26
• 3.4.2 User-Adaptive Normalization 28
• 3.4.3 Discussion on Existing Normalization with LAEs 32
• 3.4.4 Discussion on Intrinsic Data Statistics 33
• 3.5 Experimental Setup 33
• 3.6 Experimental Results 35
• 3.6.1 Performance Comparison 35
• 3.6.2 Hyperparameter Sensitivity 40
• 3.6.3 Comparing Various Normalization 44
• 3.6.4 Efficiency 47
• 3.6.5 Robustness to Synthetic Noises 47
• 3.6.6 Stability of Hyperparameters to Data Sampling 49
• 3.6.7 Case Study 52
• 3.6.8 Generalizability of DAN 54
• 3.7 Implications 57
• 4. SEMANTICS 59
• 4.1 Motivation 59
• 4.2 Infusing Textual Information into LAEs 61
• 4.3 Proposed Method: L3AE 63
• 4.3.1 Building Semantic Item Representations 63
• 4.3.2 Infusing Heterogeneous Knowledge into LAEs 64
• 4.3.3 Phase 1: Construction of Semantic Item Correlation 65
• 4.3.4 Phase 2: Semantic-guided Regularization 66
• 4.4 Experimental Setup 67
• 4.5 Experimental Results 70
• 4.5.1 Overall Performance 70
• 4.5.2 Performance over LLM Backbones 70
• 4.5.3 Performance over Fusion Methods 72
• 4.5.4 Hyperparameter Sensitivity 73
• 4.5.5 Enhancing L3AE with Data-Adaptive Normalization 73
• 4.6 Discussion on Fine-tunable Semantic Encoders 74
• 4.7 Implications 75
• 5. TEMPORALITY 76
• 5.1 Motivation 76
• 5.2 Problem Statement 81
• 5.3 Data Normalization in SR 81
• 5.4 Proposed Method: TALE 82
• 5.4.1 Model Overview 84
• 5.4.2 Single-Target Augmentation 85
• 5.4.3 Time Interval-aware Weighting 90
• 5.4.4 Trend-aware Normalization 91
• 5.5 Experimental Setup 92
• 5.6 Experimental Results 98
• 5.6.1 Performance Comparison 98
• 5.6.2 Efficiency Comparison 99
• 5.6.3 In-depth Analysis 100
• 5.6.4 Effect of Trend-aware Normalization 103
• 5.6.5 Analysis of Temporal Information 104
• 5.6.6 Presence of User Preference Drifts 105
• 5.6.7 Hyperparameter Sensitivity 106
• 5.6.8 Enhancing TALE with Data-Adaptive Normalization 109
• 5.7 Implications 110
• 6. CONCLUSION 111
• 6.1 Summary of Contributions 111
• 6.2 Future Research Directions 112
• References 114
• Korean Abstract 129