이중 스트림 융합 트랜스포머를 이용한 확산 기반 순차 추천 모델 = Diffusion-based Sequential Recommendation Model with Dual-stream Fusion Transformer

국문 초록 (Abstract)

순차 추천 시스템은 사용자의 시간적 상호작용 패턴을 학습하여 다음 선호 아이템을 예측한다. 최근 CaDiRec과 같은 확산 모델 기반 방법들이 최고 성능을 달성했으나, 이들은 아이템을 고유 식별자로만 표현하고 장르와 같은 속성 정보를 활용하지 않아 데이터 희소 환경에서 아이템 표현 학습이 제한되고 의미적 유사성 포착에 한계를 보인다. 일부 연구에서는 속성 정보를 융합하려 했으나 단순 연결이나 단방향 크로스어텐션 방식으로는 순차 정보와 속성 정보 간의 복잡한 상호의존 관계를 충분히 반영하지 못했다. 이에 본 논문에서는 CaDiRec을 확장하여 순차 정보와 속성 정보를 효과적으로 통합하는 순차 추천 모델 DAF-CaDiRec을 제안하고, 다양한 융합 방식과 속성 집계 방식의 성능을 체계적으로 비교 분석하였다. MovieLens-1M 데이터셋을 활용한 실험 결과, 셀프어텐션과 크로스어텐션을 교차적으로 수행하는 이중 스트림 융합 트랜스포머가 가장 우수한 성능을 보였으며, 속성 집계 방식에서는 정규화로 인한 정보 손실 없이 모든 장르 정보를 유지하는 임베딩 합산 방식이 가장 효과적인 것으로 나타났다. 제안된 DAF-CaDiRec은 전체 아이템 랭킹 평가에서 기존 CaDiRec 대비 HR@5 8.1%, NDCG@5 9.5%, HR@10 8.6%, NDCG@10 9.7%의 성능 향상을 달성하였으며, 이는 이중 스트림 구조를 통한 속성 정보 통합이 시간적 행동 패턴과 아이템 간 의미적 관계를 동시에 학습하는 데 기여함을 보여준다. 또한 본 연구는 순차 정보와 속성 정보를 통합하는 과정에서 정보 손실을 최소화하는 것이 모델 성능 향상에 핵심적인 요소임을 시사한다.

다국어 초록 (Multilingual Abstract)

Sequential recommendation predicts the next preferred item by considering the temporal order of user–item interactions, thereby capturing users’ evolving preferences and behavioral patterns over time. Recent diffusion-based methods such as CaDiRec have achieved state-of-the-art performance; however, they represent items solely by unique identifiers without utilizing attribute information such as genres, which limits representation learning for items with sparse interaction data and fails to capture semantic similarities among items. Although prior studies have attempted to incorporate attribute information, they primarily rely on simple addition or concatenation, which is insufficient for modeling the complex interdependent relationships between sequential and attribute information. To address this limitation, this paper proposes DAF-CaDiRec, an extension of CaDiRec that effectively integrates sequential and attribute information. The study investigates two research questions: (i) which fusion method most effectively combines sequential and attribute information, and (ii) which aggregation method best handles multi-valued attributes. Comprehensive experiments were conducted on the MovieLens-1M dataset, evaluating six fusion methods and four aggregation methods. Among the fusion approaches, the dual-stream fusion transformer achieved the best performance by enabling bidirectional interactions through alternating self-attention and cross-attention layers. For aggregation, summation of genre embeddings outperformed other methods by preserving all attribute information without normalization-induced loss. In full item ranking evaluations, DAF-CaDiRec consistently outperformed CaDiRec across all metrics, achieving improvements of 8.1% in HR@5, 9.5% in NDCG@5, 8.6% in HR@10, and 9.7% in NDCG@10. These results demonstrate that incorporating item attributes through a dual-stream fusion transformer effectively enhances sequential recommendation performance by jointly capturing temporal behavioral patterns and semantic relationships between items. Furthermore, the findings highlight that minimizing information loss during fusion and aggregation is critical for the effective integration of sequential and attribute information.

목차 (Table of Contents)

• I. 서론 1
• 1. 연구 배경 및 목표 1
• II. 관련 연구 4
• 1. 순차 추천 연구 4
• 2. 확산 모델 기반 추천 연구 7
• 3. 다중 정보 융합 방법론 9
• 4. 기존 연구의 한계와 본 연구의 접근 방법 12
• III. 제안하는 모델 13
• 1. 전체 아키텍처 13
• 2. 임베딩 레이어 16
• 3. 이중 스트림 융합 트랜스포머 18
• 4. 손실 함수 21
• IV. 구현 및 성능 평가 25
• 1. 구현 환경 25
• 2. 실험 설정 26
• 3. 제안하는 모델의 성능 평가 30
• 4. 융합 방식 비교 연구 31
• 5. 집계 방식 비교 연구 34
• Ⅴ. 결론 및 향후 연구 38