A Study of Fashion Outfit Graph Generation using Graph Diffusion Model = 그래프 확산 모델을 이용한 패션 의상 그래프 생성에 관한 연구

국문 초록 (Abstract)

패션 호환성（Fashion Compatibility）은 여러 패션 아이템이 시각적으로 조화로운 의상을 구성할 수 있는지를 평가하는 어려운 과제이다. 기존 연구들은 크게 쌍별（pairwise）, 순차（sequential）, 그래프（graph-based）기반 방법으로 구분할 수 있다. 쌍별 방법은 다수의 아이템 간 상호작용을 모델링하는 데 한계가 있으며, 순차 방법은 본질적으로 순차 구조를 갖지 않는 의상에 인위적인 순서를 부여한다는 한계가 있다. 이에 비해 그래프 기반 방법은 아이템 간 관계를 직접적으로 모델링할 수 있어 보
다 적합한 표현 방식을 제공한다. 그러나 대부분의 기존 그래프 기반 연구는 사전에 정의된 패션 그래프 또는 카테고리 그래프에 의존하며, 새로운 아이템이 등장할 경우 사전에 정의된 그래프에서 유사한 아이템을 검색하여 활용하더라도 최종적으로는 의상 전체에 대한 단일 호환성 점수를 예측한다. 이러한 방식은 하나의 의상 조합 내에 여러 부분적 호환관계가 존재할 수 있다는 점을 충분히 반영하지 못할 수 있다. 본 연구에서는 이러한 한계를 해결하기 위해 의상 호환성 모델링을 그래프 생성 문제로 재정의하고, 확산 기반 그래프 생성 모델인 ConGress를 의상 호환성 학습에 적용하였으며, 패션 아이템을 노드（node）로, 아이템 간 호환 관계를 엣지（edge）로 표현하는 의상 그래프를 구성하였다. 또한 아이템의 시각적 특징은 고정된 노드 표현으로 유지한 채 호환 관계만을 생성하는 Edge-only Graph Diffusion 프레임워크를 적용하였다. 성능을 평가하기 위해 Polyvore 및 Maryland Polyvore 데이터셋에서 Compatibility Prediction（CP）과 Fill-in-the-Blank（FITB） 실험을 수행
하였다. 실험 결과, 확산 기반 그래프 생성 접근법은 사전에 정의된 호환성 그래프를 사용하지 않고도 두 과제에서 경쟁력 있는 성능을 달성하였다. 또한 생성된 그래프는 패션 아이템 간의 의미 있는 호환성 관계를 효과적으로 표현하는 것으로 확인되었다. 이러한 결과는 그래프 생성이 의상 호환성 모델링을 위한 유망한 접근 방향임을 시사한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Research Objectives 1
• 1.2 Scope and Method of the Study 4
• 1.2.1 Scope of the Study 4
• 1.2.2 Method of the Study 5
• Chapter 2. Literature Review 7
• 2.1 Related Works 7
• 2.1.1 Fashion Outfit Compatibility 7
• 2.1.2 Graph Diffusion Model 10
• 2.2 Preliminaries 13
• 2.2.1 ConGress 13
• Chapter 3. Methodology 16
• 3.1 Problem Formulation 17
• 3.2 Edge-only Graph Diffusion 18
• 3.3 Graph Transformer Denoising Network 20
• 3.4 Task-Specific Compatibility Objective 20
• Chapter 4. Results and Discussions 24
• 4.1 Experimental Setup 24
• 4.1.1 Baselines 24
• 4.1.2 Datasets 26
• 4.1.3 Training Configurations 28
• 4.1.4 Evaluation Tasks 28
• 4.2 Maryland Polyvore Results 31
• 4.3 Polyvore Results 32
• 4.4 Full Sampling Trajectory Analysis 35
• 4.5 Multiple Plausible Outfit Generation 37
• 4.5.1 Qualitative Analysis of Multiple Sampling Results 37
• 4.5.2 Sampling Diversity Analysis 40
• 4.6 Qualitative Results 42
• 4.6.1 Generated Outfit Graphs 42
• 4.6.2 Reverse Process Visualization 46
• 4.7 Ablation Study 49
• 4.7.1 Multi-modal Node Features 49
• 4.7.2 Effect of Compatibility Loss 52
• 4.7.3 Effect of Partial Edge Preservation 54
• Chapter 5. Conclusion 56
• REFERENCES 57
• 초록 63