Learning Multi-Modal Fashion Representations for Online Fashion: Image Retrieval, Trend Analysis and Chatbot = 온라인 패션을 위한 멀티모달 패션 표현 학습: 이미지 검색, 트렌드 분석 및 챗봇

다국어 초록 (Multilingual Abstract)

The contemporary fashion industry has undergone a fundamental transformation toward digital platforms and social media, creating unprecedented opportunities alongside substantial challenges in visual product discovery, data-driven trend forecasting, and personalized styling assistance. This dissertation addresses these challenges through an integrated framework of AI-powered systems for fashion data representation and application.

This research comprises three interconnected components that collectively establish intelligent fashion systems for online environments. First, we develop a cross-modal fashion image retrieval system that bridges the significant visual gap between user-generated street photos and professional product catalogs. Leveraging a sigmoid-based contrastive learning framework (SigLIP) with attribute-aware pre-training and weighted contrastive fine-tuning, our approach achieves state-of-the-art performance on Street2Shop and DeepFashion benchmarks, demonstrating top-1 accuracy improvements of 26.3% and 45.5% respectively over existing methods.

Second, we construct the Fashion Visual Instruction (FVI) dataset comprising 5 million hierarchical instruction samples across three complexity levels: Simple (factual classification), Complex (multi-attribute extraction), and Advanced (logical reasoning). By applying Localized Fine-Tuning to Qwen2-VL with bounding box integration, we enable the model to perform precise attribute extraction and contextual inference from unstructured, cluttered social media images. The model demonstrates superior capability in analyzing temporal fashion dynamics, achieving strong performance across quantitative metrics (BERTScore: 0.942, METEOR: 0.614), LLM-assisted evaluation (LAVE: 2.370), and human expert assessment (4.35/5.0).

Third, we integrate these components into an end-to-end multi-modal conversational agent utilizing Retrieval-Augmented Generation (RAG), domain-specific alignment via Supervised Fine-Tuning (SFT) and Direct Preference Optimization (DPO), and visual grounding through cross-modal retrieval. Our specialized 8B parameter model achieves a 58% human preference rate, surpassing GPT-4o's 40%, while demonstrating superior linguistic fluency (Perplexity: 12.28) and lexical diversity (Dist-3: 0.856). The system successfully transforms quantitative trend insights into accessible, personalized styling advice supported by concrete visual evidence.

The synergistic integration of visual retrieval, trend analysis, and conversational interaction establishes a comprehensive fashion intelligence framework. This work demonstrates that domain-specific adaptation and multi-modal integration enable AI systems to provide practical, user-centric fashion assistance. By combining data-driven insights with engaging interaction, this dissertation presents a pathway to making professional fashion expertise accessible to consumers in the digital era.

국문 초록 (Abstract)

현대 패션 산업은 디지털 플랫폼과 소셜 미디어를 중심으로 근본적인 변화를 겪으며, 시각적 제품 탐색, 데이터 기반 트렌드 예측, 개인화된 스타일링 지원 분야에서 전례 없는 기회와 함께 상당한 과제를 제시하고 있다. 본 논문은 패션 데이터 표현 및 응용을 위한 인공지능 기반 통합 프레임워크를 통해 이러한 과제를 해결한다.

본 연구는 온라인 환경을 위한 지능형 패션 시스템을 구축하는 세 가지 상호 연결된 구성 요소로 이루어진다. 첫째, 사용자가 생성한 일상 사진과 전문 제품 카탈로그 간의 상당한 시각적 격차를 해소하는 교차 모달 패션 이미지 검색 시스템을 개발한다. 속성 인식 사전 학습 및 가중 대조 미세 조정을 적용한 시그모이드 기반 대조 학습 프레임워크(SigLIP)를 활용하여, Street2Shop 및 DeepFashion 벤치마크에서 기존 방법 대비 각각 26.3%와 45.5%의 top-1 정확도 향상을 달성하며 최첨단 성능을 입증한다.

둘째, 세 가지 복잡도 수준(Simple: 사실 분류, Complex: 다중 속성 추출, Advanced: 논리적 추론)에 걸쳐 500만 개의 계층적 지시문 샘플로 구성된 Fashion Visual Instruction(FVI) 데이터셋을 구축한다. 바운딩 박스 통합을 통한 Qwen2-VL의 지역화 미세 조정(Localized Fine-Tuning)을 적용하여, 구조화되지 않은 복잡한 소셜 미디어 이미지에서 정밀한 속성 추출 및 맥락적 추론을 가능하게 한다. 본 모델은 정량적 지표(BERTScore: 0.942, METEOR: 0.614), LLM 기반 평가(LAVE: 2.370), 인간 전문가 평가(4.35/5.0)에서 우수한 성능을 달성하며, 시간적 패션 역학 분석에 탁월한 능력을 보인다.

셋째, 검색 증강 생성(RAG), 지도 학습 미세 조정(SFT) 및 직접 선호 최적화(DPO)를 통한 도메인 특화 정렬, 교차 모달 검색을 통한 시각적 grounding을 활용하여 이러한 구성 요소를 종단간 멀티모달 대화 에이전트로 통합한다. 본 연구의 특화된 8B 파라미터 모델은 GPT-4o의 40%를 능가하는 58%의 인간 선호도를 달성하는 동시에, 우수한 언어적 유창성(Perplexity: 12.28)과 어휘 다양성(Dist-3: 0.856)을 입증한다. 시스템은 정량적 트렌드 인사이트를 구체적인 시각적 증거로 뒷받침되는 접근 가능하고 개인화된 스타일링 조언으로 성공적으로 변환한다.

시각적 검색, 트렌드 분석, 대화형 상호작용의 시너지적 통합은 포괄적인 패션 인텔리전스 프레임워크를 구축한다. 본 연구는 도메인 특화 적응과 멀티모달 통합이 AI 시스템이 실용적이고 사용자 중심적인 패션 지원을 제공할 수 있도록 한다는 것을 보여준다. 데이터 기반 인사이트와 참여형 상호작용을 결합함으로써, 본 논문은 디지털 시대에 일반 소비자가 전문적인 패션 전문성에 접근할 수 있는 경로를 제시한다.

목차 (Table of Contents)

• Abstract i
• Contents ix
• List of Tables xi
• List of Figures xiii
• Chapter 1 Introduction 1
• 1.1 Background 1
• 1.2 Characteristics of Online Fashion 2
• 1.3 Problem Statement and Dissertation Organization 4
• 1.4 Dissertation Overview 6
• Chapter 2 Theoretical Foundations and Related Literature 7
• 2.1 Evolution of Fashion Image Retrieval 7
• 2.1.1 Deep Metric Learning in Fashion 7
• 2.2 Vision-Language Models for Fashion Understanding 8
• 2.2.1 Contrastive Learning and its Limitations 8
• 2.2.2 Visual Instruction Tuning and Spatial Reasoning 8
• 2.3 Interactive Agents and Human-AI Alignment 9
• 2.3.1 Retrieval-Augmented Generation (RAG) in Conversational Systems 9
• 2.3.2 Policy Alignment through Preference Optimization 9
• 2.4 Summary 10
• Chapter 3 Learning Cross-Modal Representations for Fashion Image Retrieval 11
• 3.1 Background 11
• 3.1.1 Limitations of Existing Approaches 12
• 3.1.2 Proposed Framework: SigLIP-based Retrieval with Weighted Contrastive Optimization 14
• 3.1.3 Contributions 15
• 3.2 Related Works 16
• 3.2.1 Fine-grained Vision-Language Modeling 16
• 3.2.2 Bridging the Domain Gap in FIR 16
• 3.3 Preliminary 18
• 3.3.1 Fashion Domain Characteristics and Multi-Positive Scenarios 18
• 3.3.2 CLIP vs. SigLIP: From Contrastive to Binary Classification 20
• 3.4 Method 22
• 3.4.1 Stage 1: Pre-training for Enhanced Fashion Image Understanding through Text Integration 23
• 3.4.2 Stage 2: Cross-domain Fine-tuning with Weighted Contrastive Learning 27
• 3.5 Experiments 30
• 3.5.1 Datasets 30
• 3.5.2 Baselines 32
• 3.5.3 Evaluation Metrics 34
• 3.5.4 Implementation Details 35
• 3.6 Results 38
• 3.6.1 Main Results 38
• 3.6.2 Qualitative Analysis 42
• 3.7 Ablation Study 44
• 3.8 Discussion 47
• 3.9 Summary 50
• Chapter 4 Learning Spatially-Grounded Representations for Fashion Trend Analysis 51
• 4.1 Background 51
• 4.1.1 Limitations of Existing Approaches 53
• 4.1.2 Proposed Framework: Localized Fine-Tuning with Multi-Level Fashion Visual Instruction Dataset 55
• 4.1.3 Contributions 56
• 4.2 Related Works 57
• 4.2.1 Deep Learning for Fashion Analysis 57
• 4.2.2 Vision-Language Models in Fashion 58
• 4.2.3 Visual Instruction Tuning 59
• 4.3 Method 60
• 4.3.1 Construction of Fashion Visual Instruction (FVI) Dataset 61
• 4.3.2 Model Fine-Tuning 63
• 4.4 Experiments 65
• 4.4.1 Datasets 65
• 4.4.2 Baseline Models 66
• 4.4.3 Evaluation Metrics 67
• 4.5 Results 70
• 4.5.1 Quantitative Results 70
• 4.5.2 Qualitative Evaluation 73
• 4.6 Application: Spatiotemporal Trend Analysis 82
• 4.6.1 Analysis Pipeline 82
• 4.6.2 Results and Observations 82
• 4.6.3 Implications for Fashion Industry 84
• 4.7 Summary 85
• Chapter 5 Learning Interactive Multi-Modal Representations for Fashion Chatbot 87
• 5.1 Background 87
• 5.1.1 From Quantitative Analysis to User-Centric Interaction 87
• 5.1.2 Limitations of Existing Large Language Models in Fashion 90
• 5.1.3 Proposed Framework: End-to-End Multi-Modal Fashion Agent 92
• 5.1.4 Contributions 93
• 5.2 Related Works 94
• 5.2.1 Fashion Dialogue Systems 94
• 5.2.2 Alignment Techniques for Large Language Models 95
• 5.2.3 Retrieval-Augmented Generation for Dynamic Domains 96
• 5.3 Methods 97
• 5.3.1 Step 1: Knowledge Injection via Textualization 98
• 5.3.2 Step 2: Domain Alignment (SFT & DPO) 100
• 5.3.3 Step 3: Visual Grounding Pipeline 102
• 5.4 Experiments 103
• 5.4.1 Datasets 103
• 5.4.2 Baseline Models 104
• 5.4.3 Evaluation Metrics 105
• 5.5 Results 108
• 5.5.1 Quantitative Results 108
• 5.5.2 Qualitative Results 111
• 5.5.3 Human Evaluation 114
• 5.5.4 Visual Grounding Evaluation 118
• 5.6 Discussion 120
• 5.6.1 Trade-off Between Factual Grounding and Conversational Persona 120
• 5.6.2 Efficacy of Domain-Specific Alignment Over Model Scaling 121
• 5.6.3 Mitigating Hallucination through Visual Grounding 122
• 5.7 Summary 123
• Chapter 6 Conclusion 125
• 6.1 Summary of Contributions 125
• 6.2 Broader Implications 127
• 6.3 Limitations 129
• 6.4 Future Works 131
• 6.5 Concluding Remarks 133
• Bibliography 134
• Appendix 151
• 국문초록 152