Identifying MBTI Personality Traits from Outfits through Multimodal Feature Embedding Fusion = 멀티모달 임베딩 융합을 통한 의상 기반의 MBTI 성격 식별 연구

다국어 초록 (Multilingual Abstract)

The Myers–Briggs Type Indicator (MBTI) is commonly used to classify individuals in contexts such as career placement, recreation, and social matching. However, the potential of using MBTI-based clothing features for fashion categorization remains underrated, despite its significant promise. While related work exists, it primarily focuses on recommending outfits based on MBTI types. This study addresses a more fundamental research question: determining the optimal configuration method for identifying the relationship between MBTI and clothing during model training and testing. We employ an ablation study framework to evaluate the contribution of individual features and identify which are essential or redundant for accurate classification. Through rigorous benchmarking, we find that a regularized Ensemble Configuration model achieves peak accuracy (±93.2%) using concatenation, augmented image and augmented text datasets. The key insight is that in this domain, algorithmic diversity (ensembling) provides a far greater performance lift than either intensive single-model tuning or manual feature-weighting schemes.

국문 초록 (Abstract)

마이어스-브릭스 유형 지표(Myers–Briggs Type Indicator, MBTI)는 직업 배치, 여가 활동, 사회적 매칭과 같은 다양한 상황에서 개인을 분류하는 데 널리 사용됩니다. 그러나 MBTI 기반 의상 특성을 패션 범주화에 활용할 수 있는 잠재력은 상당한 가능성에도 불구하고 크게 평가받지 못하고 있습니다. 관련 연구가 존재하지만, 대부분 MBTI 유형에 기반한 의상 추천에 초점을 맞추고 있습니다. 본 연구는 보다 근본적인 연구 문제를 다루며, 모델 훈련 및 테스트 과정에서 MBTI와 의상 간의 관계를 식별하는 최적의 구성 방법을 규명하는 것을 목표로 합니다. 이를 위해 애블레이션(ablation) 연구 방법론을 적용하여 개별 특성의 기여도를 평가하고 정확한 분류에 필수적이거나 중복되는 특성을 식별하였습니다. 엄격한 벤치마킹을 통해 정규화된 앙상블 구성(Ensemble Configuration) 모델이 단순 병합(concatenation)된, 증강된 이미지 및 텍스트 데이터셋을 사용하여 최고 정확도(±93.2%)를 달성함을 확인했습니다. 본 연구의 핵심 통찰은 이 분야에서 알고리즘 다양성(앙상블)이 단일 모델의 집중적인 튜닝이나 수동적 특징 가중치 기법보다 훨씬 더 큰 성능 향상을 제공한다는 점입니다.

목차 (Table of Contents)

• List of Tables ⅲ
• List of Figures ⅳ
• ABSTRACT ⅵ
• Ⅰ. Introduction 1
• 1.1. Background 1
• 1.2. Motivation 2
• 1.3. Problem Statement 3
• 1.4. Project Goal 4
• Ⅱ. Related Works 4
• Ⅲ. Our Approach 7
• 3.1. High-Level System Diagram 8
• Ⅳ. Proposed Architectures 9
• 4.1. Base Configurations 13
• 4.2. Advanced Configurations 24
• Ⅴ. Experiments 32
• 5.1. Datasets 32
• 5.2. Dataset Augmentations 35
• 5.3. Configuration Weights & Tuning Settings 44
• 5.4. Overfitting Checks 49
• Ⅵ. Result Analysis 53
• 6.1. Base Configuration Results 53
• 6.2. Advanced Configuration Results 55
• 6.3. Ablation Analysis of Feature and Contributions 57
• 6.4. Confusion Matrix and Performance Metric Analysis 60
• 6.5. Overall Results 71
• Ⅶ. Conclusions 75
• 7.1. Summary of Research and Approach 75
• 7.2. Key Findings and Results 76
• 7.3. Contributions to Knowledge Practice 78
• 7.4. Limitations 79
• 7.5. Future Work 79
• References 81
• Abstract (in Korean) 85