Robust Audio-Language Retrieval under Imbalanced Data Distributions = 불균형한 데이터 분포에 강건한 오디오-언어 검색

국문 초록 (Abstract)

오디오-텍스트 검색은 서로 이질적인 모달리티인 오디오와 텍스트를 공통된 의미 임베딩 공간에 정렬하는 문제이다.
이미지-텍스트 검색에 비해 오디오-텍스트 검색은 고품질 페어링 데이터셋의 부족과 불균형으로 인해 상대적으로 적은 관심을 받아왔다.
또한, 두 모달리티는 근본적인 의미적 세분성 차이를 보인다. 오디오는 시간에 따라 미세하고 세밀한 정보를 포함하는 반면, 텍스트는 일반적으로 추상적이고 거친 표현을 사용한다.
이러한 차이는 두 모달리티 모두의 중요한 정보를 보존할 수 있는 임베딩 공간을 구축하는 데 어려움을 초래한다. 이러한 문제를 해결하기 위해 본 논문은 세 가지 상호 보완적인 전략을 제안한다.
첫째, ChatGPT 기반 패러프레이저를 이용하여 텍스트를 의미적으로 일관되면서도 다양한 표현으로 확장하는 방법을 제안한다. 이를 통해 오디오-텍스트 데이터셋에서 흔히 발생하는 many-to-one 문제를 완화하고, 대조 학습에 필요한 부정 샘플을 풍부하게 제공한다.
둘째, LASER(Latent Space Embedding Rank analysis)라는 임베딩 공간 진단 프레임워크를 개발하여, 훈련 중 SVD(특이값 분해)를 이용해 임베딩 공간의 랭크를 모니터링한다. 이를 통해 큐(queue) 크기 선정, 조기 종료(early stopping) 타이밍 제안, 임베딩 공간 내 구조 변화를 분석할 수 있다.
셋째, 텍스트와 오디오 모달리티가 서로 다른 최적 임베딩 차원을 선호한다는 점을 고려하여, 세분성(granularity)을 인식하는 표현 학습 방식을 제안한다. 초기에는 낮은 차원의 임베딩 공간에서 두 모달리티를 정렬한 후, 인코더를 고정(freeze)하고 고차원 투영층(projection head)을 추가하여 표현을 더욱 풍부하게 만든다. 각 검색 방향(text-to-audio, audio-to-text)에는 비대칭 손실(asymmetric loss)을 적용하여 모달리티 특성에 맞는 최적화를 수행한다.
실험을 통해 제안한 방법들의 유효성이 검증되었다. 따라서, 본 연구는 데이터 불균형 문제 해결, 임베딩 공간 구조 모니터링, 모달리티별 세분성 특성 반영의 중요성을 강조하며, 오디오-텍스트 교차 모달 검색 분야 발전에 기여한다.

다국어 초록 (Multilingual Abstract)

This dissertation addresses the challenges of audio-text retrieval, which requires aligning heterogeneous modalities—audio and text—within a shared semantic embedding space. Compared to image-text retrieval, audio-text retrieval has received less attention due to the scarcity and imbalance of high-quality paired datasets. Moreover, the two modalities exhibit a fundamental semantic granularity asymmetry: audio signals contain fine-grained, temporally distributed information, while text descriptions are typically coarse and abstract. This discrepancy complicates the construction of embedding spaces that preserve important details from both modalities.
To tackle these issues, the dissertation proposes three complementary strategies. First, a caption diversification method based on a ChatGPT-powered paraphraser is introduced, generating semantically consistent yet lexically diverse captions to mitigate the many-to-one annotation problem and enrich negative samples for contrastive learning. Second, an embedding space diagnostic framework called LASER (Latent Space Embedding Rank analysis) is developed, using singular value decomposition (SVD) to monitor embedding rank during training. LASER guides optimal queue size selection, early-stopping, and provides insights into embedding space dynamics. Third, a granularity-aware representation learning framework is proposed, recognizing that text and audio favor different optimal embedding dimensions. A two-stage training strategy is designed, beginning with low-dimensional alignment and later enriching representations with higher-dimensional projections while applying asymmetric losses for each retrieval direction.
Experiments validate the effectiveness of these methods. The proposed strategies consistently improve retrieval performance, highlighting the importance of addressing data imbalance, monitoring embedding structure, and respecting modality-specific granularity. Overall, this dissertation advances cross-modal retrieval between audio and language by combining dataset enhancement, analytical tools, and architectural innovations.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• 1.1 Motivation 1
• 1.2 Axes of Investigation 5
• 1.2.1 Dataset Perspective 6
• 1.2.2 Embedding Analysis 6
• 1.2.3 Model Perspective 7
• 1.3 Contributions 7
• Chapter 2 Background 9
• 2.1 Audio-Text Retrieval 10
• 2.2 Contrastive Learning for Cross-modal Embedding 11
• 2.2.1 Contrastive Learning 11
• 2.2.2 Queue-based Model 14
• 2.3 Embedding Space Analysis 17
• 2.3.1 Singular Value Decomposition (SVD) 17
• 2.3.2 Rank Analysis 18
• Chapter 3 Distance Sampling-based Paraphraser Leveraging ChatGPT for Text Data Manipulation 20
• 3.1 Introduction 20
• 3.2 Related works 24
• 3.2.1 Audio-Language representation learning 24
• 3.2.2 Multimodal learning with ChatGPT 24
• 3.3 Proposed method 26
• 3.3.1 Audio-Text contrastive learning 26
• 3.3.2 Distance Sampling-based paraphraser 27
• 3.4 Experiments 31
• 3.4.1 Experimental setup 31
• 3.4.2 Model performance 32
• 3.4.3 Ablation study 35
• 3.4.4 Examples of Paraphrased Text Using ChatGPT-based Paraphraser 36
• 3.5 Conclusion 38
• Chapter 4 Understanding Audio-Text Retrieval Through Singular Value Decomposition 39
• 4.1 Introduction 39
• 4.2 Queue-based Contrastive Learning and LAtent Space Embedding Rank (LASER) 41
• 4.2.1 Contrastive Learning using Queues . . . . . . . . . . . . . 41
• 4.2.2 Objective Function of Contrastive Learning . . . . . . . . 44
• 4.2.3 LAtent Space Embedding Rank (LASER) Analysis . . . 45
• 4.3 Experiments 47
• 4.3.1 Experimental Setup 47
• 4.3.2 Model Performance 48
• 4.4 Analysis 49
• 4.4.1 LASER Analysis 1: Relationship Between Low-Rank Profile and Model Performance 49
• 4.4.2 LASER Analysis 2: Relationship Between Rank Convergence and Model Well-Fitting 53
• 4.5 Conclusion 54
• Chapter 5 Granularity-Aware Progressive Learning for Audio-Text Retrieval 55
• 5.1 Introduction 55
• 5.2 Related Work 57
• 5.3 Two-Stage Audio-Text Embedding Space Optimization 60
• 5.3.1 Stage 1: Coarse-Level Embedding Learning 60
• 5.3.2 Stage 2: Fine-Grained Embedding Enhancement 61
• 5.4 Experiments 63
• 5.4.1 Experimental Setup 63
• 5.4.2 Main Results 63
• 5.5 Discussion 65
• 5.5.1 Impact of Embedding Dimension 65
• 5.5.2 Effectiveness of Two-Stage Training Strategy 69
• 5.5.3 Impact of Loss Application Strategy in Stage 2 75
• 5.6 Conclusion 76
• Chapter 6 Conclusion 77
• 6.1 Summary 77
• 6.2 Limitations 79
• 6.3 Future Work 80
• Acknowledgements 96
• 요약 97