Sequence Modeling for Multi-modal Content Generation Conditioned on Musical Information Recognition = 음악 정보 인식 기반 조건부 멀티모달 콘텐츠 생성을 위한 시퀀스 모델링

다국어 초록 (Multilingual Abstract)

The increasing availability of music and video content through the internet and mobile platforms has led to a growing demand for technologies that support both content analysis and generation. In particular, users seek to extract symbolic musical information such as chords and melodies from audio for applications including score generation, music education, and personalized recommendations. Meanwhile, the rise of user-generated content has driven interest in automatically generating dance motions that align with given music.
This thesis presents a unified framework that integrates symbolic music recognition and music-driven dance generation using extracted musical features. By combining deep learning-based audio analysis with generative modeling, the proposed framework aims to automate labor-intensive tasks and lower the barrier to creative content production for non-experts.
First, an extended note-level singing melody transcription approach is proposed to directly predict the onset time, offset time, pitch, and note value of each note from raw audio. A pseudo-labeling strategy for note values, a token representation tailored for this task, and a set of comprehensive evaluation metrics are introduced. Experimental results demonstrate that the proposed method outperforms existing baselines and commercial software in terms of both quantitative evaluation and qualitative visualization.
Second, an event-based chord sequence modeling approach is introduced by reformulating chord recognition as a segment-level sequence-to-sequence prediction problem. This addresses the oversegmentation issues often seen in frame-level classification, where small fluctuations in prediction confidence can lead to frequent and unnatural chord changes. A Transformer encoder-decoder structure is employed, along with two types of token representations for time-aligned chord modeling and an encoder pre-training strategy based on chord similarity. The effectiveness of the proposed methods is validated by improved recognition accuracy and segmentation quality over conventional approaches.
Finally, this thesis proposes a music-driven dance generation model conditioned on the recognized melody and chord information. To effectively incorporate these symbolic musical features, the model architecture is modified to better encode the given music within music encoder. A non-autoregressive, diffusion-based model is employed to generate dance motions that are both physically plausible and musically coherent. The effectiveness of the proposed approach is validated through quantitative evaluations on motion quality, motion diversity, and music-motion alignment, as well as qualitative human evaluation. The results demonstrate that the generated motions better reflect both the temporal and semantic structure of the given music.

국문 초록 (Abstract)

인터넷과 모바일 플랫폼을 통한 음악 및 영상 콘텐츠에 대한 접근성이 높아짐에 따라, 콘텐츠를 분석하고 생성할 수 있는 기술에 대한 수요가 증가하고 있다. 특히 악보 생성, 음악 교육, 개인화된 추천 등의 응용을 위해 오디오로부터 코드나 멜로디와 같은 심볼릭(symbolic) 음악 정보를 추출하고자 하는 사용자의 요구가 증가하고 있다. 동시에 사용자 제작 콘텐츠의 확산은 음악에 어울리는 댄스 동작을 자동으로 생성하는 기술에 대한 관심을 불러일으키고 있다.
본 논문에서는 심볼릭 음악 정보 인식과 인식한 음악 정보를 활용한 음악 기반 댄스 생성 모델을 통합한 프레임워크를 제안한다. 딥러닝 기반의 오디오 분석과 생성 모델링을 결합함으로써, 전문가에게도 시간과 노력이 많이 요구되는 작업을 자동화하고, 비전문가에게는 창작 과정의 진입 장벽을 낮추는 것을 목표로 한다.
먼저, 오디오로부터 각 음의 시작 시점, 종료 시점, 음높이, 음표의 박자 단위 길이를 한 번에 예측하는 확장된 노트 수준의 보컬 멜로디 채보 모델을 제안한다. 본 모델에서는 음표의 박자 단위 길이에 대한 수도 레이블링 기법과 본 과업에 특화된 토큰 표현 방식, 그리고 예측된 모든 요소를 평가할 수 있는 종합적인 평가 지표를 함께 제안하였다. 실험 결과, 제안한 방법은 기존의 베이스라인 모델 및 상용 채보 소프트웨어보다 정량적, 정성적 측면에서 우수한 성능을 보였다.
다음으로, 코드 인식 과업을 세그먼트 단위의 시퀀스 투 시퀀스 예측 문제로 재정의한 이벤트 기반 코드 시퀀스 모델링 기법을 제안한다. 이는 프레임 단위 분류 방식에서 자주 나타나는 작은 확률 변화에도 코드가 자주 바뀌는 과분할 문제를 해결하고자 한다. 이를 위해 트랜스포머 인코더-디코더 구조를 적용하였으며, 시간 정렬된 코드를 모델링하기 위한 두 가지 토큰 표현 방식과 코드 유사도 기반의 인코더 사전학습 기법을 함께 제안하였다. 실험을 통해 제안한 기법이 기존 방식 대비 코드 인식 정확도와 코드 분할 품질 모두에서 성능 향상에 효과적임을 확인하였다.
마지막으로, 앞서 인식한 멜로디 및 코드 정보를 조건으로 활용하는 음악 기반 댄스 생성 모델을 제안한다. 인식한 심볼릭 음악 정보를 효과적으로 활용하기 위해 음악 정보의 표현 방식을 제안하고, 이를 인코딩하는 방식을 수정하였다. 신체적으로 자연스럽고 음악적으로 일관적인 댄스 동작을 생성하기 위해 비자기회귀 방식의 디퓨전 기반 생성 모델을 활용하였다. 제안한 방법의 성능은 동작 품질, 동작 다양성, 음악-동작 정렬도의 세 가지 측면에서의 정량 평가와 정성적 사용자 평가를 통해 검증되었다. 성능 평가를 통해, 생성된 동작이 음악의 시간적 구조와 의미적 특성을 더 잘 반영함을 확인하였다.

목차 (Table of Contents)

• Abstract i
• Contents vii
• List of Tables ix
• List of Figures xii
• Chapter 1 Introduction 1
• 1.1 Background and Motivation 1
• 1.2 Objectives 4
• 1.3 Thesis Outline 6
• Chapter 2 Problem Definition 7
• 2.1 Singing Melody Transcription 7
• 2.2 Chord Recognition 11
• 2.3 Music-Driven Dance Generation 13
• 2.4 Problem Overview 15
• Chapter 3 Literature Review 17
• 3.1 Melody Transcription 17
• 3.1.1 Note-Level Singing Melody Transcription 17
• 3.1.2 Audio-to-Symbolic Transcription 18
• 3.2 Chord Recognition 20
• 3.3 Music-Driven Dance Generation 22
• 3.3.1 Music Feature 22
• 3.3.2 Dance Generation 23
• 3.4 Sequence Modeling 25
• 3.4.1 Sequence-to-Sequence Method 25
• 3.4.2 Sequence Modeling in Music Information Retrieval 25
• 3.4.3 Transformer 26
• 3.4.4 Diffusion Models for Sequence Generation 28
• Chapter 4 Singing Melody Transcription 30
• 4.1 Proposed Model: T3MS 30
• 4.1.1 Note Value Pseudo-Labeling 32
• 4.1.2 Input Features 34
• 4.1.3 Output Representation 35
• 4.1.4 Model Training 38
• 4.1.5 Inference 40
• 4.1.6 Score Visualization 42
• 4.2 Experiments 45
• 4.2.1 Datasets 45
• 4.2.2 Training Details 46
• 4.2.3 Evaluation Metrics 47
• 4.2.4 Models Compared 52
• 4.3 Results 54
• 4.3.1 Preliminary Experiment 54
• 4.3.2 Ablation Study 58
• 4.3.3 Comparison of Note-Level Transcription Performance 59
• 4.3.4 Comparison of Note Value Recognition Performance 62
• 4.3.5 Analysis of Runtime Performance 65
• 4.4 Qualitative Evaluation 67
• Chapter 5 Chord Recognition 72
• 5.1 Proposed Model: pTEDS 72
• 5.1.1 Model Structure 74
• 5.1.2 Chord Representation 75
• 5.1.3 Encoder Pre-Training 77
• 5.2. Experiments 80
• 5.2.1 Datasets and Pre-processing 80
• 5.2.2 Experimental Settings 80
• 5.2.3 Training Details 81
• 5.2.4 Inference 82
• 5.2.5 Evaluation Metrics 83
• 5.3 Quantitative Results 87
• 5.4 Qualitative Analysis of pTEDS 90
• 5.5 Case Study of pTEDS 94
• Chapter 6 Music-Driven Dance Generation 96
• 6.1 Methodology 96
• 6.1.1 Baseline Model 97
• 6.1.2 Music Feature Representation 99
• 6.1.3 Model Architecture 103
• 6.2 Experiments 107
• 6.2.1 Datasets 107
• 6.2.2 Experiment Configurations 107
• 6.2.3 Evaluation Metrics 108
• 6.2.4 Human Evaluation 111
• 6.3 Results 114
• 6.3.1 Quantitative Evaluation 114
• 6.3.2 Human Evaluation 120
• 6.3.3 Computational Efficiency Comparison 121
• 6.3.4 Output Examples 122
• Chapter 7 Conclusion 125
• 7.1 Summary and Contributions 125
• 7.2 Limitations and Future Research 128
• Bibliography 130
• 국문초록 149