Diffusion Model Based Melody Generation with Pitch and Rhythm Control = 피치 및 리듬 제어를 통한 확산 모델 기반 멜로디 생성

다국어 초록 (Multilingual Abstract)

This thesis studies a methodology that applies the diffusion model to melody creation. The research focuses on developing techniques to precisely control pitch and rhythm density during the melody generation. These elements are pivotal in defining a musical piece’s emotional and stylistic identity. The objective is to enhance the emotional depth and structural complexity of generated melodies through strategic manipulation of pitch and rhythm. The primary aim of this study is to ensure that the generated melodies align cohesively with the existing melodic context. This alignment provides a seamless and natural musical experience for listeners. The research presents a novel approach that leverages diffusion models to improve melodies’ continuity and coherence. Secondly, the thesis explores effective pitch control in melody generation. Recognizing pitch as a critical component in conveying emotions and setting the mood of a piece, this research delves into methods for adjusting pitch based on user inputs. Lastly, the study addresses the control of rhythm density. Rhythm, a fundamental aspect in dictating a composition’s flow and energy, is manipulated to diversify and enhance the complexity of melodies. This approach aims to broaden the expressive capabilities of music generated through this novel methodology.

국문 초록 (Abstract)

본 논문은 확산 모델을 멜로디 생성에 적용하는 방법을 연구한다. 이 연구는 멜로디 생성 과정에서 음정과 리듬의 밀도를 제어하는 방법을 제안하는 데 중점을 둔다. 이러한 요소는 음악 작품의 정서와 스타일을 정의하는 데 중추적인 역할을 한다. 음정과 리듬의 조절을 통해 생성된 멜로디의 정서적 깊이와 구조적 복잡성을 향상할 수 있다. 첫째, 이 연구는 생성된 멜로디가 기존의 멜로디 맥락과 일관되게 하는 것이다. 이는 청취자에게 매끄럽고 자연스러운 음악적 경험을 제공하기 위한 것이다. 이 연구는 확산 모델을 활용하여 멜로디의 연속성과 일관성을 개선하는 새로운 접근 방식을 제시한다. 둘째, 이 논문은 멜로디 생성에서 효과적인 음정 제어 방법을 제시한다. 이 연구 는 감정을 전달하고 곡의 분위기를 설정하는 데 있어 음정을 중요한 요소로 인식하고, 사용자 입력에 따라 음정 조정하는 방법을 탐구한다. 마지막으로 이 연구는 리듬 밀도 제어에 대해 다룬다. 멜로디의 흐름과 에너지를 결정하는 기본 요소인 리듬은 멜로디의 복잡성을 다양화하고 강화하기 위해 조절된다. 이 새로운 방법론을 통해 생성된 음악의 표현력을 넓히는 것이 이 연구의 목표이다.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• 1.1 Research Motivation 1
• 1.2 Research Objectives 4
• 1.3 Problem Definition 5
• 1.4 Research Contributions 7
• 1.5 Organization of the Thesis 8
• Chapter 2 Literature Review 9
• 2.1 Review on Diffusion Model 9
• 2.2 Review on Melody Generation 13
• 2.2.1 Symbolic Music Generation 13
• 2.2.2 Non-Deep Learning based Music Generation 15
• 2.2.3 Deep Learning based Music Generation 15
• Chapter 3 Methodology 20
• 3.1 Design of the Melody Diffusion Model 21
• 3.1.1 Data Representation 21
• 3.1.2 Model Architecture 21
• 3.2 Pitch and Rhythm Density Control Approaches 28
• 3.2.1 Definition of Pitch and Rhythm Density Control 28
• 3.2.2 Architecture for Pitch and Rhythm Density Control 29
• 3.2.3 Training Process 33
• 3.2.4 Inference Process 34
• Chapter 4 Experimentation Results 35
• 4.1 Datasets 35
• 4.2 Training Details 37
• 4.3 Results 38
• 4.3.1 Infilling 38
• 4.3.2 Continuation 40
• 4.3.3 Pitch and Rhythm Density Control 42
• Chapter 5 Conclusions 45
• 5.1 Summary 45
• 5.2 Future Direction 46
• Bibliography 47
• 국문초록 55