MOTEM: 음악-동작 상관관계 기반 동작 표현 음악 생성 = MOTEM: Motion-Expressive Music Generation Based on Music-Motion Correlation

국문 초록 (Abstract)

음악과 동작은 신경·인지 수준에서 서로 상관하며, 이 관계는 임상과 지각 연구 에서 거듭 확인되어 왔다. 그러나 음악과 동작을 잇는 크로스모달 생성 연구는 대 부분 박자를 맞추는 시간 측면에 치우쳐, 동작의 형태가 드러나는 공간 측면을 충 분히 활용하지 못하였다. 동작의 수직 움직임은 멜로디의 음높이 윤곽과 대응될 수 있으므로, 이를 음악으로 옮기면 동작을 표현하는 음악을 생성할 수 있다. 본 연구는 이러한 음악-동작 상관에 기반하여 동작을 표현하는 음악을 생성하는 것을 목적으로 하며, 이를 위해 데이터셋과 모델을 함께 제시한다.
먼저 크로스모달 데이터셋 MMCo를 구축한다. 피아노 음악 데이터셋 Aria-MIDI 와 3차원 인체 동작 데이터셋 HumanML3D에서 세그먼트를 추출하고, 두 세그먼 트의 시계열 모양 유사도를 측정하여 동작의 수직 변위와 멜로디의 음높이 윤곽 을 짝지은 뒤, 그 매핑의 타당성을 정량적으로 검증한다. 이어 MMCo를 학습하는 생성 모델 MOTEM을 제시한다. MOTEM에서 멜로디와 코드는 동작의 수직 움직 임에 따라 생성되고, 빠르기는 입력으로 주어진 템포로 정해지며, 세기는 동작의 운동 에너지로 표현된다. 여기에 반주를 더해 멜로디와 반주, 강약을 갖춘 솔로 피아노 음악을 완성한다.
매핑 결과 368,274개의 짝으로 이루어진 MMCo가 구성되었다. 이 데이터셋으로 학습한 MOTEM으로 음악을 생성한 결과, 동작의 수직 곡선과 생성된 멜로디 윤 곽 사이의 상관은 0.813에 이르러, 두 형태가 강하게 일치하였다. 또한, 재현율이 무작위 기대치보다 8배 이상 높아 동작마다 구별되는 음악이 생성됨을 확인하였 다. 생성 음악의 분포는 무작위보다 사람 작곡에 가까웠으며, 리듬과 화성의 일치 는 사람 작곡과 크게 차이가 없었다. 이러한 결과는 동작의 형태가 음악적으로 표 현되었음을 의미한다. 본 연구는 그동안 충분히 다루어지지 않은 동작의 공간 신 호를 데이터셋과 모델로 함께 다룸으로써, 시간 중심으로 진행되어 온 음악-동작 크로스모달 생성을 공간으로 넓혔다는 데 의의가 있다.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 2
• 1.3 논문 구성 2
• 제2장 관련 연구 3
• 2.1 음악-동작 상관관계 3
• 2.2 음악-동작 크로스모달 생성 4
• 2.3 음악-동작 데이터셋 5
• 제3장 MMCo: 음악-동작 데이터셋 6
• 3.1 원본 데이터셋 7
• 3.2 세그먼트 추출 8
• 3.2.1 동작 세그먼트 8
• 3.2.2 음악 세그먼트 10
• 3.2.3 부가 특징 12
• 3.3 매핑 알고리즘 13
• 3.4 데이터셋 검증 18
• 3.4.1 데이터셋 통계 18
• 3.4.2 검증 방법 19
• 3.4.3 검증 결과 20
• 제4장 MOTEM 기반 음악 생성 22
• 4.1 MOTEM 구조 23
• 4.1.1 입출력 표현 24
• 4.1.2 동작 인코더 26
• 4.1.3 멜로디 디코더 26
• 4.2 학습 27
• 4.2.1 학습 데이터셋 27
• 4.2.2 모델 학습 28
• 4.3 음악 생성 29
• 4.3.1 동작 세그먼트 추출 29
• 4.3.2 멜로디 생성 30
• 4.3.3 음악 합성 30
• 4.3.4 생성 예시 31
• 4.4 실험 및 평가 32
• 4.4.1 실험 설정 33
• 4.4.2 평가 지표 33
• 4.4.3 평가 결과 36
• 제5장 결론 41
• 참고문헌 43
• 외국어초록 48
• 〈표 2-1〉 PSE의 음악-동작 대응 3
• 〈표 3-1〉 ⍺값에 따른 세그먼트 분할 통계 10
• 〈표 3-2〉 MMCo 레코드의 필드 구성 17
• 〈표 3-3〉 정규화 DTW 거리 백분위수 18
• 〈표 3-4〉 외부 지표에 대한 스피어만 상관 검증 20
• 〈표 4-1〉 MOTEM 모델 구성 24
• 〈표 4-2〉 멜로디 토큰 어휘 25
• 〈표 4-3〉 학습 데이터셋（MMCo） 구성 27
• 〈표 4-4〉 모델 학습 설정 28
• 〈표 4-5〉 MOTEM 평가 결과 36
• 〈표 4-6〉 통계 유의성 검정（MOTEM 대 사람 작곡, N=50） 39
• 〈그림 3-1〉 MMCo 구축 과정 6
• 〈그림 3-2〉 ｙ좌표 시계열의 상승·하강 세그먼트 분할 9
• 〈그림 3-3〉 멜로디 라인 추출 예 11
• 〈그림 3-4〉 동작 세그먼트의 수직 변위 분포 13
• 〈그림 3-5〉 DTW 매핑 예시 16
• 〈그림 3-6〉 정규화 DTW 거리 분포 18
• 〈그림 3-7〉 외부 특징 상관의 무작위 베이스라인 검정 21
• 〈그림 4-1〉 MOTEM 기반 음악 생성 과정 22
• 〈그림 4-2〉 MOTEM 구조와 데이터 흐름 23
• 〈그림 4-3〉 입력 동작의 수직 궤적 31
• 〈그림 4-4〉 생성된 음악의 피아노 롤 32
• 〈그림 4-5〉 동작 수직 궤적과 멜로디 윤곽 비교 37
• 〈그림 4-6〉 자기 짝과 다른 짝의 DTW 거리 분포 38
• 〈그림 4-7〉 동작에 대한 MOTEM과 직접 매핑의 멜로디 비교 40