변박곡에 특화된 비트 검출 성능 향상을 위한 계층적 트랜스포머 기반 모델 및 후처리 기법 = A Hierarchical Transformer Model and Post-Processing Methods for Improving Beat Detection of Music with Multiple Time signatures

국문 초록 (Abstract)

비트 검출이란 음악에서 비트와 다운비트의 시간적 위치를 검출하는 과업이다. 비트는 음악의 기본적인 단위를 말하며, 다운비트는 비트 중 마디의 첫 번째에 위치하는 비트를 말한다. 이러한 비트에 대한 정보들은 음악의 구조를 파악하는 데에 사용되는 중요한 정보이다. 음악을 프레임(frame) 단위로 나눴을 때, 비트나 다운비트가 발생하는 지점보다 모두 발생하지 않는 지점이 훨씬 많이 존재하기 때문에 이러한 정보의 비대칭성을 해소하고, 비트가 발생하는 위치의 음악적 특성을 잘 학습하여 검출하는 것이 중요하다. 본 논문에서는 변박곡에 집중하여 딥러닝 기법을 활용한 비트 검출 성능 향상 방식을 제안한다. 기존 비트 검출 관련 연구에서는 대부분 박자표(time signature)가 일정한 음악에 대한 연구가 이루어졌다는 한계점에서 착안하여 기존의 비트 검출 방식들이 변박곡에서도 강건한지 확인하고 이에 대한 개선점을 제안한다. 이를 위해 비트 검출 분야에서 SOTA(State-Of-The-Art) 성능을 달성한 계층적 트랜스포머 구조를 차용하여 변박곡의 특성을 더 잘 파악할 수 있도록 하는 활용 방안에 대한 연구를 진행하였다. 변박곡의 가장 큰 특성으로는 음악 중간에 박자표가 바뀐다는 것으로 박자표가 바뀌면 비트가 발생하는 패턴 또한 바뀌기 때문에 비트 검출의 성능 향상을 위해서는 박자표의 변화에 대한 파악 또한 중요하다. 따라서, 박자표를 비트와 함께 검출하도록 다중 작업 학습(multi-task learning)을 하여 박자표에 대한 변화 파악으로 비트의 검출 성능 또한 향상하고자 하였다. 추가로 기존의 딥러닝을 활용한 비트 검출의 후처리 부분에 대한 한계점을 제시하고 이를 개선하여 변박곡에서의 비트 검출 성능을 개선하고자 하였다. 후처리 방식으로 많이 쓰이는 동적 베이지안 네트워크(Dynamic Bayesian Network) 구조는 처음 정한 박자표 템포 등에 대한 음악적 메트릭(musical metric) 정보를 바꿀 수 없기 때문에 이는 박자표가 바뀌는 변박곡에서는 성능적 한계를 가진다는 한계가 있다. 이를 피크 지점을 추출하는 휴리스틱한 알고리즘과, 피크 추출 네트워크를 도입한 분할 학습(stepwise learning) 방식으로 변박곡에서 강건한 후처리 방식을 제안하였다. 제안한 방법론들이 변박곡에 강건함을 보이기 위해 변박곡이 다수 포함된 데이터셋을 이용하여 테스트하였고, 베이스라인 모델 대비 변박곡에서 비트 검출 성능이 향상됨을 보였다.

다국어 초록 (Multilingual Abstract)

Beat detection refers to the task of identifying the temporal positions of beats and downbeats in music. A beat represents the fundamental unit of music, while a downbeat refers to the beat occurring at the beginning of a bar. Information about these beats is crucial for understanding the structure of music. Given the asymmetry in the occurrence of beats and downbeats compared to non-occurrence in music when divided into frames, it is important to address this information imbalance by learning the musical characteristics at locations where beats occur.
This paper proposes an enhancement method for beat detection using deep learning techniques, focusing on music with multiple time signatures. Drawing inspiration from the limitations of existing beat detection studies, which mostly focused on music with a constant time signature, we examine the robustness of conventional beat detection methods in music with multiple time signatures and suggest improvements. To achieve this, we adopt a hierarchical transformer architecture that has achieved State-Of-The-Art (SOTA) performance in beat detection, aiming to better capture the characteristics of music with multiple time signatures. One prominent feature of music with multiple time signatures is the change in time signature, impacting the patterns of beat occurrence. Therefore, to improve beat detection performance, we employ multi-task learning to simultaneously detect time signatures and beats, recognizing the importance of understanding changes in time signatures.
Additionally, we identify limitations in the post-processing stage of beat detection using deep learning and propose enhancements specific to music with multiple time signatures. The commonly used Dynamic Bayesian Network (DBN) structure in post-processing is constrained by the inability to adapt to changes in musical metrics such as tempo and time signature. This limitation is particularly evident in music with multiple time signatures where time signatures change. To address this, we propose a robust post-processing method for music with multiple time signatures using a heuristic algorithm for peak detection and stepwise learning with a peak detection network. The proposed methodologies are tested on a dataset containing music with multiple time signatures to demonstrate their robustness in comparison to baseline models, showing improved beat detection performance in music with multiple time signatures.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구 배경 및 동기 1
• 1.2 연구 목적 3
• 1.3 문제 정의 4
• 1.4 논문 구성 6
• 제 2 장 배경 이론 및 관련 연구 7
• 2.1 배경 이론 · 7
• 2.1.1 SpecTNT [9] 7
• 2.1.2 Dynamic Bayesian Network (DBN) · 11
• 2.2 관련 연구 14
• 2.1.1 비트 검출에 딥러닝을 적용한 연구 · 14
• 2.1.2 피크 추출에 딥러닝을 적용한 연구 · 17
• 제 3 장 계층적 트랜스포머를 이용한 변박곡 비트 검출 기법 23
• 3.1 문제 정의 · 23
• 3.2 베이스라인 모델 · 23
• 3.3 제안 기법 · 25
• 3.3.1 SpecTNT 구조 및 후처리 개선 · 26
• 3.3.2 박자표와 비트, 다운비트의 다중 검출 방식 30
• 3.3.3 비트 활성화 함수에 대한 피크 추출 네트워크 적용 33
• 제 4 장 실험 결과 35
• 4.1 데이터셋 35
• 4.2 실험 세팅 · 37
• 4.3 실험 결과 · 41
• 4.3.1 SpecTNT 구조 및 후처리 개선 · 41
• 4.3.2 박자표와 비트, 다운비트의 다중 검출 방식 45
• 4.3.3 비트 활성화 함수에 대한 피크 추출 네트워크 적용 47
• 제 5 장 결론 51
• 5.1 결론 · 51
• 5.2 향후 연구 · 53
• 참고문헌 55
• Abstract 62