Investigating the Neural and Perceptual Mechanisms of Musical Illusion = 음악적 착각에 대한 신경 및 지각 메커니즘 연구

다국어 초록 (Multilingual Abstract)

In everyday listening, music is not merely a sequence of sounds but a perceptual construct shaped by the auditory system’s active interpretation and organization of complex acoustic signals. Musical illusions provide a compelling framework for investigating this constructive process. Among them, the scale illusion vividly demonstrates how pitch-based grouping can override spatial cues, making it a powerful paradigm for probing how musical elements such as tonality, pitch, and timbre influence auditory organization.

This dissertation leverages stimuli designed to elicit the scale illusion to examine both the perceptual dynamics and neural encoding mechanisms underlying this phenomenon. The first study employed a behavioral paradigm manipulating tonal context and timbral consistency. Results showed that tonal familiarity and consistent timbre strengthened illusory perception, and that absolute pitch ability was a stronger predictor of illusion strength than general musical training, highlighting its role as a key individual difference factor.

The second study applied Temporal Response Function (TRF) modeling to electroencephalography (EEG) data to investigate how different auditory features are represented in the brain under similar stimulus conditions. Forward TRF analysis revealed robust early encoding of envelope and MFCC features around 150–200 ms in frontal and central regions, while pitch elicited lower-amplitude but more sustained responses in temporal and occipital regions, reflecting longer integration windows and higher-order processing. Backward TRF analysis further showed that although MFCC features achieved the highest overall decoding accuracy, only pitch features more effectively reconstructed the perceptually reorganized (illusory) auditory experience than the physical input itself. This suggests that neural representations reflect perceptual reorganization beyond the acoustic stimulus. Moreover, MFCC decoding was stronger in listeners with lower musical sophistication, whereas pitch-based decoding was superior in musically sophisticated listeners, indicating complementary neural strategies shaped by auditory expertise.

Taken together, these findings demonstrate that the scale illusion arises from higher-order musical expectations and auditory experience rather than directly from physical stimuli. TRF-based neural modeling provides a powerful framework for quantifying this interaction between stimulus and perception, offering novel insights for auditory cognition, music education, and clinical auditory assessment. Furthermore, it bridges behavioral and neural evidence into a comprehensive framework for future research in auditory neuroscience.

국문 초록 (Abstract)

일상에서 우리가 듣는 음악은 단순한 소리의 나열이 아니라, 청각 시스템이 복잡한 음향 신호를 해석하고 조직함으로써 형성된 정교한 지각 경험이다. 이러한 과정이 어떻게 이루어지는지를 탐구하는 데 있어, 음악적 착각은 흥미롭고도 유용한 연구 틀을 제공한다. 특히 스케일 착각은 음고 기반의 그룹핑이 공간적 단서보다 우선하여 작동함을 보여주는 대표적 사례로, 조성, 음고, 음색 등의 음악적 요소를 정교하게 조작하여 지각 조직화에 미치는 영향을 분석하기에 적합한 실험적 패러다임이다.

본 학위논문은 스케일 착각을 유도하는 자극을 활용해, 이 현상의 행동적 양상과 신경적 인코딩 메커니즘을 다층적으로 규명하였다. 첫 번째 연구에서는 조성 유형과 음색을 조작한 행동 실험을 통해, 조성에 대한 친숙성과 음색의 일관성이 착각 지각의 강도와 일관성을 높인다는 결과를 확인하였다. 또한 일반적인 음악 훈련 경험보다 절대음감 보유 여부가 착각 반응에 더 강력한 영향을 미치는 개인차 요인임을 밝혔다.

두 번째 연구에서는 뇌파(Electroencephalography, EEG) 기반 시간적 반응 함수(Temporal Response Function, TRF) 모델링을 통해, 유사한 조건 하에서 자극 특성이 신경 신호에 어떻게 반영되는지를 분석하였다. 포워드 TRF 분석 결과, 포락선(envelope)과 MFCC(멜 주파수 켑스트럼 계수)는 전전두 및 중심부에서 150-200ms 부근의 강한 초기 반응을 유도하며 빠르고 안정적인 청각 인코딩을 나타냈다. 반면, 음고(pitch)는 낮은 진폭의 지속적인 반응을 후두 및 측두 영역에 걸쳐 보이며 더 긴 통합 창과 고차 청각 처리를 반영하였다.

백워드 TRF에서는 MFCC가 전반적으로 가장 높은 디코딩 성능을 보였으나, 음고만이 지각된 음형 구조를 실제 물리 자극보다 더 효과적으로 자극을 복원하는 양상을 보였다. 이는 뇌가 음고의 측면에서 착각을 반영하고 있음을 보여준다. 흥미롭게도, MFCC 기반 디코딩은 물리적 음향 구조를 잘 반영하며, 음악성이 낮은 참가자에서 더 높은 정확도를 보여, 음고 디코딩과 상보적인 신경 전략을 나타냈다. 이는 음악성이 높은 청자는 음고 기반으로 착각된 구조를 통합하는 반면, 낮은 청자는 MFCC와 같은 음색·스펙트럼 단서에 더 의존할 가능성을 시사한다.

본 연구는 스케일 착각이 단순한 물리적 자극의 결과가 아니라, 고차원적인 음악적 기대와 청자의 청각 경험이 상호작용하여 구성되는 지각적 구성물임을 행동적·신경적 수준에서 입체적으로 규명하였다. 특히, TRF 기반 분석을 통해 착각 지각이 단지 외부 자극에 대한 반응을 넘어, 청각 시스템이 내적으로 구성한 음형 구조를 더욱 선명히 반영한다는 점을 신경적으로 입증하였다. 이러한 정량적 접근은 음악 지각의 신경 기반을 해석하는 데 강력한 도구로 기능하며, 향후 청각 인지 연구, 음악 교육, 청각장애 평가 등 다양한 분야에서 이론적·응용적 확장을 위한 기초를 제공한다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Motivation 1
• 1.2 Topics of Interest 4
• 1.3 Research Questions 6
• 1.4 Thesis Organization 6
• 2 Background 8
• 2.1 Types of Musical Illusions 9
• 2.1.1 Octave Illusion 9
• 2.1.2 Scale Illusion 10
• 2.1.3 Speech-to-Song Illusion 11
• 2.1.4 Tritone Paradox 12
• 2.1.5 Shepard Tone 14
• 2.2 Musical Factors Affecting Musical Illusions 15
• 2.2.1 Intrinsic Musical Properties 15
• 2.2.2 Extrinsic Listener Factors 18
• 2.3 Neural Mechanisms of Musical Illusions 19
• 2.3.1 Neuroscientific Approaches to Musical Illusions 19
• 2.3.2 Neural Dynamics Underlying Musical Illusions 21
• 2.3.3 Implications 24
• 3 The Effects of Musical Factors on the Perception of Scale Illusion 26
• 3.1 Introduction 26
• 3.2 Methods 30
• 3.2.1 Participants 30
• 3.2.2 Stimuli 31
• 3.2.3 Procedure 33
• 3.2.4 Data Analysis 34
• 3.3 Results 35
• 3.4 Discussion 40
• 3.5 Conclusion 44
• 4 Neural Decoding of Scale Illusion via EEG and Temporal Response Functions 46
• 4.1 Introduction 46
• 4.2 Methods 49
• 4.3 Results 63
• 4.4 Discussion 86
• 4.5 Conclusion 92
• 5 General Discussion and Future Directions 96
• 5.1 Summary of Findings 96
• 5.2 Implications for Music Perception and Auditory Neuroscience 97
• 5.3 Methodological Considerations 98
• 5.4 Limitations and Future Directions 99
• 5.5 Concluding Remarks 100
• 초록 112