Neural Correlates of Auditory Representations in the Human Brain : Toward Next-Generation Brain-Computer Interfaces = 인간 뇌의 청각 표상의 신경학적 특성: 차세대 뇌-컴퓨터 인터페이스로의 확장

다국어 초록 (Multilingual Abstract)

This dissertation addresses three fundamental challenges in the development of auditory brain–computer interfaces (BCIs): the absence of verifiable reference in auditory imagery, the lack of a clearly defined internal timing structure, and the difficulty of decoding pitch information—particularly in relative terms—from neural signals. To systematically overcome these challenges, a series of electrocorticography (ECoG)-based experiments were conducted using novel paradigms that link behavioral, temporal, and acoustic features of internally generated auditory representations.
First, to resolve the verifiable reference problem, the study introduced a triadic paradigm encompassing overt, mimed, and imagined speech. Neural analyses revealed that mimed speech—silent articulation without phonation—shares spatial and temporal characteristics with both overt and imagined speech. This finding supports its role as a behaviorally anchored intermediate state and a viable proxy for training imagined speech decoders.
Second, the timing problem was addressed by investigating rhythmic entrainment in auditory processing. Results demonstrated that beat-entrained neural oscillations persist endogenously, even in the absence of external rhythmic cues. These oscillations exhibited hallmark properties of intrinsic entrainment—progressive build-up, temporal persistence, and omission robustness—providing empirical evidence for internally sustained temporal scaffolding in both amplitude and phase domains. Building on this evidence for endogenous rhythmicity, and considering that perceptual units such as syllables, prosodic contours, and musical notes tend to align with beat-based timing in both speech and music, this dissertation posits that the brain segments continuous auditory input into beat-defined units of information. These findings suggest that beat serves not merely as a perceptual rhythm, but as a neurobiologically grounded temporal structure that the brain uses to organize continuous auditory input into meaningful units.
Third, the pitch problem was examined through relative pitch decoding during musical imagery. Relative pitch information—defined by scale degrees—was successfully decoded at the single-note level, enabling partial reconstruction of imagined melodic contours. This finding suggests that relative pitch is encoded neurophysiologically within internally generated auditory states, independent of absolute frequency cues.
Finally, building upon these foundations, the dissertation demonstrated that entrained neural oscillations can be operationalized as temporal priors to enhance decoding performance. When low-frequency amplitude peaks, derived from beat-entrained dynamics, were applied as timing anchors in decoding models, classification accuracy improved significantly across both music listening and production tasks. This integrative approach illustrates that beat-based segmentation and pitch-based representation function as complementary mechanisms—jointly enabling more robust decoding of imagined auditory content.
Together, these studies establish a unified theoretical and methodological framework for decoding internally generated auditory experiences. The findings provide mechanistic insight into how the brain organizes time and pitch and offer practical implications for the development of next-generation auditory BCIs aimed at restoring communication in individuals with speech or motor impairments.

국문 초록 (Abstract)

본 학위논문은 청각 기반 뇌–컴퓨터 인터페이스의 개발을 저해하는 세 가지 핵심 문제를 다룬다. 첫째, 청각 상상 상태에서의 검증 가능한 참조 부재 문제, 둘째, 명확히 정의된 내재적 시간 구조의 결여, 셋째, 상대 음고 정보를 신경 신호로부터 효과적으로 디코딩하기 어려운 점이다. 이러한 문제를 체계적으로 해결하기 위해, 본 연구는 행동적, 시간적, 청각적 특징을 통합적으로 반영하는 고해상도 뇌피질뇌파 기반의 실험 패러다임들을 고안하여 적용하였다.
첫 번째 문제 해결을 위해, 본 연구는 발화, 무성 발화, 심상 발화로 구성된 삼분형 발화 패러다임을 제안하였다. 분석 결과, 무성 발화는 실제 발화 및 심상 발화와 공간적·시간적으로 유사한 신경 활동 패턴을 나타내었으며, 이는 행동적으로 검증 가능한 중간 상태로서 심상 발화 디코더 학습에 활용 가능한 참조 조건임을 시사한다.
둘째, 청각 자극 처리 과정에서의 리듬 동조를 분석하여 시간 구조 문제를 탐색하였다. 분석 결과, 외부 자극 없이도 지속되는 내재적 리듬 동조 신경 진동이 존재하며, 이는 점진적 활성, 자극 생략 시의 지속성, 오프셋 이후의 잔류와 같은 특성을 보였다.
이러한 박자의 내재성을 실험적으로 입증하고, 언어 및 음악 모두에서 음절, 운율, 음표와 같은 지각 단위가 박자 기반의 리듬 구조에 정렬되어 발생함을 고려할 때, 본 연구는 뇌가 연속적인 청각 정보를 박자 단위로 분절하여 처리한다는 가설을 수립하였다. 이는 박자가 단순한 지각 리듬을 넘어, 의미 있는 정보를 구성하는 생물학적 시간 단위로 기능함을 시사한다.
셋째, 상대 음고를 중심으로 한 음고 표현 디코딩 가능성을 평가하였다. 음악 상상 과제를 통해, 음계 내 상대적 음고(스케일 단계)에 기반한 정보를 단일 음 수준에서 성공적으로 디코딩하였고, 이를 바탕으로 상상된 선율의 윤곽을 부분적으로 재구성할 수 있었다. 이 결과는 음고 정보가 절대적인 주파수 값이 아니라 상대적인 관계 형태로 내재적으로 신경 인코딩된다는 점을 시사한다.
마지막으로, 이러한 개별 결과들을 바탕으로, 박자 기반의 내재적 리듬 정보를 디코딩 모델의 시간 기준으로 적용함으로써, 실제 BCI 성능을 향상시킬 수 있음을 보였다. 특히 낮은 주파수 대역의 진폭 피크를 시간 기준점으로 활용한 모델은, 음악 감상 및 허밍 조건 모두에서 기존보다 높은 분류 정확도를 보였다.
종합적으로, 본 논문은 박자 기반의 시간 단위화와 상대 음고 기반의 정보 표현이 상호 보완적으로 작용함을 보여주며, 내부 생성 청각 표상의 구조적 디코딩을 위한 통합 이론·방법론적 틀을 제안한다. 이러한 통합적 접근은 뇌가 시간과 음고를 조직하는 방식에 대한 기초 과학적 통찰을 제공할 뿐만 아니라, 향후 말하거나 움직일 수 없는 사용자를 위한 청각 뇌-컴퓨터 인터페이스 개발에 실질적인 기반을 마련한다.

목차 (Table of Contents)

• ABSTRACT OF THE DISSERTATION i
• TABLE OF CONTENTS iv
• LIST OF FIGURES vi
• LIST OF TABLES viii
• LIST OF ABBREVIATIONS ix
• PART Ⅰ INTRODUCTION and FOUNDATION １
• Chapter 1. Auditory Brain-Computer Interfaces １
• 1.1. Brain-Computer Interfaces: Concept and Clinical Motivations １
• 1.2. Auditory BCIs: Definition and Neural Foundations ４
• 1.3. Research Aims and Questions １１
• Chapter 2. Electrocorticography and Analysis Pipeline １５
• 2.1. Introduction to Electrocorticography １５
• 2.2. Analysis Pipeline １８
• PART Ⅱ EXPERIMENTAL INVESTIGATIONS ２０
• Chapter 3. Experimental Paradigms and Rationale ２０
• 3.1. Rationale for the Speech Production Paradigm ２０
• 3.2. Rationale for Beat-Based Entrainment Paradigm ２２
• 3.3. Rationale for Pitch Decoding in Music Imagery ２３
• Chapter 4. Speech States and Verifiable Reference ２４
• 4.1. Introduction ２５
• 4.2. Results ２６
• 4.3. Discussion ４２
• 4.4. Method ４９
• Chapter 5. Neural Entrainment as a Distinct Temporal Mechanism ５４
• 5.1. Introduction ５５
• 5.2. Results ５６
• 5.3. Discussion ６９
• 5.4. Methods ７２
• Chapter 6. Neural Representation of Relative Pitch ７６
• 6.1. Introduction ７７
• 6.2. Results ７８
• 6.3. Discussion ８５
• 6.4. Methods ９２
• Chapter 7. Integrating Timing and Pitch for BCI Applications ９８
• 7.1. Introduction ９９
• 7.2. Results １００
• 7.3. Discussion １０７
• 7.4. Methods １１１
• PART Ⅲ CONCLUSION １１３
• Chapter 8. Conclusion and Future Directions １１３
• 8.1. Summary of Findings: Solutions to Verifiable Reference, Timing, Pitch １１３
• 8.2. Limitations １１５
• 8.3. Future Works １１７
• Bibliography １２１
• 국문 초록 １３１