(The) neural basis of goal-directed behaviors in naturalistic cognition

다국어 초록 (Multilingual Abstract)

Human goal-directed behavior unfolds in complex, dynamic environments in which perception, action, and cognition continuously interact. Understanding how the brain supports such naturalistic behavior requires experimental designs that capture this complexity while remaining analytically tractable. In this thesis, I introduce an interactive, Minecraft-based shepherding task that integrates long-term planning, proactive environmental restructuring, and complex multi-agent interaction. I develop a large set of feature spaces describing perception, spatial structure, action, and cognitive variables, enabling high-dimensional modeling of behavior and neural responses.
Among these features, eye movements are one of the most essential for understanding the neural basis of goal-directed behaviors in naturalistic cognition. However, achieving high-precision eye tracking in fMRI remains a challenge. Even slight head shifts from the initial calibration position can introduce drift in eye tracking data, leading to substantial gaze inaccuracies. To address this, I develop Motion-Corrected Eye Tracking (MoCET), which corrects drift using head motion parameters derived from fMRI preprocessing. MoCET requires no additional hardware and can be applied retrospectively to existing datasets and achieves greater spatial and temporal precision for modeling of behavior and neural responses in naturalistic cognition.
Using these tools, I apply voxelwise encoding modeling to characterize how different cortical regions encode the computations required for each stage of the task. Model connectivity analysis identifies three large-scale functional networks optimized for action planning, spatial and environmental reasoning, and multi-agent interaction, respectively.
To investigate why certain features are preferentially represented in cortical activity, I develop a computational model that estimates the behavioral relevance of each feature by training recurrent neural networks to predict participants’ future actions. Comparing these behavioral relevance scores with variance explained of cortical activity reveals brain–model correspondence in task-relevant functional networks. Cortical networks preferentially encode the features most useful for generating future actions, and this prioritization shifts with the current behavioral goal.
Together, these findings provide a comprehensive account of how the human brain flexibly reorganizes to support naturalistic goal-directed behavior. By integrating an interactive virtual environment, high-precision eye tracking, Voxelwise Encoding Modeling, and computational analysis of behavior, this thesis establishes a generalizable framework for studying the neural basis of goal-directed behaviors in naturalistic cognition.

국문 초록 (Abstract)

복잡하고 동적인 환경 속에서 인간의 목표 지향적 행동은 지각, 행동, 인지 과정의 복합적인 신경 표상으로 이루어진다. 이러한 목표 지향적 행동을 뇌 수준에서 이해하기 위해서는 행동의 복잡성을 포착하면서도, 이를 분석적으로 다룰 수 있는 실험 설계가 필요하다. 본 논문에서는 장기 계획, 환경 재구성, 복잡한 다중 개체 상호작용이 통합된 비디오 게임 기반 인지과제를 설계하고, 지각, 인지, 행동에 걸친 대규모 특질 공간을 구축하여 신경 표상을 고차원적으로 모델링한다.
이중 인간의 눈운동은 목표 지향적 행동, 그리고 그 신경 표상과 긴밀하게 상호작용하는 특질이다. 하지만 인간의 뇌활동을 측정하는 기능적 자기공명영상 실험에서 정확도가 높은 시선 추적 데이터를 확보하는 것은 매우 어렵다고 알려져 있다. 실험 도중 발생하는 미세한 머리 움직임은 안구 추적 데이터의 오차를 유발하여 정확도를 저하시킨다. 이를 해결하기 위해 본 논문에서는 기능적 자기공명영상 데이터의 전처리 단계에서 얻은 머리 움직임 정보를 활용하여 안구 추적 데이터의 오차를 보정하는 움직임 보정 안구 추적 기법을 개발하였다. 이 방법론은 추가 장비 없이 기존 데이터에도 적용 가능하며, 목표 지향적 행동과 신경 표상 모델링을 위한 시선 추적 데이터의 정확도를 크게 향상시킨다.
이러한 도구들을 바탕으로, 본 연구는 특질 공간을 이용하여 복셀의 뇌신호를 모델링하여 과제 각 단계에서 요구되는 계산 및 인지 과정이 대뇌 피질의 서로 다른 영역에서 어떻게 표상되는지를 규명하였다. 또한 각 뇌영역이 더욱 선택적으로 반응하는 특질들의 원리를 규명하기 위해 재귀 신경망을 이용하여 각 특질이 향후 행동 예측에 얼마나 기여하는지를 정량화 하는 계산 모델을 개발하였다. 이러한 각 특질의 행동 예측 기여도 지표를 뇌신호의 설명력과 비교한 결과, 각 과제 수행에 핵심적으로 작용하는 기능적 네트워크에서 강한 상관관계가 관찰되었다. 이는 대뇌 피질의 기능적 네트워크들이 현재 과제 목표에 따라 향후 행동 생성에 가장 유용한 특질을 선별적으로 부호화 하며, 이러한 우선순위가 과제 및 행동 목표에 따라 유연하게 변화함을 시사한다.
종합적으로, 본 논문은 상호작용이 가능한 가상 환경, 정확도가 높은 시선 추적 데이터, 복셀 모델링, 계산 모델링을 결합하여 인간의 뇌가 복잡하고 동적인 환경 속에서 목표 지향적 행동을 수행하기 위해 어떻게 기능적으로 재구성되고, 어떠한 특질이 선택적으로 표상되는지를 제시하였다.

목차 (Table of Contents)

• Chapter 1. Perception, Action, and Cognition in Goal-Directed Behaviors 1
• 1-1. Introduction 1
• 1-2. Designing an Interactive Cognitive Task That Integrates Perception, Action, and Cognition 7
• 1-3. Experimental Setup for fMRI Studies 12
• 1-4. Feature Extraction for Goal-Directed Behaviors 15
• Chapter 2. Eye Movements in Goal-Directed Behaviors 33
• 2-1. Introduction 33
• 2-2. Eye tracking in fMRI experiments 35
• 2-3. Motion-corrected eye tracking 41
• 2-4. High-precision eye tracking during free-viewing experiments 43
• 2-5. Comparison of camera-based and MR-based eye tracking 50
• 2-6. Discussion 53
• Chapter 3. Cortical Representations of Goal-Directed Behaviors 61
• 3-1. Introduction 61
• 3-2. Voxelwise Encoding Modeling 62
• 3-3. Dynamic Reconfiguration of Functional Networks 66
• 3-4. Prioritization of behaviorally relevant features 76
• 3-5. Discussion 81
• Chapter 4. Discussion 84
• 4-1. Overview 84
• 4-2. Limitations and future directions 87
• References 91