GazeMap: Dual-Pathway CNN Approach for Diagnosing Alzheimer’s Disease from Gaze and Head Movements = GazeMap: 시선과 머리 움직임을 통해 알츠하이머병을 진단하는 이중 경로 CNN 접근법

다국어 초록 (Multilingual Abstract)

Alzheimer’s disease (AD) is a progressive neurodegenerative disorder that impairs cognitive function, making early detection crucial for timely intervention. This study proposes a novel AD detection framework integrating gaze and head movement analysis via a dual-pathway convolutional neural network (CNN). Unlike conventional methods relying on linguistic, speech, or neuroimaging data, our approach leverages non-invasive video-based tracking, offering a more accessible and cost-effective solution to early AD detection. To enhance feature representation, we introduce GazeMap, a novel transformation converting 1D gaze and head pose time-series data into 2D spatial representations, effectively capturing both short- and long-term temporal interactions while mitigating missing or noisy data. The dual-pathway CNN processes gaze and head movement features separately before fusing them to improve diagnostic accuracy.
We validated our framework using a clinical dataset (112 participants) from Konkuk University Hospital and an out-of-distribution dataset from senior centers and nursing homes. Our method achieved 91.09% accuracy on in-distribution data collected under controlled clinical settings, and 83.33% on out-of-distribution data from real-world scenarios, outperforming several time-series baseline models. Model performance was validated through cross-validation on in-distribution data and tested on an independent out-of-distribution dataset. Additionally, our gaze-saliency maps provide interpretable visualizations, revealing distinct AD-related gaze patterns.

국문 초록 (Abstract)

알츠하이머병 (AD)은 인지 기능을 손상시키는 진행성 신경퇴행성 질환으로, 시기적절한 개입을 위해 조기 발견이 매우 중요하다. 본 연구는 이중 경로 컨볼루션 신경망 (CNN)을 통해 시선 및 머리 움직임 분석을 통합하는 새로운 AD 탐지 프레임워크를 제안한다. 언어, 음성 또는 신경영상 데이터에 의존하는 기존 방법과 달리, 본 접근법은 비침습적 영상 기반 추적을 활용하여 조기 AD 진단을 위한 보다 접근성이 높고 비용 효율적인 솔루션을 제공한다. 특징 표현을 향상시키기 위해, 시선 및 머리 자세 1차원 시계열 데이터를 2차원 공간 표현으로 변환하는 새로운 변환 기법인 GazeMap을 도입했다. 이는 누락되거나 노이즈가 있는 데이터를 완화하면서 단기 및 장기 시간적 상호작용을 보다 효과적으로 포착한다. 이중 경로 CNN은 시선과 머리 움직임 특징을 별도로 처리한 후 융합하여 진단 정확도를 향상시킨다.

우리는 건국대학교 병원의 임상 데이터셋 (참가자 112명)과 노인 복지 시설 및 요양원에서 수집한 외부 데이터셋을 사용하여 프레임워크를 검증했다. 제안된 방법은 통제된 임상 환경에서 수집된 분포 내 데이터에서 91.09\%의 정확도를 달성했으며, 실제 환경의 분포 외 데이터에서는 83.33\%의 정확도를 보여 여러 시계열 기준 모델을 능가했다. 모델 성능은 분포 내 데이터에 대한 교차 검증으로 검증되었으며 독립적인 분포 외 데이터셋에서 테스트되었다. 또한, 우리의 GazeMap은 해석 가능한 시각화를 제공하여 알츠하이머병과 관련된 독특한 시선 패턴을 드러낸다.

목차 (Table of Contents)

• List of Tables iii
• List of Figures iv
• Abstract vi
• I Introduction 1
• 1 Motivation 1
• 2 Investigated Approach 3
• 3 Organization 4
• II Related Works 6
• 1 Automatic AD Detection on Spontaneous Speech 6
• 2 Automatic AD Detection on Gaze Tracking 7
• III Dataset 9
• 1 Gaze Tracking Task Design 9
• 2 Collected Data Description 10
• IV Proposed Method 14
• 1 Time-series Feature Extraction 14
• 2 Temporal-to-Spatial Transformation 17
• 3 CNN-based Classification 18
• V Experiments 20
• 1 Experimental Settings 20
• 1.1 Implementations Detail 20
• 1.2 Baselines 21
• 2 Experimental Results 22
• 2.1 Main Results 22
• 2.2 Robustness to Missing Data 23
• 3 Ablation Study 25
• 3.1 Single- vs. Dual-Pathway Structure 25
• 3.2 ResNet Backbone 27
• 3.3 Lateral Connection 28
• 4 Qualitative Results 29
• VI Discussion 31
• 1 Limitations 31
• 2 Future Directions 32
• VII Conclusion 33
• References 34
• Abstract (in Korean) 42