MEML: Multi-task Ensemble with Multi-features Learning for AD Detection and MMSE Regression from Spontaneous Speech = MEML: 발화를 통한 치매 인식 및 MMSE 점수 예측을 통한 Multi-feature 학습과 Multi-task 앙상블

다국어 초록 (Multilingual Abstract)

MEML: Multi-task Ensemble with Multi-features Learning for AD Detection and MMSE Regression from Spontaneous Speech OH, Yealim Department of Artificial Intelligence Graduate School of Konkuk University Alzheimer’s disease (AD) is characterized by progressive deterioration of cognitive functions, and early detection is critical for effective intervention. This study proposes a set of audio-based conversational structure features—including patterns of silence, pauses, hesitations, and speaker interactions—and a selec- tive ensemble method designed to improve the identification of mild cognitive impairment (MCI). Unlike previous approaches that rely heavily on transcripts to analyze dialogue patterns, the proposed features are extracted solely from au- dio by segmenting speech and silence regions and distinguishing between speak- ers within each segment. To address the difficulty of separating MCI from cogni- tively normal participants, the selective ensemble combines only model outputs that contribute positively to MCI discrimination. Evaluated on the ADReSS-M dataset, the proposed approach achieved an AD classification accuracy of 87% and an MMSE prediction RMSE of 3.727, outperforming established baselines within the benchmark.

국문 초록 (Abstract)

알츠하이머병(AD)은 노화 또는 특정 뇌 영역의 병리적 변화로 인해 전반적인 인지 기능이 저하되는 질환으로, 조기 발견의 중요성이 강조되고 있다. 본 연구에서는 오디오만을 활용하여 멈춤, 주저함, 침묵, 화자 간 상호작용 패턴을 포착하기 위한 새로운 음향 기반 feature를 제안한다. 제안된 feature는 발화 구간과 침묵 구간을 분리한 뒤, 발화 구간에서 검사자와 참여자를 구분하여 세분화된 오디오 세그멘트를 생성함으로써 텍스트 전사에 의존하지 않고도 대화 구조를 분석할 수 있도록 설계되었다. 또한, 모델 성능에 큰 영향을 미치는 경도 인지 장애(MCI) 사례의 변별을 개선하기 위해, AD 분류와 MMSE 점수 예측 결과를 통합하는 새로운 앙상블 전략을 도입하였다. 이 앙상블은 모든 모델 출력을 단순 결합하는 대신, 성능 저하를 유발할 수 있는 범주의 출력을 배제하는 선택적 결합 방식을 적용한다. 실험 결과, 제안한 방법은 ADReSS-M 데이터셋에서 알츠하이머 분류 정확도 87%, MMSE RMSE 3.727을 기록하여 기존 접근법 대비 우수한 성능을 보였다

목차 (Table of Contents)

• I Introduction 1
• II Related Works 4
• 1 AD Detection Task through Spontaneous Speech 4
• III Method 8
• 1 Acoustic Feature Extraction 8
• 1.1 Acoustic Feature 8
• 2 Disfluency Feature 10
• 2.1 Idea 10
• 2.2 Algorithm 11
• 3 Alzheimer’s Disease Detection Task 14
• 3.1 Model 14
• 4 MMSE Prediction Task 16
• 4.1 Model 16
• 5 MEML 18
• 5.1 Challenges in Existing Ensemble Frameworks 18
• 5.2 Main Idea 18
• 5.3 Algorithm 18
• IV Result 22
• 1 ADReSS-M Dataset 22
• 2 Result on AD Detection Task 23
• 3 Result on MMSE Prediction Task 24
• 4 Comparison Method 26
• 5 Ablation Study 27
• V Conclusion 30
• References 32
• Abstract (in Korean) 38