Efficient continual learning frameworkfor medical imaging AI

다국어 초록 (Multilingual Abstract)

Despite the success of modern AI models when trained on massive datasets, medical practice imposes strict ethical and institutional restrictions that make centralized training largely impractical. As a result, hospitals must train with local data, where conventional learning pipelines tend to overfit recent samples and forget prior knowledge—highlighting the need for continual learning (CL). Although CL has progressed substantially on natural-image benchmarks, prompt-based continual learning (PCL) has received little attention in healthcare. We introduce UniPrompt-CL, to our knowledge the first PCL framework tailored for medical AI. Our preliminary analysis indicates that existing PCL methods underperform on medical datasets, motivating the hypothesis that the structure of the prompt pool must be rethought. UniPrompt-CL proposes a unified prompt pool with minimal growth and a new regularization term that reduces computation while striking a better stability–plasticity trade-off. On three diabetic-retinopathy datasets (APTOS, DDR, DRD), UniPrompt-CL raises accuracy by ≥10% and F1 by 9 points over prior approaches while lowering inference cost, and it also achieves stronger scores on standard continual-learning metrics. Taken together, these results suggest that UniPrompt-CL provides a practical path toward sustainable medical AI with consistently strong performance in distributed clinical settings.

국문 초록 (Abstract)

비록 현대 인공지능(AI) 모델이 대규모 데이터셋을 통해 최첨단 성능을 달성하고 있으나, 의료 분야에서는 엄격한 윤리적 및 제도적 제약으로 인해 중앙집중식 학습이 사실상 불가능하다. 따라서 각 기관은 자체 보유 데이터를 활용해야 하지만, 기존의 학습 방식은 새로운 샘플에 빠르게 과적합되고, 이전 지식을 잊어버리는 catastrophic forgetting 문제가 발생하기 때문에 연속 학습(Continual Learning, CL) 이 필수적이다.
비록 자연 영상 분야에서는 CL 연구가 상당히 발전했지만, 프롬프트 기반 연속 학습(Prompt-based Continual Learning, PCL) 은 의료 응용 맥락에서 거의 탐구되지 않았다. 본 연구에서는 의료 도메인에 특화된 최초의 PCL 프레임워크인 UniPrompt-CL을 제안한다.
예비 실험 결과, 기존 PCL 접근법들은 의료 데이터셋에서 성능이 저조하게 나타났으며, 이는 프롬프트 풀(prompt pool)의 설계가 보다 효율적으로 이루어져야 한다는 우리의 가설을 뒷받침한다. UniPrompt-CL은 최소한의 확장을 가진 통합 프롬프트 풀(unified prompt pool)과 새로운 정규화 항(regularisation term)을 도입하여 계산량을 줄이면서 안정성과 가소성(plasticity)의 균형을 달성하였다.
세 가지 당뇨망막병증 데이터셋(APTOS, DDR, DRD)에서 UniPrompt-CL은 기존 방법 대비 정확도(Accuracy)를 최소 10%, F1 점수를 9포인트 향상시켰으며, 추론 비용을 절감하였다. 또한, 연속 학습 평가 지표에서도 기존 모델을 능가하는 우수한 성능을 보였다.
이러한 결과는 UniPrompt-CL이 지속 가능한 의료 인공지능(Sustainable Medical AI) 의 기반을 마련했음을 보여주며, 분산형 의료 환경에서도 일관되고 높은 성능을 유지할 수 있음을 입증한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Work 4
• 2.1 Regularization Based Methods 4
• 2.2 Architecture Based Methods 5
• 2.3 Rehearsal Based Methods 7
• 2.4 PCL Methods 8
• 2.5 The Need for Medical Domain PCL 9
• Chapter 3. Proposed Method 11
• 3.1 Preliminary 11
• 3.2 Framework Design and Backbone Selection 17
• Chapter 4. Experiment 24
• 4.1 Experiment Setting 24
• 4.2 Continual Learning Metrics 27
• 4.3 Experiment Result 29
• Chapter 5. Ablation Study 33
• 5.1 Effectiveness of strong backbones prompt-based continual learning 33
• 5.2 Quantitative validation using forgetting metrics 36
• 5.3 Impact of prompt expantion ratio on continual learning performance 37
• 5.4 Impact of the proposed loss term 39
• 5.5 Integrated dataset training results 40
• Chapter 6. Conclusion and Future Work 42
• 6.1 Conclusion 42
• 6.2 Future Work 44
• References 46
• Korean Abstract 52