딥러닝 모델의 다중 작업 학습 및 확산 모델의 자기지도 학습을 이용한 파킨슨 병에서의 영상 바이오마커 개발 = Deep learning model for predicting imaging biomarkers of Parkinson’s disease using multi-task and self- supervised learning with diffusion models

국문 초록 (Abstract)

단순한 증상 조절이 아닌 파킨슨병의 진행을 늦추는 등 질환 자체를 치료할 수 있는 약제 개발을 위해 최근 다양한 임상 시험이 진행되고 있으며 그 대표적인 예로는 단일클론 항체가 있다. 하지만 신약의 적응증이 되는 환자들을 선별하고 약의 효과를 측정하는데 필요한 파킨슨병의 바이오마커는 아직 개발 중으로 보다 정확한 바이오마커의 신속한 개발이 필요하다. 임상의의 문진과 신경학적 진찰을 통한 파킨슨병의 진단을 뒷받침할 수 있는 검사에는 도파민 운반체 영상이 있으며 이도 파킨슨병의 바이오마커가 될 수 있는 중요한 영상 검사로 알려져 있다. 현재 임상 현장에서는 도파민 운반체 영상을 핵의학과 전문의가 정성적으로 판독하고 있으며 연구에 활용할 시 정량화해서 사용하기도 하는데 이때는 특정 관심영역을 정하고 해당 영역의 신호 세기를 평균 내어 사용한다. 반면 의료 영상에서의 인공 지능 연구가 활발히 진행되면서 자동화된 영상 분석 및 임상의가 놓치거나 파악하지 못했던 영상의 유의미한 특징을 추출하는 인공지능 모델의 성능이 점차 높아지고 있다. 본 학위 논문에서는 다양한 모델 구조와 학습 방법을 사용한 딥러닝 모델을 개발하고 이를 18F-FP-CIT PET 영상에 적용하여 파킨슨증 환자의 감별 진단, 파킨슨병 환자의 병의 진행 정도 및 예후를 예측하였으며 이에 따라 도파민 운반체 영상이 앞으로 파킨슨병의 유력한 바이오마커가 될 수 있음을 확인하였다.
본 학위 논문의 첫 번째 부분에서는 자기지도 학습 방법으로 딥러닝 모델을 개발하였으며 다양한 작업에 사용될 수 있는 범용성 모델임을 보였다. 딥러닝 모델로는 생성 모델 및 기존 영상의 일부를 보고 나머지를 예측하는 자기예측 모델을 사용하였으며 웨이블릿 변환 및 추가적인 인코더를 통한 확산 모델의 조건 적용과 같은 기술들을 적용하였다. 자기지도 학습으로 개발된 모델들은 정성적 및 정량적으로 성능을 평가하였다. 정성적으로는 잠재 공간을 시각화하고 이를 인위적으로 조정하여 변형시킨 영상을 임상적으로 해석 가능한지 확인하였고 정량적으로는 세 가지의 다른 작업에 맞게 모델의 파라미터를 튜닝하여 자기지도 학습을 하지 않은 모델과의 성능을 비교하였다. 이 세 가지 작업은 첫째, 파킨슨병 환자와 수전증 환자의 PET 영상 분류, 둘째, 파킨슨병 환자, 다계통위축 환자, 진행성 핵상마비 환자의 PET 영상 분류, 셋째, 파킨슨병 환자의 운동 증상 발현 시기 예측이다. 또한 이 세 가지 작업은 내부 데이터뿐 아니라 외부 데이터에서도 성능을 확인했는데 외부 데이터의 영상들은 모두 학습에 사용된 영상들과는 다른 PET 기계로 촬영되었으며 일부는 다른 병원의 데이터로 철저한 외부 검증을 하였다. 실험 결과 다른 딥러닝 모델에 비해서 생성 모델이 전반적으로 위 세 가지 작업에서 높은 성능을 보였으며 특히 웨이블릿 변환과 추가적인 인코더의 잠재 벡터를 순차적으로 확산 모델에 조건으로 넣어준 모델이 대부분의 작업과 데이터셋에서 높은 성능을 보였다.
본 학위 논문의 두 번째 부분에서는 첫 번째 부분과는 다르게 다중작업 학습 방법을 사용하여 범용성 보다는 하나의 작업에 특화된 딥러닝 모델을 개발하였다. 여기서는 파킨슨병의 주요한 운동 합병증 중 하나인 레보도파 유발 운동이상증의 발생 시기를 이분화 하여 예측하는 분류 모델을 만들었으며 모델이 PET 영상을 분류하면서 동시에 원본 영상을 복원하는 다중작업을 하게 된다. 또한 선행 연구에서 레보도파 유발 운동이상증과 관련 있다고 알려진 임상 변수들도 함께 모델에 넣어 모델의 성능을 올렸다. 그 외에도 학습된 모델의 설명 가능함을 확인하고 모델이 예측한 확률 값을 사용한 생존 분석을 통해 모델이 레보도파 유발 운동이상증과 관련된 영상의 특징을 효과적으로 추출하고 있는 지 확인하였다.
결론적으로 본 학위 논문은 딥러닝 모델의 성능을 다양한 작업에서 테스트하여 파킨슨병에서의 도파민 운반체 영상의 임상적 중요도를 평가하고자 하였다. 특히 파킨슨증 환자의 감별 진단뿐 아니라 파킨슨병의 진행 정도와 예후를 예측하는 다수의 작업에서 모델을 평가하였고 외부 검증을 통해 모델이 다른 환경에서 촬영한 PET 영상에도 일반화될 수 있음을 보였다. 또한 파킨슨병의 유력한 바이오마커 후보로서 도파민 운반체 영상의 가능성과 한계도 동시에 확인할 수 있었다. 본 연구를 통해 앞으로 임상 현장에서 진료에 도움을 줄 수 있는 딥러닝 모델을 개발하고자 하였고 무엇보다 모델의 결과 해석을 통해 기존에 도파민 운반체 영상에 대해 알고 있던 임상적 지식을 보다 넓히는 기회를 제공하였다.

다국어 초록 (Multilingual Abstract)

Amid ongoing trials for disease-modifying therapies, such as monoclonal antibody treatments for Parkinson's disease, there remains a pressing need for accurate biomarkers to represent the disease effectively. Dopamine transporter imaging, widely used to support clinical diagnosis based on disease course and neurological examination, is a promising candidate for an imaging biomarker in Parkinson’s disease. Previous research on dopamine transporter imaging primarily relied on human experts’ visual interpretation or quantification of striatal signal uptake patterns within predefined region-of-interests. With rapid advances in artificial intelligence, particularly in medical imaging, automated image analysis and the extraction of clinically meaningful features often overlooked by physicians have become increasingly prevalent. This thesis applies deep learning models, employing diverse architectures and training strategies, to dopamine transporter imaging with 18F-FP-CIT PET, assessing its predictive power in differential diagnosis, disease progression, and prognosis to evaluate its potential as a disease biomarker. In the first phase of this thesis, a general-purpose deep learning model trained in a self-supervised approach is proposed. Modified generative and self-prediction models, incorporating techniques like wavelet-transform input images and a semantic encoder for conditioning diffusion models, are introduced. The self-supervised pre-trained models are evaluated both qualitatively and quantitatively through latent vector visualization and manipulation, as well as fine-tuning for three downstream tasks: differential diagnosis of parkinsonism and symptom onset prediction of Parkinson’s disease using multi-center, multi- scanner external test sets. Diffusion models generally achieved top performance, with our HWDAE model, featuring a hierarchical semantic encoder and wavelet-transformed inputs, consistently demonstrating high performance in downstream tasks. In the second phase of this thesis, a different training method is proposed which concentrates on building a task-specific deep learning model using a multi-task learning approach. For the binary classification task of predicting the onset of levodopa-induced dyskinesia, a major motor complication in Parkinson’s disease, the model is trained to classify and reconstruct input images concurrently. Clinical variables associated with levodopa- induced dyskinesia are incorporated as additional inputs, enhancing model performance. Insights from explainable artificial intelligence methods and survival analysis indicate that the model effectively learned meaningful image representations with potential clinical implications. In conclusion, this thesis explores the clinical significance of dopamine transporter imaging in Parkinson’s disease by applying various deep learning methods across multiple downstream tasks, including differential diagnosis, disease progression, and prognosis, with external validation on multiple test sets. The potential of dopamine transporter imaging as a biomarker, as well as its limitations, are thoroughly examined. This work brings a step closer to implementing deep learning models in real clinical settings, while also broadening the clinical insights obtainable from dopamine transporter imaging of patients with parkinsonism. Key words: Parkinson’s disease, dopamine transporter positron emission tomography, imaging biomarker, generative model, self-supervised learning, multi-task learning.

목차 (Table of Contents)

• Abstract i
• Contents iii
• Abbreviations vi
• List of Tables ix
• List of Figures x
• 1. Introduction 1
• 1.1 Motivation 1
• 1.2 Contributions 2
• 1.3 Organization 3
• 2. Background 5
• 2.1 Dopamine transporter imaging 5
• 2.2 Self-supervised learning 7
• 2.3 Models for self-supervised learning 8
• 2.3.1 Diffusion model 8
• 2.3.2 Other generative and self-prediction models 10
• 2.4 Multi-task learning 11
• 3. Dataset and image preprocessing 13
• 3.1 Dataset 13
• 3.1.1 Asan Medical Center 13
• 3.1.2 Soonchunhyang University Seoul Hospital 14
• 3.1.3 Additional clinical data 14
• 3.1.4 Ethics 15
• 3.2 Image acquisition of PET 15
• 3.2.1 Asan Medical Center 15
• 3.2.2 Soonchunhyang University Seoul Hospital 15
• 3.3 Image acquisition of T1 MRI 16
• 3.3.1 Asan Medical Center 16
• 3.3.2 Soonchunhyang University Seoul Hospital 16
• 3.4 Image preprocessing 17
• 3.5 Data flow up to image preprocessing 18
• 4. Development of a general-purpose model for patients with parkinsonism 19
• 4.1 Purpose 19
• 4.2 Major achievements 19
• 4.3 Methods 20
• 4.3.1 Discrete wavelet transform 20
• 4.3.2 Diffusion model architecture and implementation 20
• 4.3.3 Other model architecture and implementation 22
• 4.3.4 Adaptation to downstream tasks 25
• 4.3.5 Latent space visualization and manipulation 27
• 4.3.6 Data configuration for training 27
• 4.3.7 Model evaluation and statistical analysis 28
• 4.3.8 Additional experiment on LID classification 29
• 4.3.9 Computational hardware and software 30
• 4.4 Results 30
• 4.4.1 Dataset 30
• 4.4.2 Model performance of downstream tasks 34
• 4.4.3 Latent space visualization and manipulation 43
• 4.4.5 LID classification 50
• 5. Development of a task-specific model for patients with
• Parkinson’s disease 51
• 5.1 Purpose 51
• 5.2 Major achievements 51
• 5.3 Methods 51
• 5.3.1 Data configuration for training 51
• 5.3.2 Model architecture and implementation 52
• 5.3.3 Machine learning models 54
• 5.3.4 Explainable artificial intelligence 54
• 5.3.5 Survival analysis 55
• 5.3.6 Model evaluation and statistical analysis 56
• 5.4 Results 56
• 5.4.1 Dataset 56
• 5.4.2 Comparison of deep and machine learning models 58
• 5.4.3 Explainable artificial intelligence 60
• 5.4.4 Time-to-event predictor 63
• 6. Discussion 67
• 7. Conclusion and future works 79
• References 80
• Abstract (in Korean) 90
• Acknowledgements 92