딥러닝을 활용한 뇌내출혈 환자의 3D CT 영상 캡셔닝 = Captioning of intracerebral hemorrhage patients’3D CT image using deep learning

국문 초록 (Abstract)

뇌내출혈은 환자의 1/3 이상이 한 달 이내에 사망하는 심각한 문제다. 이를 진단하기 위해서는 뇌 영상 검사가 필수적이다. 따라서 뇌 영상 판독은 매우 중요한 과정이다. 하지만 사람은 제한된 양의 업무만 처리할 수 있다. 이를 보조하기 위해 의료 영상 캡셔닝에 대한 연구가 진행되어 왔지만 주로 단일 의료 영상에 초점을 맞췄다. 하지만 실제 의료 영상은 3D CT 영상과 같이 연속적인 시퀀스로 구성된 경우가 많아 기존 연구들을 직접 적용하기에는 어려움이 있다. 따라서 본 논문에서는 3D-CNN 모델과 DistilGPT-2를 활용한 3D CT 영상 캡셔닝 모델을 제안한다. 본 연구에서는 네 가지 3D-CNN 모델과 언어 모델을 조합하여 성능을 비교 분석했다. 또한, 학습 과정에서 손실 함수에 페널티를 적용하고 페널티 값이 미치는 영향도 살폈다. 제안된 CT 이미지 캡셔닝 모델은 최대 0.35의 BLEU 점수를 보였으며, 손실 함수에 페널티를 적용했을 때 모델이 생성한 텍스트가 방사선과 전문의의 판독문과 더 유사해지는 것을 관찰했다.

다국어 초록 (Multilingual Abstract)

Intracerebral hemorrhage is a severe problem where more than one-third of patients die within a month. In diagnosing intracranial hemorrhage, neuroimaging examinations are essential. As a result, the interpretation of neuroimaging becomes a crucial process in medical procedures. However, human-based image interpretation has inherent limitations, as it can only handle a restricted number of tasks. To address this, a study on medical image captioning has been conducted, but it primarily focused on single medical images. However, actual medical images often consist of continuous sequences, such as CT scans, making it challenging to directly apply existing studies. Therefore, this paper proposes a CT image captioning model that utilizes a 3D-CNN model and distilGPT-2. In this study, four combinations of 3D-CNN models and language models were compared and analyzed for their performance. Additionally, the impact of applying penalties to the loss function and adjusting penalty values during the training process was examined. The proposed CT image captioning model demonstrated a maximum BLEU score of 0.35 on the in-house dataset, and it was observed that the text
generated by the model became more similar to human interpretations in medical image reports with the application of loss function penalties.
Keywords: Medical image captioning, Computed tomography, Language model, Natural language processing

목차 (Table of Contents)

• 제1장 서론 1
• 1.1. 개요 1
• 1.2. 관련 연구 3
• 1) 합성곱 신경망 3
• 가) ResNet-50 6
• 나) DenseNet-201 7
• 다) EfficientNet-B5 8
• 라) ConvNeXt-S 9
• 2) 트랜스포머 모델 10
• 가) GPT-2 12
• 3) 의료 이미지 캡셔닝 13
• 4) 3차원 합성곱 신경망 13
• 제2장 방법론 15
• 2.1. 인코더 16
• 2.2. 디코더 17
• 2.3. 페널티가 적용된 손실 함수 18
• 2.4. 텍스트 생성 전략 19
• 제3장 실험결과 20
• 3.1. 실험 환경 설정 20
• 3.2. 데이터 셋 20
• 1) 이미지 캡션 21
• 2) CT 영상 22
• 3.3. 평가 방법 23
• 3.4. 전체 테스트 데이터에 대한 실험결과 26
• 3.5. 뇌내출혈 환자의 테스트 데이터에 대한 실험결과 28
• 3.6. 모델이 생성한 텍스트 결과 31
• 제4장 논의 33
• 제5장 결론 36