합성곱 신경망 및 언어모델 기반 3D 뇌내출혈 CT 영상 캡셔닝 = Convolutional neural network and language model based 3D intracerebral hemorrhage CT images captioning

국문 초록 (Abstract)

뇌내출혈 (Intracerebral Hemorrhage, ICH)는 생명에 위협을 가하는 심각한 뇌혈관 질환으로, 빠른 진단과 치료가 필요하다. CT는 뇌출혈 진단에 가장 효과적으로 사용되는 검사이지만, 이를 판독하는 것은 숙련된 전문가에게 맡겨져야 한다. 그러나 숙련된 전문가가 부족한 지역이나 시간적 여유가 없는 상황에서는 진단이 지연될 수 있다. 본 논문에서는 사전 훈련된 2D CNN 기반 분류기와 GPT-2를 조합하여 연속적인 3D ICH CT 영상에 대한 텍스트를 생성하는 방식을 제안한다. 먼저, 사전 훈련된 CNN 분류기는 공개된 대용량 2D 뇌 CT 이미지에 대한 ICH의 여부를 학습하여 미세 조정한다. 이후, 미세 조정된 CNN 분류기를 사용하여 3D ICH CT 영상의 각 이미지에서 특징 벡터를 추출하고, 이들을 하나의 행렬로 구성하여 GPT-2에 판독문과 함께 입력하여 3D ICH CT 영상으로부터 판독문을 생성하도록 학습한다. 본 실험에 서는 적합한 판독문 생성 모델을 결정하고자 4가지의 모델에 대한 성능을 비교하였다. 이후, 생성된 판독문에 대한 평가는 다음과 같은 평가 지표로 평가하였다: N-gram 기반 방법, 임베딩 기반 방법, 두 방법의 단점이 보안된 BERT-score. 실험 결과, 모든 모델이 BERT-score에서 전반적으로 좋은 성능을 보였으며, N-gram 기반 방법에서는 ResNet-50V2와 DenseNet-121이 비교적 높은 점수를 보였다. 임베딩 기반 방법에서는 DenseNet-121의 성능이 가장 좋았다. 우리가 제안한 방법은 3D ICH CT 영상을 분석하여 판독하는데 있어 자동적이고 유용한 방법을 제시하며, ICH 진단 및 치료의 효율성에 기여할 수 있다.

다국어 초록 (Multilingual Abstract)

Intracerebral hemorrhage (ICH) is a serious cerebrovascular disorder that poses a threat to life, requiring prompt diagnosis and treatment. Computed tomography (CT) is the most effective test for diagnosing brain hemorrhage, but its interpretation should be entrusted to skilled experts. However, in regions lacking skilled experts or situations with limited time, diagnosis may be delayed. In this paper, we propose a method that combines the pre-trained 2D Convolutional Neural Network (CNN) based classifier and GPT-2 to generate text for sequential 3D ICH CT images. Initially, the pre-trained CNN classifier is fine-tuned by learning the presence of ICH on a large set of publicly available 2D brain CT images.
Subsequently, we use the fine-tuned CNN classifier to extract feature vectors from each image of 3D ICH CT, composing them into a matrix iput along with the decoding text to GPT-2. Through this, GPT-2 learns to generate text for 3D ICH CT images. In experiments, we compared the performance of four models to determine a suitable text generation model.
Evaluation for text generation on 3D ICH CT images was performed using the following metrics: N-gram-based methods, Embedding-based methods, and BERT score, a combination of both. All proposed models in this paper demonstrated overall good performance in BERT score, with ReseNet50-V2 and DenseNet-121 showing relatively high scores in N-gram-based methods. In embedding-based methods, DenseNet-121 exhibited the best performance. Our proposed approach provides an automatic and useful method for analyzing and interpreting 3D ICH CT images, contributing to the efficiency
of ICH diagnosis and treatment.
Keywords: Intracerebral hemorrhage, deep learning, medical image captioning, convolutional neural network, GPT-2

목차 (Table of Contents)

• 제1장 서론 1
• 1.1. 개요 1
• 1.2. 관련 연구 3
• 1.3. 기초 연구 5
• 제2장 데이터 및 모델링 9
• 2.1. ICH 다중 분류 데이터셋 9
• 2.2. 3D ICH CT 영상 데이터셋 10
• 2.3. 미세 조정된 CNN 모델링 12
• 2.4. GPT-2 모델링 18
• 2.5. 하이퍼파라미터 21
• 제3장 실험 및 결과 22
• 3.1. 평가 지표 22
• 3.2. 실험 결과 25
• 3.3. 논의 30
• 제4장 결론 32
• 참고문헌 33
• 영문초록 40