영역 분할 모델의 성능 향상을 위한 대조적 손실함수의 활용 = Utilizing Feature-wise Contrastive Loss for Improving Segmentation Performance

국문 초록 (Abstract)

본 연구에서는 의료영상에서 영역 분할 모델의 성능을 향상시키기 위하여 특징 벡터 단위 대조적 손실함수를 제안하였다. 영역 분할 모델은 입력으로 들어온 이미지를 픽셀 단위로 분류하는 작업으로, 질병의 조기진단을 보조하기 위하여 많은 도움이 되고 있다. 해당 모델은 이미지를 특징 벡터로 추출하는 인코더, 추출된 특징 벡터를 활용하여 원본 크기로 이미지를 복원시키는 디코더로 구성이 되는데, 이러한 영역 분할 모델이 이상적으로 학습이 되었다면, 인코더는 들어온 이미지의 특징 벡터를 추출하여 임베딩 할 때, 같은 클래스에 해당하는 픽셀들을 벡터 공간상에서 거리가 가깝게, 다른 클래스에 해당되는 픽셀들과는 거리가 멀게 임베딩해야 한다. 최근의 영역 분할 모델들은 크기를 키우거나, 인코더와 디코더 간의 새로운 정보전달 방법을 고안하거나하는 등의 방식으로 영역 분할 모델의 성능 향상에 초점을 맞출 뿐, 인코더의 임베딩 성질에 관해서는 직접적으로 다루지 않기 때문에 앞서 언급한 것과 같은 이상적인 임베딩 성질을 가질 것이라고 기대하기 어렵다. `인코더의 이상적인 임베딩 성질’을 가질 수 있도록 모델을 학습할 수 있다면 실제 성능향상에 도움이 될 것이므로 본 연구에서는 이러한 임베딩 성질을 학습 과정에 반영하기 위하여 대조적 손실함수를 활용한다. 대조적 손실함수는 이미지의 특징 벡터를 기반으로 같은 클래스인 이미지의 특징 벡터와는 유사도가 높게 만들고, 다른 클래스에 해당되는 이미지의 특징 벡터와는 유사도가 낮아지도록 하여 벡터 공간상에서 다른 클래스들과는 멀리 떨어져 있으면서, 같은 클래스와는 거리가 가깝게 위치하도록 제약한다. 인코더의 특징 맵에 대해 대조적 손실함수를 적용하기 위해 특징 벡터 각각에 대조적 손실이 적용되도록 기존 대조적 손실함수를 확장했다. 본 연구에서는 computed tomography (CT) 이미지에서 폐 영역과 간 영역을 분할하는 문제에 대해 U-Net, U-Net++ 등의 최근 영역 분할 모델들을 활용하여 제안하는 손실함수의 효과를 확인하였다.

다국어 초록 (Multilingual Abstract)

In this study, we propose a feature-wise contrastive loss function to improve segmentation performance of deep neural networks. Typically, the segmentation networks consist of an encoder for extracting a feature vector from an input image and a decoder for restoring those feature vectors to the original input size to produce segmentation results. In an ideal setting, the learned encoder should possess a capability of semantic embedding, which embeds two features close to each other when they belong to the same class, while embeds them apart if they correspond to different classes. Recent segmentation models have focused on improving the segmentation performance and do not directly deal with the embedding properties of the encoder, so it is difficult to expect that the embedded features will have the ideal property as mentioned above. If the model can be learned to have such ideal embedding property, it will help to further enhance the segmentation performance. Therefore, this study utilizes the contrastive loss function to reflect the embedding property in the learning process. In order to apply the contrastive loss function to the feature map of the encoder, the existing contrastive loss function is extended so that it is applied to feature vectors. Through the experiments on the lung and liver segmentation in computed tomography (CT) images, it is demonstrated that the proposed loss function helps to improve the segmentation performance of popular models, U-Net, U-Net++, and U-Net3.

목차 (Table of Contents)

• I. 서 론 1
• II. 이론적 배경 3
• 2.1. 영역 분할 모델 3
• 2.2. 자기지도 학습 5
• III. 기존 연구 9
• 3.1. 의료 영상에서 모델 변화를 통하여 성능향상 추구 9
• 3.2. 의료 영상에서 손실함수를 개선하여 성능향상 추구 13
• IV. 제안하는 방법 15
• 4.1. 특징 벡터 단위 대조적 손실함수 15
• 4.2. 최종 손실함수 16
• 4.3. 학습 방법 17
• V. 실험 및 결과 20
• 5.1. Dataset 소개 20
• 5.2. 성능 평가 지표 22
• 5.3. 모델 선택 절차 및 결과 24
• 5.4. 영역 분할 성능 검증 결과 28
• 5.5. 인코더의 특징 벡터 시각화 33
• Ⅵ. 결론 및 한계점 36
• 참고문헌 37
• 영문초록(Abstract) 41