약지도학습 의미론적 영상 분할을 위한 프로토타입 유형에 관한 연구 = A Study of Prototype Modalities for Weakly Supervised Semantic Segmentation

국문 초록 (Abstract)

최근 많은 데이터가 있어야만 성능을 보장받을 수 있던 기존 딥러닝 학습에서의 문제점을 극복하기 위해, 취득된 데이터를 효율적으로 이용하기 위하여 엉성한 레이블 만을 가지고 학습을 진행하는 약지도학습 기반 딥러닝 구조들에 관한 연구가 활발해지고 있다. 약지도학습에서는 프로토타입을 도입하여 엉성한 레이블과 픽셀 단위 세밀한 레이블 사이의 간극을 줄이기 위한 연구가 이루어지고 있다. 프로토타입은 약지도 상황 내에서 추가 지도로 활용되며 해당 프로토타입으로 대표되는 픽셀들을 모두 프로토타입 방향으로 견인하도록 학습이 이루어진다. 본 논문에서는 이러한 기존 클래스 기반 프로토타입의 이용이 섬세한 픽셀 단위 영상 분할에 적용되는 상황의 제한을 확인하고 해당 제한을 해소하기 위하여 로우-레벨의 지역적 특징을 담을 수 있도록 클러스터링 기반의 영상 과분할을 통한 새로운 형태의 프로토타입을 정의하고 해당 프로토타입 생성하도록 지도할 수 있는 손실 함수를 제안한다. 또한 이를 통한 학습 결과 기존 기법 대비 정성적, 정량적으로 성능 증가를 이루어냈다.

다국어 초록 (Multilingual Abstract)

Recently, prototypes have been utilized to better bridge the gap between image and pixel labeling for weakly supervised semantic segmentation. Prototypes are representative feature vectors that can be used as supervision to concentrate feature vectors of pixels that are likely to have the same labels. In this work, we aim to utilize techniques for clustering or over-segmentation to define a new modality of prototypes in WSSS. By incorporating the proposed prototypes into a contrastive self-supervised framework for WSSS, feature representations from pixels likely to have same labels are better aligned, resulting in improved CAM and pseudo-labeling results. Experimental evaluations demonstrate results in mIoU, 69.0% on Validation Set of the PASCAL VOC 2012 dataset.

목차 (Table of Contents)

• 제1장 서론 1
• 제2장 관련 연구 5
• 2.1. 딥러닝 학습 과정에서의 프로토타입 5
• 2.2 완전지도학습 의미론적 영상분할 7
• 2.2.1. 완전지도학습 의미론적 영상분할과 프로토타입 7
• 2.2.2. 완전지도학습 의미론적 영상분할과 클러스터링 7
• 2.3. 약지도학습 의미론적 영상분할 8
• 2.3.1. 약지도학습 의미론적 영상분할과 프로토타입 10
• 2.3.2. 약지도학습 의미론적 영상분할과 클러스터링 11
• 2.4. 데이터셋 12
• 2.5. 평가 기준 12
• 제3장 제안 기법 14
• 3.1. 기반 기법 14
• 3.1.1. SEAM 14
• 3.1.2. PPC 17
• 3.2. 문제 상황 정의 및 제안 기법 개요 19
• 3.3. 자기-지도학습 구조와 세그먼트 프로토타입을 이용한 약지도학습 의미론적 영상 분할 23
• 3.3.1. 세그먼트 프로토타입 생성 23
• 3.3.2. 원본 영상과 증강 영상의 지역적 프로토타입 사이의 연결 방법 32
• 3.3.3. 픽셀-대-세그먼트 프로토타입 손실함수 35
• 3.3.4. 클러스터 맵 일관 손실함수 36
• 3.3.5. 최종 손실함수 및 네트워크 구조 37
• 제4장 실험 결과 40
• 4.1. 실험 환경 40
• 4.2. 구현 상세 사항 40
• 4.2.1 학습 상세 사항 40
• 4.2.1 클러스터링 상세 사항 40
• 4.3. 실험 결과 및 분석 41
• 4.3.1 최초 클래스 활성화 맵 및 CRF 적용 결과 비교 41
• 4.3.1.1 학습 셋을 이용해 학습한 결과 비교 41
• 4.3.1.2 전체 데이터셋을 이용해 학습한 결과 비교 43
• 4.3.2 최초 레이블을 정제한 의사 영상 분할 마스크 결과 비교 44
• 4.3.3 정제된 의사 마스크 레이블을 이용한 지도학습 결과 비교 46
• 제5장 결론 50
• 참고문헌 51
• 영문초록 56