사전학습 모델을 이용한 효율적 초분광 이미지 전이 학습 = Efficient Transfer Learning for Hyperspectral Images Using Pretrained Models

국문 초록 (Abstract)

초분광 영상 과업은 시각적으로 구분하기 어려운 객체의 특성을 화학적 성분과 물리적 성질이 반 영된 분광 정보를 활용해 객체의 고유한 특성을 파악하는 과업이다. 최근 초분광 영상을 처리하는 많은 연구들은 지도학습에 기반하였으나, 적은 데이터로 인해 일반화된 특징을 추출하는데 어려 움이 발생하였다. 이러한 어려움을 해결하기위해, 대규모 데이터셋과 대규모 파라미터로 학습된 자기지도학습 기반 연구가 진행됬다. 하지만, 대규모 파라미터 기반 연구는 높은 메모리 사용량과 계산 비용으로 인해 엣지 디바이스, 위성 탑재 환경과 같은 자원 제약 플랫폼에 배포하는데 어려움이 발생한다. 반면, 대규모 자기지도 학습 모델을 작은 크기의 모델에 증류하는 연구는 시도 되었으나 주로 RGB 영상에 치중되어, 증류 과정에서 초분광의 분광 밴드 특징이 유실되는 한계가 존재하였다. 따라서 본 논문에서 제안된 모델은 지식증류와 초분광 내의 분광 밴드 상관관계를 학습하는 모듈을 이용해 교사 모델 대비 모델 파라미터 수를 약 4% 만을 이용함과 동시에 지식증류 과정에서 발생한 분광 밴드 특징의 유실을 최소화시키는 방법을 제안한다. 제안된 방법은 다양한 하위과업에서 평가되었으며, 온 보드 상황을 고려해 10M 이하의 다양한 모델들과 교사 모델과 비교평가를 진행하였다. 우리의 방법은 10M 이하의 다양한 모델에서 가장 좋은 성능을 보였으며, 모델 파라미터 수가 감소되었음에도 교사 모델에 준하는 성능을 보임을 확인하였다.

다국어 초록 (Multilingual Abstract)

Hyperspectral image (HSI) tasks aim to characterize objects by leveraging spectral information that reflects their chemical compositions and physical properties, which is often difficult to distinguish visually. Recently, many studies on HSI processing have been based on supervised learning; however, limited labeled data makes it difficult to extract generalized features. To address this challenge, self-supervised learning approaches trained with large-scale datasets and large numbers of parameters have been actively explored. Nevertheless, large-parameter models require substantial memory and computational cost, making deployment on resource-constrained platforms such as edge devices and onboard satellite systems difficult. Although distilling large self-supervised models into smaller models has been investigated, such efforts have largely focused on RGB imagery, leading to a limitation in which hyperspectral band characteristics can be lost during the distillation process. Therefore, the model proposed in this paper leverages knowledge distillation and a module that learns spectral band correlations within hyperspectral data, using only about 4% of the teacher model’s parameters while minimizing the loss of spectral band characteristics that can occur during distillation. The proposed method is evaluated on various downstream tasks, and, considering onboard settings, is compared with diverse models under 10M parameters as well as the teacher model. Our method achieves the best performance among models with fewer than 10M parameters, and we confirm that it attains teacher-level performance despite the reduced number of parameters.

목차 (Table of Contents)

• Chapter 1 서론 1
• Chapter 2 관련 연구 3
• 2.1 관련 연구 3
• 2.1.1 초분광영상의 표현 학습 및 파운데이션 모델 3
• 2.1.2 효율적 Vision Transformer를 위한 지식 증류 4
• Chapter 3 제안방법 5
• 3.1 문제정의 및 제안방법 5
• 3.2 지식 증류를 추가한 초분광 MAE 사전학습 6
• 3.2.1 MAE 지식 증류 6
• 3.2.2 MAE 표현 학습 7
• 3.3 HyperSpectral Band Adapter(HSBA)를 이용한 미세조정 8
• Chapter 4 실험 10
• 4.1 실험 설정 10
• 4.2 하위 과업 평가 결과 10
• Chapter 5 결론 14
• References 15
• Abstract 20