Simple Experience Replay for Domain Incremental Learning in Multi-Platform Remote Sensing Imagery = 멀티 플랫폼 원격 탐사 영상의 도메인 증분 학습을 위한 단순 경험 재생

국문 초록 (Abstract)

최근 원격 탐사 산업은 비약적인 발전을 이루었으며, 이에 따라 초고해상도 위성부터 초소형 군집위성, 항공기, 드론에 이르기까지 다양한 플랫폼이 발사 및 운용되고 있다. 이로 인해 방대한 양의 원격 탐사 빅데이터가 생성되고 있으며, 이는 접근이 어려운 지역에 대해 비용 효율적으로 광범위한 정보를 제공할 수 있다는 장점을 지닌다. 지난 수십 년간 원격 탐사 영상은 다양한 연구 분야에서 광범위하게 활용되어 왔으며, 특히 최근에는 원격 탐사 영상에 적합한 딥러닝 기술 개발에 대한 관심이 집중되고 있다.
원격 탐사 영상에 대한 수많은 딥러닝 연구가 수행되고 있으며, 다양한 플랫폼에서 취득된 원격 탐사 영상이 오픈 소스 형태로 제공되고 있음에도, 현실적인 환경에서 딥러닝 기술을 원격 탐사 영상에 적용하여 활용하는 사례는 부족한 실정이다. 현재 대부분의 연구에서 제안하는 딥러닝 모델 학습 과정은 단일 태스크 학습, 다중 태스크 학습, 전이 학습 또는 도메인 적응 방식에 한정되어 있다.

단일 태스크 학습의 경우, 학습된 모델을 다른 도메인에 직접적으로 적용하기 어려운 한계가 있으며, 다중 태스크 학습은 도메인이 늘어날수록 학습 시간이 증가하는 문제점이 있다. 또한, 전이 학습과 도메인 적응 방식에서는 새로운 도메인에서 학습할 때 모델이 이전 도메인에서 학습한 지식을 잃어버리는 치명적 망각(catastrophic forgetting) 문제가 발생한다. 이러한 문제는 일반 영상에 비해 도메인 간 차이가 큰 원격 탐사 영상에서 보다 심각하게 발생하며, 특정 도메인에서 학습된 딥러닝 모델을 다른 도메인에 적용하기 어렵게 만들어 실제 원격 탐사 영상에 딥러닝 기술을 효과적으로 활용하는데 큰 제약이 된다.

이를 극복하기 위해 컴퓨터 비전 분야에서는 지속적 학습 (continual leaning)에 대한 연구가 수행되어 왔으며, 최근에는 원격 탐사 영상에 이를 적용하려는 연구도 일부 수행되고 있다. 지속적 학습의 구현 방식은 크게 규제 기반 (regularization-based method), 모델 구조 기반 (architecture-based method), 재생 기반 (replay-based method)로 구분된다. 기존 원격 탐사 영상에 대한 지속적 학습 연구는 주로 규제 기반이나 모델 구조 기반의 방식을 채택하고 있으나, 본 학위 논문에서는 재생 기반 방법의 구현상의 간단함과 성능상의 이점을 고려하여 이를 바탕으로 한 모델 학습 알고리즘을 개발하였다.

본 학위 논문에서는 도메인 증분 학습(domain-incremental learning) 상황에서 다양한 도메인에 적용 가능하고, 합리적인 학습 시간과 메모리 사용을 제공하며, 치명적 망각을 방지할 수 있는 모델 학습 알고리즘을 개발하여 실용적인 원격 탐사 영상 활용성을 제고하고자 하였다. 특히, 다중 태스크 학습이 다양한 도메인에서 일반적으로 좋은 성능을 보인다는 점과 메모리 버퍼를 사용하여 적은 학습시간으로도 치명적 망각을 완화하는 재생 기반 지속적 학습의 구현 방식에서 착안하여, 두 방식의 장점을 결합한 알고리즘인 SimER-MRS이 제안되었다.

구체적으로, SimER-MRS에서는 기존 재생 기반 지속적 학습 방법과 같이 도메인 증분 학습 과정에서 이전 태스크의 일부 데이터를 저장한다. 그러나, 학습 단계에서는 배치 단위로 데이터가 결합되는 것이 아닌, 다중 태스크 학습 방식을 채택하여 이전 태스크와 현재 태스크의 데이터를 결합하여 학습한다. 이를 통해 이전 태스크의 지식을 유지하면서도 학습 시간과 메모리 사용 측면에서 이점을 제공하고자 하였다.

제안된 알고리즘은 잘 알려진 LULC 데이터셋인 Potsdam, LovDA, DeepGlobe, GID로 구성된 새로운 데이터셋에 대해 고해상도에서 저해상도 도메인으로의 도메인 증분 학습 및 저해상도에서 고해상도로의 도메인 증분 학습을 통해 정량적 및 정성적으로 검증되었으며, 기존 지속적 학습 알고리즘과의 비교 검증 또한 수행되었다. 실험 결과, SimER-MRS는 기존 지속적 학습 기법과 비교하여 치명적 망각을 효과적으로 완화할 수 있음을 보여주었다. 또한 도메인 증분 학습 중 각 단계별 학습 시간을 분석한 결과, 다중 태스크 학습 방식과 비교하여 학습 시간 측면에서 강점을 보여주었으며, 메모리 사용 측면에서도 재생 기반 지속적 학습 방식인 ER과 비교하여 절반 수준의 메모리 사용량을 보여주었다. 이러한 결과는 본 학위 논문에서 제안한 모델 학습 알고리즘이 도메인 증분 학습 상황에서 원격 탐사 영상의 실용적 활용 가능성을 높일 수 있음을 시사한다.

다국어 초록 (Multilingual Abstract)

The remote sensing industry has rapidly advanced in recent years, with a wide range of platforms being launched and operated, including very-high-resolution satellites, microsatellites constellation, aircraft, and drones. This progress has led to a massive amount of remote sensing data, which provides cost-effective information on inaccessible areas. Over the past few decades, remote sensing imagery has been extensively utilized across diverse research fields, and recently, there has been an increasing focus on developing deep learning models specifically suited for remote sensing applications.

Remote sensing imagery acquired from various platforms is available in open-source datasets, and numerous deep learning studies have been conducted using this data. Nevertheless, there are still few instances where deep learning technology is effectively applied to remote sensing imagery in real-world scenarios. Currently, most deep learning approaches for remote sensing are limited to single-task learning, multi-task learning, transfer learning, or domain adaptation approaches.

Single-task learning faces the challenge that models trained in one domain are difficult to apply directly to other domains. Multi-task learning, on the other hand, requires prolonged training as additional domains are incorporated. Additionally, in transfer learning and domain adaptation, models often forget the knowledge learned from previous domains when trained on new ones. This phenomenon is known as catastrophic forgetting. These issues are especially severe in remote sensing imagery, where the domain gap is often larger than in general imagery. As a result, applying a model trained on one domain to another becomes difficult. This significantly limits the practical application of deep learning in remote sensing.

To overcome these challenges, research on continual learning has been conducted in the field of computer vision, and recently, some studies have started to explore its application to remote sensing imagery. Continual learning approaches can be broadly categorized into regularization-based methods, architecture-based methods, and replay-based methods. While existing research on continual learning for remote sensing imagery has mainly focused on regularization-based or architecture-based approaches, this thesis develops a continual learning algorithm based on the replay-based method, considering its simplicity and performance advantages.

This thesis develops a continual learning algorithm that can be applied to various domains in a domain-incremental learning scenario, ensuring reasonable learning time and memory usage while mitigating catastrophic forgetting, with the aim of enhancing the practical usability of remote sensing imagery. In particular, based on the observation that multi-task learning generally performs well across various domains and the implementation of replay-based continual learning, which mitigates catastrophic forgetting through the use of a memory buffer while ensuring reasonable training times, an algorithm called SimER-MRS is proposed, combining the strengths of both approaches.

Specifically, in SimER-MRS, similar to traditional replay-based continual learning methods, some data from previous tasks are stored during the domain-incremental learning process. However, instead of using batch-wise learning, the algorithm combines the data from both the previous and current tasks during the learning phase, similar to multi-task learning. This approach allows the model to retain knowledge from previous tasks while offering advantages in terms of training time and memory usage.

The proposed algorithm was validated both quantitatively and qualitatively through domain-incremental learning, using a new dataset that includes well-known LULC datasets such as Potsdam, LovDA, DeepGlobe, and GID, with domain transitions from high-resolution to low-resolution and vice versa. The experimental results demonstrated that SimER-MRS effectively alleviates catastrophic forgetting compared to representative continual learning methods. Additionally, an analysis of the training time at each stage of domain-incremental learning revealed that SimER-MRS showed advantages in training time compared to multi-task learning. In terms of memory usage, it also demonstrated half the memory consumption compared to the replay-based continual learning method, ER. These results suggest that the SimER-MRS, proposed in this thesis, enhances the practical usability of remote sensing imagery in domain-incremental learning scenarios.

목차 (Table of Contents)

• Abstract i
• List of Tables vi
• List of Figures vii
• List of Abbreviations ix
• 1. Introduction 1
• 1.1. Background 1
• 1.2. Overview of Continual Learning 9
• 1.2.1. Theoretical Background 9
• 1.2.2. Typical Scenarios 11
• 1.2.3. Approaches 13
• 1.3. Objectives and Scope of the Thesis 16
• 2. Related Works 18
• 2.1. Representative Regularization and Architecture-Based Continual Learning Methods 18
• 2.1.1. Elastic Weight Consolidation (EWC) 18
• 2.1.2. Learning Without Forgetting (LWF) 20
• 2.1.3. Progressive Neural Networks (PNN) 21
• 2.2. Representative Replay-Based Continual Learning Methods 23
• 2.2.1. Gradient Episodic Memory (GEM) 23
• 2.2.2. Averaged Gradient Episodic Memory (A-GEM) 24
• 2.2.3. Experience Replay (ER) 25
• 2.3. Continual Learning in Remote Sensing 26
• 3. Proposed Method 28
• 3.1. Problem Formulation 28
• 3.2. Simple Experience Replay for Multi-Platform Remote Sensing Imagery 29
• 3.3. Loss Function 34
• 4. Experiments and Results 35
• 4.1. Datasets 35
• 4.1.1. Potsdam 37
• 4.1.2. LoveDA 37
• 4.1.3. DeepGlobe 38
• 4.1.4. GID 39
• 4.2. Evaluation Metrics 40
• 4.3. Implementation Details 41
• 4.4. Experimental Results 42
• 4.4.1. Domain Incremental Building Segmentation 42
• 4.4.2. Domain Incremental Forest Segmentation 50
• 5. Discussion 57
• 5.1. Sampling Ratio Effects 58
• 5.2. Training Time and Memory Usage 61
• 6. Conclusion 63
• References 65
• 국문 초록 69