생성적 사전 정보와 좌표 기반 디코더를 결합한 위성 영상의 8배 초해상화 연구 = Generative Prior and Coordinate-Based Decoding for 8x Satellite Image Super-Resolution

국문 초록 (Abstract)

최근 위성 기술의 발전으로 고해상도 위성 영상의 수요가 증가하고 있다. 그러나 위성 영상 촬영 주기의 제약과 고해상도 영상의 높은 가격대 형성으 로 인해 사용자의 경제적 부담이 증가하고 있다. 이에 대한 대안으로 기존 저해상도 영상을 고해상도로 변환하는 초해상화 기술에 대한 관심이 증가하 고 있다. 현재 공공으로 제공되는 위성 영상의 공간 해상도는 약 8m 수준이며, 상 업적으로 사용되는 위성 영상의 공간해상도는 약 1m 수준이다. 따라서, 무 료로 제공되는 위성 영상을 상업적으로 사용하기 위해서는 약 8배 초해상화 모델 개발이 필요하다. 하지만 기존의 8배 위성 영상 초해상화 모델은 생성 되어야할 픽셀 수가 많아 복원 난이도가 높고 연구가 부족한 실정이다. 또 한, 위성 영상의 특성상 작은 객체가 많아 복잡도가 높기 때문에, 4배로 학 습된 모델의 경우 텍스처 또는 구조적인 형태 복원이 되지 않는 모습을 보 인다. 이에 본 연구에서는 기존의 개발된 여러 모델들의 장점을 결합한 8배 위성 영상 초해상화 하이브리드 모델을 제안한다. 제안 모델은 트랜스포머 기반의 특징 추출, 생성적 사전 정보 형성 그리고 좌표 기반의 디코더를 결 합한 하이브리드 네트워크이다. 기존 TTST(Top-k Token Selective Transformer) 모델 기반의 윈도우 어텐션 블록을 통해 지역적 정보와 전역 적 정보를 효율적으로 학습해 저해상도 영상에서 특징을 추출한다. 이후 심 하게 손실된 고주파 정보를 사전 학습된 StyleGAN2의 잠재공간을 활용해 텍스처를 강화한다. 또한, LIIF(Local Implicit Image Function) 모델의 좌표 디코더를 사용하여 격자 기반 업샘플링 한계를 완화하고 연속적인 공간을 표현한다. 이렇게 만들어진 사전 정보와 연속적 공간 표현 정보를 융합한 최 종적인 초해상도 영상은 높은 배율임에도 불구하고 건물의 구조적 형태나 지붕 내부 질감을 유사하게 복원한 결과를 생성한다. 실험 결과 픽셀 기반의 정량적 지표에서는 낮은 수치를 기록했다. 그러나 지각적인 지표인 평가 지표에서는 LPIPS(Learned Perceptual Image Patch Similarity) 0.33과 DISTS(Deep Image Structure and Texture Similarity) 0.15점으로 MHAN(Multi-Head Attention Network), LIIF(Local Implicit Image Function), TTST(Top-k Token Selective Transformer), GLEAN(Generative Latent Bank), ESRGAN(Enhanced Super-Resolution Generative Adversarial Network), EDIFFSR(Efficient Diffusion Model for Image Super-Resolution)의 6가지 비교 모델 중 가장 높은 성능을 보였다. 이는 본 모델이 픽셀간의 오차를 최소화하기보다 경계면이나 세밀한 텍스처 복원에 집중했음을 의미한다. 또한, 정성적인 결과를 확인하였을 때에도 기 존 모델들에 비해 개선된 모습을 보인다. 추후 실제 응용 가능성을 검증하기 위해 건물 영역 분할을 수행한 결과, 고해상도 원본 영상에서 수행된 건물 영역 분할 영상과 가장 유사하게 마스크가 형성됨을 확인하였다. 결과적으로 본 연구는 고배율 초해상화에서 발생하는 구조적인 왜곡과 텍스처 손실 문 제를 해결하고 실제 원격 탐사 분야에서 활용 가능성을 입증한다.

목차 (Table of Contents)

• 표 목 차 ⅲ
• 그 림 목 차 ⅳ
• 기초 및 약어 설명 ⅴ
• 국 문 요 약 ⅵ
• Ⅰ. 서 론 1
• 1.1 연구 배경 1
• 1.2 고배율 복원 연구의 필요성 7
• 1.3 초해상화 문제 정의와 특성 4
• 1.4 초해상화의 종류 6
• 1.5 연구 목적 10
• Ⅱ. 관련 연구11
• 2.1 전통적인 초해상화 11
• 2.2 지도학습 기반의 원격 탐사 영상 초해상화 13
• 2.2.1 합성곱 신경망(CNN) 14
• 2.2.2 트랜스포머(Transformer) 기반 모델 15
• 2.2.3 생성적 적대 신경망(GAN) 16
• 2.2.4 확산(Diffusion) 모델 18
• 2.3 최신 트렌드 위성 영상 초해상화 21
• Ⅲ. 방법론 23
• 3.1 하이브리드 초해상화 네트워크 개요 23
• 3.2 트랜스포머 기반 구조적 특징 추출 과정 26
• 3.3 좌표 기반 구조 복원 모듈 28
• 3.4 사전 정보 생성 과정 30
• 3.5 생성적 사전 정보와 구조적 정보의 통합 32
• Ⅳ. 실험 및 고찰 34
• 4.1 실험 환경 및 목적 함수34
• 4.2 실험 데이터셋 36
• 4.3 평가지표 38
• 4.3.1 정량적 평가지표 38
• 4.3.2 테스크 기반 평가지표 40
• 4.4 제안 모델에 대한 평가 41
• 4.4.1 구성요소 별 성능 분석 43
• 4.4.2 하이퍼파라미터 α에 따른 성능 분석 44
• 4.4.3 정량적 평가 45
• 4.4.4 정성적 평가 47
• 4.4.5 테스크 기반 평가 51
• Ⅴ. 결 론 56
• 5.1 연구 요약 56
• 5.2 연구 한계점 57
• 5.3 향후 연구 방향 58
• 참고문헌 59
• ABSTRACT 62