준지도 방식을 이용한 시공간 교차 모달 및 단계 인지 게이팅 기반 지도인식

다국어 초록 (Multilingual Abstract)

With the increasing uncertainty in agricultural production due to recent climate change, the importance of rapid and accurate agricultural change detection using high-resolution satellite imagery is growing. However, agricultural change detection faces critical technical limitations: seasonal ’pseudo-changes’ driven by crop growth cycles often appear visually stronger than actual land cover changes, causing structural false alarms. Furthermore, constructing high-quality labels on a large scale requires enormous costs, leading to a severe label scarcity problem.
To address these challenges, this paper proposes PhenologyMatch, a computer vision-based, phenology-aware semi-supervised change detection framework that elevates phenological priors to the decision-making layer of the neural network. First, to maximize spatiotemporal representation learning, the proposed method introduces a Spatiotemporal Cross-modal Fusion architecture. This combines a Video Swin Transformer-based RGB branch for extracting high-frequency textures with a 3D-CNN-based NDVI branch for modeling low-frequency phenological dynamics. Through a Cross-modal Attention mechanism, the phenological state adaptively modulates the texture response, inducing the learning of representations robust to seasonal appearance drift.
Additionally, to enhance the stability of semi-supervised learning, a novel Phenology-aware Pseudo-label Gating （Pheno-τ） mechanism is proposed. This mechanism dynamically adjusts the pseudo-label selection threshold by utilizing NDVI statistics as a proxy variable for phenological phases, thereby fundamentally suppressing the influx of seasonal noise and improving the precision of the decision boundary through soft consistency constraints on threshold-boundary samples.
Evaluated under a rigorous protocol combining patch-level mutually exclusive splitting and Season Hold-out evaluation on a large-scale dataset built from Sentinel-2 time-series data of the Matopiba region in Brazil, PhenologyMatch achieved superior cross-season generalization performance and discriminative accuracy compared to representative RGB-only video backbones and semi-supervised baseline settings. This study is expected to enhance the reliability of agricultural monitoring systems utilizing artificial intelligence and computer vision technologies, contributing to the provision of precise land cover change information for food security.

목차 (Table of Contents)

• 1 서론 1
• 1.1 연구 배경 및 목적 1
• 1.2 연구 내용 및 방법 2
• 1.3 논문의 구성 3
• 2 이론적 배경 및 관련 연구 5
• 2.1 연구 개요 5
• 2.2 변화 탐지 과제 패러다임의 진화: 이시기 대비에서 다시기 비디오 이해로 5
• 2.2.1 전통적 변화 탐지와 이시기 기반 심층 모델: 차이를 중심으로 한 판별 논리 6
• 2.2.2 농경지의 계절적 의사변화: 외관 드리프트를 체계적 혼란 요인으로 인식하기 6
• 2.2.3 다시기 비디오화 모델링: 정적 차분에서 동적 궤적 판별로의 전환 7
• 2.3 시공간 표현 학습: 2D 특징에서 비디오 Transformer로 8
• 2.3.1 2D CNN의 공간적 귀납 편향: 텍스처와 국소 구조에 대한 강력한 기준선 8
• 2.3.2 3D CNN: 시간축 합성곱을 통한 단기 동역학과 위상 정보의 도입 8
• 2.3.3 비디오 Transformer: 자기주의 메커니즘을 통한 장기 의존성과 프레임 간 연관성 모델링 8
• 2.3.4 Video Swin Transformer: Shifted Window 기반의 효율성과 표현력 간 절충 9
• 2.4 다중 모달 융합과 물리적 사전 정보 통합, 결합 방식에서 주의 기반 조절로 9
• 2.4.1 다중 모달 학습의 핵심 문제, 이질 표현 정렬과 상보 정보 활용 9
• 2.4.2 융합 수준, Early, Late, Hybrid의 장점과 한계 10
• 2.4.3 NDVI의 물리적 의미, 생육 단계 사전 정보의 계산 가능한 대리변수 10
• 2.4.4 Cross-modal Attention, NDVI를 조건 정보로 사용하여 RGB 표현을 조절 10
• 2.5 준지도 학습과 의사라벨 신뢰성, 일관성에서 임계값 전략으로 11
• 2.5.1 일관성 정규화와 Teacher–Student, 무라벨 데이터로 결정 경계를 제약 11
• 2.5.2 고정 임계값이 계절 드리프트에서 실패하는 이유, 신뢰도 분포의 체계적 이동 11
• 2.5.3 적응형 임계값의 연구 진전, 클래스 난이도에서 분포 정렬로 11
• 2.5.4 본 연구의 접근, 생육단계 사전 정보를 임계값 함수에 통합하여 사전과 증거의 이중 적응을 구성 12
• 2.6 소결 12
• 3 데이터셋 구축 14
• 3.1 연구 구역 개요 및 과제 정의 15
• 3.1.1 연구 대상 지역 개요 15
• 3.1.2 학습 과제 정의 15
• 3.2 데이터 출처 및 수집 16
• 3.2.1 원격탐사 영상 데이터: Sentinel-2 16
• 3.2.2 연간 토지 이용/피복 라벨: MapBiomas 연간 제품 16
• 3.2.3 데이터 획득 플랫폼: Google Earth Engine 16
• 3.3 데이터 전처리 17
• 3.4 샘플 구성 및 데이터 형태 18
• 3.4.1 고정 패치 단위 및 정합 원칙 18
• 3.4.2 시계열 시퀀스 구성 및 텐서화 표현 18
• 3.4.3 파일 구성 및 시간 윈도우 정의 18
• 3.5 라벨 생성 및 노이즈 제어 19
• 3.6 준지도 데이터 분할 및 평가 프로토콜 19
• 3.6.1 준지도 분할 및 정식화 19
• 3.6.2 패치 단위 상호 배타적 분할 및 계절 유보（Season Hold-out） 평가 프로토콜 20
• 3.7 데이터셋 통계 및 정성적 검증 20
• 3.8 소결 20
• 4 PhenologyMatch: 생육단계 인지형 준지도 농경지 변화 판별 프레임워크 22
• 4.1 서론 및 전체 프레임워크 22
• 4.2 문제 정의 및 기호 체계 24
• 4.2.1 설계 동기: 텍스처 증거와 생육 단계 증거의 상보성 25
• 4.2.2 RGB 분기: Video Swin 기반 시공간 텍스처 모델링 25
• 4.2.3 NDVI 분기: 경량 3D-CNN 기반 생육 단계 동역학 모델링 26
• 4.2.4 교차 모달 주의 융합: 생육 단계 정보로 텍스처 반응 조절 26
• 4.3 일관성 기반 준지도 학습 전략 28
• 4.3.1 준지도 학습의 난점: 계절 도메인 드리프트에서의 의사라벨 불안정성 28
• 4.3.2 Teacher-Student 아키텍처 및 EMA 업데이트 28
• 4.3.3 기하학적 정합 증강: 의사라벨의 공간 일관성 보장 29
• 4.3.4 생육 단계 인지 의사라벨 게이팅: 샘플 단위 동적 임계값 30
• 4.3.5 임계값 경계의 소프트 일관성: 전환기 샘플의 분포 정보 활용 31
• 4.4 손실 함수 및 최적화 전략 32
• 4.4.1 지도 손실 32
• 4.4.2 무지도 하드 손실 32
• 4.4.3 소프트 일관성 손실 32
• 4.4.4 최적화 및 학습 스케줄링 33
• 4.5 PhenologyMatch의 학습 절차 33
• 5 실험 결과 및 분석 34
• 5.1 실험 설정 및 통합 평가 프로토콜 34
• 5.2 PhenologyMatch의 계절 간 평가 성능 및 안정성 분석 36
• 5.2.1 주류 RGB 비디오 백본 대비 주 결과 분석 36
• 5.2.2 무작위 시드 안정성 및 테스트 시 증강（TTA）의 영향 분석 36
• 5.3 다중 모달 융합 방식 및 학습 전략의 영향 분석 38
• 5.4 핵심 구성 요소의 소거 실험 및 기여도 분석 39
• 5.5 무라벨 데이터 규모에 따른 한계 효용 분석 및 권장 설정 41
• 5.6 추론 전략의 영향 및 순위 안정성 분석 41
• 5.7 강건성 분석 및 메커니즘 검증 45
• 5.7.1 정합 오차 허용도 분석: 기하학적 교란에 대한 강건성 45
• 5.7.2 게이팅 메커니즘의 동적 행동 분석: NDVI 구간별 통계 증거 46
• 5.7.3 정성적 사례 분석: 다양한 드리프트 패턴에 대한 모델 반응 비교 46
• 5.8 소결 52
• 6 결론 및 향후 연구 방향 53
• 6.1 연구 요약 및 결론 53
• 6.2 연구의 한계 및 향후 연구 방향 55
• 참고문헌 58
• Abstract 62