다중분광 카메라 정합 및 MAP 기반 시차 개선 연구 = A Study on Multispectral Camera Alignment and MAP-Based Disparity Enhancement

다국어 초록 (Multilingual Abstract)

This thesis addresses two fundamental challenges commonly encountered in image-based recognition systems: multispectral image registration across different wavelength bands and the presence of invalid regions in stereo disparity maps. To resolve these issues, each problem is analyzed independently, and practical methodologies for data quality enhancement are proposed.

First, to resolve geometric misalignment between spectral bands in a multi-camera-based multispectral acquisition environment, a registration pipeline based on camera calibration and pixel mapping is established. Since each spectral channel is acquired simultaneously through different camera and filter combinations, reprojection to a reference camera coordinate system is performed to account for parallax and lens distortion. Furthermore, a calibration procedure is applied to mitigate radiometric differences across wavelength bands and spatial non-uniformity caused by lens shading, thereby ensuring relative signal consistency. The proposed multispectral registration and correction process is designed for real-time operation even with low-cost hardware configurations, and its effectiveness in corrosion detection applications is validated using real-world ship hull imaging data.

Second, to address invalid regions in Ground Truth disparity maps generated by stereo matching, a disparity map refinement method based on Maximum A Posteriori estimation is proposed. The proposed method constructs a posterior distribution by modeling the distribution of valid neighboring disparities as a prior and the similarity between left–right image patches as a likelihood term, and estimates disparity values for invalid pixels by maximizing this posterior. Experimental results on both synthetic and real-world datasets confirm that the proposed method effectively compensates for invalid regions while maintaining superior structural consistency compared to conventional interpolation-based and learning-based approaches.

In conclusion, this thesis contributes to enhancing the reliability and utility of image-based recognition pipelines by providing practical data quality improvement methods that analyze multispectral registration and disparity map refinement from their respective physical and probabilistic perspectives.

국문 초록 (Abstract)

본 논문은 영상 기반 인식 시스템에서 발생하는 두 가지 핵심 과제인 다중분광 영상의 정합 문제와 스테레오 시차 지도 내 invalid 영역 문제를 다루며, 이를 해결하기 위한 실질적인 방법론을 제안한다.

먼저, 멀티 카메라 기반 다중분광 영상 획득 환경에서의 밴드 간 기하학적 불일치를 해결하기 위해, 카메라 캘리브레이션과 픽셀 매핑에 기반한 정합 절차를 구축하였다. 각 분광 채널은 서로 다른 카메라와 필터 조합으로 동시에 획득되므로, 발생 가능한 시점 차이와 렌즈 왜곡을 고려하여 기준 카메라 좌표계로의 재투영을 수행하였다. 또한, 파장대별 방사 특성 차이와 렌즈 쉐이딩에 의한 공간적 비균일성을 완화하는 보정 절차를 적용하여 밴드 간 신호의 일관성을 확보하였다. 제안한 정합 및 보정 절차는 저비용 하드웨어 구성에서도 실시간 운용이 가능하도록 설계되었으며, 실제 선박 외판 촬영 데이터를 활용한 실험을 통해 녹(corrosion) 검출 응용에서의 유효성을 입증하였다.

다음으로, 스테레오 매칭으로 생성된 Ground Truth 시차 지도 내 invalid 영역을 정제하기 위해 MAP(Maximum A Posteriori) 추정 기반의 방법론을 제안한다. 제안 방법은 유효 시차 분포를 사전 확률(prior)로, 좌우 영상 패치 간 유사도를 가능도(likelihood)로 모델링하여 사후 확률을 구성하고, 이를 최대화함으로써 invalid 픽셀의 시차를 추정한다. 실험 결과, 제안 방법은 기존의 보간 및 학습 기반 기법 대비 구조적 일관성을 우수하게 유지하면서 invalid 영역을 효과적으로 보완함을 확인하였다.

종합적으로 본 논문은 다중분광 영상 정합과 시차 지도 정제라는 두 과제를 분석하고 실환경에 적합한 데이터 품질 개선 방안을 제시함으로써, 영상 인식 파이프라인의 신뢰성과 활용성을 향상시키는 데 기여한다.

목차 (Table of Contents)

• 1. 서론 1
• 1.1. 연구 배경 1
• 1.2. 연구 목적 2
• 2. 멀티 카메라 기반 다중분광 영상 획득 및 활용 4
• 2.1. 관련 이론 및 기존 연구 4
• 2.1.1. 분광 이미징 이론 및 관측 모델 4
• 2.1.2. RGB 영상과 다중분광 영상의 비교 6
• 2.1.3. 분광 영상 획득 방식 및 기존 연구의 한계 7
• 2.1.4. 상용 다중분광 시스템의 제약과 연구 필요성 8
• 2.2. 멀티 카메라 기반 다중분광 영상 획득 방법 9
• 2.2.1. 시스템 구성 및 촬영 절차 9
• 2.2.2. 파장 대역 및 필터 구성 방법 10
• 2.2.3. 멀티 카메라 캘리브레이션 및 기하학적 정합 절차 11
• 2.2.4. 밴드 간 방사 특성 차이 및 보정 절차 14
• 2.3. 실험 결과 16
• 2.3.1. 실험 환경 및 데이터 구성 16
• 2.3.2. 파장대 선택 근거 및 멀티 카메라 시스템 구성 17
• 2.3.3. 캘리브레이션 및 픽셀 매핑 기반 정합 결과 19
• 2.3.4. 렌즈 쉐이딩 보정 19
• 2.3.5. AI 기반 선체 녹 검출 결과 및 성능 해석 20
• 3. MAP 기반 Ground Truth 시차 지도 정제 24
• 3.1. 관련 이론 및 기존 연구 24
• 3.1.1. 스테레오 시차 추정 개요 24
• 3.1.2. 확률적 관점에서의 MAP 추정 24
• 3.1.3. SGM 기반 Ground Truth 시차 지도의 한계 25
• 3.1.4. 기존 Ground Truth 시차 보간 및 정제 방법 26
• 3.2. MAP 기반 Ground Truth 시차 지도 정제 방법 27
• 3.2.1. SGM 기반 시차 지도의 Invalid 영역 특성 28
• 3.2.2. Invalid 픽셀의 사전 확률 (Prior Probability) 29
• 3.2.3. 가능도 확률 (Likelihood Probability) 30
• 3.2.4. 사후 확률 (Posterior Probability) 30
• 3.3. 실험 결과 31
• 3.3.1. 실험 환경 32
• 3.3.2. 합성 데이터셋(Synthetic Datasets)에서의 성능 평가 32
• 3.3.3. 실환경 데이터셋(Real-world Datasets)에서의 성능 분석 34
• 4. 결론 38
• 참고문헌 40
• Abstract 43