인공위성 이미지를 활용한 도심 속 카메라 네트워크 보정 = Urban Camera Network Calibration with Satellite Images

국문 초록 (Abstract)

제 목: 인공위성 이미지를 활용한 도심 속 카메라 네트워크 보정

카메라 보정은 카메라의 왜곡을 보정하고 카메라의 3차원 위치 정보를 파악하는 과정이다. 실내 환경에서는 체스보드를 활용하여 간단하게 보정을 할 수 있지만, 도심 환경에서는 체스보드를 활용하기 어려운 경우가 많다. 이는 설치된 환경이 복잡하고, 활용 가능한 이미지 수가 적으며, 도로 상황이 다양하기 때문이다. 이러한 어려움을 해결하기 위해 본 논문은 네 가지 아이디어를 도입한 도심 속 CCTV 카메라 네트워크를 보정하는 새로운 방법론을 제시한다. 위성 영상 이미지 활용: 위성 영상을 활용하여 오버랩이 적은 CCTV 카메라들 간 실제 크기의 절대 좌표 정보를 추정한다. 다양한 카메라 모델 도입: 다양한 카메라 모델을 도입하여 서로 다른 화각을 가진 CCTV 카메라가 적절한 모델을 갖도록 한다. OpenCV의 카메라 모델 뿐만이 아닌 FOV 왜곡 모델, unified camera model 등 다양한 카메라 모델이
활용한다. 지형모델 도입: 언덕과 같은 도시 환경의 다양한 특성에 맞춰 지형지물 수식을 제안한다. 교차 검증 활용 및 모델 선택 지표 제안: 카메라 모델과 지형지물 모델의 과적합을 방지하기 위해 교차 검증 접근 방식을 활용한다. 이후 학습 및 검증 RMSE과 과적합률를 통해 가장 적절한 모델 조합을 선택하는 모델 선택 지표를 제안한다. 본 논문은 모델 선택 지표 검증을 위해 가상환경 실험 및 실제환경에 적용하였다. 가상환경은 ground truth로
정해진 모델 조합을 활용한 후 이들을 이미지에 투영시킨 픽셀을 최적화에 사용될 관찰값으로 활용한다. 이후 제안한 시스템을 통해 카메라 모델과 지형모델을 조합을 최적화한 후 ground truth와 결과값을 비교한다. 실제환경의 장소는 한국전자통신연구원이며 총 4개의 CCTV 카메라와 도로마커를 보정한다. 기존에 한국전자통신연구원 측에서 제공된 보정 데이터를 통해 위치보정이 된 4개의 CCTV로 RMSE를 계산하면 평균값은 24.325이다. 본 논문이
제안하는 시스템을 통해 평균 RMSE를 0.5 부터 21.817 까지 다양하게 최적화 및 정확도를 향상시켰다.

다국어 초록 (Multilingual Abstract)

Camera calibration is a challenging task inurbanenvironments, due to the complex andclutterednatureof theseenvironments, the limitedavailabilityof images, andthe diverse roadconditions. Thispaperproposes anewmethod for cameracalibration in urbanCCTVnetworks.Theproposedmethodincorporatesfourkeyideas:Useofsatellite imagery: SatelliteimageryisusedtoestimatetheabsolutecoordinatesofCCTVcameras withlimitedoverlap. Introductionofmultiplecameramodels:Multiplecameramodels areusedtoaccount for thedifferentfield-of-viewsofCCTVcameras. Useof aterrain model:Aterrainmodel isusedtoaccountforthediversefeaturesofurbanenvironments, suchashills.Useofcross-validationandmodelselectionmetrics:Cross-validationisused topreventoverfittingof thecameramodel andterrainmodel. Theproposedmethodis evaluated inbothavirtual environment anda real-worldenvironment. Inthevirtual environment, theproposedsystemisusedtooptimizethecombinationofcameramodels andterrainmodels,andtheresultsarecomparedtothegroundtruth. Inthereal-world experiment, theproposedsystemisusedtocalibrate fourCCTVcameras. Theaverage RMSEofthefourCCTVcamerasisreducedfrom24.325to0.5-21.817.Theresultsshow thattheproposedmethodiseffectiveinimprovingtheaccuracyofcameracalibrationin urbanenvironments.

목차 (Table of Contents)

• 요약
• 목차
• 그림 목록
• 표 목록
• 1.1 문제 소개 . 4
• 1.2 관련 연구들의 한계점 . 9
• 1.2.1 Limitation of Board-Based Calibration 10
• 1.2.2 Limitation of SOTA Structure-from-Motion 11
• 1.2.3 Limitation of Artificial Marker-Based Camera Calibration 12
• 2 배경 이론 18
• 2.1 시스템 배경 18
• 2.1.1 카메라모델 18
• 2.1.2 Camera Calibration and SfM . 23
• 2.1.3 Overfitting and Cross Validation 24
• 3 도심환경 다수 CCTV 캘리브레이션 26
• 3.1 System Overview 26
• 3.2 Initialization: Estimate Location of Road Markers 27
• 3.3 Initialization: Camera Model Initialization . 31
• 3.4 Optimization: Optimize with Terrain Models 32
• 3.5 Evaluation: Evaluate and Select Model 34
• 4 실험 39
• 4.0.1 가상환경 실험 . 39
• 4.0.2 실제환경 실험 . 43
• 5 결 론 52
• 참고문헌 54