Robust and Accurate Surveillance Camera Calibration using Pedestrians = 감시카메라에서의 보행자 기반 강건하고 정확한 카메라 캘리브레이션

다국어 초록 (Multilingual Abstract)

Surveillance cameras are widely used in urban environments. Camera calibration provides 3D-to-2D projection parameters of the cameras, which enable intelligent visual surveillance to analyze further 3D information from images. Traditional calibration methods rely on artificial markers (e.g., checkerboards) but provide highly accurate calibration results. Recent deep learning-based approaches do not require artificial markers, but their accuracy is worse than the traditional methods. This paper proposed an accurate pedestrian-based camera calibration method without artificial markers. Pedestrians are commonly observable in urban surveillance scenarios, which are modeled as line segments orthogonal to the reference plane. However, the line segments can be inaccurate or incorrect due to human pose variation and failures of human pose estimation. We employ a RANSAC-style robust estimation to handle such undesired line segments. Our pedestrian-based calibration consists of two parts with four key contributions. In the first part, multiple line segments are accurately extracted from images using planar homography. We also apply spatially uniform sampling for accurate hypothesis generation in the RANSAC framework. In our second part, the robust RANSAC framework is incorporated with a nonlinear solver for hypothesis generation, which also involves distortion coefficients and their regularization to prevent overfitting. To be more accurate and efficient, our RANSAC framework employ a smooth loss function and adaptive termination. Our experiments with synthetic and real datasets demonstrate the effectiveness of our four contributions, respectively. An ablation study also presents up to 82.86% reduction in the focal length error compared to a baseline method.

국문 초록 (Abstract)

감시 카메라는 도시 환경에서 널리 사용되고 있다.
카메라 캘리브레이션은 카메라의 3D-2D 투영 매개변수를 제공하며, 이를 통해 지능형 영상 감시 시스템이 이미지로부터 3D 정보를 추가적으로 분석할 수 있도록 한다.
전통적인 캘리브레이션 방법은 인위적인 마커(예: 체커보드)에 의존하지만, 매우 높은 정확도를 제공한다.
최근의 딥러닝 기반 접근법은 인위적인 마커가 필요 없으나, 전통적인 방법에 비해 정확도가 낮다.

본 논문에서는 인위적인 마커 없이도 높은 정확도를 제공하는 보행자 기반 카메라 캘리브레이션 방법을 제안한다.
보행자는 도시 감시 환경에서 흔히 관찰될 수 있으며, 기준 평면에 수직인 선분으로 모델링된다.
그러나 이러한 선분은 사람의 자세 변화와 사람 자세 추정의 실패로 인해 부정확하거나 잘못될 수 있다.
이를 해결하기 위해 RANSAC 기반의 강인한 추정 방식을 활용하였다.

본 연구에서 제안하는 보행자 기반 캘리브레이션은 두 부분으로 나뉘며, 네 가지 주요 기여를 포함한다.
첫 번째 부분에서는, 평면 호모그래피를 이용하여 이미지에서 다수의 선분을 정확히 추출한다.
또한, RANSAC 프레임워크 내에서 정확한 가설 생성을 위해 공간적으로 균일한 샘플링을 적용하였다.
두 번째 부분에서는, 강인한 RANSAC 프레임워크에 비선형 해석기를 통합하여 가설 생성을 수행하며, 이 과정에서 왜곡 계수와 과적합을 방지하기 위한 정규화도 포함된다.

정확도와 효율성을 높이기 위해, RANSAC 프레임워크는 부드러운 손실 함수와 적응적 종료 조건을 채택하였다.
합성 및 실제 데이터셋으로 실험한 결과, 제안된 네 가지 기여의 효과를 각각 입증하였다.
또한, 제거 연(ablation study)을 통해 기존 방법 대비 초점 거리 오차가 최대 82.86% 감소하는 성과를 보였다.

목차 (Table of Contents)

• Summary i
• List of Tables iii
• List of Figures vi
• 1. Introduction 1
• 2. Related work 5
• 2.1 Camera Calibration in General 5
• 2.2 Camera Calibration using Pedestrians 7
• 2.3 Robust Camera Calibration against Outliers 8
• 3. Camera Calibration with Pedestrian 10
• 3.1 Problem Formulation 10
• 3.2 Overall Procedure 14
• 3.3 Frontend: Line Segment Extraction and Selection 15
• 3.4 Backend: Robust Camera Calibration using Line Segments 21
• 4. Experiemnt 27
• 4.1 Experiment #1: Line Segment Extraction 27
• 4.2 Experiment #2: Line Segment Selection 29
• 4.3 Experiment #3: Hypothesis Generation 32
• 4.4 Experiment #4: Hypothesis Evaluation 35
• 4.5 Experiment #5: Ablation Study with Real Data 36
• 5. Conclusion 40
• References 41
• 국문초록 45
• 감사의 글 47