3-Dimensional Location and Posture Measurement Using Images

다국어 초록 (Multilingual Abstract)

With the recent advancement of 5G and B5G communication technologies, the scope of high- reliability application services utilizing drones-such as autonomous delivery, precision agriculture, infrastructure inspection, and swarm flight control-has rapidly expanded. These emerging services fundamentally require high-precision real-time localization technology at the centimeter level to enable accurate takeoff, landing, and precision task execution. However, conventional localization methods reveal fundamental limitations in meeting such stringent precision requirements. The satellite-based navigation systems (GNSS) such as the Global Positioning System (GPS) suffer from severe performance degradation in dense urban environments or indoor spaces due to signal blockage and multipath errors caused by building reflections, which can reduce localization accuracy to several meters. Meanwhile, inertial navigation systems (INS) based on the Inertial Measurement Unit (IMU) have the advantage of operating independently of external signals, but inevitably accumulate drift errors due to the integration of noisy acceleration and angular velocity measurements, leading to a gradual degradation of positioning accuracy over time. To overcome these limitations, vision-based localization techniques have attracted significant attention. However, existing approaches still face practical challenges. For example, methods that estimate position by comparing images of the landing area with a pre-built database are limited in recognition range and often fail to achieve sufficient accuracy in distance and angle estimation, making precise drone landings difficult. Furthermore, when complex nonlinear optimization estimators are employed, the increased computational cost and processing delay hinder real-time control, thereby compromising system stability and responsiveness. Systems using multiple cameras can achieve higher precision, but they introduce significant complexity, requiring strict synchronization and calibration between cameras, and are also vulnerable to errors from lens distortion. To address these inefficiencies and instabilities while maintaining low cost and high reliability, this study proposes a novel integrated vision-based localization method that utilizes a single camera and a specially designed reference marker to accurately estimate the drone’s three-dimensional relative position and orientation (pose). The proposed method consists of three core processing stages, carefully designed to ensure both precision and real-time performance. First is high-precision camera calibration and lens distortion correction. Based on the pinhole camera model, the internal parameters of the lens and its radial and tangential distortion coefficients are accurately estimated. This process begins with an initial linear estimation using the Direct Linear Transform (DLT) method, followed by the application of the Levenberg–Marquardt algorithm, a nonlinear optimization technique that minimizes the reprojection error. This step effectively eliminates the fundamental causes of measurement errors during image acquisition, thereby enhancing the accuracy of subsequent estimation stages. Second is real-time three-dimensional position and pose estimation. Using the corrected intrinsic parameters and the predefined world coordinates of the reference marker, the system solves the Perspective-n-Point (PnP) problem in real time, establishing the correspondence between two- dimensional image coordinates and three-dimensional spatial coordinates. In this process, the extrinsic parameters-composed of a rotation matrix and a translation vector between the drone and the marker-are calculated, providing accurate information on the drone’s 3D position and orientation (Roll, Pitch, and Yaw), which enables precise autonomous control. Third is a window-based correction algorithm for angular stabilization. To effectively suppress outlier phenomena such as temporary spikes in Yaw, Pitch, and Roll values caused by gimbal lock during Euler angle conversion or sensor noise, a dynamic window-based stabilization method is employed. This technique stores recent angle data in a buffer, computes their average, and compares it with the current estimate to perform adaptive correction. This correction mechanism ensures smoother and more stable system operation, reducing errors caused by abrupt attitude changes. Experimental validation of the proposed integrated method under real-world conditions demonstrated that internal parameter calibration significantly reduced maximum measurement errors and ultimately achieved high localization accuracy. The results indicate that the proposed approach can serve as a key enabling technology for the future development of autonomous operation systems for drones and mobile robots by enhancing the precision of vision-based localization.

국문 초록 (Abstract)

최근 5G/B5G 통신 기술의 발전과 함께 드론을 활용한 자율 배송, 정밀 농업, 시설물 점검, 그리고 군집 비행 제어 등 고신뢰성 응용 서비스의 영역이 급격히 확장되고 있으며, 이는 이착륙 및 정밀 작업 수행을 위해 센티미터 수준의 고정밀 실시간 측위(High-Precision Real-time Localization) 기술을 필수적으로 요구한다. 그러나 기존의 측위 방식들은 이러한 엄격한 정밀도 요구사항을 충족하는 데 근본적인 한계를 드러낸다. GPS(Global Positioning System) 기반의 위성항법 시스템(GNSS)은 도시의 협소한 공간이나 실내 환경에서 신호 차단 문제와 더불어, 건물 반사에 의한 다중경로 오차(Multipath Error)가 치명적으로 작용하여 측위 정밀도가 수 미터 이상으로 급격히 저하되는 구조적인 취약점을 가진다. 또한, IMU(Inertial Measurement Unit) 기반의 관성항법 시스템(INS)은 외부 신호에 의존하지 않는 장점이 있지만, 가속도 및 각속도 측정값을 연속적으로 적분하는 과정에서 센서 잡음과 바이어스가 증폭되는 누적 오차(Drift Error)가 필연적으로 발생하여 장시간 운용 시 위치 정확도가 크게 떨어지는 문제가 발생한다. 이러한 한계를 극복하기 위해 영상 기반 측위 기술이 주목받고 있으나, 기존의 접근 방식들 역시 실용화에 있어 여러 문제를 가지고 있다. 예를 들어, 착륙 지점의 영상 데이터베이스와 비교를 통해 위치를 추정하는 방식은 기준 지점의 인식 범위가 제한적이며, 거리와 각도 추정의 정확도가 낮아 드론의 정밀 착륙이 어렵다. 또한, 복잡한 비선형 최적화 추정기를 사용할 경우, 증가된 계산 복잡도와 처리 시간 지연으로 인해 실시간 제어가 어렵고, 이는 시스템의 안정성과 응답성에 불리하다. 다중 카메라를 활용하는 시스템은 정밀도를 높일 수 있지만, 시스템 구성 자체가 복잡할 뿐만 아니라, 카메라 간의 엄격한 동기화 및 정렬(Calibration) 문제와 렌즈 왜곡에 따른 오차가 존재한다. 본 연구는 이러한 기존 방법들의 비효율성과 불안정성을 극복하고 저비용으로 높은 신뢰성을 보장하는 시스템을 구축하기 위해, 단일 카메라와 특정 형상을 갖는 기준 마커(Marker)를 활용하여 드론의 3차원 상대 위치 및 자세(Pose)를 정밀하게 추정하는 새로운 통합 비전 기반 측위 방안을 제안한다. 제안하는 방법은 정밀도와 실시간성 확보를 위해 세밀하게 설계된 세 가지 핵심 처리 단계로 구성된다. 첫째, 고정밀 카메라 캘리브레이션 및 렌즈 왜곡 보정이다. 핀홀 카메라 모델을 기반으로 렌즈의 내부 파라미터와 방사 및 접선 왜곡 계수를 정확하게 추정하는 과정은 DLT(Direct Linear Transform)를 이용한 초기 선형 추정 후, 재투영 오차(Reprojection Error)를 최소화하는 비선형 최적화 기법인 Levenberg-Marquardt 알고리즘을 적용한다. 이를 통해 이미지 획득 과정에서 발생하는 측정 오차의 근본적인 원인을 제거하여 후속 추정 단계의 정확도를 높인다. 둘째, 실시간 3차원 위치 및 자세(Pose) 추정이다. 보정된 내부 파라미터와 사전에 정의된 마커의 월드 좌표를 기반으로 2차원 이미지 좌표와 3차원 공간 좌표 간의 대응 관계를 이용하는 PnP(Perspective-n-Point) 문제를 실시간으로 해결한다. 이 과정에서 드론과 마커 간의 회전 행렬과 이동 벡터로 구성된 외부 파라미터가 계산되며, 이는 드론의 3차원 위치 및 자세(Roll, Pitch, Yaw) 정보를 제공하여 정밀한 자율 제어가 가능케한다. 셋째, 각도 안정화를 위한 윈도우 기반 보정 알고리즘이다. 자세 추정 중 오일러 각 변환 시 발생하는 짐벌 록(Gimbal lock) 현상이나 센서 잡음에 의해 Yaw, Pitch, Roll 각도 값이 일시적으로 크게 벗어나는 이상치(Outlier) 현상을 효과적으로 제어하기 위해, 최근 프레임의 각도 데이터를 버퍼에 저장하고 이 값들의 평균을 산출하여 현재 각도와 비교하는 동적 윈도우 기반 안정화 기법을 적용한다. 이 보정 메커니즘은 시스템의 동작을 보다 부드럽고 안정적으로 유지하여, 급격한 자세 변화로 인한 오차를 줄인다. 실제 실험 환경에서 제안된 통합 방안을 엄밀하게 검증한 결과, 내부 파라미터 보정을 통해 최대 측정 오차를 감소시켰으며, 최종적으로 높은 위치 정밀도를 달성할 수 있었다. 본 연구는 비전 기반 측위 기술의 정밀도를 향상시킴으로써, 향후 드론 및 자율 이동 로봇의 자율 운용 시스템 발전에 기여할 핵심 기술을 제공할 수 있다.

목차 (Table of Contents)

• 초 록 iv
• ABSTRACT vii
• 그림목차 xii
• 표목차 xiii
• 제 1 장 1
• 개 요 1
• 1.1 위치 측정의 중요성 1
• 1.2 위치 측정 기술의 종류 3
• 1.2.1 GPS 기반 위치 측정 5
• 1.2.2 IMU 기반 위치 측정 7
• 1.2.3 무선 신호 기반 위치 측정 9
• 제 2 장 11
• 영상 기반 위치 측정 시스템 모델 11
• 2.1 시스템 모델 11
• 2.2 카메라 투영 모델 13
• 2.2 카메라 왜곡 현상 17
• 2.3 카메라 위치와 방향에 따른 3차원 변환 21
• 2.4 문제점 24
• 제 3 장 25
• 카메라의 왜곡 및 각도 보정 방안 25
• 3.1 왜곡 및 각도 보정 방안 개요 25
• 3.2 카메라 초기 설정 27
• 3.3 마커 인식 및 좌표 추적 31
• 3.4 마커 인식 및 좌표 추적 38
• 3.5 각도 보정 40
• 제 4 장 42
• 실험 및 구현 42
• 4.1 실험 환경 42
• 4.2 실험 결과 44
• 4.3 위치 측정 결과 48
• 제 5 장 53
• 결론 및 향후 연구 53
• 5.1 결론 53
• 5.2 향후 연구 54
• 참고문헌 55