자율주행 모빌리티 제어를 위한 병렬화 기반 비동기 듀얼카메라 FPS 향상 = Asynchronous Dual-Camera FPS Enhancement Based on Parallelization for Autonomous Mobility Control

다국어 초록 (Multilingual Abstract)

This study proposes a parallelization-based asynchronous dual-camera frame acquisition structure to improve the temporal resolution of camera-based perception data for autonomous mobility control. In a conventional single-camera perception system, the data update period is limited by the physical frame rate of the camera, which may cause delays in lane recognition, road-curvature estimation, and control input updates. To address this limitation, two 30 FPS USB cameras were operated asynchronously with a time offset of approximately 0.5 frame instead of capturing images simultaneously. The frames acquired from the two cameras were subsequently arranged and integrated according to their timestamps.
To verify the effectiveness of the proposed structure, basic experiments were conducted using desktop PC and mini PC environments. The frame interval, FPS, and communication-period stability of the two cameras were compared. The experimental results showed that both platforms achieved an average communication time difference of approximately 17.15 ms, which was nearly half the frame interval of a single 30 FPS camera, approximately 33.3 ms. The desktop PC exhibited a narrower frame-interval distribution and more stable FPS characteristics than the mini PC, indicating that the temporal stability of the asynchronous dual-camera structure may be affected by the processing performance and scheduling characteristics of the computing platform.
The proposed structure was subsequently applied to a 1/10 scale mobility platform and evaluated in a real driving environment. In the driving experiment, cam0 and cam2 independently acquired lane images, and the measurements obtained from both cameras were arranged in timestamp order to generate the integrated cam0+cam2 data. After bird’s-eye-view transformation and vehicle-center-based coordinate correction, the detected left and right lane points were used to determine the lane center points. The lane centerline was then approximated using a third-order polynomial, and the polynomial coefficients a, b, c, and d were calculated. Road curvature, denoted by , was calculated from the first and second derivatives of the estimated polynomial at a predefined evaluation position.
To reduce instantaneous variations in the polynomial coefficients caused by vehicle vibration, uneven road surfaces, camera motion, and changes in the detected lane points, a random walk Kalman filter was applied. The measurements from cam0 and cam2 were not simply added or averaged; instead, they were sequentially entered into a single Kalman filter according to their timestamps. The filtered polynomial coefficients were subsequently used to calculate the curvature of the cam0+cam2 result.
The driving data were divided into straight and curved sections, and the FPS, polynomial coefficients, and curvature values of cam0, cam2, and cam0+cam2 were compared. In both sections, the cam0+cam2 data provided a higher effective update rate than either individual camera. In the straight section, the curvature values remained within a relatively consistent range, although temporary fluctuations occurred due to vehicle motion and lane-detection changes. The integrated cam0+cam2 result exhibited a narrower distribution and smoother temporal variation than the individual camera results, indicating that instantaneous measurement fluctuations were partially reduced.
In the curved section, the curvature values changed more distinctly than in the straight section because the estimated lane centerline reflected the curved driving path. Cam0 and cam2 exhibited different curvature magnitudes owing to differences in camera mounting position, field of view, and residual coordinate-transformation errors. The curvature estimated from the cam0+cam2 data was generally distributed between the values obtained from the two individual cameras and showed comparatively smaller temporal variation. These results demonstrate that the proposed sequential integration method can provide more temporally continuous polynomial coefficients and curvature information while preserving the geometric characteristics of the driving path.
Consequently, the proposed parallelization-based asynchronous dual-camera structure shortened the perception-data update period by interleaving actual frames acquired from two low-cost cameras along the time axis, without directly increasing the physical FPS of either camera or generating artificial interpolation frames. Its applicability was further demonstrated through third-order polynomial-based lane modeling and curvature estimation in an actual driving environment. Therefore, the proposed structure can serve as a practical and low-cost sensor configuration for improving the temporal resolution of perception data and supporting more frequent lane-state and control-input updates in autonomous mobility systems.

국문 초록 (Abstract)

본 연구에서는 자율주행 모빌리티 제어를 위한 카메라 기반 인지 데이터의 시간 해상도 향상을 목적으로, 병렬화 기반 비동기 듀얼 카메라 프레임 획득 구조를 제안하였다. 일반적인 단일 카메라 기반 인지 시스템은 카메라의 물리적 FPS에 의해 영상 데이터 갱신 주기가 제한되며, 이는 차선 인식, 곡률 추정 및 제어 입력 갱신 과정에서 응답 지연을 유발할 수 있다. 이러한 한계를 보완하기 위해 본 연구에서는 두 대의 30 FPS USB 카메라를 동일 시점에 동기화하여 사용하는 방식이 아니라, 약 0.5프레임에 해당하는 시간 차를 두고 비동기적으로 운용한 뒤 각 카메라에서 획득된 프레임을 timestamp 기준으로 정렬하여 결합하는 방식을 적용하였다.
제안한 구조의 유효성을 검증하기 위해 desktop PC와 mini PC 환경에서 기초 실험을 수행하였으며, 두 카메라의 프레임 간 시간 간격, FPS 및 통신주기 안정성을 비교하였다. 실험 결과, 두 플랫폼 모두 평균 통신 시간 차이가 약 17.15 ms로 나타나 단일 30 FPS 카메라의 프레임 간격인 약 33.3 ms보다 짧은 데이터 갱신 주기를 확보할 수 있음을 확인하였다. 또한 desktop PC는 mini PC에 비해 시간 간격의 변동 폭이 작고 FPS 유지 특성이 안정적으로 나타났으며, 이를 통해 플랫폼 성능에 따라 비동기 듀얼 카메라 구조의 시간 안정성이 달라질 수 있음을 확인하였다. 이후 제안한 구조를 1/10 scale mobility에 적용하여 실제 주행 환경에서 검증 실험을 수행하였다. 실제 주행 실험에서는 cam0와 cam2를 각각 독립적으로 운용하고, 두 카메라에서 획득된 차선 검출 데이터를 timestamp 기준으로 결합하여 cam0+cam2 데이터를 구성하였다. BEV 변환과 차량 중심 기준 좌표 보정을 적용한 후, 검출된 차선 중심점을 3차 다항식으로 근사하고, 계수 a, b, c, d 및 곡률 kappa를 산출하였다. 이를 통해 직선 구간과 곡선 구간에서 단일 카메라 결과와 듀얼 카메라 결합 결과의 FPS, 계수 변화 및 곡률 특성을 비교하였다.
직선 구간에서는 cam0와 cam2가 각각 약 30 FPS 수준으로 동작하였으며, 두 카메라를 시간순으로 결합한 cam0+cam2는 약 58~60 FPS 수준의 유효 데이터 갱신 특성을 보였다. 또한 3차 다항식 계수와 곡률 비교 결과, cam2에서 차량 진동이나 노면 상태에 따른 일부 이상치가 발생하였으나, cam0+cam2 결과는 단일 카메라 결과에 비해 중간적인 분포를 형성하며 이상치 영향을 일부 완화하는 경향을 나타냈다. 곡선 구간에서도 cam0+cam2는 단일 카메라 대비 높은 FPS를 유지하였으며, 곡률 kappa는 cam0와 cam2 사이의 중간적인 값을 보이면서 시간에 따른 변동 폭이 비교적 작게 나타났다.
결과적으로 본 연구에서 제안한 병렬화 기반 비동기 듀얼 카메라 구조는 각 카메라의 물리적 FPS를 직접 증가시키지 않고도, 두 카메라의 프레임을 시간축에서 교차 배치함으로써 단일 카메라 대비 짧은 데이터 갱신 주기와 약 60 FPS 수준의 유효 시간 해상도를 확보할 수 있음을 확인하였다. 또한 실제 주행 환경에서 차선 기반 3차 다항식 계수와 곡률 산출에 적용 가능함을 검증하였다. 따라서 제안한 구조는 저비용 USB 카메라를 활용하여 자율주행 모빌리티의 인지 데이터 갱신 주기를 단축하고, 실시간 제어 입력 갱신을 지원하기 위한 실용적인 센서 구성 방법으로 활용될 수 있을 것으로 기대된다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 4
• 1.3 연구 목표 6
• Ⅱ. 기술적 배경 7
• 2.1 Linux 7
• 2.2 카메라 9
• 2.3 스레드 함수 11
• 2.4 ROS 13
• 2.5 비동기화 알고리즘 14
• Ⅲ. 실험 방법 17
• 3.1 실험 방법 17
• 3.2 기초 실험 18
• 3.2.1 기초 실험 PC 구성 및 제원 18
• 3.2.2 측정 방법 19
• 3.3 검증 실험 21
• 3.3.1. 1/10 scale mobility 21
• 3.3.2 측정 방법 28
• Ⅳ. 실험 결과 및 분석 35
• 4.1 기초 실험 결과 및 분석 35
• 4.2 검증 실험 결과 및 분석 39
• 4.2.1 1/10 scale mobility 결과 및 분석 40
• Ⅴ. 논의 및 제언 64
• References 69
• Abstract 72