차량 동역학 기반의 보정된 자차 거동 변환을 통한 시계열 멀티뷰 3D 객체 인식의 강건성 향상 = Enhancing Robustness of Temporal Multi-view 3D Object Detection via Vehicle Kinematics-based Rectified Ego-motion Transformation

다국어 초록 (Multilingual Abstract)

This paper proposes a temporal multi-view camera-based 3D object detection framework robust to ego-pose estimation uncertainty by utilizing vehicle kinematics information derived from the in-vehicle Controller Area Network (CAN). Temporal 3D object detection models typically fuse features from past frames with the current view to compensate for occlusion and sparse observations. This process requires inter-frame alignment, which generally relies on the ego-pose estimated from external sensors such as IMU and GPS. However, inaccurate pose information leads to the misalignment of historical features, resulting in accumulated errors and significant degradation in detection performance.
To mitigate alignment errors caused by such pose uncertainty, this study leverages additional vehicle kinematics information. Specifically, we estimate the relative translation and rotation changes between frames using CAN-based kinematics, which are accessible without additional high-precision sensors. These estimates are then integrated as residuals into the ego-transform stage of the temporal multi-view 3D object detection model. The proposed method ensures that information from past frames is stably aligned with the current coordinate system even when external ego-pose data is corrupted or unreliable, thereby preventing catastrophic degradation in temporal detection performance.
To validate the effectiveness of the proposed method, we conducted comparative experiments against the baseline(StreamPETR) using the nuScenes dataset under evaluation scenarios with artificially injected ego-pose noise. Experimental results demonstrate that the proposed model achieves a relative performance improvement of 11.5% in mAP and 8.7% in NDS compared to the baseline under noisy pose conditions, quantitatively proving its robustness against pose uncertainty. In conclusion, this study shows that the stability of temporal multi-view camera-based 3D object detection can be enhanced solely using internal vehicle kinematics, mitigating the reliance on expensive high-precision external sensors.

국문 초록 (Abstract)

본 논문은 차량 내부 CAN(Controller Area Network) 기반의 차량 동역학 정보를 활용하여 외부 센서 기반 자차의 pose(위치·자세) 추정 불확실성에도 강건한 시계열 멀티뷰 카메라 기반 3D 객체 인식 프레임워크를 제안한다.
시계열 3D 객체 인식 모델은 과거 프레임의 특징을 현재 시점에서 융합해 가려짐이나 관측 부족을 보완한다. 이 과정에서 프레임 간 정렬을 수행하는데, 이때 IMU/GPS 등 외부 센서로부터 추정된 자차의 pose가 활용된다. 하지만 pose 정보가 부정확하면 과거 정보가 잘못된 위치로 정렬되어 누적 오차가 커지며 검출 성능이 저하된다.
본 연구는 이러한 pose 불확실성으로 인한 정렬 오차를 완화하기 위해 차량 동역학 정보를 추가로 활용하였다. 추가적인 고정밀 센서 없이 획득 가능한 CAN 기반 차량 동역학 정보를 이용하여 프레임 간 상대 이동 및 회전 변화를 추정하고, 이를 시계열 멀티뷰 3D 객체 인식 모델의 ego transform(자차 좌표 변환) 단계에 잔차(residual) 형태로 융합 활용하도록 설계하였다. 제안 방법은 외부 센서에서 획득한 자차 pose 정보가 오염되거나 신뢰할 수 없는 상황에서도 과거 프레임의 정보가 현재 좌표계에 안정적으로 정렬되도록 유도하며, 결과적으로 시계열 인식 성능의 급격한 저하를 방지한다.
제안 방법의 유효성을 검증하기 위해 nuScenes 데이터셋을 기반으로 자차 pose에 인위적인 노이즈를 인가한 평가 시나리오를 구성하고, 베이스라인(StreamPETR)과 비교 실험을 수행하였다. 실험 결과, 제안 모델은 pose 노이즈 환경 조건에서 베이스라인 대비 mAP 11.5%, NDS 8.7%의 상대적 성능 향상을 보였으며, pose 불확실성 환경에서의 강건성을 정량적으로 입증하였다. 결론적으로 본 연구는 고가의 고정밀 외부 센서에 대한 의존도를 완화하면서도 차량 내부 동역학 정보만으로 시계열 멀티뷰 카메라 기반 3D 객체 인식의 안정성을 향상시킬 수 있음을 보였다.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1 연구 배경 1
• 1.2 관련 연구 2
• 제2장 방법론 19
• 2.1 전체 파이프라인 19
• 2.2 베이스모델 구조 22
• 2.3 CAN 데이터 전처리 25
• 2.4 Ego Transform 보정 모듈 29
• 2.5 손실 함수 31
• 제3장 실험 설계 33
• 3.1 데이터셋 및 실험 시나리오 구성 33
• 3.2 평가 지표 34
• 제4장 실험 결과 37
• 4.1 Baseline 모델의 성능 평가 37
• 4.2 제안 모델의 성능 평가 38
• 4.3 CAN Encoder 고도화 실험 및 결과 40
• 4.4 Ego-pose 노이즈를 고려한 학습·평가 및 성능 비교 42
• 제5장 결론 45
• 5.1 연구 결론 45
• 5.2 향후 과제 46
• 참고문헌 48
• Abstract 51
• 감사의 글 53