자율주행을 위한 경량 BEV 변환 및 Transformer 기반의 3D 객체 인식 성능 향상 연구 = A Study on Lightweight BEV Transformation and Performance Enhancement of Transformer-based 3D Object Detection for Autonomous Driving

다국어 초록 (Multilingual Abstract)

Recent research in autonomous driving perception is shifting from expensive LiDAR-dependent architectures to practical, cost-effective Bird’s-Eye-View (BEV) pipelines that satisfy real-time constraints. However, existing Transformer-based BEV transformation techniques suffer from high computational complexity due to multiple decoder layers and complex attention structures, making real-time inference on encoding systems challenging. This paper proposes a lightweight BEV perception pipeline using only multi-view cameras, aiming to balance accuracy and real-time performance through a novel altitude-aware position encoding fusion technique.
The core of the proposed WAFormer-based View Transformer is to significantly reduce computational costs by vertically pooling multi-view image features into 1D feature maps. To recover information lost during vertical compression, a Refine Transformer utilizing Self-Attention and Cross-Attention—using original 2D features as Keys/Values—is employed. Furthermore, the model constructs an Altitude PE based on ground-relative altitude distribution, which is insensitive to distance, alongside standard depth-based embeddings. These embeddings are aggregated into 1D forms via HeightNet, fused through bidirectional Cross-Attention and LayerScale, and combined with multi-view position encoding to generate the final width-directional encoding. This enables WAFormer to generate lightweight 1D tokens that preserve both depth and altitude information while minimizing computation.
The overall network consists of a ResNet-101 backbone, the WAFormer transformer, a BEV encoder, and an FCOS-based detection head. Temporal information is incorporated by aligning past BEV features using ego-motion matrices to form 4D spatiotemporal features. The detection head treats each location on the feature map as a candidate point, simultaneously predicting class probability, centerness, categorical distributions of depth and height, and 3D bounding box size.
The proposed method was evaluated on the nuScenes dataset across various scenarios. In diverse environments the model showed consistent mAP and NDS improvements over BEVDet4D. Notably, it maintained stable performance improvements even in occlusion scenarios. Overall, the proposed model achieved higher accuracy and similar inference speeds compared to the baseline, confirming its capability for real-time inference unlike the high-latency BEVFormer.
This paper proposes a lightweight WAFormer-based BEV transformation structure incorporating vertical compression and depth-altitude fusion, experimentally verifying stable 3D object detection using only multi-view cameras. By achieving a balance between accuracy and real-time performance, this technique presents a design direction for camera-based perception pipelines, with expectations for further robustness through future multi-sensor fusion with Radar and LiDAR.

국문 초록 (Abstract)

최근 자율주행 인지 연구는 고가의 라이다(LiDAR)에 의존한 구조에서 벗어나 카메라 중심의 저비용 센서 구성과 실시간 처리 제약을 동시에 만족해야 하는 BEV(Bird’s-Eye-View) 인지 파이프라인으로 초점이 이동하고 있다. 그러나 기존 트랜스포머 기반 BEV 변환 기법은 다수의 디코더 레이어와 복잡한 어텐션 구조로 인해 연산량이 복잡하고 임베디드 및 온보드 환경에서 실시간 추론이 어렵다는 한계를 가진다. 본 논문은 멀티뷰 카메라만을 사용하여 3D 객체를 탐지하는 경량 BEV 인지 파이프라인을 설계하고 고도 정보를 활용한 위치 인코딩 융합 기법을 통해 정확도와 실시간성 사이의 trade-off를 목표로 한다.
본 논문에서 제안하는 WAFormer 기반 View Transformer는 다중 시점 이미지 특징을 수직 축으로 풀링하여 1차원 피처맵으로 압축함으로써 트랜스포머 연산량을 크게 줄이는 것을 핵심 아이디어로 한다. 압축된 1D 특징은 Self-Attention과 원본 2D 이미지 피처를 Key/Value로 사용하는 Cross-Attention으로 구성된 Refine Transformer를 통해 수직 방향에서 손실된 정보를 복원한다. 또한 LSS 계열의 깊이 분포를 이용한 극좌표 기반 Depth Position Encoding과 지면 기준 고도 분포를 통한 Altitude Position Encoding을 구성한다. 두 위치 인코딩은 HeightNet을 통해 세로 축 가중합으로 1D 인코딩으로 집계된 뒤 양방향 Cross-Attention을 통해 Fused Position Encoding으로 융합되고, 멀티뷰 전용 위치 인코딩과 결합되어 최종 위치 인코딩으로 사용된다. 이로써 깊이, 고도 정보를 동시에 반영하는 경량 토큰을 생성하여 BEV 쿼리의 표현력을 유지하면서도 연산 비용을 최소화한다. 전체 네트워크는 ResNet-101 이미지 백본, 제안하는 View Transformer, BEV 인코더 및 FCOS 기반 1D Detection Head로 구성되며 시간적 정보 활용을 위해 Ego-motion 변환 행렬을 사용하여 과거 프레임의 BEV 특징을 현재 좌표계로 정렬하고 채널 방향으로 결합함으로써 4D 시공간 특징을 형성한다. Detection Head는 1D BEV 특징 상의 각 위치를 후보 지점으로 삼아, 클래스 확률, 중심도, 깊이·높이의 범주형 분포, 3D 바운딩 박스 크기를 동시에 예측한다. 제안 기법의 성능은 nuScenes 데이터셋의 여러 검증 시나리오에서 mAP와 NDS를 중심으로 평가하였다. 일반 직진 주행, 차량 밀도가 높은 복잡 도심, 교차로 선회와 같이 서로 다른 주행 환경 전반에서 BEVDet4D, Widthformer 대비 mAP와 NDS가 모두 일관되게 향상되었으며, 가림이 발생하는 상황에서도 베이스라인 대비 성능 저하 없이 안정적인 향상 폭을 유지하였다. 전체 검증 관점에서 제안 모델은 베이스라인보다 더 높은 탐지 정확도와 유사한 수준의 추론 속도를 동시에 달성하여 실시간 추론이 가능함을 확인할 수 있었다.
본 논문은 수직 압축, 정제 모듈과 깊이–고도 융합 위치 인코딩을 도입한 경량 WAFormer 기반 BEV 변환 구조를 제안하고, 멀티뷰 카메라만으로도 안정적인 3D 객체 탐지가 가능함을 실험적으로 검증하였다. 제안 기법은 정확도와 실시간성 사이의 균형을 달성하여 자율주행 플랫폼에 적용 가능한 카메라 기반 인지 파이프라인의 설계 방향을 제시하며 향후 레이더, 라이다와의 멀티센서 융합 및 더 넓은 주행 시나리오로의 확장을 통해 복잡 환경에서의 견고성을 강화할 수 있을 것으로 기대된다.

목차 (Table of Contents)

• 1 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목표 4
• 2 연구 동향 6
• 2.1 카메라 기반 객체 인식 기법 6
• 2.2 BEV 공간 변화 기법 10
• 2.3 시계열 정보 융합 12
• 3 딥러닝 모델 경량화 및 성능 향상 기법 13
• 3.1 개요 13
• 3.2 모델 경량화 기법 15
• 3.2.1 이미지 피쳐 압축 15
• 3.2.2 Refine Transformer 15
• 3.3 모델 성능 향상 기법 16
• 3.3.1 Position Encoding 17
• 3.4 BEV Feature 23
• 4 딥러닝 모델 네트워크 설계 25
• 4.1 개요 25
• 4.2 Camera Backbone 25
• 4.3 Neck 27
• 4.4 Temporal Fusion 27
• 4.5 Head 29
• 4.5.1 Main Head (Inference) 29
• 4.5.2 Auxiliary Head (Training Only) 29
• 4.6 Loss 30
• 5 평가 결과 및 분석 32
• 5.1 개요 32
• 5.2 평가 지표 32
• 5.3 데이터셋 선정 34
• 5.4 평가 시나리오 및 결과 시각화 35
• 5.4.1 일반 주행 시나리오 36
• 5.4.2 복잡한 도심 주행 시나리오 37
• 5.4.3 도심 교차로 주행 시나리오 39
• 5.5 평가 결과 40
• 5.5.1 Ablation Study 42
• 6 결론 44
• 참고 문헌 46
• Abstract 49