2D 가우시안 커널을 이용한 다시점 포인트 색상 할당 및 복셀 융합을 통한 3차원 재구성 연구 = Research on 3D Reconstruction through Multi-view Point Color Assignment and Voxel Fusion using 2D Gaussian kernel

국문 초록 (Abstract)

본 논문은 디지털 트윈 환경 생성을 위한 대규모 도시 장면의 3차원 재구성 기법을 연구한다. 최근 제안된 3D Gaussian Splatting(3DGS)은 빠른 학습과 실시간 렌더링 능력을 바탕으로 Neural Radiance Field(NeRF)의 한계를 극복하며 주목받고 있다. 그러나 3DGS는 초기 포인트 생성을 이미지 기반의Structure-from-Motion(SfM)에
의존하기 때문에, 텍스처가 부족하거나 조명 변화가 심한 영역에서는 안정적인 초기화가 어렵고, 동적 객체가 많은 도시 환경에서는 포인트의 품질이 저하되는 문제가 존재한다. 이러한 한계를 극복하기 위해, 본 연구에서는 LiDAR 센서로부터 획득한 포인트 클라우드를 3DGS의 초기화 포인트로 활용하는 방법을 제안한다. 먼저 원시 LiDAR 포인
트 (x,y,z,I)를 (x,y,z,r,g,b) 구조로 변환하기 위해, 멀티뷰 영상 기반 색상화(colorization) 기법을 적용하였다. 각 LiDAR 포인트를 인접한 다수의 이미지에 투영하고, 투영 영역에서 2D 가우시안 가중 평균을 이용하여 RGB 값을 추정함으로써, 기하학적으로 신뢰성 있는 포인트에 시각적 일관성을 부여하였다. 또한 LiDAR 센서의
하드웨어 한계로 인해 발생하는 커버리지 부족 문제를 해결하기 위해, Voxel 기반 데이터 합성(fusion) 기법을 제안하였다. 공간을 보셀 단위로 분할한 후, 라이다 포인트가 존재하는 보셀에서는 SfM 포인트를 제거하고, 라이다 포인트가 존재하지 않는 보셀에 대해서만 SfM 포인트를 보완적으로 유지함으로써, 기하적 안정성과 시각적 커버
리지를 동시에 확보하였다. 제안한 방법은 KITTI Odometry 데이터셋(장면 01, 03, 04, 06)을 이용하여 실험적으로 검증되었다. 정량적 지표(PSNR, SSIM, LPIPS)와 정성적 비교 결과, 제안한 LiDAR–Camera 융합 초기화는 기존의 SfM 기반 초기화 대비 향상된 재구성 품질을 보였으며, 특히 텍스처가 부족하거나 조명 변화가 심한 영역에서도 더 안정적인 렌더링을 확인할 수 있었다. 본 연구는 LiDAR와 카메라 데이터를 융합한 초기화 전략을 통해 3DGS 기반의 대규모 도시 장면 재구성에서 강건성과 품질을 개선함으로써, 자율주행 테스트베드와 디지털 트윈 구축을 위한 핵심 기술로 기여할 수 있을 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

This thesis addresses large-scale urban scene reconstruction for digital twin environments. Recently, 3D Gaussian Splatting (3DGS) has emerged as a promising technique that overcomes the limitations of Neural Radiance Fields (NeRF) by achieving faster training speed and real-time rendering. However, 3DGS still relies on Structure-from-Motion (SfM) for initialization points, which makes it vulnerable in textureless regions, under severe illumination changes, and in urban environments with frequent dynamic objects. To address these limitations, this study proposes a method that leverages LiDAR point clouds as initialization points for 3DGS. Raw LiDAR points (x,y,z,intensity) are transformed into (x,y,z,r,g,b) by applying a multi-view image-based colorization approach. Each LiDAR point is projected onto its neighboring camera views, and RGB values are estimated using a 2D Gaussian weighted average over local patches, thus assigning photometric consistency to geometrically reliable LiDAR points. In addition, to overcome the coverage limitations of LiDAR hardware, a voxel-based data fusion strategy is introduced. The 3D space is partitioned into voxels, and in voxels containing LiDAR points, corresponding SfM points are removed, while SfM points are retained only in voxels without LiDAR measurements. This enables both geometric stability and photometric completeness in the initialization stage. The proposed method was validated on the KITTI Odometry dataset (sequences 01, 03, 04, and 06). Both quantitative metrics (PSNR, SSIM, LPIPS) and qualitative comparisons demonstrate that the proposed LiDAR–camera fusion initialization improves reconstruction quality over the conventional SfM-based initialization. The method particularly shows robustness in textureless or illumination-variant regions, where SfM alone is unreliable. In conclusion, this research contributes to large-scale urban scene reconstruction by enhancing the robustness and quality of 3DGS initialization through LiDAR–camera fusion. The proposed approach is expected to serve as a fundamental technique for building digital twins and testbeds for autonomous driving.

목차 (Table of Contents)

• 국문요약 Ⅰ
• 영문요약 Ⅲ
• 목차 Ⅴ
• 그림 목차 Ⅶ
• 표 목차 Ⅷ
• 1. 서론 1
• 1.1. 연구 배경 1
• 1.2. 연구 내용 2
• 1.3. 연구 목표 3
• 2. 연구 배경 4
• 2.1. 3차원 재구성 4
• 2.1.1. 3차원 재구성의 필요성 5
• 2.1.2. 3차원 재구성의 활용 방안 6
• 2.2. 선행 연구 7
• 2.2.1. 전통적 기법(SfM+Multi-View Stereo,COLMAP) 7
• 2.2.2. 신경 복사장(Neural Radiance Field) 10
• 2.2.3. 3차원 점착 스플래팅(3D Gaussian Splatting) 11
• 3. 3차원 재구성을 위한 데이터 합성 13
• 3.1. 3차원 점착 스플래팅의 입력으로써의 LiDAR 포인트 13
• 3.1.1. LiDAR Point 데이터 변환 15
• 3.2. 라이다 이미지 데이터 합성 17
• 3.2.1. LiDAR 센서의 한계 17
• 3.2.2. Voxel 기반 데이터 합성 18
• 4. 실험 19
• 4.1. 데이터셋 구성 19
• 4.2. LiDAR 포인트 사용에 대한 실험 결과 20
• 4.2.1. LiDAR 포인트 사용에 대한 정량적 실험결과 20
• 4.2.2. 렌더링 정성적 실험결과 20
• 4.3. 데이터 합성에 대한 실험결과 21
• 4.3.1. 데이터 합성에 대한 정량적 실험결과 21
• 4.3.2. 렌더링 정성적 실험결과 21
• 4.4. 결과 분석 및 고찰 22
• 5. 결론 23
• 참고문헌 24