Gaussian scene initialization for efficient convergence of gaussian splatting-based SLAM

국문 초록 (Abstract)

가우시안 스플래팅을 기반으로 하는 SLAM은 로보틱스, VR, 그리고 AR 등과 같은 분야에서 실시간으로 고품질 3차원 장면을 재구성하기 위한 핵심 기술로 부상했다. 하지만 가우시안 스플래팅 과정 중의 장면 초기화 단계는 가우시안 파라미터 최적화의 주요 병목 요인으로 작용한다. 전통적인 장면 초기화 방식들은 센서들의 특성을 간과하여 스케일 불균형이 발생하며, 이는 가우시안 장면의 효율적인 수렴을 방해하여 결과적으로 장면 품질 저하를 초래한다.

따라서 본 논문은 RGB 및 RGB-D 센서에 각각 적합한 가우시안 장면 초기화 기법들을 제안하여 가우시안 장면의 효율적인 수렴을 탐색한다. 각 센서의 특징에 맞추어 장면 초기화 기법을 설계하여 최종 가우시안 장면과 유사한 초기 근사치를 제공하여, 기존의 불안정한 가우시안 초기화 방식들을 대체한다.

첫째, RGB-D 센서를 기반으로 하는 시스템의 경우, 주로 가우시안 장면 초기화 중 발생하는 스케일 불균형에 대해 다룬다. 트래킹 중 발생하는 정보나 희소한 관측값을 그대로 활용하는 경우에는 가우시안 초기값의 스케일이 과도하게 팽창하는 문제가 발생한다. 이를 완화하기 위해, 본 논문은 관측된 깊이 값에 반비례하여 초기화된 가우시안의 스케일을 조정하는 스케일 조정 기법을 제안한다. 이 기법은 초기화된 가우시안 장면이 기존 가우시안 맵과 일관된 스케일로 통합될 수 있도록 하여 장면의 효율적인 수렴을 도와 맵 품질을 향상시킨다.

둘째, RGB 센서를 기반으로 하는 시스템의 경우, VO 프레임워크에서 계산되는 이미지 그래디언트를 그대로 활용하여 추가 연산 비용을 절감한다. 또한 이미지 그래디언트는 2차원 이미지 평면 상에서 3차원 가우시안에 대한 확률적 단서를 제공하므로, 가우시안 장면 초기화에 적합하다. 따라서 본 논문은 이 그래디언트를 활용하여 이미지 상에서의 2차원 공분산을 추정하고, 여러 키프레임에서 추정된 2차원 공분산들을 수학적으로 해석하여 3차원 공분산을 계산하고, 이를 가우시안 장면의 초기값으로 사용한다. 이는 관측된 이미지와 VO에서 계산된 정보를 직접적으로 활용하여 최종 가우시안 장면에 근사한 가우시안 초기값을 제공한다.

제안하는 가우시안 장면 초기화 기법들은 장면 초기화 시 발생하는 스케일 불일치 및 불안정성 문제들을 효과적으로 개선한다. 가우시안 스플래팅 최적화에 적절하고 일관된 스케일의 가우시안 초기값을 제공함으로써, 본 논문은 가우시안 스플래팅 기반 SLAM의 장면 최적화를 빠르고 안정적이게 수렴하게 한다. 이는 SLAM 시스템의 실시간 성능을 보장함과 동시에, 견고하면서도 우수한 장면 재구성 품질, 그리고 개선된 트래킹 정확도로 이어진다.

다국어 초록 (Multilingual Abstract)

Gaussian Splatting (GS) based Simultaneous Localization and Mapping (SLAM) has become a key technology for reconstructing high-quality 3D scenes in real-time in fields such as robotics, VR, and AR. However, scene initialization during the GS process acts as a major bottleneck for optimization. Traditional scene initialization methods ignore the characteristics of the sensor, resulting in scale imbalances, which hinders the efficient convergence of Gaussian scenes, leading to poor scene quality.

Therefore, this thesis guarantees efficient convergence of Gaussian scene by proposing Gaussian scene initialization methods suitable for RGB and RGB-D sensors, respectively. These methods are designed for each sensor feature to provide an initial approximation close to the final Gaussian scene, replacing the uncertain existing Gaussian initialization methods.

First, systems based on RGB-D sensors mainly deal with scale imbalances that occur during Gaussian scene initialization. If information generated during tracking or sparse observation is used directly, a problem of excessive expansion of the scale of the Gaussian initial value occurs. To mitigate this, this thesis proposes a technique that scales the initialized Gaussians in inverse proportion to the observed depth values. This technique allows the initialized Gaussian scene to be integrated on a consistent scale with the existing Gaussian map, thus helping to efficiently converge the scene and improving the map quality.

Second, in the case of a system based on RGB sensors, the image gradient calculated in the VO framework is used directly to reduce additional computational costs. In addition, the image gradient provides a probabilistic clue for a 3D Gaussian on a 2D image plane, so it is suitable for Gaussian scene initialization. Therefore, this thesis utilizes this gradient to estimate the 2D covariance on the image, calculate the 3D covariance by mathematically interpreting the 2D covariance estimated in several keyframes, and use it as an initial value for the Gaussian scene. It directly utilizes the observed images and information calculated from VO to provide a Gaussian initial value that approximates the final Gaussian scene.

The proposed Gaussian scene initialization methods effectively improve the scale imbalance and instability encountered during scene initialization. These methods provide Gaussian initial values of appropriate and consistent scales to Gaussian scenes, allowing scene optimization of Gaussian Splatting-based SLAM to converge efficiently. This ensures the real-time system speed of SLAM while providing robust and high scene reconstruction quality and improved tracking accuracy.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Works 4
• 1. 3D Reconstruction 4
• 2. Dense Visual SLAM 5
• Chapter 3. Method for RGB-D SLAM 7
• 1. Gaussian Scene Initialization via RGB-D Input 7
• 2. Integration into RGB-D SLAM 11
• Chapter 4. Method for RGB SLAM 14
• 1. Gaussian Scene Initialization via RGB Input 14
• 2. Integration into RGB SLAM 17
• Chapter 5. Experiment 22
• 1. Evaluation Setup 22
• 2. Results on RGB-D SLAM 23
• 3. Results on RGB SLAM 28
• Chapter 6. Conclusion 35
• References 37