가려짐에 강건한 포인트 클라우드 Reconstruction 기반 6D 자세 추정

국문 초록 (Abstract)

작업공간에서의 물체의 6 자유도(6D) 자세 추정은 제조 및 물류 분야의 다양한 로봇 과업에 필수적이다. 최근에는 BOP(6D Object Pose Estimation Benchmark) 데이터셋과 챌린지를 기반으로 한 딥러닝 기법의 발전에 힘입어 RGB 및 RGB-D 기반 접근 자세 추정 방법이 큰 성과를 보였다. 그럼에도 불구하고, 다양한 물체가 복잡하게 혼재된 작업공간에서 심한 가림(Occlusion)이 존재하거나 표면 텍스처의 특징이 없거나 반복되는 패턴을 가진 물체에 대한 6D 자세 추정은 여전히 어려운 문제로 남아 있다. 본 연구는 이러한 난제를 다루기 위한 방법을 제안한다. 핵심 아이디어는 심한 가림 하에서 관측된 물체의 가시 표면으로부터 얻은 Occluded-Partial Point Cloud 를 타 물체에 의해 가려진 부분과 Camera View 밖으로 벗어난 부분을 포함하고 자기 가림(Self-Occlusion)만을 반영한 부분인 Full-Partial Point Cloud 로 Reconstruction 하여 6D 자세를 계산하는 방법으로, 이 Full-Partial Point Cloud 를 Camera Frame 표현과 Object Frame 표현으로 Reconstruction하며 각 Frame 표현 사이의 1:1 points 대응을 유도하는 방향으로 학습하여 6D 자세 추정에 견고성 및 안정성을 확보하였다. 본 연구에서 제안한 딥러닝 기반 자세 추정 방법은 Triple-Associative Point Autoencoder(TAP-AE)로 구현하였다. 학습 및 평가를 위해 Isaac Lab 물리 시뮬레이터를 이용해 작업공간에서 물체들이 복잡하게 배치된 상황을 구현하여 Point Cloud 데이터셋을 생성하였고, 대상 물체는 실험실에서 자체적으로 선정한 5 개의 물체를 이용하였다. 평가는 시뮬레이션으로 생성한 데이터셋과 실환경에서 자체 수집한 데이터셋에 대해 수행하였다. 그 결과, 시뮬레이션과 실환경 테스트에서 각 평균 ADD-S 0.98(평균 오차 3.6 mm/5.7°)과 0.94(평균 오차 11.4 mm/13.4°)를 보였다. 특히 가시 표면의 60% 이상이 가려지는 Heavy Occlusion 대상의 경우에도, 시뮬레이션과 실환경에 각각 평균 ADD-S 0.86(15.0 mm/24.5°)과 0.85(14.8 mm/26.1°)를 달성하여, 가림에 대한 강건성 측면에서 최신 수준의 성능을 확인하였다.

다국어 초록 (Multilingual Abstract)

The estimation of the six-degree-of-freedom (6D) pose of objects in a workspace is imperative for numerous robotic tasks in manufacturing and logistics. Recent advancements in RGB- and RGB-D-based methodologies, bolstered by deep learning and the BOP (Benchmark for 6D Object Pose Estimation) datasets and challenges, have yielded substantial progress. However, in workspaces characterized by clutter, the accurate estimation of the 6D pose of objects with significant occlusion or textured surfaces that exhibit uniformity or repetition remains a challenging task. The present study proposes a methodology adapted to address this challenge. The central concept is to convert an occluded-partial point cloud, obtained from the visible surface of an object under significant occlusion, into a full-partial point cloud that retains only self-occlusion while eliminating inter-object occlusions and field-of-view truncation. The full-partial point cloud is reconstructed in both the camera and object frames, and the network is trained to enforce strict one-to-one point correspondences between the two frame representations. This improves robustness and stability in 6D pose estimation. The deep learning pipeline has been implemented as the Triple-Associative Point Autoencoder (TAP-AE). For the purposes of training and evaluation, we employed Isaac Lab's physics simulator to generate point-cloud datasets representing cluttered workspaces. We selected five target objects captured in the laboratory for this purpose. The evaluation process involved the analysis of both simulated and real datasets. The findings indicate average ADD-S scores of 0.98 (with mean errors of 3.6 mm / 5.7°) on simulation and 0.94 (11.4 mm / 13.4°) on real data. In particular, for heavily occluded cases where more than 60% of the visible surface is occluded, the proposed approach achieved average ADD-S scores of 0.86 (15.0 mm / 24.5°) in simulation and 0.85 (14.8 mm / 26.1°) in real scenes, demonstrating state-of-the-art robustness to occlusion.

목차 (Table of Contents)

• 제1장 서 론 1
• 1. 연구목적과 연구방법론 1
• 가. 연구 목적 1
• 나. 연구 방법론 4
• 다. 연구 개요 5
• 라. 연구 기여점 9
• 제2장 관련 연구 11
• 1. 자세 추정 패러다임 11
• 가. Correspondence 기반 자세 추정 방법 11
• 나. Template & Voting기반 자세 추정 방법 11
• 다. 직접 추론 자세 추정 방법 12
• 2. RGB-D 입력 기반 자세 추정 연구 12
• 3. Depth 기반 자세 추정 연구 13
• 4. Point Cloud Completion 연구 14
• 5. 강한 가림(Heavy Occlusion)에 대한 자세 추정 연구 15
• 제3장 본 론 17
• 1. 연구 방법 17
• 2. Point AE(Auto Encoder) 19
• 가. Occluded-Partial AE 20
• 나. Camera Frame Full-Partial AE 20
• 다. Object Frame Full-Partial AE 21
• 3. Association Networks 22
• 4. 학습 전략 25
• 가. Occluded-Partial AE 25
• 나. Association Networks 25
• 다. Camera Frame Full-Partial AE 26
• 라. Object Frame Full-Partial AE 27
• 5. 추론 방법 28
• 제4장 실 험 31
• 1. 데이터셋 생성 프로토콜 31
• 2. 자세 추정 평가 방법 34
• 가. ADD-S (Average Distance of model points Symmetric) 34
• 나. Rotation 오차(Degree 단위) 평가 34
• 다. Translation 오차(mm) 평가 35
• 라. 대칭 객체에 대한 정규화 35
• 3. 시뮬레이션 데이터셋에서의 가림(occlusion) 강건성 및 자세 추정 정확도 38
• 4. 시뮬레이션에서의 희소 자세(Under-Represented Poses) 일반화 성능 39
• 5. 실환경 수집 데이터셋에서의 가림 강건성 및 자세 추정 성능 41
• 가. 실환경 수집 데이터셋 평가 방법 41
• 나. 실환경 수집 데이터셋 평가 결과 43
• 다. TAP-AE(Point Cloud 기반)와 GPose2023(RGB-D 이미지 기반)의 간접 비교 44
• 라. TAP-AE(Point Cloud 기반) 벤치마크 성능 비교 46
• 6. 실환경 수집 데이터셋에서의 희소 자세(Under-Represented Poses) 일반화 성능 48
• 제5장 토 론 50
• 제6장 결 론 52