Grasp stability guided policy selection across large-scale simulation and real-world-based deployment

다국어 초록 (Multilingual Abstract)

Sim-to-Real reinforcement learning aims to deploy policies trained in simulation to real robots fast and safely; however, discrepancies in physics, sensing, and contact conditions introduce a domain gap that often degrades real-world performance. To mitigate this issue, this thesis proposes \textit{Illy-Net}, a data-efficient surrogate-based policy ranking framework. Illy-Net (i) collects performance logs through domain-randomized evaluations in Isaac Sim, (ii) learns a GMM surrogate from a \emph{single batch} of real-world trials to calibrate and predict real-world compatibility, and (iii) optionally integrates PPO (discrete candidate selection) and SAC (continuous pose refinement) to compute the final deployment ranking. The final score is computed as $X_i=s_i^{\alpha}r_i^{1-\alpha}$ or $X_i=q_i^{\beta}r_i^{1-\beta}$, and only the Top-$K$ candidates are deployed and validated on a UR16e+RG6 platform.

The experimental pipeline generates and normalizes grasp candidates using SAM-6D and GraspNet, evaluates candidates under randomized factors (e.g., illumination, friction, mass, pose/sensor noise), and estimates real-world compatibility using a GMM trained from a single batch of real data. For short-range transfer in a logistics packaging task, a no-drop criterion is adopted as the primary success condition. Across seven objects, Illy-Net reduces MAPE from 38.2\% to 8.1\% and improves the Top-5 success rate from 77.3\% to 91.7\%, while reducing the required real-world trials from 250 to 65 (a 74\% reduction). We are developing a candidate generation module that searches for parallel plane pairs via surface segmentation and synthesizes grasp candidates by aligning surface normals with the gripper geometry; the generated candidates will be used for simulation training. Overall, combining large-scale simulation exploration with single-batch calibration narrows the Sim-to-Real gap, reducing experimentation cost/time and deployment risk in industrial settings.

국문 초록 (Abstract)

Sim-to-Real 강화학습은 시뮬레이션에서 학습된 정책을 실제 로봇에 신속하고 안전하게 배포하는 것을 목표로 하지만, 물리·센서·접촉 조건 차이로 인한 도메인 격차로 현실 성능 저하가 발생한다. 본 논문은 이를 완화하기 위해 데이터 효율적 서로게이트 기반 정책 랭킹 프레임워크 Illy-Net을 제안한다. Illy-Net은 Isaac Sim에서의 대규모 도메인 랜덤화 평가로 시뮬레이션에서 성능 로그를 확보하고, 단일 배치의 실제 실험 데이터로 학습한 GMM 서로게이트로 현실 적합도를 보정/예측하며, 필요 시 PPO(이산 후보 선택)와 SAC(연속 포즈 미세 조정)을 선택적으로 결합해 최종 배포 순위를 산출한다. 최종 점수는 $X_i=s_i^{\alpha}r_i^{1-\alpha}$ 또는 $X_i=q_i^{\beta}r_i^{1-\beta}$로 계산하고, 상위 Top-$K$만 UR16e+RG6에 배포해 검증한다.

실험은 SAM-6D+GraspNet으로 물체-기준 그립 후보를 생성·정규화한 뒤, 조명/마찰/질량/포즈·센서 노이즈 등 다양한 랜덤화 조건에서 후보를 평가하고, 단일 배치 리얼 데이터로 학습한 GMM을 통해 각 후보의 현실 적합도를 추정하는 파이프라인으로 구성된다. 물류 패키징의 단거리 이동 구간에서 no-drop을 핵심 성공 기준으로 정의했으며, 7개 물체 실험에서 Illy-Net은 MAPE를 38.2\%에서 8.1\%로 감소시키고 Top-5 성공률을 77.3\%에서 91.7\%로 향상시켰으며, 동일 성능 달성에 필요한 실제 실험 수를 250회에서 65회로 74\% 절감하였다. 본 프레임워크는 후보 생성 방식과 작업 시나리오에 독립적으로 적용 가능하며, 향후 클러터 환경 및 촉각/힘-모멘트 센싱 통합으로 확장할 예정이다. 이를 위해 면 분리 기반으로 평행 면 쌍을 탐색하고, 면 법선과 그리퍼 형상을 정렬해 기하학적 제약을 만족하는 파지 후보를 합성하는 후보 생성 모듈을 개발 중이며, 생성 후보군을 시뮬레이션 학습에 활용할 계획이다. 또한 대규모 시뮬레이션 탐색과 단일 배치 보정의 결합은 Sim-to-Real 격차를 효과적으로 축소하여, 비용 및 시간에 민감한 산업 환경에서 실험량 절감과 배포 지연 단축, 실패 리스크 완화에 기여한다. 향후에는 다종 물체 클러터 환경으로 확장하고 촉각/힘-모멘트 센싱을 통합하여, 다양한 작업 조건에서도 일관된 성능을 보장하는 방향으로 프레임워크의 보편성을 강화할 예정이다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Motivation 1
• 1.2 Related Work 10
• 1.3 Research Objectives 16
• 2 Methodology 19
• 2.1 System Overview and Scenarios 19
• 2.2 Overview of Illy-Net 20
• 2.3 Grasp Region and Candidate Extraction 25
• 2.4 Simulation-Based Evaluation under Domain Randomization 27
• 2.5 Real-World Data Collection and Dynamic Verification 28
• 2.6 GMM-Based Surrogate Calibration 29
• 2.7 RL-Based Refinement and Final Ranking 32
• 3 Experimental Results 36
• 3.1 Extraction of Grasp Candidates in Simulation 37
• 3.2 Data Collection in Real-world Environments 38
• 3.3 Illy-Net RL Training 40
• 3.4 Final Ranking 41
• 3.5 Results Compared to the Baseline 41
• 3.6 Additional Ablation Studies and Sensitivity Analysis 45
• 3.6.1 Fusion Rule Ablation 45
• 3.6.2 Sensitivity to the Number of GMM Components K 46
• 3.6.3 Calibration Budget Analysis: Policy Sampling Ratio ρ and Trials per Policy m 47
• 3.6.4 Risk-Indicator Behavior of ri : Likelihood vs. Empirical Success 48
• 4 Conclusion and Discussion 52
• Bibliography 56
• 초록 65