Optimal strategy for human-guided skill acquisition and transfer in surface finishing automation

다국어 초록 (Multilingual Abstract)

This thesis presents a multi-modal human demonstration-based skill acquisition framework designed for robotic surface finishing tasks. The conventional iterative robotic teaching methods require repetitive expert demonstrations for each new workpiece, thus limiting scalability and efficiency. Additionally, imitation learning based solely on positional data often results in suboptimal precision for tasks involving critical contact forces, such as polishing operations.

To address these limitations, we designed a remote teaching tool using a wireless VR tracker integrated with a 6-axis force/torque sensor, enabling synchronous real-time collection of expert's 6-degree-of-freedom pose and contact force data. The collected data underwent mathematical optimization-based calibration to achieve high precision suitable for real robotic operation environments. Additionally, we introduced an artificial neural network (ANN)-based dynamic load compensation (DLC) module to eliminate gravitational and inertial disturbances, yielding more accurate contact force measurements.

Expert demonstrations, recorded iteratively, were temporally aligned via Dynamic Time Warping (DTW), followed by Gaussian Mixture Model and Gaussian Mixture Regression (GMM–GMR) to extract smooth, intention-driven force-motion trajectories. Furthermore, a projection-based generalization strategy was proposed to remap a single planar demonstration onto unknown curved surfaces through centroid alignment, orthogonal projection, and minimal geodesic smoothing, facilitating skill transfer to various geometries without additional demonstrations.

Experimental validations using a UR10 robot for contamination removal tasks demonstrated excellent contamination removal ratios of 100\%, 100\%, and 94.72\% for planar, non-continuous, and edge-shaped surfaces, respectively, outperforming existing methods. Moreover, additional experiments confirmed 100\% contamination removal rates for similar curved surfaces using the proposed generalization strategy, significantly reducing the number of required demonstrations. This research provides a promising solution for robotic automation applications demanding adaptability to diverse geometries and real-time control.

국문 초록 (Abstract)

본 논문은 로봇 기반의 표면 마감 공정 자동화를 목표로, 숙련자의 기술을 로봇 시스템에 효율적으로 전수하고 다양한 형상으로 확장 가능한 인간 시연 기반 다중 모달 기술 습득 프레임워크를 제안한다. 기존 로봇 티칭 방식은 새로운 작업물마다 반복적인 전문가 시연을 요구하여 산업 현장에서의 적용이 제한적이며, 위치 데이터에만 의존한 모방 학습 방식은 접촉력이 중요한 정밀 연마(polishing) 공정에서 한계점을 보인다.

이를 해결하기 위해 본 연구는 무선 VR 트래커와 6축 힘/토크 센서를 통합한 원격 교시 시스템을 개발하여 숙련자의 6자유도 포즈 및 접촉력 데이터를 실시간으로 동기화하여 수집하였다. 획득된 데이터는 수학적 최적화 기반 캘리브레이션을 통해 로봇 작업 환경에 적합한 높은 정밀도를 달성하였다. 또한 인공신경망(ANN)을 활용한 동적 하중 보상(DLC) 모듈을 설계하여 중력 및 관성 영향을 효과적으로 제거하고 정확한 접촉력을 확보하였다.

숙련자의 반복된 시연 데이터는 동적 시간 워핑(DTW)을 통해 시계열 정렬 후, 가우시안 혼합 모델-가우시안 혼합 회귀(GMM–GMR)를 활용하여 인간의 작업 의도를 충실히 반영한 매끄러운 힘-모션 궤적으로 인코딩하였다. 또한 단일 평면 시연 데이터를 중심점 정렬, 직교 투영 및 최소 지오데식 스무딩 기반의 투영 기법을 통해 미지의 곡면 형상에 일반화함으로써 추가 시연 없이 기술 전수를 가능하게 하였다.

UR10 로봇 기반 실험을 통해 제안 방법을 평가한 결과, 평면·비연속·엣지 형상 표면에서 각각 100\%, 100\%, 94.72\%의 높은 오염 제거율을 기록하며 기존 기법보다 우수한 성능을 입증하였다. 추가로 유사 곡면에서 수행한 일반화 실험에서도 동일한 100\%의 오염 제거율을 달성하여 교시 소요 시간을 획기적으로 단축할 수 있음을 확인하였다. 본 논문의 연구 성과는 향후 정밀성과 다양한 형상 적응력이 요구되는 로봇 자동화 공정 및 실제 산업 현장 적용 분야에 실질적으로 기여할 것으로 기대된다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Research Background 1
• 1.2 Motivation 2
• 1.3 Problem Statement and Related Work 2
• 1.4 Objective of Research 3
• 1.5 Contributions 4
• 2 Human-Guided Skill Acquisition Platform 5
• 2.1 Human-Guided Skill Acquisition System with Motion and Force Sensing 5
• 2.1.1 Motion Tracking System and Modality Selection 6
• 2.1.2 Rationale for Choosing a VR Tracker 7
• 2.1.3 Design of Human-Friendly Teaching Tool 8
• 2.1.4 Base Station Configuration 9
• 2.2 Geometric Calibration using SVD and Sylvester Equation 16
• 2.2.1 Calibration Objective and Transformation Framework 16
• 2.2.2 Rotation Calibration Using Sylvester Equation 17
• 2.2.3 Translation Calibration Using Least-Squares Optimization 19
• 2.2.4 Relationship between VR Tracker and Robot End-Effector 19
• 2.2.5 Validation of the Calibrated Algorithm 21
• 2.2.6 Calibration Scenario and Data Acquisition 22
• 2.3 ANN-Based Dynamic Load Compensation with TWC and TIC Modules 32
• 2.3.1 Tool Weight Compensation (TWC) 32
• 2.3.2 Tool Inertia Compensation (TIC) 34
• 3 Human Intention-Aware Encoding for Skill Transfer 42
• 3.1 Preprocessing for Iterative Learning with DTW 43
• 3.2 Iterative Intention Modeling via GMM-GMR 46
• 3.3 Evaluation of Intention Modeling Performance 49
• 3.3.1 A. Evaluation of DTW-Based Alignment 49
• 3.3.2 B. Evaluation of GMM-GMR-Based Intention Modeling 50
• 4 Generalization: Skill Transfer to Non-demonstrated Surfaces 73
• 4.1 Limitations of Iterative Learning and Motivation for Generalization 73
• 4.2 Path Transfer and Projection-Based Remapping 76
• 4.2.1 Centroid-Based Anchoring (CBA) 76
• 4.2.2 Projection onto Surface Geometry 76
• 4.3 Surface-Aware Path Refinement via Geodesic Smoothing 79
• 4.4 Summary of Generalization Pipeline 81
• 5 Experiments 83
• 5.1 Experiment 1: Algorithm Comparison for Intention-Aware Skill Encoding 83
• 5.1.1 Concept and Motivation 83
• 5.1.2 Algorithm Overview 84
• 5.1.3 Experimental Overview 84
• 5.1.4 Results and Comparative Discussion 86
• 5.2 Experiment 2: Projection-Based Generalization of Force-Aware Skill 103
• 5.2.1 Concept and Motivation 103
• 5.2.2 Similar-Curvature Region Assumption 103
• 5.2.3 Method Overview 103
• 5.2.4 Experimental Overview 104
• 5.2.5 Results and Discussion 104
• 6 Conclusion 109
• Bibliography 112
• 초록 116