Development of robotic surface finishing system based on hand tracking and AI agent

국문 초록 (Abstract)

본 논문은 3D 비전, 툴 경로 생성, 인간-로봇 상호작용(HRI) 및 AI 기반 작업 계 획을 통합한 핸드 트래킹 및 AI 에이전트 기반 로봇 표면 가공(Surface Finishing) 시스템을 제안한다. 본 연구의 목적은 직관적인 노코드(no-code) 인터페이스를 통해 비전문가 사용자도 복잡한 표면 가공 작업을 수행할 수 있도록 지원하는 것이다. 이를 구현하기 위해, 다중 시점 포인트 클라우드로부터 정밀한 표면 메쉬(surface mesh)를 재구성하는 로봇 탑재형 RGB-D 스캐닝 모듈을 구현하였다. 또한, 에르미트 스플라인(Hermite splines)과 무게중심 법선 보간(barycentric normal interpolation)을 사용하여 곡률 연속성을 갖는 궤적을 생성하는 측지선(Geodesic) 툴 경로 생성 알고리즘을 개발하였다. 더불어, 직관적인 웨이포인트(waypoint) 지 정을 위해 핑거 패딩 필터(Finger Padding Filter, FPF)를 적용한 핸드 트래킹 및 티칭(Hand Tracking and Teaching, HTT) 프레임워크를 제안하였다. 마지막으로, 이러한 모듈들을 모델 컨텍스트 프로토콜(Model Context Protocol, MCP) 기반 의 AI 에이전트 프레임워크로 통합하여, 거대언어모델(LLM)이 자연어 명령에 따라 전체 워크플로우를 자율적으로 조율할 수 있도록 하였다. 실험을 통해 제안된 시스템의 성능과 사용성을 검증하였다. 제안된 HTT 방식은 고정형 카메라 구성 대비 이산형(discrete) 티칭 정확도를 약 25-35mm 개선하였으 며, FPF를 통해 연속형(continuous) 티칭 시 발생하는 이상치(outlier) 비율을 5.5% 에서 0.2%로 대폭 감소시켰다. 사용성 평가 결과, 시스템 사용성 평가 척도(SUS) 점수 79.2점을 기록하였으며, 티칭 시간은 42.6초로 단축되어 기존의 티치 펜던트 (238.8초) 및 직접 교시(87.6초) 방식보다 우수한 성능을 보였다. 또한, 힘 제어 연마 실험을 통해 기하학적 특성을 반영한 측지선 경로가 기존의 데카르트 좌표계 보간 방식에 비해 안정적인 접촉력을 보장함을 확인하였다.

다국어 초록 (Multilingual Abstract)

This thesis presents an Hand Tracking and AI Agent–based robotic surface finishing system that unifies 3D vision, tool path planning, human-robot interaction, and AI-based task planning. The goal is to enable non-expert users to perform complex surface finishing tasks through an intuitive, nocode interface. To achieve this, a robot-mounted RGB-D scanning module was implemented to reconstruct accurate surface meshes from multi-view point clouds. A Geodesic Tool Path Planning algorithm was developed to generate curvature continuous trajectories using Hermite splines and barycentric normal interpolation. Furthermore, a Hand Tracking and Teaching (HTT) framework with a Finger Padding Filter (FPF) was proposed to allow intuitive waypoint designation. Finally, these modules were integrated under an AI Agent framework using the Model Context Protocol (MCP), enabling a Large Language Model (LLM) to autonomously orchestrate the entire workflow based on natural language commands. Experimental results validated the system’s performance and usability. The proposed HTT method improved discrete teaching accuracy by reducing spatial errors by approximately 25–35 mm compared to a fixed-camera setup and significantly reduced the outlier rate in continuous teaching from 5.5% to 0.2% using the FPF. In usability studies, the proposed system achieved a System Usability Scale (SUS) score of 79.2 and reduced teaching time to 42.6 s, outperforming traditional teach pendant (238.8 s) and direct teaching (87.6 s) methods. Force-controlled polishing experiments further confirmed that the geometry-aware geodesic path ensures stable contact force compared to conventional Cartesian interpolation.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Background and Motivation 1
• 1.2 Related Works 4
• 1.2.1 3D Scan and Reconstruction 4
• 1.2.2 Tool Path Planning 5
• 1.2.3 Human-Robot Interaction (HRI) 6
• 1.2.4 Al Agent Framework for Robotic Automation 7
• 1.3 Research Objectives 8
• 2 3D Scan and Reconstruction 11
• 2.1 System Overview 11
• 2.2 3D Scanning Configuration 12
• 2.3 Point Cloud Processing 13
• 2.3.1 Downsampling 13
• 2.3.2 Outlier Removal 14
• 2.3.3 Background Segmentation 16
• 2.4 Point Cloud Registration 17
• 2.5 3D Reconstruction 19
• 3 Geodesic Tool Path Planning 29
• 3.1 Preliminaries: Discrete Geodesic Path 30
• 3.2 Proposed Method: Geodesic Hermite Spline on Triangular Mesh 32
• 3.2.1 Vector Operations on Discontinuous Manifold 32
• 3.2.2 Normal Vector Smoothing via Barycentric Coordinates 35
• 3.3 Comparative Evaluation of Force-Controlled Polishing Performance 37
• 3.3.1 Geometry-unaware Path vs. Geometry-aware Geodesic Path 38
• 3.3.2 Non-smoothed Normal Vectors vs. Barycentrically-smoothed Normal Vectors 39
• 4 Hand Tracking and Teaching (HTT) Framework for Waypoints Teaching 49
• 4.1 Hand Pose Estimation and Visual Servoing 51
• 4.1.1 Hand Pose Estimation 51
• 4.1.2 Pose-Based Visual Servoing(PBVS) 53
• 4.2 Hand Teaching with Finger Padding Filter(FPF) 54
• 4.3 Experiments 56
• 4.3.1 Teaching Accuracy Evaluation 56
• 4.3.2 Usability Evaluation 61
• 5 Integration of AI Agent Framework for Robotic Surface Finishing 74
• 5.1 Prompt Engineering for Task Planning 75
• 5.2 Model Context Protocol and ROS MCP Server Architecture 76
• 5.2.1 Model Context Protocol (MCP) 76
• 5.2.2 ROS MCP Server 77
• 5.3 Demonstration 78
• 5.3.1 Demonstration Process 78
• 5.3.2 Results 80
• 6 Conclusions 82
• Bibliography 85
• A Prompt Implementations 90
• A.1 GEMINI Prompt 90
• A.2 Environments Prompt 96
• A.3 Scan Prompt 99
• B Demonstration Results 102
• 국문요약 105