Effects of Augmented Reality?Based Visual Assistance on Robot-Free Demonstration for Robotic Skill Learning in Construction = 건설 로봇 학습을 위한 관찰 기반 시연에서 증강현실 시각 보조 시스템의 영향 분석

국문 초록 (Abstract)

피지컬 AI의 발전으로 인해, 인간과 유사한 판단 능력을 바탕으로 복잡한 환경에 적응하며 작업을 수행하는 건설 로봇에 대한 기대가 높아지고 있다. 이에 따라 로봇이 숙련공의 시연으로부터 작업에 필요한 기술을 습득하는 기법인 모방학습이 이러한 요구를 충족하기 위한 대표적인 접근 방법으로 주목받고 있다. 시연 데이터는 다양한 방식으로 수집될 수 있으며, 그중 관찰 기반 시연은 별도의 로봇 하드웨어 없이도 인간의 자연스러운 작업 동작을 기록할 수 있다는 장점을 가진다. 그러나 이러한 방식은 시연자가 로봇의 기구학적·동역학적 제약을 충분히 고려하지 못하게 하여, 실제 로봇이 재현할 수 없는 시연 동작을 수행하게 하는 문제를 야기한다. 최근에는 이러한 한계를 보완하기 위해, 시연 동작에 따라 생성되는 로봇의 동작을 실시간으로 시각화하고, 로봇의 물리적 상태에 대한 정보를 제공하는 증강현실 기반 인터페이스들이 제안되고 있다. 그럼에도 불구하고, 서로 다른 피드백 전략이 시연 데이터의 품질과 사용자 경험에 어떠한 영향을 미치는지에 대해서는 아직 충분히 규명되지 않았다. 이에 본 연구는 건설 작업의 맥락에서 관찰 기반 시연을 가장 효과적으로 지원하는 피드백 인터페이스의 형태를 도출하고자 하며, 특히 직관에 기반한 숙련도가 요구되는 미장 작업을 대상으로 한 평가를 수행하였다. 이를 위하여 건설 분야 전공자인 18명의 참가자를 대상으로 사용자 실험을 진행하였다. 실험에서는 (1) 로봇의 관절 속도 또는 자세 관련 제약을 초과하는 시연 동작이 인식될 경우 경고를 제공하는 방식, (2) 시연에 따른 로봇의 관절 속도 및 자세 안정성 정보를 연속적으로 시각화하는 방식, 그리고 (3) 관절 속도 제약에 대해서는 초과 시 알림을, 자세 안정성에 대해서는 연속적인 시각 정보를 제공하는 하이브리드 방식의 세 가지 기법을 비교하였다. 그 결과, 세 가지 인터페이스는 시연 데이터의 품질과 사용자 경험 측면에서 유의미한 차이를 보였다. 또한 각 조건에서 수집된 시연 데이터의 품질 차이는 해당 데이터를 통해 학습된 로봇 정책의 실행 성능에도 영향을 미치는 것으로 나타났다. 종합적으로, 하이브리드 피드백 방식은 물리적 제약 준수 정도와 사용자 경험 측면에서 가장 우수한 성능을 보였다. 본 연구의 결과는 미장 작업과 같이 높은 정밀성과 숙련도가 요구되는 작업에서, 로봇 학습을 위한 관찰 기반 시연 인터페이스 설계 방향성에 대한 시사점을 제공한다.

다국어 초록 (Multilingual Abstract)

The emergence of Physical AI has heightened expectations for construction robots to adapt to complex jobsites and perform tasks with human-like flexibility, driving the need for robots to acquire task-relevant skills directly from expert demonstrations. Demonstrations can be provided through various modalities, among which passive observation–based approaches enable hardware-independent capture of natural task-oriented motion. However, they often cause demonstrators to overlook the robot’s kinematic and dynamic constraints, producing motions that cannot be reproduced by the robot. Although recent studies have introduced augmented reality (AR) interfaces that visualize robot motion induced by demonstrations and provide real-time operational information, little is known about how different feedback strategies affect the quality of the collected data and the user experience. Therefore, this study examines the form of feedback interface that most effectively facilitates robot-free demonstrations within construction workflows, focusing on plasterwork, which requires intuition-based expertise. A user study involving 18 participants from construction-related backgrounds showed that the three feedback modes—(1) discrete alerts triggered when joint-velocity or configuration constraints were exceeded, (2) continuous visualization of real-time indicators for joint-velocity and configuration stability, and (3) a hybrid mode using alerts for joint-velocity violations and continuous cues for configuration stability—produced significant differences in both the quality of the demonstration data and the cognitive load experienced by users. Moreover, variations in data quality were reflected in the execution performance of policies derived from the collected demonstrations. Overall, the hybrid feedback mode demonstrated superior performance across the evaluated dimensions. The findings of this study provide design implications for AR-based interfaces that support robot-free demonstrations for robot learning in precision-demanding tasks such as plastering.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1. 1. Motivation 1
• 1. 2. Problem Statement & Research Objectives 4
• Chapter 2. Background 10
• 2. 1. Demonstration-Driven Robotic Skill Learning in Construction 10
• 2. 2. Demonstration Modalities for Data Acquisition 12
• 2. 3. AR-Based Guidance for Robot-Free Demonstrations 15
• Chapter 3. AR-Guided Robot-Free Demonstration Systems 18
• 3. 1. System Overview 18
• 3. 2. Augmented Visualization of Virtual Robot Behavior 20
• 3. 3. Feedback on the Robot’s Operational State 27
• Chapter 4. Comparative Evaluation of Demonstration Interfaces 43
• 4. 1. Setup and Apparatus for Demonstration 43
• 4. 2. Experimental Procedure 46
• 4. 3. Measurement 49
• Chapter 5. Results 54
• 5. 1. Feasibility of Demonstrations 54
• 5. 2. User Experience 57
• 5. 3. Performance of Data-Driven Robotic Plastering 63
• Chapter 6. Discussion and Conclusion 67
• 6. 1. Discussion 67
• 6. 2. Conclusion 75
• Bibliography 77
• Abstract in Korean 91