영상 기반 모방 학습을 통한 센서리스 로봇 팔 제어 프레임워크

국문 초록 (Abstract)

본 연구에서는 고가의 힘/토크 센서나 촉각 센서를 사용하지 않고, RGB 영상과 IMU 기반의 시연 데이터만으로 로봇 조작 행동을 학습하고 실제 UR3 로봇에 재현할
수 있는 센서 최소화 기반 모방학습 프레임워크(sensorless imitation learning framework)를 제안한다. 이를 위해 ZED2i 카메라를 장착한 핸드형 그리퍼를 이용하여 RGB 영상, Visual–Inertial SLAM 기반 6-DoF 엔드이펙터 궤적, 그리고 DeepLabCut(DLC)을 활용한 그리퍼 팁 변형률을 수집하였으며, 이러한 정보를 기반으
로 새로운 비디오·궤적·파지 강도 데이터셋을 구축하였다. 제안한 모델은 트랜스포머 기반 멀티모달 구조로, 비전 특성(ViT), 궤적 시계열(GRU), 파지 상태 정보(grasp action, grasp strength), 작업명(task label)을 통합하여 6-DoF 궤적과 연속 파지 강도를 동시에 예측하는 멀티태스크 학습 모델로 설계되었다. 학습된
모델은 궤적 예측에서 3D RMSE 12.40 mm, 파지 강도 추정에서 MAE 0.0111, RMSE 0.0155의 성능을 기록하여 실제 조작 작업에 적합한 수준의 정확도를 달성하였다. 실제 UR3 로봇을 이용한 검증 실험에서는 생성된 궤적을 역기구학(IK)을 통해 관절각으로 변환하여 open-loop 방식으로 실행하였으며, Pick & Place 작업에서 95% 성공률(20회 중 19회)을 달성하였다. 또한 물체별 파지 강도 실험에서도 네 종류의 물체에 대해 최대 100%의 성공률을 보이며, 영상 기반 변형률 추정만으로도 안정적인 센서리스 파지 제어가 가능함을 확인하였다. 본 연구는 단일 카메라와 IMU만으로 로봇 조작 데이터를 획득하고 로봇 작업을 재현할 수 있음을 실험적으로 증명하였으며, 저비용·저복잡도 기반의 범용 모방학습 로봇 제어 시스템 구축 가능성을 제시한다.

다국어 초록 (Multilingual Abstract)

In this study, we propose a sensor-minimal imitation learning framework that enables robot manipulation using only RGB video and IMU-based demonstration data, without relying on force or tactile sensors. A handheld gripper with a ZED2i
camera was used to collect RGB video, Visual–Inertial SLAM–based 6-DoF trajectories, and gripper tip deformation extracted via DeepLabCut, forming a multimodal dataset of video, trajectories, and grasp-strength labels. The proposed transformer-based multimodal model integrates visual features (ViT), trajectory signals (GRU), grasp states, and task labels to jointly predict 6-DoF poses and continuous grasp strength. The model achieves 12.40 mm trajectory RMSE and 0.0111 MAE for grasp strength, demonstrating accuracy suitable for manipulation tasks. For real-world validation, predicted trajectories were converted into joint angles via inverse kinematics and executed on a UR3 robot, achieving a 95% success rate in pick-and-place tasks and up to 100% success in object-wise grasp tests. These results show that effective robot manipulation can be learned and reproduced using only a single RGB camera and IMU, highlighting the practicality of low-cost, sensorless robot control.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구 배경 및 필요성 1
• 1.2 기존 방식의 한계 1
• 1.3 기존 연구 동향 2
• 1.4 본 연구의 목표 3
• 제 2 장 시스템 구성 및 데이터 수집 4
• 2.1 하드웨어 구성 4
• 2.2 데이터 수집 설계 5
• 2.3 DLC기반 그리퍼 변형률 레이블링 6
• 제 3 장 트랜스포머 기반 멀티태스크 로봇 제어 모델· 9
• 3.1 학습 모델 개요 9
• 3.2 비디오 인코더 구조 10
• 3.3 GRU 기반 시계열 데이터 11
• 3.4 멀티모달 융합구조 12
• 가. 토큰 구성· 12
• 나. Transformer 기반 멀티모달 융합 13
• 3.5 멀티태스크 출력 헤드 14
• 3.6 로봇 제어 프레임워크 15
• 제 4 장 데이터셋 구축 및 학습 파이프라인· 17
• 4.1 학습 데이터셋 설계 17
• 4.2 학습 파이프라인 18
• 제 5 장 실험 및 검증· 20
• 5.1 실험용 하드웨어 구성 20
• 5.2 Trajectory 예측 성능 분석 22
• 가. 평가 방법· 22
• 나. 궤적 예측 시각화 및 평가 결과 23
• 5.3 Grasp Strength 예측 성능 분석· 24
• 가. 평가 방법· 24
• 나. 파지 강도 예측 시각화 및 평가 결과 24
• 5.4 UR3 로봇 제어 실험 25
• 가. 작업 궤적 실험 25
• 나. 파지 강도 실험 26
• 제 6 장 결론 28
• 참고문헌· 30
• Abstract 33