Deep Learning-Based Vision Manipulator Control via Key-point and Joint Trajectory Prediction = 키포인트 및 관절 궤적 예측을 통한 딥러닝 기반 비전 매니퓰레이터 제어|RISS 상세보기

다국어 초록 (Multilingual Abstract)

In this thesis, we propose a vision-based deep learning control framework that directly generates joint trajectories of a robot manipulator from RGB camera images and joint states. The goal of the framework is to map high-dimensional visual observations to physically plausible robot motions in a stable manner while preserving as much as possible the exploration capability and reliability of traditional motion planners. To this end, several vision-based control modules with different levels of abstraction are designed, and a hierarchical controller that combines these modules is constructed and systematically compared in both real and simulated robotic environments.

First, we design a ResNet-based key-point predictor that estimates task-relevant object key-points from camera images, and we construct a module that plans collision-free joint trajectories using a tree-based motion planner that treats the predicted key-points as target states. Second, we implement a ResNet-based joint state predictor that takes RGB images and the current joint state as input and directly regresses the joint state one step ahead, thereby learning an end-to-end visuomotor mapping. Third, we introduce a Transformer-based joint trajectory prediction model that uses visual observations and the current joint state to predict a multi-step joint state sequence in a single forward pass, enabling sequence-level control policies that capture long-term dependencies. Finally, we construct a hierarchical vision-based controller in which a high-level ResNet-based key-point module proposes task-level goal states and a low-level learned trajectory generator samples detailed joint trajectories, and we analyze the performance gap between this hierarchical controller and single-stage models.

The proposed methods are evaluated on three manipulation tasks: a block–cup color-matching task on a real Kinova Gen3 Lite robot and a mug upright and box insertion task in a PyBullet–Panda simulation environment. In the PyBullet–Panda setup, an RRT-based motion planner is used to automatically generate collision-free joint trajectories for diverse initial object placements and goal configurations, and these trajectories serve as training data. In the Kinova Gen3 Lite environment, a human operator performs the tasks via teleoperation, while camera images, joint values, and gripper states are synchronized and recorded. Each model is then trained in a supervised manner to imitate the recorded joint trajectories.

Experimental results indicate that the sequence prediction–based Transformer model outperforms the single-step joint state predictor in terms of long-horizon tracking accuracy and final goal-reaching success rate. In particular, for complex manipulation tasks such as the mug upright and box insertion scenario, where multiple contact events occur and trajectories are long, the hierarchical controller achieves higher task success rates and produces more stable trajectories than a non-hierarchical Transformer-based controller.

Overall, this thesis (i) compares and analyzes key-point–based high-level motion planning and joint sequence–based low-level control within a unified framework, (ii) constructs datasets in simulation and uses them to quantitatively evaluate the performance of various deep learning models, and (iii) transfers models evaluated in simulation to a real robot arm and demonstrates that they can be executed successfully without architectural changes. These results contribute to the design of robust vision-based manipulator control systems that can be extended to a broader range of objects and tasks in future work.

번역하기

국문 초록 (Abstract)

본 논문에서는 RGB 카메라 이미지와 관절 상태로부터 로봇 매니퓰레이터의 관절 궤적을 직접 생성하는 시각 기반 딥러닝 제어 프레임워크를 제안한다. 제안하는 프레임워크의 목표는 고차원의 시각 관측치를 물리적으로 타당한 로봇 동작으로 안정적으로 매핑하는 동시에 전통적인 모션 플래너가 가지는 탐색 성능과 신뢰성을 가능한 한 유지하는 데 있다. 이를 위해 서로 다른 추상화 수준을 갖는 여러 형태의 시각 기반 제어 모듈과 이를 결합한 계층적 제어기를 설계하고, 실제 로봇 환경 및 시뮬레이션 환경에서 체계적으로 비교하고 평가하였다.

첫째, 카메라 이미지로부터 과제 관련 물체의 키포인트를 추정하는 ResNet 기반 키포인트 예측기를 설계하고 예측된 키포인트를 목표 상태로 사용하는 트리 기반 모션 플래너를 통해 충돌 없는 관절 궤적을 계획하는 모듈을 구성하였다. 둘째, RGB 이미지와 현재 관절 상태를 입력으로 단일 스텝 이후의 관절 상태를 직접 회귀하는 ResNet 기반 관절 상태 예측기를 구현하여 시각–조작 매핑을 end-to-end 방식으로 학습하였다. 셋째, 시각 관측과 현재 관절 상태를 이용해 다중 시점 관절 상태 시퀀스를 한 번에 예측하는 Transformer 기반 관절 궤적 예측 모델을 설계하여 장기 의존성을 고려한 시퀀스 수준의 제어 정책을 학습할 수 있도록 하였다. 마지막으로, 상위 단계에서 ResNet 기반 키포인트 모듈이 과제 수준의 목표 상태를 제시하고 하위 단계에서 학습된 궤적 생성 모델이 세부 관절 궤적을 샘플링하는 계층적 시각 기반 제어기를 구성하여 단일 단계 모델과의 성능 차이를 분석하였다.

제안한 방법은 실제 Kinova Gen3 Lite 로봇에서의 블록–컵 색 매칭 작업과 PyBullet–Panda 시뮬레이션 환경에서의 머그컵 세우기 및 상자 삽입 작업이라는 세 가지 조작 과제를 통해 검증하였다. PyBullet–Panda 시뮬레이션에서는 RRT 기반 모션 플래너를 이용하여 다양한 초기 배치와 목표 상태에 대해 충돌 없는 관절 궤적을 자동으로 생성하고 이를 학습 데이터로 사용하였다. Kinova Gen3 Lite 환경에서는 사용자가 원격 조작을 통해 과제를 수행하면서 카메라 이미지, 관절 값, 그리퍼 상태를 동기화하여 시연 데이터를 수집하였고 이렇게 얻은 관절 궤적을 모사하도록 각 모델을 지도 학습 방식으로 학습하였다.

실험 결과, 시퀀스 예측 기반 Transformer 모델은 단일 스텝 관절 상태 예측 모델에 비해 장기 궤적 추종 성능과 최종 목표 도달률 측면에서 우수한 성능을 보였다. 특히 접촉 이벤트가 여러 번 발생하고 경로가 길어지는 머그컵 세우기 및 상자 삽입 작업과 같은 복잡 조작 과제에서 계층적 제어기는 비계층적 Transformer 기반 제어기에 비해 더 높은 작업 성공률과 안정적인 궤적을 보여 주었다.

종합하면, 본 논문은 (i) 키포인트 기반 고수준 모션 플래닝과 joint 시퀀스 예측 기반 저수준 제어를 하나의 프레임워크 안에서 비교, 분석하고, (ii) 시뮬레이션 환경을 통해 데이터셋을 구축하여 다양한 딥러닝 모델의 성능을 정량적으로 평가하였으며, (iii) 시뮬레이션 환경을 통해 평가된 다양한 모델들을 실제 로봇 팔에 이식하여 동작 가능함을 보였다. 이러한 결과는 향후 더 다양한 물체와 작업으로 확장 가능한 견고한 시각 기반 매니퓰레이터 제어 시스템 설계에 기여할 것으로 기대된다.

번역하기

본 논문에서는 RGB 카메라 이미지와 관절 상태로부터 로봇 매니퓰레이터의 관절 궤적을 직접 생성하는 시각 기반 딥러닝 제어 프레임워크를 제안한다. 제안하는 프레임워크의 목표는 고차원...

목차 (Table of Contents)