Search Trajectory Design and Contact State Estimation for Assembly Tasks using Dual-manipulator System = 양팔 로봇의 조립 작업을 위한 탐색 궤적 설계 및 접촉 상태 예측에 대한 연구

다국어 초록 (Multilingual Abstract)

Robotic assembly systems are widely implemented across various industries due to their potential to enhance productivity, precision, and automation efficiency. In particular, a dual-manipulator system offers significant advantages with its wide workspace and high degrees of freedom, enabling dexterous manipulation capabilities. Recently, the robotic assembly has expanded from structured environments to unstructured environments where uncertainties are present in the workspace or workpieces. These uncertainties primarily cause positional misalignment or unknown contact conditions between handling objects, which can lead to assembly failures. Therefore, robust search strategies and contact state estimation methods are essential to ensure successful assembly. In that sense, this thesis introduces two key contributions: (i) robust and effective search trajectory generation and (ii) contact state estimation for determining subsequent manipulator actions.

Firstly, the assembly task is represented as a peg-in-hole assembly, which can describe a wide range of assembly problems. Based on this description, this paper suggests two different search strategies: Twisting motion and Bi-spiral. The twisting motion addresses a dual peg-in-hole assembly where both positional and orientational alignment are required. To achieve this, the motion consists of a planar movement following a spiral trajectory and a rotational movement for alignment with the dual hole. This search strategy provides a distinct advantage as it simultaneously mitigates both translational and rotational alignment uncertainties. The bi-spiral search strategy is a method where both manipulators actively participate in the search task by generating the spiral trajectories. In contrast to the previous research, which either relied on a single arm while fixing the counterpart or lacked a rigorous geometric analysis of relative motions, the bi-spiral trajectory can leverage the dexterous capability of the dual manipulator system.

Secondly, two different contact state estimation methods are presented: an estimation method using a rule-based Gaussian Mixture Model (r-GMM) and an anomaly detection-based estimation (CC-STAR). Since the peg-in-hole assembly consists of sequentially ordered sub-tasks (e.g., approach, search, and insertion), the manipulator should determine appropriate actions based on the current contact state. In this context, the GMM-based estimation method accounts for the non-stationary behavior and correlation among the measured input data to achieve accurate contact state estimation. However, such a data-driven method heavily relies on balanced datasets, which are difficult to obtain due to the short duration of certain contact states and the rarity of failure cases. To address this challenge, CC-STAR employs an anomaly detection technique with domain knowledge to identify various contact state transitions.

Finally, all proposed methods are validated through the real-world robot experiment where the assembly environment consists of the torque-controlled manipulators and commercial prefabricated furniture.

국문 초록 (Abstract)

조립 로봇 시스템은 생산성, 정밀도 및 자동화 효율성을 향상시킬 수 있는 잠재력으로 인해 다양한 산업 분야에서 널리 활용되고 있다. 특히, 양팔 매니퓰레이터 시스템은 넓은 작업 공간과 높은 자유도를 제공하여 정교한 조작이 가능하다는 장점을 갖는다. 또한, 로봇의 작업 환경은 구조화된 환경에서 불확실성이 존재하는 비구조화된 환경으로 확장되고 있다. 이러한 불확실성은 주로 작업 공간이나 작업물에서 발생하며, 결과적으로 위치 불일치나 예측할 수 없는 접촉 조건을 초래하여 조립 실패로 이어질 수 있다. 따라서 성공적인 조립을 보장하기 위해서는 강인한 탐색 전략과 접촉 상태 추정 방법이 필수적이다. 이러한 맥락에서 본 논문은 (i) 강인하고 효과적인 탐색 궤적 생성 및 (ii) 매니퓰레이터의 후속 동작을 결정하기 위한 접촉 상태 추정이라는 두 가지 주요 기여점을 제시한다.

첫째, 조립 작업을 펙인홀(peg-in-hole) 문제로 모델링하여 다양한 조립 문제를 설명할 수 있도록 하였다. 이를 바탕으로 본 논문에서는 트위스팅 모션(twisting motion)과 바이-스파이럴(bi-spiral)이라는 두 가지 탐색 전략을 제안한다. Twisting motion은 듀얼 펙인홀 조립(dual peg-in-hole assembly)에서 위치 및 각도 정렬이 모두 필요한 경우를 다룬다. 이를 위해, 해당 동작은 나선형 궤적을 따르는 평면 이동과 이중 구멍(dual hole)과의 각도 정렬을 위한 회전 이동으로 구성된다. 이 탐색 전략의 가장 큰 장점은 위치 및 각도 정렬의 불확실성을 동시에 고려할 수 있다는 점이다. Bi-spiral 탐색 전략은 두 매니퓰레이터가 모두 탐색 작업에 적극적으로 참여하여 나선형 궤적을 생성하는 방식이다. 기존 연구에서는 한쪽 매니퓰레이터만을 활용하고 상대 매니퓰레이터를 고정하거나, 상대적인 움직임에 대한 엄밀한 기하학적 분석이 부족하였다. Bi-spiral은 양팔 매니퓰레이터 시스템의 정교한 조작 능력을 극대화할 수 있다.

둘째, 두 가지 서로 다른 접촉 상태 추정 방법을 제안한다: 규칙 기반 가우시안 혼합 모델(r-GMM)을 활용한 추정 방법과 이상 탐지 기반 접촉 상태 추정(CC-STAR)이다. peg-in-hole의 수행은 접근(approach), 탐색(search), 삽입(insertion)과 같이 순차적으로 진행되는 하위 작업들로 구성되므로, 매니퓰레이터는 현재 접촉 상태에 따라 적절한 동작을 결정해야 한다. 이러한 맥락에서, r-GMM은 측정된 입력 데이터의 비정상 상태(non-stationary behavior)와 상관관계(correlation)를 고려하여 정확한 접촉 상태 추정을 수행한다. 그러나 이러한 데이터 기반 접근 방식은 특정 접촉 상태의 지속 시간이 짧고 실패 사례가 상대적으로 희귀하여 균형 잡힌 데이터셋을 확보하기 어렵다는 한계를 가진다. 이러한 문제를 해결하기 위해, CC-STAR는 도메인 지식을 활용한 이상 탐지 기법을 적용하여 다양한 접촉 상태 전이를 효과적으로 식별한다.

마지막으로, 제안된 모든 방법은 토크 제어가 가능한 매니퓰레이터와 상용 조립 가구의 조립 수행을 통해 검증되었다.

목차 (Table of Contents)

• Abstract i
• Contents iii
• ListofTables viii
• List of Figures ix
• 1 INTRODUCTION 1
• 1.1 Motivation 1
• 1.2 Research Basis 4
• 1.2.1 Criterion for Search Trajectory 4
• 1.2.2 Environment Settings 5
• 1.2.3 Robot System and Control 5
• 1.3 Contributions of Thesis 7
• 1.4 Overview of Thesis 9
• 2 Search Trajectory Generation 10
• 2.1 Related Work 10
• 2.1.1 Search Trajectories with Pre-defined Patterns 10
• 2.1.2 Alternatives for Search Trajectories 12
• 2.1.3 DualPeg-in-Hole Assembly 13
• 2.1.4 Dual Manipulator System for Peg-in-Hole 15
• 2.2 Problem Statement 15
• 2.2.1 Trajectory Evaluation 15
• 2.2.1.1 Evaluation Preparation 16
• 2.2.1.2 Evaluation Metrics 17
• 2.2.1.3 Evaluation Result 18
• 2.2.2 Dual Peg-in-Hole 22
• 2.2.3 Usage of Dual Manipulator for Search Task 23
• 2.3 Twisting Motion 24
• 2.3.1 Planar/Rotational Movements 24
• 2.3.2 Insertion Guarantee Region 27
• 2.3.3 Hole Insertion Condition 30
• 2.4 Bi-spiral 34
• 2.4.1 Decomposition of Spiral 34
• 2.4.2 Parameter Optimization 36
• 2.5 Experiments 40
• 2.5.1 Twisting Motion 40
• 2.5.1.1 Experiment Settings 40
• 2.5.1.2 Dual Peg-in-Hole Experiments 41
• 2.5.1.3 Additional Experiments 43
• 2.5.2 Bi-spiral 45
• 2.5.2.1 Influence of Initial Angle Offset 45
• 2.5.2.2 Bi-spiral Experiments in Simulation 45
• 2.5.2.3 Bi-spiral Experiments in Real Robot System 48
• 2.6 Discussion 49
• 2.6.1 Twisting Motion 49
• 2.6.1.1 Analysis on Success Case 49
• 2.6.1.2 Practical Considerations for Parameter Selection 52
• 2.6.2 Bi-spiral 53
• 2.6.2.1 Energy Consumption Analysis 53
• 2.6.2.2 Joint Velocity and Torque Analysis 55
• 3 ContactStateEstimation 57
• 3.1 Related Work 57
• 3.1.1 Model-based Estimation 58
• 3.1.2 Learning-based Estimation 59
• 3.2 Problem Statement 60
• 3.2.1 Advantage of Tilt Posture 60
• 3.2.2 Time Delay to Determine Contact State 61
• 3.2.3 Primitive Motions 62
• 3.3 Probabilistic Method (r-GMM) 64
• 3.3.1 Target Contact State Analysis 65
• 3.3.2 Structure of r-GMM 67
• 3.3.2.1 Indicator of r-GMM 67
• 3.3.2.2 Discriminator of r-GMM 70
• 3.4 Anomaly Detection Method (CC-STAR) 71
• 3.4.1 Contact State Analysis 73
• 3.4.2 Contact State Transition 74
• 3.4.3 Details of CC-STAR 75
• 3.4.3.1 CNN-VAE model 75
• 3.4.3.2 Anomaly Detection 77
• 3.5 Experiments 80
• 3.5.1 r-GMM 80
• 3.5.1.1 Obtaining Training Data 80
• 3.5.1.2 Definition of Indicators and Discriminator 81
• 3.5.1.3 Criteria for Estimation Performance 82
• 3.5.1.4 Results of Real Robot Experiment 83
• 3.5.1.5 Comparison with Distance-based Method 86
• 3.5.1.6 Supplementary Experiment 88
• 3.5.2 CC-STAR 90
• 3.5.2.1 Obtaining Training Dataset 90
• 3.5.2.2 Establishing CC-STAR 91
• 3.5.2.3 Baseline Models 92
• 3.5.2.4 Results of Real Robot Experiment 93
• 3.6 Discussion 95
• 3.6.1 r-GMM 95
• 3.6.1.1 Validity of multi-sample Discriminator 95
• 3.6.1.2 Analysis on Failure Case 97
• 3.6.1.3 Mathematical Property of GMM 97
• 3.6.1.4 Additional Experiments 98
• 3.6.1.5 Limitations 100
• 3.6.2 CC-STAR 101
• 3.6.2.1 Influence of Independent Feature Extraction 101
• 4 Conclusion 103
• 4.1 Search Trajectory 103
• 4.2 Contact State Estimation 105
• 4.3 Summary 106
• APPENDIX A 108
• Insertion Guarantee Region 108
• Abstract (In Korean) 127