Force-Based Real-Time Inhomogeneity Detection for Robotic Uniform Mixing of Heterogeneous Materials : 이종 물질의 로봇활용 균일 혼합을 위한 힘 기반 실시간 불균일성 탐지 모델의 개발과 비교

국문 초록 (Abstract)

협동로봇과 인공지능 기술의 발전에도 불구하고, 현재 로봇 시스템은 여전히 단순 반복 동작에 의존하고 있어 작업 중 발생하는 재료 상태 변화를 인식하는 데 한계가 있다. 이러한 한계는 혼합 대상의 상태 변화가 잦은 로봇 기반 조리 공정에서 특히 두드러지며, 재료의 뭉침은 혼합의 균일성을 저해하여 조리 결과의 일관성을 떨어뜨릴 수 있다.
본 연구에서는 로봇 혼합 작업 중 발생하는 재료 뭉침을 감지하기 위해 힘/토크(F/T) 센서 기반 시계열 데이터를 활용한 두 가지 모델을 설계하고 그 성능을 비교하였다. 협동로봇 팔의 말단장치에 6축 힘/토크 센서를 장착하고, 막대형 교반 도구를 결합하여 도구 끝과 재료 사이에서 발생하는 힘/토크 데이터를 연속적으로 수집하였다. 수집된 데이터는 재료의 불균일성 탐지 모델 구축에 사용되었다. 실험의 반복성을 위해 실제 조리 재료와 유사한 움직임을 가지는 재료를 대체 사용하여 반복 실험을 수행하였다.
뭉침 감지를 위해 물리적 임계값 조건에 기반한 규칙 기반 모델과, 시계열 패턴을 학습하는 Long Short-Term Memory(LSTM) 기반 모델을 구현하였다. 두 모델의 성능은 반복 혼합 실험을 통해 수집된 센서 데이터에 대해 실제 뭉침 발생 구간을 기준으로 비교 평가하였으며, F1-score, precision, recall 및 AUC와 같은 정량적 성능 지표를 사용하였다. 실험 결과, 규칙 기반 모델은 F1-score 0.041로 뭉침 감지에 한계를 보인 반면, LSTM 모델은 F1-score 0.702, AUC 0.860을 기록하며 뭉침 상태를 효과적으로 판별하는 우수한 성능을
보였다. 본 연구는 로봇 혼합 작업 중 수집되는 힘/토크 센서 시계열 데이터를 학습함으로써, 혼합 과정에서 발생하는 뭉침 상태를 판별할 수 있음을 실험적으로 확인하였다. 이는 사전에 정의된 고정 임계값이나 규칙에 의존하지 않고, 실제 작업 과정에서 나타나는 센서 반응 패턴을 기반으로 특정 혼합 이상 상태를 인식할 수 있음을 보여준다. 제안된 접근은 로봇 조리 환경의 반죽 혼합 및 교반 작업뿐만 아니라, 재료 특성이나 작업 조건이 지속적으로 변화하는 산업용 혼합 공정 전반에 적용 가능하며, 향후 혼합 상태 인식 결과를 로봇제어와 연계한 적응형 로봇 작업 전략으로 확장될 수 있는 기반을 제공한다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Research Background and Objectives 1
• 1.2 Thesis Structure 3
• 2 Theoretical Background and Related Work 5
• 2.1 Trends in Robot-Based Kitchen Automation and Cooking Technologies 5
• 2.2 Process Monitoring with F/T Sensors and the Specificity of Cooking Tasks 5
• 2.3 Deep Learning-Based Anomaly Detection in Time-Series Data 6
• 3 Research Methodology 7
• 3.1 System Configuration 7
• 3.2 Data Collection and Ground Truth Construction 9
• 3.3 Design of State Detection Models 12
• 3.3.1 Rule-based Model 12
• 3.3.2 LSTM-based Model 15
• 3.3.3 Model Training and Evaluation 18
• 4 Experimental Results and Analysis 20
• 4.1 Overview of the Experimental Dataset 21
• 4.2 Characteristics of F/T Signals and Clumping Definition 22
• 4.2.1 Force/Torque Signal Patterns During Stirring 22
• 4.2.2 Visualization of Ground Truth, Rule-based Output, and LSTM Output 25
• 4.3 Performance Analysis of the Rule-based Model 27
• 4.4 Performance Analysis of the LSTM Model 29
• 4.4.1 Quantitative Evaluation Results 29
• 4.4.2 Training Stability and Generalization Analysis 30
• 4.5 Comprehensive Comparison of the Two Models 31
• 4.5.1 Quantitative Comparison 31
• 4.5.2 Error Pattern Analysis (Confusion Matrix-based) 33
• 4.5.3 Discriminative Ability Analysis (ROC Curve-based) 34
• 4.5.4 Comprehensive Discussion 35
• 5 Conclusion and Suggestions 36
• 5.1 Summary of Findings 36
• 5.2 Limitations and Future Work 37
• 5.2.1 Research Limitations 37
• 5.2.2 Future Research Directions 39
• APPENDIX 41
• A Appendix: Threshold Computation Formulas 41
• A.1 Preliminary Thresholds 41
• A.2 Scale-Up and Minimum-Floor Adjustment 41
• A.3 Duration Thresholds and Hysteresis Logic 42
• B Appendix: S-score Feature Definitions 43
• B.1 Peak Count 44
• B.2 RMS (Root Mean Square) 44
• B.3 Dwell Ratio 44
• B.4 Asymmetry 44
• B.5 Final S-score 45
• C Appendix: LSTM Cell Mathematical Formulation 46
• D Appendix: Detailed Architecture of the Bidirectional LSTM Model 48
• D.1 Input Sequence Construction 48
• D.2 Bidirectional LSTM Processing 48
• D.3 Classifier Head and Output 49
• E Appendix: Visual Samples from Webcam Recordings for Ground- Truth Annotation 50
• F Appendix: Full-Length Visualization of Sensor Signals and Model Outputs 51
• G Appendix: Full Cross-Validation Results (Rule-based) 52
• H Appendix: Full Cross-Validation Results (LSTM) 53
• REFERENCES 54