Usability, effectiveness investigation, and autonomous robotic operation of vascular interventional robotic systems

국문 초록 (Abstract)

로봇의 학문적, 공학적 기술의 발전으로 인해 산업, 서비스, 일상생활, 의료 현장 등 다양한 분야에서 로봇의 영향력은 커지고 있다. 이와 동시에 인공지능에 관한 학문적, 하드웨어의 발전 또한 다양한 응용분야에 큰 영향을 주고 있다. 로봇과 인공지능의 융합의 결과는 인공지능기반 로봇 기술 응용을 통해 다양한 분야에서 변곡점을 만들어내고 있다.
과거의 경우 사람은 직접 눈으로 보고 인식 및 판단을 하거나 팔을 움직여 물체를 잡고 물체를 움직이는 행위를 했다. 최근 들어 사람이 하던 작업들을 인공지능 알고리즘과 로봇이 대체 할 수 있도록 기술이 개발되는 추세이다. 대표적인 결과물로는 물체인식과 충돌방지 서빙로봇, 산업용 협동로봇, 자동차 자율주행 기술 등이 있다. 또한 의료 현장의 경우 인공지능기반 의료영상 진단 보조 프로그램, 치료법 추천 프로그램, 복강경 수술로봇, 수술용 내비게이션 시스템, 인공 관절 수술로봇 등이 활용되고 있다.
본 연구는 혈관 중재 로봇 시스템의 유용성, 효율성 및 자율 로봇 수술의 연구 결과와 이에 대한 전임상응용을 다룬다.
첫 번째로는 마스터-슬래이브 혈관중재시술 로봇 시스템에 대해 다룬다. 본 연구의 실험에 사용한 마스터-슬래이브 혈관중재시술 로봇 시스템들은 7 자유도 혈관중재시술 슬래이브 로봇과 3개의 마스터 장치를 결합하여 구성하였다. 7 자유도 혈관중재시술 슬래이브 로봇은 카테터, 가이드와이어, 마이크로카테터, 마이크로가이드와이어의 움직임을 조작하기 위해 개발되었다. 마스터-슬래이브 혈관중재시술 로봇 시스템을 구성하는 3개의 마스터 장치는 7자유도 마스터장치, 2자유도 조이스틱형 마스터 장치, 행동모사 2자유도 마스터 장치이다.
두 번째로는 마스터-슬래이브 혈관중재시술로봇 시스템의 사용자 편의성, 효용성을 분석한다. 마스터-슬래이브 혈관중재시술 로봇 시스템 모션 매칭으로는 마스터 장치 별 포지션-포지션 또는 포지션-속도 방식이 적용되었다. 마스터-슬래이브 혈관중재시술로봇 제어 방식에 따른 마스터-슬래이브 혈관중재시술로봇의 사용자 편의성 검증을 위해 혈관 팬텀 및 동물 실험을 수행하였다. 또한 기존의 수동 혈관중재시술 절차와 마스터-슬래이브 혈관중재시술 로봇 절차에서 시술자의 방사선 피폭량을 비교하였다. 동물실험의 결과로는 시술자의 행동 모사 포지션-포지션기반 마스터 장치가 포지션-속도기반 조이스틱 구조 마스터 장치보다 사용자 편의성 측면에서 유리한 것으로 확인되었다. 또한 마스터-슬래이브 혈관중재시술 로봇 시스템을 적용하였을 때 시술자의 방사선 피폭 감소 효과를 검증하였다.
마지막으로 개발된 마스터-슬레이브 혈관중재시술로봇 시스템에서 마스터 장치를 배제한 강화학습 기반 자율혈관 중재 로봇 시스템을 제안한다. 팬텀 실험을 통해 강화학습기반 혈관중재시술로봇 시스템 자율제어의 성능을 검증하였다. 강화학습 기반 자율 혈관중재시술로봇 시스템에 적용된 제어방식은 인공지능 알고리즘이 혈관 내부의 시술도구 위치 판단 및 목표지점까지 시술도구를 자율구동 한다. 혈관 팬텀 실험을 통해 자율 혈관중재시술로봇 시스템은 목표지점까지 시술도구 구동 성공과 F/T센서에서 측정한 혈관 벽과 시술도구의 사이에 발생하는 반발력을 줄이는 결과를 보였다.

다국어 초록 (Multilingual Abstract)

Owing to the development of the academic and engineering technology of robots, the influence of robots is growing in various fields such as industry, service, daily life, and medical field. Meanwhile, academic and hardware developments related to artificial intelligence (AI) are also having a significant impact on various application fields. Thus, the result of the convergence of robots and AI is creating an inflection point in various fields through the application of AI-based robot technology.
Previously, humans have recognized and judged with their own eyes or moved their arms to grab an object and move the object. Recently, there has been a trend to develop technologies that allow AI algorithms and robots to replace human tasks. Representative achievements of AI-based robots include object recognition and collision avoidance serving robots, industrial collaborative robots, and autonomous vehicle technology. In addition, AI-based medical image diagnosis support programs, treatment recommendation programs, laparoscopic surgical robots, surgical navigation systems, and artificial joint surgical robots are being used in the medical field.
This dissertation presents results for investigating vascular interventional robotic systems' usability, effectiveness, and autonomous robotic operation.
First, the master-slave vascular interventional radiology (VIR) robotic systems are discussed. This research conducted master-slave VIR robotic systems by combining a 7-degree of freedom (DOF) slave robot and three master devices. The 7-DOFs VIR slave robot was developed to manipulate the motions of the catheter, guidewire, microcatheter, and microguidewire. The three master devices composing the master-slave VIR robotic system are a 7-DOFs master device, a 2-DOFs joystick-type master device, and an ergonomically designed 2-DOFs master device.
Second, the usability, effectiveness investigation of the master-slave VIR robotic systems are analyzed. In motion matching of master-slave VIR robotic systems, a position-position or position-velocity method is mainly applied. Vascular phantom and animal experiments were conducted to verify the usability test of the master-slave VIR robot according to the master-slave control method. Also, the radiation exposure dose of the conventional manual VIR procedure and the VIR robotic procedure was compared. As a result of the animal experiment, it was verified that the position-position based ergonomically designed master device is more advantageous in terms of usability than the position-velocity based joystick structure master device. In addition, the effect of reducing the radiation exposure of operators when using the master-slave VIR robot system was verified.
Finally, the reinforcement learning-based autonomous VIR robotic system is proposed that excludes the master device from the developed master-slave VIR robotic system. The performance of autonomous control of the reinforcement learning-based VIR robotic system was verified through the phantom experiment. In the control method applied to the reinforcement learning-based autonomous VIR robotic system, an AI algorithm detects the location of the surgical tool inside the blood vessel and autonomously drives the surgical tool to the target point. Through the vascular phantom experiment, the autonomous VIR robotic system verifies success in driving the surgical tool to the target point and reduces the repulsive force between the walls of the blood vessel and the surgical tool measured by the F/T sensor.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1 Background 2
• 1.1.1 Vascular Interventional Radiology (VIR) 2
• 1.1.2 Related Work on the Application of Artificial Intelligence in Medicine 4
• 1.2 Research Objectives 5
• 2. VIR Master-Slave Robotic Systems 7
• 2.1 Introduction 7
• 2.2 Slave Robot and Master Devices for VIR 10
• 2.2.1 The Two-way 7-DOFs VIR Slave Robot 10
• 2.2.2 Master Devices for VIR Robot 13
• 2.3 Three Different Master Devices to Control the VIR Slave Robot 17
• 3. Usability and Effectiveness of VIR Master-Slave Robotic Systems 24
• 3.1 Introduction 24
• 3.2. Phantom Experiments 25
• 3.2.1 Anatomy of Vascular Phantom 25
• 3.2.2 Experimental Environment of the Phantom-based VI Procedure 27
• 3.2.3 Experimental Results of the Phantom-based VI Procedure 28
• 3.3 In Vivo Experiments 32
• 3.3.1 Experimental Conditions for Measurement of Radiation Exposure 32
• 3.3.2 Usability Tests of Two Different Master Devices for Robotic VI System 35
• 3.3.3 Experimental Results of the Hepatic and Splenic Arteries of pigs 36
• 3.3.4 Experimental Results of the Right Renal Artery of pig 39
• 3.4 Summary 43
• 4. Reinforcement Learning-based Autonomous VIR Robotic System 45
• 4.1 Introduction 45
• 4.2 5-DOFs VIR Slave Robot 49
• 4.2.1 Conventional Master-Slave VIR Robot System 50
• 4.3 Proposed Autonomous VIR Robotic System 52
• 4.3.1 Algorithm Applied to the Autonomous VIR Robot 53
• 4.3.1.1 Catheter and Guidewire Position Tracking Algorithm 54
• 4.3.1.1.1 Catheter and Guidewire Position Tracking Algorithm Preparation of Training Data 55
• 4.3.1.1.2 Training Phase of the Catheter and Guidewire Position Tracking Algorithm 57
• 4.3.1.2 Reinforcement Learning for Autonomous Surgical Tools control 61
• 4.4 Experiments 65
• 4.4.1 Experimental Environment of the Autonomous VIR Robot 65
• 4.4.2 Task-time and Success Rate Result of Autonomous VIR Procedure 66
• 4.4.3 Comparison of the Repulsive Force between the Autonomous VIR Procedure and Operator Driven VIR Robotic Procedure by Operators 68
• 4.5 Summary 71
• 5. Conclusions 72
• Appendix 76
• A.1 U-Net-based Surgical Navigation System and Bendable Devices for TSA Surgery 76
• A.1.1 Transsphenoidal Approach (TSA) Background and Introduction 76
• A.1.2 U-Net-based Surgical Navigation System 83
• A.1.2.1 U-Net 83
• A.1.2.1.1 Preparation of Training Data 84
• A.1.2.1.2 U-Net Training Phase 85
• A.1.2.2 Proposed Surgical Navigation System 92
• A.1.2.2.1 Registration for Construction of Navigation System 94
• A.1.3 Design of a Bendable Endoscope and Surgical Tool 96
• A.1.4 Phantom Design 101
• A.1.5 Experiments 102
• A.1.6 Summary 110
• A.1.7 Conclusions 111
• A.1.8 Results of Other Patients’ Phantom Experiments 112
• References 115
• 국문요지 128

참고문헌 (Reference)

1. A history of vascular surgery, Friedman , Steven G, , 2005

2. `` Investigation of occupational radiation exposure during interventional cardiac catheterisations performed via radial artery ,, Goni , H. , et al. ,, vol . 117 , no . 1-3 pp . 107-110, , 2005