Ergonomic Design of Vision and Manipulation Interfaces for Next-generation Robotic Surgical System : Approaches Based on Usability Evaluations

다국어 초록 (Multilingual Abstract)

Robot-assisted surgery (RAS) has become widely adopted across medical fields, including general surgery, gynecology, and urology, due to its advantages of small incisions over minimally invasive surgery and open surgery. The da Vinci surgical system (dVSS) is a leading RAS platform that provides stereoscopic views and precise robotic manipulations. It adopts primary-secondary interfaces: the former is a workstation for the surgeon, referred to as the surgeon console, and the latter is the robotic arms for the patient. The dVSS has evolved to provide a more comfortable operating environment for surgeons, yet further improvements are still required based on clinical needs reported by medical professionals.
This research contains three foundational parts that serve as a baseline for integration into next-generation robotic surgical systems: improvements in speech, vision, and manipulation interfaces. To evaluate each concept, usability evaluations, including task performance assessments and questionnaire-based surveys, were conducted with approval from the Institutional Review Board (IRB) of Seoul National University Hospital (IRB No. H-2107-167-1236). Participants, including novices and surgeons, were recruited to ensure comprehensive insights reflecting varying levels of familiarity with the dVSS.
In the first part, a speech recognition control interface (SRCI) was introduced to enable simultaneous control of the endoscope and surgical instruments. This speech-mediated method reduces reliance on master tool manipulators (MTMs) and foot pedals in the dVSS, thereby ensuring a more continuous surgical workflow. The usability evaluation involved 20 surgeons and 18 novices. Both groups showed significant reductions in execution time across all tasks when using the SRCI, compared to traditional methods (p-value < 0.001). The questionnaire responses indicated lower physical demand and effort scores in the surgeon group. These results support the applicability of the speech-mediated approach for workload reduction, enhancing intraoperative continuity.
In the second part, a head-mounted display (HMD) was investigated as a substitute for the conventional vision interface of the dVSS, the stereo viewer (SV). By replacing the SV with the HMD, an approximately 90% volume reduction from 223,195 cm3 (SV) to 27,630 cm3 (HMD) was confirmed, which contributes significantly to the workstation miniaturization. The usability evaluation involved 26 surgeons and 40 novices. The performance analysis demonstrated no significant differences in task execution between the vision interfaces. Notably, the ergonomic analysis revealed significant postural advantages with the HMD, evidenced by statistical differences in craniovertebral angle (p-value < 0.001) and cervical spine moment (p-value < 0.001), supporting the alleviation of chronic fatigue associated with the fixed posture required for SV usage. The questionnaire responses also indicated positive user preferences toward the HMD. To further improve the operating environment when using the HMD, a virtual vision platform (VVP) was developed, enabling real-time access to multiple types of medical data in a virtual space. Participants showed favorable perceptions of the VVP in the technology acceptance score. Following these findings, a medically optimized HMD could serve as an innovative vision interface for robotic surgical systems.
In the third part, an unconstrained lightweight control interface (ULCI) was developed to substitute the traditional manipulation interface of the dVSS, namely the MTMs, with a contactless hand tracking mechanism. The ULCI, built on MediaPipe framework, uses four cameras to track the 3D landmarks of the user’s hands, enabling intuitive manipulator control. The usability evaluation involved 15 novices, and the results confirmed that the accuracy and latency of the ULCI did not hinder task performance, which contributed to the ease of adapting to the interface. Among the participants, 13 novices completed the task successfully and reported minimal fatigue in the distal upper extremities. However, the highest fatigue levels were observed in the shoulders due to prolonged arm abduction, indicating the need for ergonomic refinements such as adding adjustable armrests. Given its performance as a manipulation interface, the ULCI presents a promising alternative to the MTMs as well as contributes to broader applications in human-computer interaction.
Overall, this research demonstrates that speech-mediated control, HMD-based visualization, and contactless hand tracking mechanisms can enhance the usability and ergonomic properties of RAS platforms. Based on these contributions towards ergonomic design, the proposed improvements should be further integrated into an all-in-one surgeon console, reflecting supplementary enhancements, such as improving speech recognition accuracy, reducing the HMD weight for medical use, and adding the armrests to the surgeon side. Building upon the integration baseline proposed in this study, the final objective envisions a system in which a surgeon controls lightweight manipulators while wearing an HMD, with speech commands. These advancements in user-friendly interfaces are expected to contribute to the ergonomic design of the next-generation robotic surgical system, providing a more convenient operating environment for surgeons in the future.

국문 초록 (Abstract)

로봇보조수술은 최소침습수술 및 개복수술에 비해 적은 절개 영역으로 환자에게 제공될 수 있는 다양한 이점으로 인해 일반외과, 부인과, 비뇨의학과 등 의료 분과에서 널리 시행되고 있다. 다빈치 수술 시스템은 고해상도 입체 시야와 정밀한 로봇 조작 기능을 제공하는 대표적인 로봇보조수술 플랫폼이며, 집도의가 사용하는 Surgeon Console과 환자 측에 있는 로봇 팔이 상호 연동하여 작동한다. 다빈치 수술 시스템은 집도의에게 더 편안한 수술 환경을 제공하도록 발전되어 왔으며, 의료진의 임상적 요구 사항을 기반으로 여전히 개선이 필요하다.
본 연구는 차세대 로봇 수술 시스템으로 통합될 수 있는 3가지 핵심 요소인, 음성, 영상, 조작 인터페이스의 개선을 중심으로 구성되었다. 이를 검증하기 위해 서울대학교병원 기관생명윤리위원회의 승인(IRB No. H-2107–167-1236)에 따라 과업 수행 평가 및 설문조사를 포함한 사용성 평가를 실시하였다. 피험자는 다빈치 수술 시스템에 대한 친숙도가 다양한 집단으로 구성되어, 사용자 경험에 대한 폭넓은 통찰을 확보하고자 하였다.
음성 인터페이스 부분에서는, 음성 인식 기술을 적용한 Speech Recognition Control Interface (SRCI)를 도입하여, 다빈치 수술 시스템의 내시경과 수술 기구를 동시에 조작할 수 있는 방안을 제안하였다. 본 음성 기반 방식은, 기존의 Master Tool Manipulator (MTM) 및 페달의 반복적인 조작에 대한 의존도를 줄여, 보다 연속적인 수술을 가능하게 한다. 사용성 평가는 외과의 20명과 초심자 18명을 대상으로 수행되었고, 두 집단 모두 기존의 조작 방식에 비해 SRCI 사용 시 모든 과업에서 수행 시간이 유의미하게 단축되었으며(유의확률 < 0.001), 설문 결과에서는 외과의 집단에서 신체적 부담과 노력 지표의 경감이 확인되었다. 이러한 결과는 음성 기반 제어 방식이 작업 부담을 줄이고, 수술 중 과업의 연속성을 향상시킨다는 점에서 해당 방식의 적용 가능성을 시사한다.
영상 인터페이스 부분에서는, 다빈치 수술 시스템의 기존 영상 인터페이스인 Stereo Viewer (SV)를 대체할 수 있는 Head-mounted Display (HMD)의 적용 가능성을 검토하였다. SV를 HMD로 대체함으로써 영상 인터페이스의 부피가 223,195 cm³(SV)에서 27,630 cm³(HMD)로 약 90% 감소되어, 인터페이스의 유의미한 소형화에 대한 기여 사항을 확인하였다. 사용성 평가는 외과의 26명과 초심자 40명을 대상으로 수행되었으며, 두 영상 인터페이스 간의 과업 수행 결과에는 유의미한 차이가 없었다. 주목할 점은, HMD 사용 시 자세 측면에서의 유의미한 이점이 확인되었으며, 이는 인체공학적 분석에서 두개추골각 및 경추모멘트의 통계적으로 유의한 차이 (유의확률 < 0.001)로 보아, SV 사용 시 요구되는 고정된 자세로 인한 만성 피로를 완화할 수 있음을 시사한다. 또한, 설문 결과에서도 HMD에 대한 피험자들의 긍정적인 선호도를 확인하였다. HMD 기반의 수술 환경을 더욱 개선하기 위해, 가상 공간 내에서 다양한 의료 데이터를 실시간으로 확인할 수 있는 Virtual Vision Platform (VVP)을 개발하였으며, 기술 수용도 평가에서 VVP에 대해 피험자들의 긍정적인 인식을 확인하였다. 이러한 결과를 바탕으로, 의료 환경에 최적화된 HMD는 로봇 수술 시스템의 혁신적인 영상 인터페이스로 활용될 수 있을 것으로 기대된다.
조작 인터페이스 부분에서는, 다빈치 수술 시스템의 기존 조작 인터페이스인 MTM을 대체할 수 있는 비접촉식 손 추적 기반 조작 인터페이스인 Unconstrained Lightweight Control Interface (ULCI)를 개발하였다. MediaPipe 프레임워크를 기반으로 구현된 ULCI는 총 4개의 카메라를 통해 사용자의 손에 대한 3차원 랜드마크의 위치를 추적하며, 직관적인 기구 제어가 가능하도록 설계되었다. 사용성 평가는 초심자 15명을 대상으로 진행되었으며, 그 결과 ULCI의 정확도와 지연 시간은 과업 수행에 방해가 되지 않았고, 피험자들이 ULCI에 쉽게 적응할 수 있음을 확인하였다. 피험자 중 13명이 과업을 정상적으로 수행하였고, 원위 상지에서의 피로감은 최소 수준으로 보고되었다. 반면, 장시간의 팔 외전으로 인해 어깨와 목 부위에서 가장 높은 피로도가 확인되었으며, 이는 조절 가능한 팔걸이 추가의 필요성을 시사한다. 조작 인터페이스로써 ULCI의 성능을 고려할 때, ULCI는 기존 MTM을 대체할 수 있는 유망한 대안이자, 인간-컴퓨터 상호작용 분야에서 폭넓은 활용 가능성도 함께 제시한다.
본 연구는 음성 매개 제어, HMD 기반의 영상화, 비접촉식 손 추적 메커니즘이 로봇보조수술 플랫폼의 사용성 및 인체공학적 특성을 향상할 수 있음을 종합적으로 확인하였다. 이러한 인체공학적 개선 요소들을 바탕으로, 제안된 기술 요소들은 추후 일체형의 Surgeon Console로 통합될 필요가 있으며, 본 연구에서는 확인된 음성 인식 정확도 향상, 의료용 HMD의 경량화, 집도의 측 팔걸이 추가 등 후속 보완 사항도 함께 제시하였다. 본 연구에서 후속 단계로 제안하는 통합을 기반으로, 집도의는 HMD를 착용한 채 음성 명령 및 경량화 조작기를 제어하는 수술 시스템의 구현이 가능할 것으로 기대된다. 이러한 사용자 친화적 인터페이스의 발전은 차세대 로봇 수술 시스템의 인체공학적 설계에 기여하며, 향후 집도의에게 보다 편리한 수술 환경을 제공할 수 있을 것으로 기대된다.

목차 (Table of Contents)

• Abstract i
• Table of Contents vi
• List of Tables xiv
• List of Figures xvii
• List of Abbreviations xx
• Chapter 1. Introduction 1
• 1.1. Minimally Invasive Surgery 1
• 1.2. Robot-assisted Surgery 3
• 1.3. da Vinci Surgical System 5
• 1.4. Clinical Needs 10
• 1.5. Backgrounds 12
• 1.5.1. Preliminary Studies 12
• 1.5.2. Continuous Surgical Flow 14
• 1.5.3. Improvements of Vision Interface 15
• 1.5.4. Improvements of Manipulation Interface 16
• 1.6. Research Objectives 18
• 1.7. Dissertation Outline 20
• 1.8. Ethical Review 22
• Chapter 2. Materials and Methods 23
• 2.1. Continuous Surgical Flow 23
• 2.1.1. Environmental Setup 23
• 2.1.1.1. da Vinci Research Kit 23
• 2.1.1.2. Enhanced Endoscope Control System 25
• 2.1.1.3. Speech Recognition Control Interface 28
• 2.1.2. Manipulation Methods 30
• 2.1.2.1. Traditional Method 30
• 2.1.2.2. Proposed Method 30
• 2.1.3. Usability Evaluation 31
• 2.1.3.1. Summary 31
• 2.1.3.2. Line Tracking Task 32
• 2.1.3.3. Sea Spike Pods Task 33
• 2.1.4. Questionnaires 34
• 2.1.4.1. Summary 34
• 2.1.4.2. System Usability Scale 35
• 2.1.4.3. After-scenario Questionnaire 37
• 2.1.4.4. NASA Task Load Index 38
• 2.1.5. Participants 41
• 2.1.5.1. Protocol Summary 41
• 2.1.5.2. Demographics 42
• 2.2. Improvements of Vision Interface 43
• 2.2.1. Environmental Setup 43
• 2.2.1.1. Endoscope Control System 43
• 2.2.1.2. Head-mounted Display 45
• 2.2.1.3. Virtual Vision Platform 47
• 2.2.2. Usability Evaluation 48
• 2.2.2.1. Peg Transfer Task 48
• 2.2.2.2. Ring Transfer Task with Scenarios 49
• 2.2.2.3. Postural Approximation Model 52
• 2.2.3. Questionnaire 55
• 2.2.3.1. Summary 55
• 2.2.3.2. Satisfaction Survey 56
• 2.2.3.3. Vision Interface Comparison 57
• 2.2.3.4. Technology Acceptance Score 58
• 2.2.3.5. System Usability Scale 59
• 2.2.3.6. Comparative Assessment 60
• 2.2.4. Participants 61
• 2.2.4.1. Protocol Summary 61
• 2.2.4.2. Demographics in Preliminary Step 62
• 2.2.4.3. Demographics in Main Step 62
• 2.3. Improvements of Manipulation Interface 64
• 2.3.1. Unconstrained Lightweight Control Interface 64
• 2.3.1.1. Summary 64
• 2.3.1.2. Components Overview 65
• 2.3.1.3. Input Unit 66
• 2.3.1.4. Robot Control Unit 67
• 2.3.1.5. Visualization Unit 68
• 2.3.2. Hand Tracking in 3D Space 70
• 2.3.2.1. Naming Conventions 70
• 2.3.2.2. Localization of Hand Landmarks 70
• 2.3.3. Robot Control Mechanism 75
• 2.3.3.1. Operation Mode Selection 75
• 2.3.3.2. PSM Control 76
• 2.3.3.3. ECM Control 81
• 2.3.4. Usability Evaluation 82
• 2.3.4.1. Peg Transfer Task 82
• 2.3.4.2. Line Tracking Task 83
• 2.3.5. Questionnaires 85
• 2.3.5.1. Summary 85
• 2.3.5.2. Technology Acceptance Score 85
• 2.3.5.3. System Usability Scale 85
• 2.3.5.4. Fatigue Survey 86
• 2.3.6. Participants 87
• 2.3.6.1. Protocol Summary 87
• 2.3.6.2. Demographics 87
• 2.4. Statistical Analysis 88
• Chapter 3. Results 90
• 3.1. Continuous Surgical Flow 90
• 3.1.1. Environmental Validation 90
• 3.1.2. Performance Analysis 91
• 3.1.2.1. Line Tracking Task 91
• 3.1.2.2. Sea Spike Pods Task 93
• 3.1.3. Questionnaires 95
• 3.1.3.1. User Interaction Duration 95
• 3.1.3.2. System Usability Scale 96
• 3.1.3.3. After-scenario Questionnaire 99
• 3.1.3.4. NASA Task Load Index 100
• 3.2. Improvements of Vision Interface 102
• 3.2.1. Environmental Validation 102
• 3.2.2. Performance Analysis 103
• 3.2.2.1. Peg Transfer Task 103
• 3.2.2.2. Ring Transfer Task with Scenarios 106
• 3.2.3. Postural Approximation Model 111
• 3.2.4. Questionnaire 113
• 3.2.4.1. User Interaction Duration 113
• 3.2.4.2. Satisfaction Survey 113
• 3.2.4.3. Vision Interface Comparison 115
• 3.2.4.4. Technology Acceptance Score 116
• 3.2.4.5. System Usability Scale 118
• 3.2.4.6. Comparative Assessment 120
• 3.3. Improvements of Manipulation Interface 122
• 3.3.1. Intrinsic Characteristics 122
• 3.3.2. Usability Evaluation 125
• 3.3.2.1. Peg Transfer Task 125
• 3.3.2.2. Line Tracking Task 126
• 3.3.3. Questionnaires 128
• 3.3.3.1. User Interaction Duration 128
• 3.3.3.2. Technology Acceptance Score 128
• 3.3.3.3. System Usability Scale 129
• 3.3.3.4. Overall Fatigue 132
• Chapter 4. Discussion 133
• 4.1. Continuous Surgical Flow 133
• 4.2. Improvements of Vision Interface 137
• 4.3. Improvements of Manipulation Interface 142
• 4.4. Integration Baseline 147
• Chapter 5. Conclusion 150
• 5.1. Continuous Surgical Flow 150
• 5.2. Improvements of Vision Interface 151
• 5.3. Improvements of Manipulation Interface 152
• 5.4. Next-generation Robotic Surgical System 153
• Acknowledgments 155
• Funding 157
• References 158
• Appendix 214
• A. Participants Labeling Scheme 214
• B. User Data in Speech Interface Evaluations 215
• C. User Data in Vision Interface Evaluations 221
• D. User Data in Manipulation Interface Evaluations 233
• Abstract in Korean 236
• 감사의 글 (Special Acknowledgments) 240