간호교육을 위한 혼합현실 기반 피내주사 처치용 인터랙션 디자인

다국어 초록 (Multilingual Abstract)

Nursing Science provides a specialized curriculum whose goal is to produce professional nurses, and it is oriented toward the education that is needed by them to do their profession as nurses in a clinical setting. Nurses then treat basic field training courses in nursing as important to perform in the clinical field. The Core Fundamental Nursing Skills, which cover the essential content for nurses in clinical practice, provide 18 essential skilled protocols that determine the standardized minimum clinical performance abilities that are required from graduates. Despite the importance of a clinical practice course, however, nursing students face a situation that does not allow them enough clinical practice. Of these essential skills, injections are considered high-performance frequency and important. Since it is difficult for nursing students to give an injection to real patients as part of their training, it is replaced by field training that includes models and theater of situations. An intradermal injection is, in particular, one of the items that lacks practice opportunities due to these limitations.
Simulation-based field training is introduced to reinforce field training on intradermal injections for nurses, but there are ongoing discussions on how to supplement it due to expensive equipment and lack of immersion. As an alternative, Augmented Reality (AR) and Virtual Reality (VR) of EdTech offer educators high satisfaction in safety and cost and promise high learning effects based on autonomous problem solving and easy knowledge acquisition. There field training that utilizes AR and VR technologies in the fields of nursing and medicine is increasing, but it has its share of issues, such as high initial cost, difficult technological operation, and cybersickness.
Recently, mixed reality (MR) has been gaining populatirty as a new alternative. By mixing VR with AR and delivering information based on the five senses, MR enables reinforced interactions. Based on the combination of hand tracking, voice recognition, haptics, and olfactory systems, it proposes the possibility of various interaction developments in the fields of practice, performance, experience, and training. Nebeling's six types of MR, which are the most widely used among the MR methods, choose the combination of AR and VR and have users travel between AR and VR on a single device according to their goals. These methods are effective as they offer the benefits of AR to enhance the sense of reality through the fusion of real and virtual information and, at the same time, the merits of VR to increase immersion with virtual information. Therefore, this study aims to develop an EdTech MR program that covers antibiotic dilution methods, injection methods, and performance orders in intradermal injection education as part of essential nursing skills and tests its possibilities of supplementing simulation-based practice lessons with theater of situations and models.
For this purpose, the study proceeded in four major stages. In the first stage of user surveys, the researcher examined problems and difficulties during intradermal injection education in the practice room by conducting 1:1 interviews with professors and students in the department of nursing. An online survey was conducted with 40 nursing students to identify various difficulties and problems during the intradermal injection practice lessons in the educational environment of the practice room as part of learning Core Fundamental Nursing Skills. Data was collected from the survey to find which of the 27 steps in the intradermal injection performance required education first. Then the essential items were identified and utilized as data for a prediction model.
In the second stage, a prediction model was developed based on the comparative study of Kim, J.K. & Yun, J.Y. (2023) between VR Practice Training and Lab Practice Training. The participants had higher satisfaction with VR practice as they studied Core Fundamental Nursing Skills. Their satisfaction was higher with practice in the practice room as they studied detailed hand skills. The researcher created a virtual persona for a nursing student to figure out the most important user experience in the plan of a prediction model by reflecting the results. The Function Tree step was designed by building a flow for circumstantial scenarios that users would feel as they experienced nursing skills in virtual reality first-hand. The analysis of intradermal injection scenarios shows that the participants performed diverse jobs with their hands and engaged in repetitive voice communication with their patients to check their reactions. Based on these results, two types of interaction had to be included in the MR content design. The prototype of an MR intradermal injection interaction design was organized to allow users to choose between VR and AR according to their study goals. If they chose VR, they could study the entire intradermal injection scenarios as part of their Core Fundamental Nursing Skills. If they chose AR, they could study four detailed hand skills for an intradermal injection.
In the third stage, the researcher devised a three-step approach for application. Step 1 involved an experiment to realize interaction design functions, and it was applied to a nursing instructor and a developer. In Step 2, another experiment was carried out to realize the functions of an intradermal injection scenario and drive a VR and AR system. Step 3 saw the test application of the prototype in three nursing students who took the courses on Core Fundamental Nursing Skills in their sophomore year, one clinical nurse, and one nursing instructor for minute partial revision supplementation and a higher level of completion. The voice of a standardized patient fitting the age group of the virtual patients was recorded and applied to STT. Standard data was extracted through demonstrations by a nursing professor and the capture of a clinical nurse's hand motions to maximize the presence of the prototype and the immersion of interactions.
In the last stage, the final prototype was completed and applied to a total of 85 participants, including 71 nursing students, 10 clinical nurses, and four nursing professors. The usability of the prototype was measured with a questionnaire, and the application effects of its interaction design were tested with a 1:1 interview. For an evaluation index, the study made a testing instrument with four components: Sensory Elements, Flows, Interactions, and Satisfaction with Practice based on the research questions set in the present study by considering purpose and directionality. In the survey, VR experiences were separated from AR experiences. A descriptive statistical analysis was carried out to calculate the mean and standard deviation and check the response tendency of VR experiences. Interactions scored the highest mean points at 4.24 out of 5, followed by Sensory Elements at 4.22, Satisfaction with Practice at 4.20, and Flows at 3.87, in that order. These findings imply that VR experiences involving voice interactions for virtual patients and hand gesture interactions for performance were effective for performance. In AR experiences, Satisfaction with Practice scored the highest mean points at 4.37 out of 5, followed by Sensory Elements at 4.12 and Interactions at 4.06, in that order. These findings can be explained by the importance of experiences needed in clinical practice as AR allows users to come in contact with objects in a real environment.
The study examines which of the field training choices was more effective in the Sensory aspect by comparing and analyzing the effectiveness of VR and AR experiences and found that 68 (80.0%) and 17 (20.0%) of the 85 participants chose AR and VR, respectively. These findings show their preference for AR in the Sensory aspect. They also imply that the Visual Elements of checking the practice space and the participant's hand directly with one's eyes had a huge influence on MR practice along with the Tactile Elements to hold a nursing tool with a hand and inject. The study then analyzed which of the field training choices were more effective in the Interaction aspect and found that 41 (48.2%), 42 (49.4%), and 2 (2.4%) of the entire 85 participants chose VR, AR, and VR & AR, respectively. These findings show that VR and AR were almost equal in the aspect of Interaction. They also imply that the Interaction design developed by the researcher around hand gestures and voices made a good choice with both VR and AR for users in the realization of MR. Hand gestures became a means of operation at all stages and voices became a tool of communication. There should be a further discussion about the need to develop such training and practice education with an emphasis on the Interaction aspect. In addition, the study analyzed which of the field training choices was more effective in the Flow aspect and found that 40 (47.1%), 41 (48.2%), and 4 (4.7%) chose VR, AR, and VR & AR, respectively. These findings also suggest that VR and AR were almost equal in Flow. These findings imply that AR-based practice promoted the immersion of students through their voice communication with virtual patients around the scenarios in the core nursing skills and that AR-based practice enhanced their concentration through their virtual hand gestures for nursing supplies and exchanges.
Finally, the study examined how the effectiveness of VR and AR influenced the participants' Final Satisfaction with practice and found that Interactions and Flows had significant effects on it in VR with the former having more effects than the latter. In AR, Sensory Elements and Interactions had statistically significant effects with the latter having more effects than the former. These results indicate that interaction experiences have a huge impact on the satisfaction of users in MR-based nursing practice and imply a need to reflect them first on future efforts to develop MR-based nursing practice.
This study demonstrates that MR simulations have the possibility of supplementing clinical practice and can provide educational effects close to the Simulation-based practice education level with double patients and models. The findings of the study imply that a custom interaction design based on opinions collected from the clinical field can be further applied to all fields of medicine as well as Core Fundamental Nursing Skills. The findings will hopefully contribute to the development of various interaction designs that will lead MR-based medical education simulations to innovation and promote the development of EdTech.

국문 초록 (Abstract)

간호학은 전문 간호인 배출을 목적으로 삼는 전문 교육과정으로 간호사로서 임상에서 전문적인 실무를 수행하는 데 필요한 교육을 지향하고 있다. 특히, 임상현장의 실무 수행을 위한 기본간호학 실습교육 과정이 중요하게 다루어지고 있다. 임상 실습 중 특히 간호사에게 필수 내용인 핵심간호술은 졸업생들에게 요구되는 최소한의 표준화된 임상 수행능력을 정리한 18가지 핵심간호술 프로토콜을 말한다. 그러나 이와 같은 임상 실습 과정의 중요성에도 불구하고, 임상 실습을 충분히 할 수 없는 상황에 직면하고 있다. 이 중 주사 처치는 높은 수행 빈도와 중요성을 갖는데, 현실적으로 실제 환자에게 수행하기 어려워 모형과 상황극을 활용한 실습교육으로 대체하고 있다. 특히, 피내주사 처치는 이러한 제약으로 실습 기회가 부족한 항목 중 하나이다.
간호사의 피내주사 실습교육을 강화하기 위해 시뮬레이션 실습교육을 도입하고 있지만, 고가의 장비와 실재감 부족으로 이를 보완하기 위한 논의가 계속되고 있다. 그 대안으로 에듀테크의 가상·증강현실(AR·VR) 기술이 안전과 비용 측면에서 교육자들에게 높은 만족도를 제공하며 자율적 문제해결과 쉬운 지식 획득으로 학습 효과가 높다. 간호·의료 분야에서도 가상·증강현실(AR·VR) 기술을 활용한 실습교육이 증가하고 있지만, 초기 비용의 부담과 기술적 조작 어려움, 사이버 멀미 같은 문제점도 가지고 있다.
최근에는 혼합현실(MR: Mixed Reality)이 새로운 대안으로 떠오르며 가상현실과 증강현실을 혼합하여 오감의 정보를 사용자에게 전달함으로써 강화된 상호작용을 가능케 한다. 핸드 트래킹, 음성인식, 햅틱, 후각 시스템의 조합으로 실습, 실기, 체험, 훈련 분야에서 다양한 상호작용 개발의 가능성을 제시하고 있다. 혼합현실 방식 중에서도 가장 널리 활용되는 Nebeling의 6가지 혼합현실 유형 분류에서는 증강현실과 가상현실의 조합(Combination)의 방식을 선택하여 하나의 디바이스에서 사용자가 목적에 따라 증강현실과 가상현실을 오가는 특징이 있으며, 현실정보를 기반으로 가상 정보를 융합함으로써 현실감을 향상시키는 증강현실의 이점과 동시에, 가상 정보로 인해 몰입감을 높일 수 있는 가상현실의 장점을 모두 갖추고 있다는 점에서 효과적이다. 따라서, 본 연구에서는 핵심간호술 피내주사 처지 교육의 항생제 희석법, 주사방법, 수행순서 등을 혼합현실 에듀테크로 개발하여 상황극과 모형을 사용하는 시뮬레이션 실습수업의 보완 가능성 검증에 연구의 목적을 둔다.
본 연구의 목적을 달성하기 위해, 크게 4단계를 걸쳐 진행하였다. 먼저, 사용자 조사 단계에서 간호학과 대학교수와 대학생을 대상으로 1:1 인터뷰 방식의 피내주사 처치 실습실 교육 시에 경험하는 문제점과 어려운 점을 조사하고, 40명의 간호대학생의 온라인 설문을 통해 실습실 실습 교육환경에서 기본 간호술 피내주사 실습수업 수행 시 발생하는 다양한 어려움과 문제점 피내주사 수행 27단계 중 우선 교육 필요 항목의 데이터를 수집하였다. 이후 핵심 필요사항을 추출하여 예측모델을 위한 데이터로 활용하였다.
다음으로, 예측모델은 김정기, 윤재영(2023)의 가상현실 실습실 실습과 실습실 실습의 비교연구를 기반으로 하며, 이는 가상현실 실습의 핵심간호술은 학습 과정에 높은 만족도를 보인 반면, 세부 수기술에는 실습실 실습에 더 높은 만족도를 보였다. 이를 반영하여 예측모델 기획에 있어 가장 중요한 사용자경험을 파악하기 위해 가상의 간호학과 학생 페르소나를 만들어 체험자가 직접 간호 수기술을 가상현실로 체험했을 때 느끼게 될 정황 시나리오 플로우를 구축해 봄으로써, 펑션 트리(Fuction Tree) 단계를 설계하였다. 피내주사 시나리오를 분석하면, 손을 사용하여 다양한 수행을 하며 간호대상자의 반응을 확인하기 위해 반복적으로 음성 커뮤니케이션을 진행하는 것을 확인할 수 있다. 따라서 두 타입의 상호작용은 혼합현실 콘텐츠 디자인에 반드시 포함해야 하였다. MR 피내주사 인터랙션 디자인 프로토타입은 사용자가 학습의 목적에 따라 VR 또는 AR을 선택하고 VR은 전체 핵심간호술 피내주사 수행 시나리오를 학습하고, AR은 피내주사의 4가지 세부 수기술을 학습할 수 있게 구성하였다.
이후 3단계에 걸친 적용 방법 고안에서 1단계는 인터랙션 디자인 기능 구현을 위한 실험으로 적용 대상은 간호 교수자 1인, 개발자 1인이며, 2단계는 피내주사 시나리오 기능 구현, VR과 AR 시스템 구동을 위한 실험이었다. 마지막 3단계는 핵심간호술 교과목을 배우는 2학년 간호학과 재학생 3인과 임상 간호사 1명, 간호학 교수자 1명에게 프로토타입을 시범 적용하여 미세한 부분 수정 보완과 완성도를 올렸다. 가상환자의 연령대에 맞는 표준화 환자의 음성을 녹음하여 STT에 적용하였고, 간호학과 교수의 시연과 임상 간호사의 손 모션캡쳐를 통한 표준의 데이터를 추출하여 프로토타입의 현장감(Presence)과 상호작용의 실재감(Immersion)을 극대화했다.
마지막으로 최종 프로토타입이 완료된 후 간호학과 재학생 71명, 임상 간호사 10명, 간호학과 대학교수 4명의 총 85명에서 적용하고, 사용성에 대하여 설문지 및 1:1 인터뷰를 통해 인터랙션 디자인 적용 효과검증을 수행하였다. 평가지표는 본 연구에서 설정했던 연구 문제를 근거로 목적 및 방향성을 고려하여 검증 도구를 감각적 요소, 플로우, 상호작용, 실습만족도의 4가지로 구성하였으며 VR 경험과 AR 경험에 대하여 구분하여 설문을 수행하였다. VR 체험의 응답 경향성을 확인하기 위하여 평균, 표준편차를 계산하는 기술통계 분석을 수행하였다. 그 결과, 5점 만점 기준으로 상호작용의 점수가 평균 4.24점으로 가장 높았고 다음으로 감각적 요소 4.22점, 실습 만족도 4.20점, 플로우 3.87점의 순이었다. 이는 VR 체험이 가상환자를 사용한 음성 인터랙션과 수행을 위한 손동작 인터랙션이 수행에 있어 효과적이었음을 시사한다. AR 체험의 결과, 5점 만점 기준으로 실습 만족도의 점수가 평균 4.37점으로 가장 높았고, 다음으로 감각적 요소 4.12점, 상호작용 4.06점의 순이었다. AR은 실제 환경에서 사물과 접촉한다는 측면에서 임상에 필요한 경험의 중요성 때문에 이런 결과가 도출된 것으로 보인다.
VR 및 AR 체험의 효과성에 대한 비교 분석 결과, 감각적인 측면에서 어떤 실습교육이 더 효과적이었는지 확인 결과, 전체 85명 중 AR이라고 응답한 사용자가 68명(80.0%), VR이라고 응답한 사용자가 17명(20.0%)으로 나타나 감각적 측면에서는 AR을 더 선호함을 알 수 있었다. 이러한 점은 실습 공간과 체험자의 손을 직접 눈으로 확인할 수 있는 시각적 요소와 간호 물품을 손으로 잡고 주사하는 촉각적 요소가 혼합현실 실습에 큰 영향을 준 시사점을 가진다. 다음으로 상호작용 측면에서 어떤 실습교육이 더 효과적이었는지에 관한 분석 결과, 전체 85명 중 VR이라고 응답한 사용자가 41명(48.2%), AR이라고 응답한 사용자가 42명(49.4%), VR과 AR 모두 응답한 사용자가 2명(2.4%)으로 나타나 상호작용 측면에서는 VR과 AR의 수준은 거의 동등함을 알 수 있었다. 이러한 점은 본 연구에서 개발한 손동작과 음성 중심의 인터랙션 디자인이 혼합현실 구현에 있어, VR과 AR 모두 사용자 중심에 맞추어 잘 선정이 되었다는 시사점을 가진다. 손동작은 모든 단계의 조종의 수단이 되었으며 음성은 커뮤니케이션의 도구가 되어 향후, 이러한 훈련과 실습교육 개발 시 상호작용 측면을 강조하여 개발해야 할 필요성에 관한 논의가 요구됨을 알 수 있다. 플로우 측면에서 어떤 실습교육이 더 효과적이었는지에 관한 분석 결과는 VR이라고 응답한 사용자가 40명(47.1%), AR이라고 응답한 사용자가 41명(48.2%), VR과 AR 모두 응답한 사용자가 4명(4.7%)으로 나타나 플로우 측면에서도 VR과 AR의 수준은 거의 동등함을 알 수 있었다. 이는 VR 실습은 핵심간호술에서 제시한 시나리오 중심으로 가상환자의 음성 대화를 통하여 학습자의 몰입을 이끌었으며 AR 실습은 간호 물품을 가상 손동작과 교류를 통하여 집중을 올렸다는 시사점을 가진다.
마지막으로, VR과 AR의 효과성 측면이 최종적인 실습 만족도에 어떠한 영향을 미치는지 확인한 결과, VR의 경우 상호작용과 플로우의 영향력은 유의했고 상대적으로 상호작용의 영향력이 더 컸다. AR의 경우 촉각적 요소와 상호작용의 영향력이 통계적으로 유의했으며 상호작용의 영향력이 상대적으로 더 컸다. 이는 MR 간호실습에서는 상호작용 경험이 체험자의 만족도에 큰 영향을 주는 것으로 판단할 수 있으며 향후 간호실습 MR 개발에 이를 최우선으로 반영할 필요가 있음을 시사한다.
이에 본 연구는 혼합현실 시뮬레이션이 임상 실습을 보완할 수 있는 가능성을 확인시켜 주며, 대역 환자와 모델 시뮬레이션 실습교육 수준에 근접하는 교육적 효과를 도출할 수 있음을 확인하였다. 본 연구의 결과를 토대로 향후 임상 현장의 의견을 수렴한 맞춤형 인터랙션 디자인은 기본 간호술뿐만 아니라 모든 의료분야로 확장 적용할 수 있음에 대한 시사점을 제공한 것으로 사료한다. 향후 혼합현실 의료교육 시뮬레이션을 혁신적으로 이끌어갈 수 있는 다양한 인터랙션 디자인이 개발되어 에듀테크의 발전을 도모해 나가길 기대한다.

목차 (Table of Contents)

• I. 서론 1
• 1.1. 연구 배경 및 목적 1
• 1.2. 연구 문제 4
• 1.3. 연구 방법 및 구성 체계 5
• 1.3.1. 연구 방법 5
• 1.3.2. 구성 체계 5
• II. 이론적 고찰 7
• 2.1. 간호교육 분야에서의 에듀테크 7
• 2.1.1. 에듀테크 개요 7
• 2.1.2. 간호교육 분야에서의 에듀테크 도입 요구 13
• 2.1.3. 간호교육 분야에서의 에듀테크 활용사례 15
• 2.2. 핵심간호교육 21
• 2.2.1. 핵심간호교육 개요 21
• 2.2.2. 피내주사 처치 교육의 중요성과 한계 23
• 2.2.3. 피내주사 처치 내용 26
• 2.2.4. 피내주사 처치 임상 실습 절차 30
• 2.3. 혼합현실(MR) 기반 에듀테크와 인터랙션 35
• 2.3.1. 혼합현실 기반 에듀테크의 인터랙션 방식 35
• 2.3.2 혼합현실 기반 인터랙션 디자인 연구 현황 45
• 2.3.3. 혼합현실 기반 에듀테크의 간호교육 적용 사례 48
• III. 연구 방법 52
• 3.1. 사용자 조사 53
• 3.2. 프로토타입 구현 54
• 3.2.1. 예측 모델 구성 54
• 3.2.2. 혼합현실 방식 선택 56
• 3.2.3. 인터랙션 디자인 방향 선택 56
• 3.3. 적용 방법 고안 58
• 3.4. 인터랙션 디자인 적용 효과검증 60
• 3.4.1. 검증 대상 60
• 3.4.2. 검증 도구 60
• 3.4.3. 결과 분석 방법 62
• Ⅳ. 연구 결과 64
• 4.1. 사용자 조사 결과 64
• 4.2. 프로토타입 구현 71
• 4.2.1. 예측 모델 도출 71
• 4.2.2. 혼합현실 구현 88
• 4.2.3. 인터랙션 92
• 1) 손동작 인터랙션 92
• 2) 음성 인터랙션 103
• 4.2.4. 프로토타입 제작 106
• 4.3. 적용 방법 고안 결과 108
• 4.3.1. VR 시연 적용 환경 구성 108
• 4.3.2. 프로토타입 적용 1단계 108
• 4.3.3. 프로토타입 적용 2단계 110
• 4.3.4. 프로토타입 적용 3단계 111
• 4.3.5. 프로토타입 최종 112
• 4.4. 인터랙션 디자인 적용 효과검증 결과 115
• 4.4.1. 검증 대상 115
• 4.4.2. VR 체험 인터랙션 디자인 적용 효과검증 결과 116
• 4.4.3. AR 체험 인터랙션 디자인 적용 효과검증 결과 127
• 4.4.4. AR 및 AR 체험의 효과성에 대한 비교 분석 결과 133
• 4.4.5. VR 및 AR 체험의 효과성이 실습 만족도에 미치는 영향 143
• Ⅳ. 결론 148
• 5.1. 연구 요약 148
• 5.2. 연구의 시사점 및 의의 152
• 5.3. 연구의 한계점 및 제언 156
• 참고문헌 158
• 부록 170
• Abstract 178