소아중환자실 보호자를 위한 생성형 인공지능 기반의 임상 정보 자동 요약 시스템 개발 및 타당성 평가 = Development and Feasibility Evaluation of Automated Summary System for Clinical Information Based on Generative Artificial Intelligence for Pediatric Intensive Care Unit Parents

다국어 초록 (Multilingual Abstract)

Parents of pediatric intensive care unit patients often experience anxiety and stress due to unfamiliar environments and limited communication with medical staff. Although information provision can be an effective strategy to alleviate this distress, traditional methods such as in-person visits are often restricted by time, personnel, and infection control protocols. Alternatives like phone calls, text messages, and video visits have been implemented but remain insufficient in addressing parents’ diverse information needs, while also increasing the workload of medical staff. In this context, generative artificial intelligence shows potential for summarizing clinical information and may serve as an alternative method for information delivery to parents. The purpose of this study is to evaluate the feasibility of a system that automatically summarizes and delivers clinical information using generative artificial intelligence based large language models for parents in the pediatric intensive care unit.
The research process was structured into three main phases: needs assessment, prototype development, and feasibility evaluation. In the first phase, semi-structured interviews were conducted with 10 parents who had prior experience with pediatric intensive care unit hospitalization, to explore their information needs. The collected data were reviewed and refined through discussions with two clinicians to determine the scope of clinically feasible information.
In the second phase, the system prototype was developed. The types and formats of information to be summarized were designed, and 15 virtual clinical scenarios were created - 5 used as examples within the prompt to guide summary generation, and 10 used as test scenarios. Three large language models - GPT-4o, Claude 3.7 Sonnet, and Gemini 2.0 Flash were selected based on their performance benchmarks, scale and public recognition. Using prompt engineering, prompts were designed to include persona, roles, required summary format, content categories, and instructions, along with 5 scenario-summary pairs. Each test scenario was input individually due to token limitations, and the models generated summaries across 10 iterations. The summaries were evaluated using BERTScore and human reviews. Based on the result of combined evaluation, the optimal summary was selected to build the prototype, followed by the development of a user interface for effective information delivery.
In the third phase, 10 parents who did not participate in the initial interviews were recruited to assess the prototype’s usefulness and satisfaction. After interacting with the prototype, participants completed a 4-point Likert scale questionnaire and participated in semi-structured interviews. Based on the needs assessment, the information to be summarized was categorized into general condition, medical condition, and labaratory tasks. General and medical conditions were presented in the summary, while labaratory tasks were provided under a separate tab.
Among the 19 summaries that could be generated, GPT-4o completed 15, Claude 3.7 Sonnet generated 17, and Gemini 2.0 Flash produced 14. Claude 3.7 Sonnet achieved the highest average BERTScore (F1 score = 0.845±0.04). Human review results showed that while all models follow the formatting instructions well, differences were noted in their contextual understanding and expression of content. The first summary of scenario 9 generated by Claude 3.7 Sonnet was ultimately used to develop the prototype.
The feasibility evaluation showed that parents perceived the system as highly useful and satisfactory. The overall average score on the Likert scale was 3.6 (±0.57), and parents positively evaluated the ability to access additional patient information without burdening clinical staff, expressing expectations for real-world implementation.
This study assessed the potential of generative artificial intelligence in clinical settings by involving actual end-users (pediatric intensive care unit parents) and provided foundational data for future development of technology-assisted medical information delivery systems. While generative artificial intelligence holds significant promise for improving productivity and accessibility, it may also introduce issues such as hallucination and risks to personal data privacy. Therefore, its implementation in healthcare settings should be accompanied not only by performance enhancements but also by ethical considerations.

국문 초록 (Abstract)

소아중환자실 보호자는 낯선 환경, 의료진과의 의사소통 부족 등으로 인해 불안과 스트레스를 경험한다. 정보제공은 이를 완화하는 데 효과적인 전략이 될 수 있으나, 기존의 정보제공 수단으로 이용되는 대면 면회는 시간과 인원의 제한이 있고, 감염병 상황에서는 금지되기도 하여 환자 상태에 대한 정보를 얻기에 충분하지 않다. 이를 보완하기 위해 전화, 문자, 화상 면회 등이 활용되었지만, 이 역시 보호자의 다양한 요구를 충족시키지 못하고, 의료진의 업무 부담을 가중시킨다는 한계가 있었다. 한편, 생성형 인공지능은 임상 정보 요약에 높은 가능성을 보이고 있어, 보호자의 스트레스 완화와 만족도 향상을 위한 정보제공 방식의 대안으로 활용될 수 있다. 이에 본 연구는 생성형 인공지능 기반 대형언어모델을 활용하여 소아중환자실 보호자를 대상으로 임상 정보를 자동으로 요약하여 제공하는 시스템의 실현 가능성을 평가하고자 하였다.
연구 과정은 크게 요구 수집, 프로토타입 개발, 타당성 평가의 세 단계로 이루어졌다. 첫 번째, 요구 수집 단계에서는 소아중환자실 입실 경험이 있는 보호자 10명을 대상으로 반구조화 인터뷰를 통해 정보제공에 대한 요구사항을 수집하였다. 수집된 요구사항에 대해 소아중환자실 의료진 2인과 논의를 거쳐 실제 임상 현장에서 제공 가능한 정보의 범위를 조율하고 최종적인 요구사항을 선정하였다.
두 번째, 프로토타입 개발 단계에서는 요약을 생성시킬 정보의 종류와 방식을 설계하고, 이를 기반으로 15개의 가상 시나리오를 만들어 5개는 모델이 요약 방식을 익힐 수 있도록 프롬프트 내에 예시로, 10개는 실제 요약문 생성에 사용되었다. 요약을 생성할 대형언어모델은 모델의 성능을 평가하는 여러 가지 지표와 규모, 인지도 등을 다각도로 고려하여 GPT-4o, Claude 3.7 Sonnet, Gemini 2.0 Flash로 선정하였다. 프롬프트 엔지니어링 기법을 활용하여 모델의 페르소나와 역할, 요약할 정보의 범주, 생성 방식, 주의사항과 함께 예시 시나리오 5개가 포함되도록 프롬프트를 구성하였다. 토큰 허용량을 고려하여 10개의 테스트 시나리오는 하나씩 입력되었다. 각 모델이 생성한 요약에 대해 BERTScore를 계산하고, 휴먼 리뷰를 통해 요약의 성능을 평가하였다. 두 평가 결과를 종합하여 프로토타입 개발 시 사용할 최적의 요약을 선정하고, 이를 효과적으로 전달하기 위한 사용자 인터페이스 디자인을 거쳐 프로토타입을 개발하였다.
세 번째, 개발된 프로토타입에 대해 유용성과 만족도를 조사하였다. 조사 대상은 소아중환자실 입실 경험이 있는 보호자 중 요구 수집을 위한 인터뷰에 참여하지 않은 10명을 모집하였다. 모집된 대상자들은 프로토타입을 경험한 후, 4점 리커트 척도로 구성된 설문지 작성과 반구조화 형식의 인터뷰에 참여하였다.
요구 수집 결과와 의료진의 의견을 종합하여, 요약에 포함될 정보의 종류를 일반적 상태, 의학적 상태, 검사로 분류하고, 일반적 상태, 의학적 상태는 요약에, 검사는 프로토타입 내의 별도의 탭으로 제공되도록 구성하였다. 이를 바탕으로 대형언어모델이 요약을 생성한 결과, 생성 가능한 19개의 요약 중 GPT-4o는 15개의 요약을, Claude 3.7 Sonnet과 Gemini 2.0 Flash는 각각 17, 14개의 요약을 생성하였다. BERTScore는 Claude 3.7 Sonnet가 생성한 요약의 F1점수 평균이 0.845(±0.04)로 가장 높게 나타났다. 휴먼 리뷰 결과 세 모델 모두 형식에 대한 지시사항은 잘 준수하였으나, 제시된 임상 정보에 대한 이해도나 표현 방식 등에서 차이가 나타났다. 두 평가 결과를 종합하여, 가장 높은 평가를 받은 Claude 3.7 Sonnet이 생성한 테스트 시나리오 9번의 첫 번째 요약문이 프로토타입 개발에 이용되었다.
개발된 프로토타입에 대해 타당성 평가 단계에서 보호자들은 전반적으로 높은 유용성과 만족도를 나타냈다. 리커트 척도를 통한 설문에서 전체 문항의 평균은 3.6점(±0.57)이었으며, 보호자들은 의료진에게 주는 부담 없이 환자 상태에 대해 추가로 알 수 있다는 점을 긍정적으로 평가하며, 해당 시스템의 실현 가능성에 대한 기대감을 표하였다.
본 연구는 임상 현장에서 생성형 인공지능 기술의 활용 가능성을 소아중환자실 보호자라는 실사용자를 대상으로 평가하였으며, 향후 의료 현장에서 기술을 이용한 정보제공 방법 개발의 기초자료를 마련하였다. 그러나 생성형 인공지능은 생산성 향상을 위한 유용한 도구임과 동시에 환각 현상이나 개인정보 침해와 같은 문제를 유발할 수 있어, 의료 현장에서 이를 도입할 때에는 윤리적 고려는 물론, 성능의 고도화 및 면밀하고 체계적인 평가가 선행되어야 할 것이다.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 1 절 연구의 필요성 1
• 제 2 절 연구의 목적 6
• 제 3 절 용어의 정의 7
• 제 2 장 문헌고찰 9
• 제 1 절 정보제공 9
• 제 2 절 대형언어모델 13
• 제 3 장 이론적 기틀 17
• 제 1 절 DeLone & McLean의 정보 시스템 성공 모델 17
• 제 4 장 연구 방법 20
• 제 1 절 연구 설계 20
• 제 2 절 요구 수집 22
• 제 3 절 프로토타입 개발 24
• 제 4 절 타당성 평가 30
• 제 5 절 윤리적 고려 32
• 제 5 장 연구 결과 33
• 제 1 절 요구 수집 33
• 제 2 절 프로토타입 개발 41
• 제 3 절 타당성 평가 54
• 제 6 장 논 의 59
• 제 1 절 정보제공 요구 분석 59
• 제 2 절 대형언어모델 성능 비교 62
• 제 3 절 타당성 평가 결과 분석 67
• 제 4 절 연구의 제한점 71
• 제 5 절 연구의 의의 72
• 제 7 장 결론 및 제언 73
• 제 1 절 결론 73
• 제 2 절 제언 75
• 참 고 문 헌 77
• Abstract 97