Exploring Korean Medicine professions' perspectives on the applicability of ChatGPT in facial palsy practice : A web-based survey

다국어 초록 (Multilingual Abstract)

Objective
Since November 2022, when Chat generative pre-trained transformer (ChatGPT) was released to the general public, studies have been conducted to explore its potential use in various text-based areas such as education and healthcare. In the medical field, researchers have examined the possibilities and limitations of using ChatGPT for tasks such as medical records, research, and education. In the field of Korean Medicine (KM), efforts are being made to assess the feasibility of utilizing ChatGPT; such research has mainly focused on the educational domain. To date, no research has explored the applicability of ChatGPT in the clinical practice of KM. In this context, this study aimed to 1) identify the current level of ChatGPT-generated responses in answering questions from patients and KM practitioners, specifically exemplified by facial palsy and 2) explore the potential applicability of ChatGPT in KM practice through a perception survey of experts.

Methods
This study was certified as exempt from review by the Kyung Hee University Institutional Review Board (IRB) on August 24, 2023 (KHSIRB-23-302). Thirty-three board-certified acupuncturists were contacted via email containing the survey link, and 30 participants went through screening questions. Subsequently, the answers generated by ChatGPT (GPT-4 model, August 30, 2023) to 20 common and frequent questions were evaluated (10 questions from the viewpoints of patients and KM doctors, respectively) using a Likert scale to gauge overall usability. The comprehensive assessment of ChatGPT's usability employed the ‘standardized assessment tool for public health information scale’, which consists of four domains: 1) reliability, 2) usefulness, 3) ease of understanding, and 4) sufficiency. Finally, an open-ended descriptive question was included to gather opinions for an overarching assessment of the survey. The results of the multiple-choice questions are presented in terms of frequency and ratio accompanied by the actual data gathered from the descriptive question.

Results
Among thirty-three eligible participants, thirty board-certified acupuncturists agreed to participate (response rate: 90.9%). Thirty responses to essential multiple-choice questions and 16 responses to optional descriptive questions were collected and analyzed. The survey results showed that the applicability of ChatGPT responses was lower for specialized KM practitioner inquiries than for general patient inquiries. Although the responses were considered useful to the readers (part 1: 96.7%, part 2: 63.3%) and understandable (part 1: 66.7%, part 2: 60%), the proportion of positive evaluations was relatively low in the domains assessing reliability (i.e., the certainty of information without error or exaggeration) and sufficiency (i.e., adequate explanation of alternatives). Participants' responses in the narrative analysis revealed concerns about reliability in ChatGPT-generated responses to inquiries from KM practitioner. They also noted instances of ‘artificial hallucination’ and identified insufficiency issues, particularly in KM content, when compared to Western Medicine.

Conclusions
Although ChatGPT is generally viewed positively for its potential utility, its direct application in KM clinical practice at its current level may be challenging. The experts exhibited a mix of cautious optimism and critical skepticism regarding the potential use of ChatGPT responses in addressing inquiries from patients and KM doctors. To improve its reliability, the information generated by ChatGPT should be critically reviewed by qualified expert medical personnel. To enhance sufficiency, further training of the artificial intelligence model with additional KM information is required. Future research is needed to expand and deliberate the use of foundation models in the field of KM.

국문 초록 (Abstract)

연구배경
ChatGPT가 대중에게 공개된 2022년 11월말 이후, 교육, 의료를 포함한 다양한 텍스트 기반 영역에서 이에 대한 활용 가능성을 탐색하는 연구가 이루어지고 있다. 의료 영역에서 의무기록, 연구, 교육 등 다양한 측면으로 가능성과 한계점에 대해 탐색 중이다. 한의학 영역에서는 교육과 관련하여 2023년 3월 ChatGPT가 풀이한 한의사 국가시험에서 합격선에 근접한 정답률을 기록했다는 연구 결과가 발표되었으나, 임상진료 영역에서 ChatGPT의 활용 가능성 및 한계점을 탐색한 선행연구는 없다. 이와 같은 배경에서, 본 연구는 첫째, 안면마비 한의 임상진료를 상정하여 환자 및 한의사 관점에서 공통적이고 빈도가 높은 ‘환자 질문’ 및 ‘한의사 질문’에 대해 ChatGPT가 생성한 답변의 현재 수준에 대해 확인하고, 둘째, 한의학의 전문가인 침구과 전문의 인식조사를 통해 ChatGPT의 한의 임상에서의 적용 가능성에 대하여 자유로운 전문가 의견을 수집하여 ChatGPT 활용에 대한 인식을 분석하였다.

연구방법
본 연구는 사전에 2023년 8월 24일 경희대학교 생명윤리위원회의 심의면제 승인 (KHSIRB-23-302)을 받았다. 총 33명의 침구과 전문의를 대상으로 이메일을 발송, 설문 주소에 접속하여 온라인 설문조사를 시행할 수 있도록 하였다. 설문 대상자는 스크리닝 문항을 거친 후, 10개의 ‘환자 질문’, 10개의 ‘한의사 질문’으로 구성된 총 20개의 질문에 대하여 ChatGPT가 생성한 답변 (GPT-4 모델, 2023년 8월 30일 기준)을 읽고, 정보의 활용 가능성에 대하여 리커트 척도를 활용하여 평가하였다. 이후 ChatGPT의 활용 가능성에 대하여 전반적이고 종합적인 평가를 시행하는데, 평가 도구로는 신뢰성, 유용성, 이해의 용이성, 충분성의 4개의 영역으로 구성되어 있는 건강 정보 질 평가 도구인 ‘대국민 건강 정보의 과학적 평가를 위한 표준화된 평가 도구’ 를 활용하여 답변하였다. 마지막으로 서술형 주관식 문항을 통해 ChatGPT 관련 자유로운 의견을 수집하였다. 객관식 문항은 빈도 및 비율로, 주관식 문항은 실제 수집된 자료로 결과를 제시하였다.

연구 결과
총 33명을 대상으로 설문지가 배포되었으며, 30명의 응답이 수집되었다 (응답률: 90.9%). 필수 문항인 객관식의 경우 30개의 답변이, 선택 문항인 주관식의 경우, 16개의 답변이 수집되어 분석되었다. 침구과 전문의들은 ‘환자 질문’ 및 ‘한의사 질문’에 대한 ChatGPT 답변 활용 가능성에 낙관적이면서도 회의적인 의견을 갖고 있었으며, 현재 수준으로는 임상진료에 직접적으로 활용하기에 한계가 존재한다고 인식하고 있었다. 독자에게 도움이 되며 정보의 활용 가능성에 대해 설명하는 유용성 (‘환자 질문’에 대한 답변: 96.7%, ‘한의사 질문’에 대한 답변: 63.3%), 이해하기 쉽게 만들었다는 이해의 용이성 영역 (‘환자 질문’에 대한 답변: 66.7%, ‘한의사 질문’에 대한 답변: 60%) 에서 긍정적인 반응을 얻었지만, 출처가 확실한 지, 오류나 과장이 없이 정보를 다루는지를 평가하는 신뢰성, 이득과 위해, 대체 가능한 다른 방법과 비교하여 충분히 설명하였는지를 평가하는 충분성 영역에서 긍정 평가 비율이 비교적 낮았다. 설문의 구체적인 결과를 살펴보면, 보편적 내용인 ‘환자 질문’보다 전문적 내용인 ‘한의사 질문’에서 그 활용 가능성이 더 낮다고 응답자들은 판단하였다. 응답자들의 서술형 문항에 대한 답변을 토대로 평가 이유를 탐색해보면, ‘한의사 질문’에 대한 ChatGPT의 답변에 신뢰성의 문제, 대표적으로 artificial hallucination이 발생함을 지적하였고, 서양의학적 내용과 비교하였을 때 한의학적 내용에서 충분성 측면으로 한계점이 두드러짐을 지적하였다.

결론
ChatGPT가 그 활용가능성에 대해 전반적으로는 긍정적인 평가를 받았으나, 현재 수준에서 한의 임상진료에 직접적으로 활용되기에는 어려움이 있는 것으로 보인다. ChatGPT가 생성한 정보는 무비판적으로 활용되기보다는 신뢰성 향상을 위하여 자격을 갖춘 전문 의료진의 검토를 거쳐야 하며, 충분성 개선을 위하여 추가적인 한의학 정보를 인공지능 모델에 훈련시키는 과정이 더욱 필요할 것으로 사료된다. 실제 한의 임상진료에서 기반 모델의 활용을 확대하고 정교화 하는데 초점을 맞춘 추가적인 연구 노력이 필요할 것이다.

목차 (Table of Contents)

• Abstract v
• I. Introduction 1
• II. Methods 3
• 1. Ethical considerations 6
• 2. Questionnaire development 7
• 2.1. Prompts for ChatGPT 7
• 2.2. ChatGPT response generation 8
• 2.3. Assessment scale 9
• 2.4. Final version of questionnaire 12
• 3. Distribution and collection of questionnaires 13
• 4. Data analysis 14
• Ⅲ. Results 15
• 1. Demographic characteristics 17
• 2. Perspectives on the applicability and information quality of ChatGPT for facial palsy practice in Korean Medicine 20
• Ⅳ. Discussion 29
• Ⅴ. Conclusions 33
• Ⅵ. References 34
• Ⅶ. Appendices 37
• 국문초록 83