의료 인공지능 오진의 민사책임과 법제 개선 방안 = Civil Liability for Medical AI Misdiagnosis and Proposals for Legal Reform

국문 초록 (Abstract)

본 논문은 인공지능(AI)이 실제 진료 과정에 도입됨에 따라 오진 사고 발생 시 기존의 민사책임 귀속을 어떻게 재구성해야 하는지에 관한 문제의식에서 출발하였다. 이는 대학병원 의료법무 실무자로서 “의료 인공지능(Medical AI, 이하 ‘의료 인공지능’)이 진료 및 처치 과정에 적용될 때 사고 발생 시 그 책임은 누구에게, 어떻게 물어야 하는가?”라는 구조적인 문제를 체감한 연구자의 실무 경험에 기반하고 있다. 딥 러닝 기반의 의료 인공지능(Medical AI)은 높은 성능에도 불구하고 소위 ‘블랙박스(Black-box)’ 구조로 인해 판단 과정을 설명하기 어려울 뿐만 아니라, 현행 민법상 의료과오·제조물책임·설명의무 법리만으로는 책임 소재를 명확히 하기 어려운 영역이 확대되고 있다. 이러한 법적 공백은 피해자 구제를 지연시키고 법적 불확실성을 심화시켜 의료 인공지능의 도입 자체를 위축시키는 요인으로 작용하고 있다.
제2장에서는 의료 인공지능(Medical AI)의 개념과 특성, 그리고 이에 대응하는 국내외 규제 동향을 고찰하였다. 특히 책임 법리와 직결되는 ‘고영향 인공지능(AI)’ 및 ‘독립형 의료기기 소프트웨어(SaMD)’의 개념을 정의하고, 기술적 한계인 블랙박스 효과와 이를 보완하기 위한 ‘설명가능한 인공지능(XAI)’의 필요성을 검토하였다. 아울러 미국, 유럽연합, 독일, 일본 등 주요국의 입법례와 뷰노, 루닛 등 국내 기업의 현황 분석을 통해 의료 인공지능이 임상 현장에서 중대한 역할을 수행하고 있음을 확인하였다.
제3장에서는 의료과오 책임, 제조물 책임, 설명의무 등 기존 민사책임 법리의 적용 가능성과 한계를 분석하였다. 인공지능(AI)의 블랙박스 특성은 의료인의 설명의무 이행을 저해하고, 피해자가 의료진이나 제조사의 과실 및 인과관계를 입증하는 것을 곤란하게 만들며, 결과적으로 책임 주체의 특정을 어렵게 하여 피해 구제의 사각지대를 발생시킨다는 점을 확인하였다.
제4장에서는 확인된 법적 공백을 극복하기 위해 사전적·절차적 수단과 사후적·실체적 수단을 결합한 ‘이원적 법제 개선 방안’을 제안하였다. 제1안은 환자의 자기결정권 보장 및 소송상 입증책임 완화를 위해, ‘고영향 의료 인공지능’에 한하여 ‘설명가능한 인공지능(XAI)’의 도입을 법적 요건으로 의무화할 것을 제안하였다.
제2안은 기술적 한계로 설명이 불가능하여 입증이 곤란한 영역에 대해서는 ‘위험 책임 법리에 기초한 기금 중심의 보충적 구제 제도’의 도입을 제안하였다. 이는 과거 독일의 ‘콘테르간(탈리도마이드) 재단’ 사례와 같이 기업이 1차적 책임을 지는 구조를 비교법적 근거로 삼아, 기금의 운용 주체로서 별도의 ‘재단법인’을 설립하고 이에 법인격을 부여함으로써 배상 책임의 법적 주체를 명확히 하는 방안을 제시하였다.
제5장에서는 연구 결과를 요약하고, 본 제안의 실효성을 확보하기 위한 향후 과제로 설명가능한 인공지능(XAI)의 구체적인 법적·기술적 기준 마련, 다자간 분담형 기금의 합리적 분담 비율 산정, 사용자인 의료기관에 요구되는 검증 및 내부통제 등 구체적 주의의무 수준의 체계화를 제안했다.

다국어 초록 (Multilingual Abstract)

This study addresses the critical need to reconstruct civil liability frameworks regarding misdiagnosis incidents arising from the clinical integration of Artificial Intelligence (AI). The research is grounded in the author’s practical experience as legal counsel at a university hospital, confronting the structural dilemma: “To whom and how should liability be attributed when Medical AI contributes to adverse events during diagnosis and treatment?”
Despite the superior performance of deep-learning-based Medical AI, its inherent ‘Black-box’ architecture renders the decision-making process opaque. Consequently, an expanding legal vacuum exists where liability cannot be clearly determined solely by current civil law doctrines regarding medical malpractice, product liability, and the duty of explanation. This uncertainty delays victim relief, exacerbates legal instability, and discourages the adoption of medical AI technologies.
Chapter II examines the concept of Medical AI and comparative regulatory trends. It defines key concepts directly linked to liability doctrines, such as ‘High-impact AI’ and ‘Software as a Medical Device (SaMD),’ and reviews the necessity of ‘Explainable AI (XAI)’ to mitigate black-box risks. Through an analysis of legislation in the U.S., EU, Germany, and Japan, alongside the status of domestic firms like VUNO and Lunit, the study confirms the critical role of Medical AI in clinical settings.
Chapter III analyzes the limitations of existing civil liability doctrines. The study demonstrates that the black-box nature of AI impedes the fulfillment of the physician's duty of explanation, complicates the burden of proof regarding negligence and causation for victims, and obscures the identification of the liable party, thereby creating significant blind spots in victim relief. Chapter IV proposes a ‘Dual-Track Legal Reform Plan’ combining procedural and substantive approaches to bridge these legal gaps. Track 1 proposes mandating ‘Explainable AI (XAI)’ for ‘High-impact Medical AI’ as a legal requirement. This aims to safeguard the patient's right to self-determination and alleviate the plaintiff's burden of proof in litigation.
Track 2 proposes a ‘Supplementary Relief System centered on a Fund based on Risk Liability’ for cases where technical limitations preclude explanation. Drawing on the comparative legal precedent of Germany’s ‘Contergan
(Thalidomide) Foundation,’ where the enterprise bears primary liability, this model suggests establishing a separate ‘incorporated foundation’ with independent legal personality to clarify the subject of compensation. Critically, unlike the state-funded birth injury compensation scheme, this model adopts the ‘Beneficiary Pays Principle,’ requiring AI manufacturers and medical institutions to share the financial burden, with the state providing supplementary support.
Chapter V summarizes the findings and identifies future tasks: establishing concrete legal and technical standards for XAI, calculating rational contribution ratios for a multi-party fund, and codifying the standard of care required of medical institutions, including verification obligations and internal control systems.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구의 필요성과 목적 1
• I. 연구의 배경 1
• II. 연구의 필요성 2
• III. 의료 인공지능(Medical AI)의 목적 3
• 제2절 연구의 범위와 방법 4
• I. 연구의 범위 4
• II. 연구의 방법 6
• 제2장 의료 인공지능(Medical AI)과 법적 쟁점 7
• 제1절 의료 인공지능(Medical AI)의 개념과 범위 7
• I. 의료기술의 발전과 보조체계의 변화 8
• 1. 정통적 의료행위와 기술적 보조 8
• 2. 로봇 수술과 기계적 보조체계 8
• 3. 의료 인공지능(Medical AI)의 등장 9
• II. 일반 인공지능(AI)의 일반론 10
• 1. 일반 인공지능(AI)의 개념적 배경 10
• (1) 인공지능 기본법안의 정의 10
• (2) 일반 인공지능(AI) 관련 판례 11
• (3) 일반 인공지능(AI) 관련 선행연구 11
• 2. 의료 인공지능(Medical AI)의 범위와 유형 13
• (1) 독립형 의료기기 소프트웨어(SaMD) 13
• (2) 고영향 인공지능(AI) 15
• (3) 위험도 등급(Class III)에 기반한 준자율성 정의 17
• III. 의료 인공지능(Medical AI)의 특성 18
• 1. 데이터 의존성과 자율 학습 18
• 2. 특성 19
• (1) 객관적으로 관찰 가능한 표적 변수 19
• (2) 의료현장에서의 표준화된 신기술 검증 체계 19
• (3) 의료 인공지능(Medical AI)과 의사결정의 상호작용 구조 20
• IV. 설명가능한 인공지능(XAI)과 블랙박스 효과 21
• 1. 설명가능한 인공지능(XAI)의 개념과 필요성 21
• (1) 블랙박스 문제와 법적 한계 21
• (2) 법적 안정성 및 예측 가능성 21
• (3) 설명가능한 인공지능(XAI)의 목표 22
• 2. 설명가능한(XAI) 인공지능의 원칙 23
• (1) 설명(Explanation) 23
• (2) 의미성(Meaningful) 23
• (3) 설명 정확성(Explanation Accuracy) 23
• (4) 지식 한계(Knowledge Limits) 24
• 3. 블랙박스 효과와 위험성 24
• (1) 의료 분야 블랙박스 편향 사례: 옵텀(Optum) 사건 25
• 1) 배경 25
• 2) 블랙박스 구조의 문제(설명불가능성과 편향의 증폭) 26
• 3) 사회적 파급과 법적 의의 26
• 제2절 의료 인공지능(Medical AI)과 법적 쟁점 27
• I. 의료 인공지능(Medical AI) 규제 변화 28
• 1. 디지털 헬스케어 전환과 의료 인공지능(Medical AI)의 규제 형성 배경 28
• II. 주요국의 인공지능(AI) 정책 비교(미국, 유럽연합, 독일, 일본, 한국) 31
• 1. 주요국 의료 인공지능(Medical AI) 규제와 민사 책임 31
• 2. 미국 32
• (1) 인공지능(AI) 일반 정책 및 입법 32
• 1) 입법 배경 32
• 2) 연방 행정부처 33
• 3) 인공지능(AI) 진흥법 35
• 4) 국가인공지능계획법(2020) 37
• (2) 의료 인공지능(Medical AI) 규제 동향 38
• 1) 21세기 치료법과 의료 소프트웨어(SaMD)의 정의 38
• 2) 의료기기 등급 39
• 3) FDA의 인공지능 의료기기 규제 프레임워크 39
• 3. 유럽연합(EU) 41
• (1) 유럽연합 인공지능법(EU AI Act, EU 2024/1689) 41
• (2) 유럽 의료기기 규정(MDR) 42
• 4. 독일 43
• (1) 제조물책임법(Produkthaftungsgesetz) 43
• 1) 책임의 성립( 1 Haftung) 43
• 2) 결함의 정의( 3 Fehler) 44
• 3) 면책 사유 및 개발위험의 항변( 1 Abs. 2 Nr. 5) 44
• 4) 입증책임( 1 Abs. 4) 44
• (2) 독일 의료기기법 시행법(MPDG) 44
• 1) 인증기관 및 적합성 평가 기관의 언어 및 지정 요건(제17조, 제17a조) 45
• 2) 의료기관 및 외부 재처리업체 인증을 위한 인증기관의 승인(제17b조) 45
• 3) 시험소의 승인 및 감시 (제18조, 제19조) 45
• 4) 주무 관청의 권한 및 감독 (제22조) 46
• (3) 의료 인공지능(Medical AI) 관련 데이터 거버넌스 및 디지털법(DigiG) 46
• 5. 일본 48
• 6. 한국 50
• (1) 디지털의료제품법의 주요 내용과 인공지능기본법과의 관계 50
• (2) 의료 인공지능(Medical AI) 연구개발 로드맵 53
• (3) 생성형 인공지능(AI) 의료기기 허가심사 가이드라인 55
• 1) 법적 성격 및 규제 범위 55
• 2) 생성형 인공지능(AI)의 위험과 제조물 책임 56
• 3) 생성형 인공지능(AI)의 의료기기 허가심사 방안 59
• III. 의료 인공지능(Medical AI)의 국내 주요 활용 사례 분석 62
• 1. 국내 디지털헬스케어 산업 실태 62
• 2. 우리나라 디지털의료제품의 현황 64
• (1) 뷰노(VUNO) 64
• (2) 루닛(LUNIT) 64
• (3) 딥노이드(DEEPNOID) 65
• 제3절 소결 66
• 제3장 의료 인공지능(Medical AI) 오진에 대한 책임 법리 67
• 제1절 기존 민사책임 법리의 적용과 한계 67
• I. 민법과 민사특별법에 근거한 민사책임 법리의 적용 가능성 67
• 1. 의료 인공지능(Medical AI) 진료의 법률관계 구조 67
• 2. 일반적 의료과오의 개념 68
• 3. 기존의 의료분쟁 관련한 판례 69
• (1) 의사의 주의의무 및 의료 과실 인정 기준 69
• 1) 의료 과실의 추정 제한 70
• 2) 통상적 주의의무 기준 70
• (2) 진단 및 오진 71
• 1) 진단상의 주의의무 기준 71
• 2) 오진 자체와 과실 기준 72
• (3) 설명의무 및 환자의 자기결정권 73
• 1) 희소하거나 중대한 위험의 설명의무 73
• 2) 침습적 의료행위 전 설명의무 73
• 3) 자기결정권에 대한 설명의무 74
• 4) 설명의무의 한계와 면제 사유 75
• 5) 요양 및 건강관리 지도 의무 76
• 6) 설명의무 위반에 대한 민사책임 76
• 4. 우리나라 의료과오소송 현황 77
• 5. 의료과오소송과 민사책임 78
• (1) 채무불이행 책임 78
• 1) 의의 78
• 2) 불완전급부의 성립 요건 79
• 3) 면책 약관의 효력과 한계 80
• (2) 불법행위 81
• 1) 의의 및 법적 근거 81
• 2) 성립 요건과 의료과오소송 관계 82
• (3) 의료기기의 경우에서의 제조물 책임의 적용 84
• 1) 의의 및 법적 근거 84
• 2) 성립 요건과 의료 인공지능(Medical AI)의 적용 문제 85
• 3) 적용 한계 및 면책 사유 87
• 6. 설명의무 88
• (1) 의의 및 법적 근거 88
• 1) 의의 88
• 2) 법적 근거 88
• (2) 설명의무의 실정법적 근거 89
• 1) 의료인의 의무 89
• 2) 환자의 권리 게시 의무와 알권리 및 자기결정권 명시 89
• (3) 설명의무의 유형론적 분류 90
• 1) 협의의 설명의무(자기결정권 보호) 90
• 2) 고지설명의무(알 권리 충족) 90
• 3) 지도설명의무(건강권 보호) 90
• (4) 설명의 시기와 방법 및 범위책임 91
• 7. 소결 91
• 제2절 의료 인공지능(Medical AI)의 특수성과 주요한 법적 쟁점 92
• I. 설명의무의 한계와 재구성 92
• 1. 블랙박스 문제와 설명가능성 92
• (1) 의료 인공지능(Medical AI)에서의 블랙박스의 문제 92
• 1) 정의 92
• 2) 블랙박스와 오진의 문제 94
• (2) 의료 인공지능(Medical AI)과 설명가능성 95
• (3) 의사의 설명의무 96
• 1) 의료과정에서의 설명의무의 개념과 유형 96
• II. 의료 소송과 민사책임 99
• 1. 의료 민사소송의 의의 99
• 2. 의료 민사소송의 특징 100
• (1) 의료행위의 특수성 100
• (2) 진료채무의 수단채무성 100
• (3) 채무불이행책임 100
• (4) 불법행위책임 101
• (5) 채무불이행 책임과 불법행위책임의 비교 101
• 제3절 책임 주체의 배분 문제 102
• I. 의료인(의사)의 책임 102
• 1. 의료과오책임 102
• 2. 설명의무 104
• II. 의료기관의 책임 105
• III. 인공지능(AI) 제조사의 책임 105
• 제4절 소결 107
• 제4장 의료 인공지능(Medical AI) 책임 법제의 개선 방안 108
• 제1절 의료 인공지능(Medical AI) 책임 귀속에 대한 이원적 접근의 필요성 108
• 제2절 제1안: 입증책임 완화를 위한 설명가능 인공지능(XAI)의 적용 109
• I. 설명가능성의 법적 필요성: 환자의 자기결정권 및 입증책임 109
• 1. 헌법상 생명권과 환자의 자기결정권 110
• 2. 블랙박스 효과로 인한 기존 설명의무의 공백과 한계 112
• II. 고영향 의료 인공지능(Medical AI)에 대한 설명가능성 확보의 입법적 제안 114
• 1. 위험 기반 접근의 도입 114
• 2. 설명가능 인공지능(XAI): 고영향 의료 인공지능(Medical AI)의 법적 책임 요건 116
• 제3절 제2안: 고영향 의료 인공지능(Medical AI)을 위한 보험기금 중심의 보충적 구제 117
• I. 도입의 법리적 정당성: 위험 책임과 수익자 부담 원칙 117
• II. 비교법적 근거: 독일 콘테르간(탈리도마이드) 재단 구조 120
• 1. 탈리도마이드 사건과 구제 방식 120
• 2. 기업 공동출연 기금 모델의 제도적 정당성 121
• III. 피해구제 기금 제도의 구체적 설계 방안 122
• 1. 기금 운용 주체(재단)의 법인격 부여 방안 122
• 2. 재원 조달: 의료기관제조사의 분담금과 국가의 보충적 지원 122
• 3. 보상 요건: 인공지능(AI) 입증 곤란 요건의 구체화 123
• (1) 고영향 의료 인공지능(Medical AI)의 사용 124
• (2) 블랙박스 특성으로 인한 입증 곤란의 소명 124
• 제5장 결론 125
• 제1절 연구의 요약 및 시사점 125
• 제2절 향후 연구 과제 126