인공지능 리스크 평가에 관한 법적 연구 = Legal Study on Artificial Intelligence Risk Assessment

국문 초록 (Abstract)

2026년 1월 22일 시행을 앞둔 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 '인공지능기본법')은 에너지의 공급, 원자력 시설의 관리, 채용·대출 심사 등 11개의 영역을 '고영향 인공지능'으로 규정한다. 문제는 원자력 시설과 같이 물리적인 위험을 정량화할 수 있는 영역과 채용과 같이 알고리즘 편향이 문제되는 영역이 규제 이론적으로 전혀 다른 성격을 갖는다는 점이다. 그럼에도 인공지능기본법은 모든 영역에 동일한 규제를 부과하고 있다.
제2장에서는 규제 이론의 발전 과정을 추적하면서 인공지능 규제에 적용할 수 있는 이론적 틀을 정립하고자 하였다. 전통적 규제법이 명령-통제 방식에서 과학적인 리스크 관리를 거쳐 리스크 기반 규제로 진화한 과정을 검토하고, 영향평가 제도가 갖는 의미를 분석하였다. 리스크 기반 접근과 영향평가는 방법론적 차이에도 불구하고 사전예방원칙과 비례원칙이라는 규범적 토대를 공유하며 상호보완적이다. 인공지능기본법은 이중 기준을 단순하게 병렬하여 "중대한 영향을 미치거나 위험을 초래할 우려"라고만 규정함으로써 판단기준의 불명확성을 야기한다.
제3장에서는 주요국의 규제 체계를 비교법적으로 분석하였다. EU AI Act는 전통적인 안전기준(부속서 I)과 사용 맥락(부속서 III)을 구분해서 규율하고, 미국 OMB 메모랜덤은 '안전영향(safety-impacting)'과 '권리영향(rights-impacting)'을 구분한다. 반면 인공지능기본법은 이러한 이론적 구분 없이 11개의 영역을 단순하게 나열한다. 캐나다가 인공지능·데이터법(AIDA)의 제정을 추진하였으나 정의 규정의 불명확성을 이유로 입법이 좌초된 것은 명확한 기준 설정의 중요성을 보여준다.
제4장에서는 현행 인공지능기본법의 고영향 인공지능 체계를 분석하고, 11개 영역을 세 가지 유형으로 재분류하였다. 유형 1(원자력·에너지·먹는물·교통)은 물리적 위해가 명확하고 정량적인 리스크 평가가 가능한 영역이다. 유형 2(채용·대출·생체인식·공공서비스·학생평가)는 의사결정의 중요도가 크고 차별적 영향 가능성이 있는 영역이다. 유형 3(의료기기·자율주행차)은 물리적 안전과 기본권이 동시에 문제되는 혼합 영역이다.
제5장에서는 유형별로 차별화된 판단기준을 체계화하였다. 유형1에는 EU의 리스크 기반 접근과 미국 안전 규제를 결합한 3단계 평가체계를 적용한다. 유형 2에는 캐나다 알고리즘 영향평가와 EU 기본권 보호 체계를 결합한 4단계 평가구조를 제시하였다. 유형 3에는 두 방법론을 통합하되 영역 특성에 따라 비중을 조절하는 방식을 제안한다.
제6장에서는 인공지능 법제 개선방안을 제안하였다. 법 제2조 제4호에서 유형별 구분을 명시하도록 법률을 개정하고, 시행령에서는 유형별 선정기준을 구체화하여야 한다. 법 제34조 사업자 의무도 차등화가 필요하다. 법 제35조의 영향평가는 의무화하고 구체적인 절차를 설계하여야 한다. 캐나다 알고리즘 영향평가 도구처럼 구체적인 질문 항목과 점수 체계를 마련하여 사업자가 스스로 활용할 수 있어야 한다.
2025년 11월, EU는 AI Act 개정안을 발표하며 고위험 인공지능시스템 의무의 이행 시점을 최장 16개월 연기할 가능성을 공표하였다. 신기술 규제는 기술 발전 속도와 산업 현실을 고려하여 지속적인 조정이 필요하다는 것을 보여준다. 인공지능기본법의 시행을 앞둔 지금, 우리는 글로벌 규제 변화에 신속하게 대응하면서도 안정적인 제도의 시행을 확보하여야 하는 이중 과제에 직면하고 있다.
이 연구는 리스크 기반 접근과 영향평가를 통합한 이론적 틀을 체계화하고, 11개 영역의 이질성을 규명해 유형별 접근법을 제시하였다. 시행령과 가이드라인 제정에 바로 활용할 수 있는 구체적 선정기준과 판단기준을 도출했다. 실증 데이터의 부족, 신기술 발전에 따른 예측의 한계, 영역별 심화 분석의 미흡 등은 후속 연구 과제로 남는다. 그럼에도 이 연구가 제시한 유형별 차별화된 규제체계가 급변하는 기술 환경에서 규제의 예측가능성과 유연성을 동시에 확보하는 실천적 도구로 기능하기를 기대한다.

다국어 초록 (Multilingual Abstract)

The Framework Act on Artificial Intelligence Development and Trustworthy Improvement (hereinafter "AI Framework Act"), scheduled to take effect on January 22, 2026, designates 11 domains including energy supply, nuclear facility management, and hiring and loan screening as "high-impact artificial intelligence." The problem is that domains where physical risks can be quantified, such as nuclear facilities, and domains where algorithmic bias is the primary concern, such as hiring, have fundamentally different regulatory characteristics. Nevertheless, the AI Framework Act imposes uniform regulations across all domains.
Chapter 2 traces the evolution of regulatory theory to establish a theoretical framework applicable to AI regulation. It examines how traditional regulatory law evolved from command-and-control approaches through scientific risk management to risk-based regulation, and analyzes the significance of impact assessment systems. Risk-based approaches and impact assessments, despite their methodological differences, share common normative foundations in the precautionary principle and the principle of proportionality, and are complementary. The AI Framework Act creates ambiguity in judgment criteria by simply juxtaposing these dual standards, stating only "having significant impacts or posing risks."
Chapter 3 analyzes major countries' regulatory frameworks from a comparative law perspective. The EU AI Act distinguishes between traditional safety standards (Annex I) and use-context-based classifications (Annex III), while the U.S. OMB Memorandum differentiates between "safety-impacting" and "rights-impacting" systems. In contrast, the Korean AI Framework Act simply lists 11 domains without such theoretical distinctions. Canada's failure to enact its proposed Artificial Intelligence and Data Act (AIDA) due to ambiguous definitions demonstrates the importance of establishing clear criteria.
Chapter 4 analyzes the current AI Framework Act's high-impact AI system and reclassifies the 11 domains into three types. Type 1 (nuclear, energy, drinking water, transportation) encompasses domains where physical harm is clear and quantitative risk assessment is feasible. Type 2 (hiring, loans, biometric identification, public services, student evaluation) covers domains where decision-making significance is high and discriminatory impact is possible. Type 3 (medical devices, autonomous vehicles) represents hybrid domains where both physical safety and fundamental rights are at stake.
Chapter 5 systematizes differentiated judgment criteria for each type. Type 1 applies a three-stage evaluation system combining EU risk-based approaches with U.S. safety regulations. Type 2 proposes a four-stage evaluation structure combining Canada's Algorithmic Impact Assessment with the EU's fundamental rights protection framework. Type 3 integrates both methodologies while adjusting their respective weights according to domain characteristics.
Chapter 6 proposes improvements to the AI legal framework. Article 2, Paragraph 4 should be amended to specify type-based distinctions, and the enforcement decree should detail type-specific selection criteria. Article 34 obligations for AI operators also require differentiation. Article 35 impact assessments should be mandatory with specific procedural design. Like Canada's Algorithmic Impact Assessment tool, concrete questionnaire items and scoring systems should be developed for operators' self-assessment.
In November 2025, the EU announced an AI Act amendment potentially delaying implementation of obligations for high-risk AI systems by up to 16 months. This demonstrates that emerging technology regulation requires continuous adjustment considering technological development pace and industrial realities. As the AI Framework Act's implementation approaches, Korea faces the dual challenge of responding swiftly to global regulatory changes while ensuring stable institutional implementation.
This study systematizes a theoretical framework that integrates risk-based approaches with impact assessments, and identifies the heterogeneity of the 11 domains to propose type-specific approaches. It derives concrete selection criteria and judgment criteria directly applicable to enforcement decree and guideline development. Limitations such as insufficient empirical data, prediction constraints due to technological advancement, and inadequate in-depth analysis by domain remain as future research tasks. Nevertheless, this study's type-differentiated regulatory framework is expected to function as a practical tool for simultaneously securing regulatory predictability and flexibility in rapidly changing technological environments.

목차 (Table of Contents)

• 국문초록 ⅰ
• Abstract ⅳ
• 목차 ⅷ
• 표 목차 ⅹⅹ
• 제1장 서론 1
• 제1절 연구의 배경 및 필요성 1
• 제2절 연구의 목적 및 범위 3
• 제3절 연구방법 및 논문의 구성 4
• 제2장 인공지능 규제의 이론적 기초 6
• 제1절 전통적 규제법 이론의 토대와 한계 6
• Ⅰ. 전통적 규제법 이론의 토대 6
• 1. 국가-사회 이원론과 그 한계 6
• 2. 법률유보 원칙과 규제의 정당성 7
• 3. 고권적 행정작용을 통한 전통적 규제수단 8
• Ⅱ. 전통적 규제법 이론의 한계 9
• 1. 규제지체(regulatory lag) 현상과 그 양상 9
• 2. 형식적 합법성 중심 접근의 문제점 10
• 3. 신기술 환경에서의 규제 대응력 약화 10
• Ⅲ. 소결 11
• 제2절 규제 패러다임의 변화와 리스크 기반 접근 12
• Ⅰ. 전통적 위험방지법에서 리스크 규제로의 전환 12
• 1. 전통적 위험방지법과 그 한계 12
• 2. 리스크 기반 규제로의 전환과 인공지능 규제 14
• Ⅱ. 규제 패러다임의 전환 15
• 1. 규제이론의 단계적 발전 15
• 2. 규제 패러다임 전환의 주요 양상 16
• (1) 규제 목적의 실질화 17
• (2) 규율방식의 유연화 17
• (3) 리스크 차별화 접근의 등장 17
• Ⅲ. 리스크 평가 이론과 리스크 기반 접근의 토대 18
• 1. 리스크 기반 접근의 개념과 원리 18
• 2. 이론적 토대: NRC 리스크 평가 프레임워크 20
• (1) 제1단계: 위해확인(hazard identification) 20
• (2) 제2단계: 용량-반응 평가(dose-response assessment) 21
• (3) 제3단계: 노출평가(exposure assessment) 21
• (4) 제4단계: 리스크 특성화(risk characterization) 21
• 3. NRC 1994년 보고서: 판단의 불가피성 인정과 기본설정옵션 21
• 4. 리스크 평가의 절차화와 행정법적 통제 23
• 제3절 리스크 기반 규제의 의의와 한계 24
• Ⅰ. 리스크 기반 규제의 행정법적 의의 24
• Ⅱ. 인공지능 분야 적용의 한계 24
• 1. 리스크의 정량화 곤란 25
• 2. 맥락 의존성과 용량-반응 관계 적용의 한계 26
• 3. 명확성 원칙 위배 우려 27
• 4. 소결 29
• 제4절 영향평가 제도와 리스크 기반 규제의 연계 29
• Ⅰ. 영향평가 제도의 의미와 특징 29
• 1. 영향평가의 개념과 발전 과정 29
• 2. 다차원적 분석과 참여적 거버넌스 30
• Ⅱ. 리스크 기반 접근과의 차이, 상호보완성 30
• 1. 방법론적 차이와 접근방식 30
• 2. 상호보완적 관계와 순환적 연계 31
• Ⅲ. 통합적 접근의 사례와 의의 31
• 1. 주요국의 통합적 접근 사례 31
• 2. 통합적 접근의 규제 철학적 의의 32
• 제5절 인공지능 규제의 기본원칙 33
• Ⅰ. 규제이론의 종합과 인공지능 규제의 특수성 33
• Ⅱ. 인공지능 규제의 기본원칙 34
• 1. 비례적 차등규제 원칙 34
• (1) 원칙의 내용과 의의 34
• (2) 이론적 정당화 근거 34
• (3) 적용상 유의사항 36
• 2. 맥락 고려 원칙 36
• (1) 원칙의 내용과 의의 36
• (2) 이론적 정당화 근거 36
• (3) 적용상 유의사항 38
• 3. 사전예방과 사후조정의 균형 38
• (1) 원칙의 내용과 의의 38
• (2) 이론적 정당화 근거 39
• (3) 제도적 구현방안 40
• 4. 투명성과 설명가능성 보장 40
• (1) 원칙의 내용과 의의 40
• (2) 이론적 정당화 근거 41
• (3) 적용상 유의사항 42
• 5. 참여적 거버넌스와 지속적 평가 원칙 43
• (1) 원칙의 내용과 의의 43
• (2) 이론적 정당화 근거 43
• (3) 제도적 구현방안 44
• 6. 기본권 보호 우선 원칙 44
• (1) 원칙의 내용과 의의 44
• (2) 이론적 정당화 근거 45
• (3) 적용상 유의사항 46
• 제6절 소결 46
• 제3장 주요국의 인공지능 규제 체계 비교 48
• 제1절 유럽연합(EU)의 인공지능 규제 접근방식 48
• Ⅰ. 리스크 기반 접근의 개념과 법적 근거 48
• Ⅱ. 리스크의 개념과 평가 구조 49
• Ⅲ. 리스크 분류체계의 구조와 한계 50
• 1. 금지 인공지능시스템 50
• 2. 고위험 인공지능시스템 50
• 3. 제한된 위험 및 최소 위험 인공지능시스템 51
• 4. 리스크 분류의 한계 51
• Ⅳ. '진정한 리스크 기반 규제'의 요소와 AI Act의 한계 51
• 1. 리스크-이익 분석(risk-benefit analysis) 52
• 2. 기술 중립성(technological neutrality) 52
• 3. 경험적 근거(evidence-based classification) 53
• 4. 비례적 규제부담(proportional regulatory burden) 53
• 5. 유연성과 적응성(flexibility and adaptability) 54
• Ⅴ. 리스크 기반 접근의 한계와 비판 54
• 1. 기본권 보호의 한계 54
• 2. 리스크-이익 분석의 결여 55
• 3. 리스크 개념의 법적 모호성 55
• Ⅵ. 소결 56
• 제2절 미국의 맥락 중심 규제 접근 57
• Ⅰ. 포괄입법 부재와 분산형 리스크 관리 구조 57
• Ⅱ. 국립표준기술연구소(NIST)의 AI RMF 57
• 1. AI RMF의 법적 근거와 기본 구조 57
• 2. 맥락 기반 구조와 '신뢰할 수 있는 AI' 58
• Ⅲ. OMB M-25-21: 고영향 인공지능과 맥락적 위험 판단 59
• 1. 고영향 인공지능 도입과 맥락 중심 정의 59
• 2. 절차적 리스크 관리와 연방 행정지침의 한계 60
• Ⅳ. 주(州) 수준의 발전: 콜로라도 SB24-205의 영향평가 제도 60
• 1. 고위험 인공지능의 정의와 기준 60
• 2. SB24-205의 법적 근거와 기본 구조 61
• Ⅴ. 소결 61
• 제3절 캐나다: AIDA 입법과 영향평가제도(AIA) 62
• Ⅰ. 개요 62
• Ⅱ. ADS 지침과 AIA의 제도적 특징 63
• 1. AIA의 개요 63
• (1) AIA의 구조와 의미 63
• (2) 리스크 관리와 완화조치 64
• (3) 제도적 의의 64
• Ⅲ. AIDA 법안의 내용과 한계 65
• 1. AIDA 법안의 주요 내용 65
• 2. AIDA 법안의 한계와 입법 실패 원인 66
• Ⅳ. 소결 67
• 제4절 주요국의 인공지능 규제 접근방식 비교분석 67
• Ⅰ. 비교의 필요성과 관점 67
• Ⅱ. 유럽연합(EU): 포괄적·수평적 리스크 기반 규제 모델 67
• Ⅲ. 미국: 분권적·자율규제 중심의 위험관리 프레임워크 68
• Ⅳ. 캐나다: 영향평가 기반의 점진적 제도화 69
• Ⅴ. 비교 및 평가 70
• Ⅵ. 시사점 71
• 제4장 인공지능기본법의 고영향 체계 분석 74
• 제1절 인공지능기본법의 입법배경과 구조 74
• Ⅰ. 입법 과정과 입법 목적 74
• Ⅱ. 고영향 인공지능 개념 도입의 배경 75
• Ⅲ. 리스크 평가와 고영향 인공지능 76
• 제2절 고영향 인공지능의 법적 구조 77
• Ⅰ. 정의 규정의 분석: "중대한 영향" vs "위험 초래 우려" 77
• 1. 보호법익의 명시 77
• 2. 이중 기준의 병렬 77
• 3. 영역의 대통령령 위임 79
• Ⅱ. 11개 영역의 구조 80
• 제3절 비교법적 분석틀의 적용: 11개 영역의 재분류 82
• Ⅰ. 유형 1: 물리적 안전 위험 중심 영역 82
• 1. 영역과 특성 82
• 2. 시사점 83
• 3. 개별법과의 관계 84
• Ⅱ. 유형 2: 기본권 영향 위험 중심 영역 84
• 1. 영역과 특성 84
• 2. 시사점 85
• 3. 개별법과의 관계 86
• Ⅲ. 유형 3: 혼합 영역(물리적 안전과 기본권 영향의 복합) 86
• 1. 영역과 특성 86
• 2. 시사점 87
• 3. 개별법과의 관계 88
• 제4절 현행 체계의 문제점과 개선 방향 88
• 제5장 리스크 평가 기준의 체계화 90
• 제1절 선정기준과 판단기준의 구분 90
• Ⅰ. 구분의 필요성 90
• Ⅱ. 개념 정의 91
• Ⅲ. 두 기준의 관계 91
• 제2절 선정기준 92
• Ⅰ. 기준 설정의 필요성 92
• Ⅱ. 영역 선정을 위한 검토 요소 92
• 1. 기본권 침해의 중대성 92
• 2. 리스크의 중대성과 불가역성 93
• 3. 정보 비대칭성과 취약성 93
• 4. 차별적 영향의 구조성 93
• 5. 시장 실패와 자율규제 한계 94
• 6. 규제 실효성과 집행 가능성 94
• Ⅲ. 종합 판단 94
• 1. 필수 요건: 침해의 중대성 94
• 2. 보강 요건: 인공지능의 규제 필요성 95
• 3. 고려 요건: 규제의 실현 가능성 95
• Ⅳ. 절차적 보장과 거버넌스 구축 96
• 1. 영향평가를 통한 사회적 효용 극대화 96
• 2. 참여적 거버넌스를 통한 민주적 정당성 확보 96
• (1) 참여적 거버넌스의 구현 96
• (2) 정보 공개와 투명성 97
• 3. 실험적 규제를 통한 증거기반 정책 97
• 제3절 유형 1의 판단기준 98
• Ⅰ. 기본 접근법: 리스크 기반 접근 98
• Ⅱ. 판단기준의 구조 98
• 1. 물리적 위해의 명확성: 3단계 평가 99
• (1) 1단계: 물리적 위해의 명확성 확인 99
• (2) 2단계: 정량적 위험평가 가능성 판단 99
• (3) 3단계: 기존 안전기준과의 비교 100
• 2. 안전성 판단을 위한 보조 기준 101
• Ⅲ. 비교법적 근거 101
• Ⅳ. 개별법과의 관계: 보충성 원칙 102
• 제4절 유형 2의 판단기준 102
• Ⅰ. 기본 접근법: 알고리즘 영향평가 102
• Ⅱ. 판단기준의 구조: 4단계 평가 103
• 1. 제1단계: 의사결정의 중요도 평가 103
• 2. 제2단계: 차별적 영향 가능성 평가 103
• 3. 제3단계: 알고리즘 투명성 평가 104
• 4. 제4단계: 인간 개입의 실질성 평가 105
• 5. 소결 106
• 제5절 유형 3의 판단기준 106
• Ⅰ. 의료기기 인공지능의 판단기준 106
• 1. 이중 평가의 필요성 106
• 2. 판단기준 107
• (1) 1차 평가: 안전성·유효성 107
• (2) 2차 평가: 공정성·편향성 108
• (3) 통합 판단 108
• Ⅱ. 자율주행차 인공지능의 판단기준 108
• 1. 자동화 수준별 차등 적용 108
• (1) 레벨 3 미만 (운전자 보조 시스템) 109
• (2) 레벨 3 (조건부 자율주행) 109
• (3) 레벨 4-5 (고도/완전 자율주행) 110
• 2. 통합 판단 110
• (1) 물리적 안전 측면 110
• (2) 윤리적 판단 측면 110
• (3) 종합 판단 110
• Ⅲ. 비교법적 근거 111
• 제6절 소결 112
• 제6장 인공지능 법제 개선방안 113
• 제1절 인공지능기본법 개정방향 113
• Ⅰ. 제2조 제4호 정의 개정: 유형 구분 명시 113
• Ⅱ. 고영향 인공지능사업자 책무의 면제·완화 117
• Ⅲ. 소결 118
• 제2절 하위법령 정비방안 119
• Ⅰ. 시행령: 유형별 구체적 판단기준 119
• Ⅱ. 가이드라인: 실무 적용 지침 120
• 제3절 영향평가 중심의 관리체계 구축 121
• Ⅰ. 법 제33조 확인절차의 의미와 한계 121
• 1. 확인절차의 의미와 기능 121
• 2. 확인절차의 구조적 한계 122
• 3. 영향평가의 필요성 124
• Ⅱ. 영향평가의 의무화와 절차 설계 124
• 1. 법 제35조의 개정: 영향평가의 의무화 124
• 2. 영향평가의 구체적 절차 127
• (1) 영향평가 범위의 결정 128
• (2) 리스크 식별 및 이해관계자 참여 128
• (3) 리스크 평가 및 완화조치 수립 130
• (4) 영향 수준의 결정 및 공개 130
• (5) 사후관리: 지속적인 모니터링 131
• Ⅲ. 소결 131
• 제4절 조정 메커니즘: 인공지능책임관협의회 132
• 제5절 민관 협력과 국제 협력 133
• 제7장 결론 134
• 참고문헌 137