Automated decision-making and right to self-determination of personal information : 자동화된 의사결정과 개인정보자기결정권

국문 초록 (Abstract)

디지털 시대에 개인정보의 적절한 활용과 보호를 가능하게 하는 법적 체계를 구축하는 것은 경제 발전뿐만 아니라 법적 프레임워크를 위한 중요한 토대가 될 것이다. 오늘날 인공지능(AI)과 대규모 데이터 처리에 기반한 자동화된 의사결정 과정(ADM)의 활용 증가는 거버넌스와 일상생활의 모든 측면에서 핵심적 요소가 되었다. 이로 인해 해킹, 딥페이크, 개인정보 유출 등 새로운 도전과 위협이 발생하고 있다. 이러한 역동적인 관점에서 국가의 최고 법률은 시민을 위한 충분한 보호 장치를 마련하고 위험을 완화하기 위해 개정되어야 한다.
오늘날 인공지능(AI)과 대규모 데이터 처리에 기반한 자동화된 의사결정 프로세스(ADM)의 활용이 증가하면서, 이는 거버넌스와 일상생활의 모든 측면에서 핵심적인 요소로 자리잡았습니다. 이로 인해 해킹, 딥페이크, 개인정보 유출 등 새로운 도전과 위협이 등장하고 있습니다. 이러한 역동적인 관점에서 국가의 최고 법률은 시민을 보호하고 충분한 안전장치를 제공하도록 설계되어야 한다.
유럽연합(EU)은 회원국과 국가들을 안내하기 위해 개인정보 보호에 관한 광범위한 규범을 포함하는 일반 개인정보 보호 규정(GDPR)을 도입하는 주도적 역할을 수행했습니다. 구체적으로 개인정보 처리 시 준수해야 할 7가지 원칙을 규정하며, 제22조는 개인정보에 대한 순수 자동화된 의사결정 제한을 명시한다. 이러한 법적 흐름에 따라 다수 국가들은 헌법적 차원에서 시민의 개인적 권리를 보장하기 위해 국가적 맥락에 맞는 개인정보 보호법을 제정하고 있다.
본 연구는 비교법적 접근을 통해 “자동화된 의사결정”(ADM)의 헌법적 함의와 개인이 자신의 개인정보에 대해 가지는 자율성을 조명할 것이다. 연구의 초점은 “일반 데이터 보호 규정”(이하 GDPR)의 맥락에서 유럽연합과 더불어 한국 및 스리랑카의 법률 체계에 맞춰져있다.
자동화된 의사결정이 가정 내든 공공장소든 일상생활의 모든 측면에서 역할을 수행하게 되면, 개인은 불이익을 경험하게 된다. 예를 들어 소외나 양극화로 인한 불공정한 대우, 존엄성과 자율성에 대한 위협, 일상생활에서 평등한 대우를 받지 못하는 등의 문제다. 이러한 문제들이 점차 증가함에 따라 개인정보에 대한 헌법적 보장의 중요성이 주요 관심사로 부상했다. 이 주제적 문제에 대응하기 위해 국가들은 개인정보 보호를 위한 데이터 주체의 권리를 도입했다.
많은 전문가들은 자동화된 의사결정 과정이 종종 편향된 결과를 초래하며, 불투명한 처리 시스템으로 인해 설명이 불가능한 '블랙박스 효과'가 불가피하다고 주장하고 있고, 설명불가능한 디지털 영역의 정보처리는 개인에게 편향된 결과를 초래하며, 특히 이민자, 난민, 채무자 등 소외된 집단에게 특히 불리한 결과를 가져온다.
이러한 결과를 완화하고 개인 데이터를 보장하기 위해 GDPR은 법적 프레임워크를 도입했다. 제4조는 프로파일링을 규정하며, 제22조는 인종, 종교, 정치적 신념 또는 건강과 같은 민감한 데이터에 기반한 전적으로 자동화된 의사 결정을 금지하고 있다. 단, 데이터 주체가 동의한 경우는 예외가 된다. 또한 GDPR 제3장에서는 접근권, 정정권, 잊혀질 권리, 처리 제한권 등 데이터 주체의 권리를 규정하고 있다. GDPR의 황금률에 따라 한국과 스리랑카 법도 데이터 주체의 권리를 국내법에 명시하였다. SCHUFA 사건에서 유럽연합 사법재판소(CJEU)는 해당 사례에서 ADM(자동화된 의사결정)을 인정하고 편향된 결과를 초래하는 순수 자동화된 의사결정을 금지함으로써 GDPR을 통하여 보호를 강화하였다.
한국 헌법은 사생활 보호권과 정보적 자기결정권을 명시적으로 인정하고 있다. 제17조는 사생활의 권리를 보장하며, 제10조는 인간의 존엄성과 개인의 가치를 명시하고 있으며, 헌법재판소는 이러한 조항들을 폭넓게 해석하여 개인이 자신의 개인정보를 통제할 권리가 있음을 인정하였다. 주민등록번호 사건(2012)에서 재판부는 영구 식별번호의 무제한적 사용이 정보적 자기결정권을 침해한다고 판결함으로써 데이터 보호를 헌법적 권리로 인정하였다. 한국 개인정보보호법(PIPA)에서는 개정안을 통해 제37조의2에 자동화된 결정에 관한 규정을 포함하고 있으며, 동법 제35조부터 제37조까지는 개인정보 주체의 개인정보에 대한 자기결정권, 즉 개인정보 열람권, 정정 요청권, 삭제 또는 이용정지 요청권 등을 인정하고 있다.
GDPR과 유사하게 스리랑카도 개인 데이터 보호를 위한 법률인 2022년 제09호 개인 데이터 보호법(PDPA)을 제정하고, 동법 제18조에 따라, 그러한 결정이 권리와 자유에 중대한 영향을 미치는 경우 전적으로 자동화된 처리를 금지하는 예외 조항이 적용된다. 또한 다른 두 법률 접근 방식과 마찬가지로, PDPA 제6장은 개인 데이터에 대한 데이터 주체의 권리를 다루고 있다. 여기서 주목할 점은, 한국과 달리 스리랑카에는 시민의 사생활 보호에 관한 헌법적 보장이나 사법적 선례가 없다는 것이다. 따라서 스리랑카 국민들은 아직 시행 유예 기간 중인 PDPA에 큰 기대를 걸고 있다. 그러나 한국 개인정보보호위원회(PIPC)와 유사하게, 스리랑카도 이 법의 관리 기관으로 데이터 보호 기관(DPO)을 설립했다.
ADM 프로세스에서 발생하는 문제 해결에는 단순하거나 단일한 해답이 존재하지 않으며, 반드시 준수해야 할 절차이다. 우선, 완전 자동화이든 부분 자동화이든 모든 절차는 법치주의라는 기본 법적 원칙을 준수해야 하며, 자동화된 의사결정 과정은 GDPR에 명시된 원칙에 부합해야 한다. 즉, 합법적이고 공정하며 투명성에 대한 책무를 가진다. 법치주의는 개인에게 영향을 미치는 결정이 알 수 있고, 검토 가능하며, 법적 책임의 대상이 되어야 함이 요구된다. 알고리즘의 불투명성은 이유를 제시하지 않고 결과를 산출함으로써 이 원칙을 훼손할 수 있다. 따라서 알고리즘 투명성이 중요하며, 이는 단순한 기술적 안전장치가 아니라, 평등권, 존엄성, 차별 금지 권리를 보호함으로써 인력을 보호하기 위한 헌법적 필수 요소이기 때문이다.
ADM 프로세스는 충분한 인간의 개입이 수반되어야 할 뿐만 아니라, 이 원칙은 '인간이 개입된 루프(HITL)'로 명명되며, 개인의 권리와 자유를 보호하기 위해 공정하고 평등한 결과를 도출하기 위한 과정에서의 인간 개입 필요성을 인정하고 있다. 헌법적 관점에서 HITL은 인간의 존엄성, 자율성, 책임성을 보장합니다. 이는 개인이 알고리즘 결정의 수동적 대상이 될 수 없으며, 의사 결정 과정의 참여자로 남아야 한다는 사상을 반영하며 HITL은 또한 민주적 정당성과 관련성을 가진다. 헌법적 민주주의에서 개인의 권리에 영향을 미치는 결정은 궁극적으로 불투명한 기술 시스템이 아닌 책임 있는 인간 주체에게 귀속한다.
헌법적 관점에서 HITL은 인간의 존엄성, 자율성 및 책임성을 보장한다. 이는 개인이 알고리즘 결정의 수동적 대상이 되어서는 안 되며 의사 결정 과정의 참여자로 남아야 한다는 사상을 반영한다. HITL은 또한 민주적 정당성을 지지한다. 헌법적 민주주의에서 개인의 권리에 영향을 미치는 결정은 궁극적으로 불투명한 기술 시스템이 아닌 책임 있는 인간 주체에게 추적 가능해야 한다.
또한 이 ADM 프로세스에 반대하는 또 다른 논거는 블랙박스 개방 문제입니다. '블랙박스'라는 용어는 내부 논리가 개발자에게조차 접근 불가능한 알고리즘 시스템의 불투명성이 나타난다. 헌법적 관점에서 이는 책임성, 공정성, 법치에 대한 심각한 우려를 제기한다. 이는 종종 설명받을 권리와 함께 제기되는데, 이는 점차 헌법적 요구사항으로 규정되기 때문이다. 이는 개인이 자신의 권리에 영향을 미치는 결정의 근거를 이해할 수 있도록 보장함으로써 해당 결정에 이의를 제기할 수 있게 한다. 이 권리는 적법 절차, 사법 접근권, 법 앞의 평등에 대한 헌법적 보장과 부합한다.
따라서 사전 처리 데이터를 이해하고 사후 처리 데이터를 평가할 수 있는 메커니즘이 마련되어야 하며, 그렇게 되면 자동화된 의사 결정에 사용된 데이터를 이해하고 그 결과와 비교·대조할 수 있으므로 많은 단점을 시정 및 극복 가능하게 된다.
마지막으로 ADM 규제는 기술, 법률, 헌법적 거버넌스의 교차점에 위치한다. GDPR, PIPA, PDPA와 같은 법령이 중요한 보호 장치를 제공하지만, 그 효과성은 궁극적으로 헌법적 기반에 달려 있다.
비교 분석에 따르면 헌법적 근거는 ADM 규제의 집행력, 사법적 심사, 민주적 정당성을 강화한다. 한국과 마찬가지로 스리랑카가 개인정보 및 데이터 권리를 헌법에 명시할 경우, PDPA는 법적 안전장치에서 헌법상 보장된 권리로 전환되어 개인의 자율성과 디지털 경제에 대한 신뢰를 동시에 강화할 것이다.
궁극적으로 ADM 거버넌스는 단순한 법적 준수를 넘어 투명성, 책임성, 인간 존엄성을 보장하는 헌법적 틀을 요구한다. 이는 기술 발전이 기본권과 조화를 이루도록 보장하기 위함이다.

목차 (Table of Contents)

• 1. General Introduction 1
• 1.1. Research Background 1
• 1.2. Objectives and Methodology of Research 6
• 1.2.1. Objectives of the Research 6
• 1.2.2. Research Methodology and scope 8
• 2. Constitutional Status of Automated Decision Making 11
• 2.1. Definition of Automated Decision-Making and Profiling 11
• 2.1.1. Definition of Automated Decision-Making 11
• 2.1.2. Definition of Profiling 12
• 2.2. Necessity of Automated Decision Making 15
• 2.2.1. Importance of ADM in the Constitutional Background 15
• 2.2.2. Necessity of Automated Decision Making in AI era 19
• 2.2.3. The data controller's discretion between consent and legitimate interests 24
• 2.2.3.1. The limit of the data subjects' Consent 26
• 2.2.3.2. Legitimate Interest of lawfulness in GDPR 28
• 2.3. Relationship between Fundamental Rights and Automated Decision-Making 33
• 2.3.1. Republic of Korea legal context 34
• 2.3.2. Sri Lankan legal context 36
• 2.4. Obligation of Protection of Basic Rights and Right to Self-determination of Personal Information 39
• 2.4.1. Obligation of Protection of Basic Rights 39
• 2.4.2. Right to Self-determination of Personal Information 42
• 2.4.2.1. Introduction 42
• 2.4.2.2. Conceptual foundation 43
• 2.4.2.3. Legal framework 46
• 2.4.2.3.1. What is the Right to Self-determination of Personal Information. 46
• 2.4.2.3.2. Distinction Between Privacy, Data Protection, and Informational Self-Determination 47
• 2.4.2.4. Core rights under the Personal Data Self-Determination 51
• 2.4.2.4.1. Right to Access 51
• 2.4.2.4.2. Right to Rectification 52
• 2.4.2.4.3. Right to Delete/ Right to be forgotten 52
• 2.4.2.4.4. Right to restrict/ suspend processing 53
• 2.4.2.4.5. Right to Data Portability 55
• 2.4.2.4.6 Right to Object 56
• 2.4.2.5. Conclusion 57
• 3. Legislative background and problems of Automated Decision Making 58
• 3.1. Automated Decision-Making and profiling in different Legal Contexts 58
• 3.1.1. European Union (GDPR) 58
• 3.1.2. The Legal System of USA 60
• 3.1.2.1. California Privacy Rights Act 60
• 3.1.2.2. Colorado Privacy Act 61
• 3.1.2.3. Virginia Consumer Data Protection Act 62
• 3.1.3. The legal System of Republic of Korea 63
• 3.1.3.1. Personal Data Protection Act of Republic of Korea 63
• 3.1.3.2. Basic Administrative Procedure Act of Republic of Korea 65
• 3.1.3.2.1. Background 65
• 3.1.3.2.2. Significance of Automated Disposition 66
• 3.1.3.2.2.1. Definition of Automated Disposition 66
• 3.1.3.2.2.2. Applicability of Automated Disposition 67
• 3.1.3.2.3. Requirements for Automated Disposition 67
• 3.1.3.2.4. Comparison between Automated Disposition and Automated Decision-Making 68
• 3.1.3.2.5. Conclusion 69
• 3.1.4. The Legal System of Sri Lanka 70
• 3.2. Personal Data Protection Act of Sri Lanka and Its Implementation 72
• 3.2.1. Introduction 72
• 3.2.2. Objectives and Preamble 74
• 3.2.3. Automated Decision-making 75
• 3.2.4. Right to self-determination of Personal Information 77
• 3.2.5. Safeguards and Implementation 81
• 3.3. Problems in Automated decision-making (ADM) and Profiling 83
• 3.3.1. Black box Problem 85
• 3.3.2. Bias and Discrimination 87
• 3.3.3. The Difficulty of Explainability 90
• 3.3.4. Coverage of use of Automated Decision-Making 95
• 3.3.4.1. Use of automated decision-making in public law 95
• 3.3.4.2. Use of automated decision-making in private law 98
• 3.3.4.2.1. ADM in the Labour Context 98
• 3.3.4.2.2. ADM within the Contract Law 102
• 3.4. Republic of Korea and European precedents on the Right to Self-determination of personal information. 106
• 3.4.1. Introduction 106
• 3.4.2. European Union - CJEU 107
• 3.4.2.1. SCHUFA Case - (Case C-634/21) 107
• 3.4.2.2. Google Spain SL and Google Inc. v Agencia Española de Protección de Datos (AEPD) and Mario Costeja González. 110
• 3.4.3. Republic of Korea 114
• 3.4.3.1. Supreme Court Decision 2014. 7. 24, Case No. 2013Da49933 [Damages (non-pecuniary)] [Official Gazette 2014, 1646] 115
• 3.4.3.2. Supreme Court 2016.03.10 sentence 2012C105482 Judgement 116
• 3.4.3.3. Constitutional Court 2022. 11. 24. Judgment 2021 헌마 130 Decision [Heungong 314, 1535] 117
• 4. Effective remedies to the ADM problems 122
• 4.1. Legal principles as solution 122
• 4.1.1. Rule of Law 122
• 4.1.2. Artificial Intelligence and Fairness 124
• 4.1.3. Transparency in the Algorithm 125
• 4.1.4. The concept of Open the Black Box (Explainability) 127
• 4.1.5. Risk Management 130
• 4.2. Human in the Loop (HITL) 134
• 4.2.1. Requiring Humans in the loop 134
• 4.2.2. Challenges of Human in the Loop 137
• 4.2.3. Human in the Loop in Legal Environment 138
• 4.2.4. End remarks 140
• 4.3. Enhancement of Judicial Principles 142
• 5. Conclusion 145
• 5.1. Suggestions 145
• 5.2. Conclusion 147
• References 151
• Abstract 163