신뢰할 수 있는 인공지능의 이론적 고찰 = A Theoretical Study on Trustworthy Artificial Intelligence

다국어 초록 (Multilingual Abstract)

There have been growing discussions on establishing desirable artificial intelligence (AI) governance to maximize benefits and minimize harm and risk of AI. Today, the concept of trustworthiness is at the heart of AI governance. However, unlike active practical discussions on the sub- components of trustworthiness, fundamental discussions are insufficient. This may make it difficult to systematically understand and critically reflect on the present and future of trustworthy AI governance and may hinder the creation of desirable legal policies.
Based on the awareness of these problems, this paper examines the theories of AI trustworthiness and discusses their implications. In human society, the concept of trustworthiness focuses mainly on reducing fundamental uncertainty by exercising reciprocity based on good will. While this may play a significant role in traditional rule-based AI contexts, it is difficult to apply it to deep learning AI, where uncertainty related to results rather than intentions is mainly highlighted. Accordingly, it is necessary to establish a new trustworthiness theory based on the results.
The establishment of a risk management system to reduce uncertainty is at the core of this result-based trustworthiness theory. In the case of technical risks, which have been traditionally discussed in the engineering field, various risk management methodologies have already been established. On the other hand, in the case of social risks created by deep learning AI, it is not easy to apply the existing quantitative risk management methodologies because they are related to human qualitative values. In response, two alternatives have been proposed: human-in-the-loop and technological advancement. Instead of acknowledging the supremacy of either one, we should have convergent thinking that embraces both.

국문 초록 (Abstract)

인공지능의 편익을 극대화하고 해악과 위험을 최소화하기 위해 국내외에서 다양한 거버넌스 논의가 이어지고 있다. 오늘날 인공지능 거버넌스의 중심에는 신뢰성이라는 개념이 자리 잡고 있는데, 신뢰성을 이루는 하부 구성요소에 관한 실무적 차원의 논의가 활발한 것과는 달리 전체를 아우르는 이론적 차원의 논의는 부족한 상황이다. 이는 신뢰할 수 있는 인공지능 거버넌스의 현재와 미래에 대한 체계적 이해와 비판적 성찰을 어렵게 만들고 바람직한 법정책적 대안의 제시를 방해할 우려가 있다.
본고는 이러한 문제의식을 바탕으로 인공지능 신뢰성의 함의를 규명하고 이로부터 어떠한 시사점을 얻을 수 있는지에 대한 이론적 차원의 논의를 진행하였다. 인간 사회의 신뢰성 개념은 주로 선의지에 기초한 호혜성을 발휘하여 근원적 불확실성을 줄이는 데 초점을 두고 있다. 이는 전통적 규칙 기반 인공지능맥락에서는 유의미한 역할을 할 수 있지만, 주로 의도성 대신 결과와 결부된 불확실성이 부각되는 딥러닝 인공지능 맥락에는 그대로 적용되기가 어렵다. 이에 따라 후자에 대해서는 독자적 신뢰성 이론이 새로이 정립될 필요가 있다.
이러한 결과 기반 신뢰성 이론의 핵심에는 불확실성을 줄이기 위한 위험관리 체계의 정립이 자리 잡고 있다. 공학 분야에서 전통적으로 논의된 기술적 위험의 경우 이미 다양한 위험관리 방법론이 정립되어 있으므로 이를 적극적으로 활용할 수 있고, 실제로도 그러한 상황이다. 반면 딥러닝 인공지능이 만들어 내는 사회적 위험의 경우 인간의 정성적 가치와 결부된 것이어서 기존의 정량적 위험관리 방법론을 그대로 적용하기가 쉽지 않다. 이에 대해 인적 접근과 기술적 접근의 고도화라는 두 가지 대안이 제시되고 있는데, 어느 하나의 전적인 우위를 인정하는 대신 양자를 포용하는 융합적 사고를 지향할 필요가 있다.

참고문헌 (Reference)

1 김도균, "집합행동, 신뢰, 법- 공적 신뢰의 토대에 관한 고찰 -" 법학연구소 54 (54): 543-599, 2013

2 전중환, "진화한 마음" 휴머니스트 2019

3 김길수, "인공지능의 신뢰에 관한 연구" 한국자치행정학회 34 (34): 21-41, 2020

4 심우민, "인공지능의 발전과 알고리즘의 규제적 속성" 법과사회이론학회 (53) : 41-70, 2016

5 박도현, "인공지능과 해악―창발적 해악론을 중심으로" 서울대학교 2021

6 박도현, "인공지능과 자율성의 역학관계" 법학연구소 20 (20): 501-538, 2019

7 양천수, "인공지능과 윤리 -법철학의 관점에서-" 법학연구원 27 (27): 73-114, 2020

8 김문구, "인공지능과 신뢰(Trust): 이슈 및 대응방안" 2017

9 이상용, "인공지능과 법인격" 한국민사법학회 89 : 3-49, 2019

10 박도현, "인공지능 윤리의 두 가지 가치" 법학연구원 45 (45): 89-118, 2021

11 고학수 ; 박도현 ; 이나래, "인공지능 윤리규범과 규제 거버넌스의 현황과 과제" 법학연구소 13 (13): 7-36, 2020

12 박도현, "인간 편향성과 인공지능의 교차" 법학연구소 63 (63): 139-175, 2022

13 최정규, "이타적 인간의 출현" 뿌리와이파리 2009

14 한상기, "신뢰할 수 있는 인공지능" 클라우드나인 2021

15 데이비드 데스테노, "신뢰의 법칙" 웅진지식하우스 2018

16 김시윤, "사회자본과 경제성장에 대한 비판적 고찰 -신뢰 변수를 중심으로-" 한국정부학회 20 (20): 1067-1084, 2008

17 관계부처 합동, "사람이 중심이 되는 인공지능을 위한 신뢰할 수 있는 인공지능 실현전략(안)"

18 김건우, "로봇윤리 vs. 로봇법학: 따로 또 같이" 한국법철학회 20 (20): 7-44, 2017

19 김이수, "과학기술정책에서 혁신정책도구가 인공지능 신뢰성에 미치는 영향에 관한 탐색 연구 - 인공지능 윤리의 조절효과를 중심으로 -" 한국자치행정학회 34 (34): 329-352, 2020

20 김도균, "‘불간섭으로서의 자유’와 ‘비예속상태로서의 자유’ -한국사회의 자유담론과 관련해서-" 법과사회이론학회 (39) : 237-267, 2010

21 European Commission, "WHITE PAPER: On Artificial Intelligence―A European Approach to Excellence and Trust"

22 Thiebes, Scott, "Trustworthy artificial intelligence" 31 (31): 2021

23 Fukuyama, Francis, "Trust: The Social Virtues and the Creation of Prosperity" Free Press 1996

24 Stanton, Brian, "Trust and Artificial Intelligence" 2021

25 Floridi, Luciano, "Translating Principles into Practices of Digital Ethics : Five Risks of Being Unethical" 32 (32): 2019

26 Rhodes, R. A. W., "The New Governance : Governing without Government" 44 (44): 1996

27 Axelrod, Robert, "The Evolution of Cooperation" Basic Books 1984

28 Hamilton, William D, "The Evolution of Altruistic Behavior" 97 (97): 1963

29 Zhang, Daniel, "The AI Index Report 2022 Annual Report" AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University 2022

30 OECD, "Recommendation of the Council on Artificial Intelligence" 2019

31 Beauchamp, Tom L, "Principles of Biomedical Ethics" Oxford University Press 2019

32 Floridi, Luciano, "On the Morality of Artificial Agents" 14 (14): 2004

33 Putnam, Robert D, "Making Democracy Work: Civic Traditions in Modern Italy" Princeton University Press 1993

34 Nowak, Martin A., "Five Rules for the Evolution of Cooperation" 314 (314): 2006

35 Fehr, Ernst, "Fairness and Retaliation : The Economics of Reciprocity" 14 (14): 2000

36 European Commission, "Ethics Guidelines for Trustworthy AI"

37 Winfield, Alan F. T, "Ethical Governance is Essential to Building Trust in Robotics and Artificial Intelligence Systems" 376 (376): 2018

38 Offe, Claus, "Democracy and Trust" Cambridge University Press 1999

39 Yudkowsky, Eliezer, "Creating Friendly AI 1.0: The Analysis and Design of Benevolent Goal Architectures" The Singularity Institute 2001

40 European Commission, "Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions: A Digital Single Market Strategy for Europe" 2015

41 European Commission, "Assessment List for Trustworthy Artificial Intelligence (ALTAI) for Self-assessment"

42 Future of Life Institute, "Asilomar AI Principles"

43 The White House Office of Science and Technology Policy, "American Artificial Intelligence Initiative: Year One Annual Report" 2020

44 NIST, "AI Risk Management Framework: Initial Draft"

45 Gasser, Urs, "A Layered Model for AI Governance" 21 (21): 2017

46 과학기술정보통신부, "2022 신뢰할 수 있는 인공지능 개발안내서(안)"