인공지능(AI)의 법인격 주체성의 논리적 기틀에 대한 기초 연구

한희원 중앙법학회 2018 中央法學 Vol.20 No.3

Generally speaking, a moral agent is a human being who has the ability to discern right from wrong and to be held accountable for his or her own actions owing to so called reason or rationality. For that reason moral agents have a moral responsibility not to cause unjustified harm to anyone in a society. However the newly emerging field of smart machine ethics is concerned with adding an ethical dimension to machines. So called artificial intelligence(AI) is intelligence demonstrated by machines, in contrast to the natural intelligence displayed by humans and other animals. As technology advances, some activities, once deemed as “human-only”, are performed by machines or artificial agents. As they accomplish more and more complex tasks, something more than complex computational capabilities are needed for artificial agents: some minimal moral capacities to decide about moral and ethics matters. Ultimately, the concept of an artificial moral actor or agent(AMA) emerged which requires ethics and new law. But can artificial intelligence agents consciously or really distinguish right from wrong? Anyway Sophia, an artificial intelligence robot who is recognized as the most humane robot, received citizenship in Saudi Arabia in 2017 and was invited to the United Nations Economic and Social Council(ECOSOC) for a panel. Nowadays artificial intelligence robots have already begun to live together with human beings. And then what is the reality of an artificial intelligence robot? Is consciousness the only distinction standard between animals, machines and humans? From a human-centered point of view, no matter how machine may be looks like or work similarly a human being, artificial intelligence robots can’t and should not be given moral subjectivity as inanimate objects because without consciousness nothing can be moral agent. However regarding to the consciousness, lots of opinions are based on the viewpoint of human control and supervision, and directly from the viewpoint of robot slaves which derive from the viewpoint of homo sapiens, in other words anthropocentrically. And then, is Homo sapiens the ultimate conqueror of the earth? What is essence of human consciousness and life? What is the basis and content of artificial moral agent(AMA)? Does it impossible to appear super artificial intelligence, ie Robo-Sapien as a Third Species? The ultimate goal of machine ethics, I believe, is to create a machine that itself follows an ideal ethical principle or set of ethic principles like theory of utilitarianism as well as consequentialism and virtue theory, etc. Those questions are the starting point of this paper. Therefore, in this paper I propose a model of artificial normative agency that accommodates some crucial social competencies that human being expect from artificial moral agents. And I tried to discuss the ultimate question of how the relationship between Homo sapiens and Robo-Safian will be located. Today's remarkable advances in science and technology may develop a third species in some day after technical singularities. Addition that in this paper, I want to share some legal and ethical issues about the ultimate reality of artificial moral agents(AMA), as well as the problems of legal education in artificial intelligence era for the discussion and leading study in the field of legal philosophy. 미래 과학기술문명의 정점을 이룰 것으로, 제4차산업혁명의 쟁점으로도 이미 등장한 인공지능(AI)에 대해 법학계의 관심도 증대하고 있고, 법률논문에도 인공지능 주제가 등장하기 시작했다. 물론 대개는 자율주행차와 지적재산권 관련 쟁점을 다루는 논문이다. 그러나 법학이 인공지능(AI)과 관련되어 원초적인 역할을 다하려면 인공지능의 궁극적인 모습인 인공적 도덕행위자에 대한 이해가 수반되어야 하고 그것은 결국 인공지능(AI)의 법인격주체의 문제로 귀결된다. 이를 위해서는 인공적 도덕행위자 논쟁이 결국 법규범과 도덕윤리에 기초한 것임을 인식해야하고, 호모 사피엔스의 고유한 특성으로 말해지는 영혼, 의식, 자유의지에 대한 이해가 따라야한다. 이미 가장 인간다운 인공지능 로봇으로 평가되는 소피아(Sophia)가 2017년 사우디아라비아에서 시민권을 발급받았고 유엔경제사회이사회(ECOSOC)에 토론자로 초청받았다. 인공지능은 이미 인간 생활 전반으로 파고들며 인간과의 동거를 시작했다. 과연 인공지능 로봇의 궁극적인 실체는 무엇일까? 인간 중심적인 시각에서는 아무리 인공지능이라고 하더라도 로봇은 창의성이나 감각, 궁극적으로는 생명과 의식이 없는 무생물로 분류될 것이다. 본고의 문제의식의 출발점은 바로 여기에 있다. 그러나 인공지능에 대한 현재까지의 연구는 의식을 사물과 인간을 분별하는 유일한 기준으로 보는 한 그것이 법학이건, 철학이건 공학이나 경제학의 관점에서건 호모 사피엔스 중심적 관점에서 인간의 통제와 감독대상, 직설적으로는 로봇노예의 시각에 입각할 수밖에 없다는 사실을 부인하기 어렵다. 포스트휴머니즘, 사이보그 인간, 강인공지능의 담론은 모두 인간 중심적 한계에 있다. 그러나 오늘날 눈부신 과학기술의 발전은 기술적 특이점 이후에 등장할 제3의 종(種) 논쟁을 유발한다. 이에 본고는 법조문의 천착을 주된 관심사로 하는 법학에는 매우 생소하게 보일 수 있는데, 인공적 도덕행위자(Artificial Moral Agent)의 궁극적 실체와 함께 그에 따른 법적ㆍ윤리적 쟁점을 고찰하고자한다. 그리고 인공지능시대의 법학교육에 대한 고민을 살핀다. 본고는 호모 사피엔스가 궁극적인 지구의 정복자이고 완결자일까? 의식이나 생명이란 과연 무엇인가? 단적으로 인간이외에 인공적 도덕행위자(AMA)를 인정할 근거와 그 내용은 무엇일까? 제3의 종으로서 인공지능 로보-사피엔스는 출현할 것인가? 그럴 경우에 호모사피엔스와 로보 사피엔스의 관계는 어떻게 위치 지을 것인가? 그 경우에 법과 윤리는 과연 무엇을 해야 하고 할 수 있는가? 라고 하는 질문들에 대한 고찰로 법학 담론의 외연확대에 일조하고자 한다.

AMA의 도덕적 지위의 문제

이재숭 새한철학회 2020 哲學論叢 Vol.102 No.4

Until now, the discussion of morality has been limited mainly to humans, animals and ecosystems. However, with the emergence of artifacts with autonomy based on artificial intelligence, some philosophers now argue that the discussion of moral status should be extended to artificial agents. The more complex and more realistic the application of autonomous artificial systems capable of self-judgement and dicision-making, the more complex moral decisions will become In this paper, I expose the concept of agency and moral agency to discuss issues related to the moral status of the artificial agents, and examine the criteria by which an entity can be recognized as a moral agent. And I will argue that ‘Artificial moral agents’ can meet some of these criteria, and thus can be some level of moral agents. To this end, I review the arguments of Floridi, Sanders, Moor, and Bostrom and Yudkowski, which argue the standards and possibilities of the moral status of the artificial agents. And I will finally confirm the level of moral status possible foe AMA in Torrance’s srgument to extend the moral circle to artificial agents through the possibility of Machine Ethics. 지금까지 도덕에 관한 논의는 주로 인간과 동물 그리고 생태계에 한정되었다. 하지만 인공지능에 기반하고 있는 자율성을 가진 인공체들의 등장으로 인해 도덕적 지위에 대한 논의에 인공적 행위자가 포함되어야 한다는 주장들이 제기되고 있다. 스스로 판단하고 결정할 능력이 있는 ‘자율적인 인공시스템들’의 응용이 더 복잡해지고 더 현실적이 될수록 이와 관련한 도덕적 결정의 문제들도 더 복잡해질 것이다. 본 논문에서 필자는 인공적 행위자들의 도덕적 지위와 관련된 문제들의 논의를 위해 먼저 ‘행위성’과 ‘도덕적 행위성’의 개념을 드러내고, 어떤 존재가 도덕적 행위주체로 인정될 수 있는 기준들을 검토한다. 그리고 ‘인공적인 도덕행위자들(AMA)’이 이러한 기준들과 관련해서 어떤 기준을 충족시킬 수 있으며, 어느 수준의 도덕적 행위주체로 인정될 수 있는지 그 가능성을 모색할 것이다. 이를 위해 필자는 인공적 행위자들의 도덕적 지위의 기준들과 가능성을 논증하는 플로리디와 샌더스, 무어, 그리고 보스트롬과 유드코프스키의 논변들을 검토하고, 기계윤리의 가능성을 통해 도덕적 원을 인공적 행위주체들로 확장시키고자 하는 토런스의 논증에서 AMA에게 가능할 수 있는 도덕적 지위의 수준을 확인할 것이다.

윤리적 인공지능은 가능한가? - 인공지능의 도덕적, 법적 책임 문제 -

이상형 ( Sang-hyung Lee ) 한국법정책학회 2016 법과 정책연구 Vol.16 No.4

이 논문의 목적은 인공지능이 윤리적으로 행동하는 것이 가능한가를 고찰하는 것이다. 과학기술의 발전으로 윤리적 대상뿐만 아니라 윤리적 주체의 범위가 인공지능에까지 확대될 때 우리는 필연적으로 도덕적 인공행위자를 상정하게 된다. 그의 자발적 행위가 인간뿐만 아니라 세계에 영향을 미칠 때 우리는 인공행위자가 도덕적으로 행위하길 기대하기 때문이다. 그렇다면 도덕적 인공행위자가 가능하기 위해 우리는 어떻게 해야 할까? 그의 행동에 얼마만큼의 책임을 부여 해야 할까? 이는 필연적으로 인간의 도덕적 추론에 대한 반성을 이끌게 된다. 인간의 도덕적 추론이 감정에 원천을 갖는다면 도덕적 인공행위자에게 감정능력을 갖게 하는 것이 필수적이다. 그러나 도덕적 인공행위자가 성공한다 할지라도 그에게 곧바로 도덕적, 법적 책임과 권리를 부여할 수 있을까? 우리가 책임져야 할 도덕적 행동이란 감성과 이성의 조화를 통한 자신의 행동을 이해하고, 자신의 행위를 최종적으로 합리적인 방식으로 선택할 수 있는 경우이다. 그러나 이를 위해 두 가지 전제조건이 만족 되어야 한다. 책임은 사회적 관계에 의해 발생하는 것이며, 이는 의사소통의 가능성에 의존한다는 것이다. 책임개념은 사회적 인정에 의해 만들어진다. 따라서 도덕적 인공행위자가 자신의 행위에 대한 책임을 가지기 위해서는 인정투쟁이 필요하다. 책임의 귀속여부는 결국 이런 인정투쟁을 통해 형성된 사회적 산물이라 볼 수 있기 때문이다. The main purpose of this paper is to consider ethical effects of the production and use of Artificial Intelligence to human lives. To give any desirable foundation of moral Artificial Intelligence, this paper would like to point out the limit of artificial moral agent in contemporary tendency and to have certain perspective to the ethical nature of responsibility for the next generations. Therefore, this paper discusses the possibility and implication of artificial moral agent. Software introduces new kinds of agents: artificial software agents (ASA), including, for example, driverless trains and cars. To create these devices responsibility, engineers need an ethics of software agency. However, it is essential for artificial agent to have moral feelings to reach this goal. This moral emotion can lead to moral behavior. But even if to create a artificial moral agent succeeds, can it be possible to give him a moral and legal responsibility and rights? The moral behavior we are responsible for is to understand our actions through the harmony of emotion and reason, and finally to select our actions in a rational way. However, two preconditions must be met for this. Responsibility arises from social relationships, and it depends on the possibility of communication. The concept of responsibility is created by social recognition. Therefore, in order for a artificial moral agent to take responsibility for his actions, a struggle for recognition is needed. This is because ethics can be seen as a social product formed through such recognition struggles.

인공적 도덕 행위자 설계를 위한 고려사항

목광수(Kwangsu Mok) 서울대학교 철학사상연구소 2018 철학사상 Vol.69 No.-

과학기술의 발전 과정에서 인간과 인공지능(artificial intelligence, 이하 AI) 또는 AI 로봇과의 상호작용이 확장되고 있으며, 이러한 과정에서 최근 들어 AI 또는 AI 로봇은 현실적 차원에서 도덕적 고려 대상이 되어가고 있다. 이러한 현실로 인해 연구되고 있는 AI와 관련된 도덕 논의 가운데, 현재 가장 많은 연구가 이루어지고 있는 영역 가운데 하나가 인공적 도덕 행위자 (artificial moral agent, 이하 AMA)에 대한 논의이다. 왜냐하면, 현재 인간과 사회적 관계를 맺게 될 AI 또는 AI 로봇에게 시급하게 요구되는 도덕적 고려사항은 AI 또는 AI 로봇이 인간을 도덕적으로 대우하게 만드는 것이기 때문이다. 따라서 본 논문의 목적은 AMA 설계를 위해 고려할 도덕 철학적 사항들이 무엇인지를 모색해서 제안하는 것이다. 본 논문은 AMA의 목적, 도덕규범, 행위지침이라는 형식적 구조에 맞춰 AMA가 설계되어야 한다고 분석한다. 이러한 형식적 구조 분석 아래, 본 논문은 현재 과학기술의 수준에서 고려할 AMA의 설계 목적은 인간과 같이 충분한(full-fledged) 도덕 행위자가 아닌 준(quasi)-도덕 행위자 구현이며 범용이 아닌 특정 영역의 특정 역할에 제한된 AMA 구현이어야 한다고 제안한다. 또한 본 논문은, 이러한 AMA는 다양한 도덕규범들 가운데 보편성 확보를 위해 제시된 공통도덕(common morality)의 중첩적 합의(overlapping consensus) 과정을 통해 제시된 8개의 도덕규범을 토대로 해당 영역에 맞게 구체화(specification)하고 재구성하여 설계되어야 하며, 이를 토대로 AMA의 목적과 관련된 해당 영역과 특정 역할의 특수성에 입각한 비중주기(weighing)를 통한 기본 알고리즘 설정과 사후 승인의 학습을 통해 추가되는 행위지침(action-guiding) 방식으로 설계되어야 한다고 제안한다. In the development of artificial intelligence (hereafter, AI) and AI robot engineering, AI or AI robots are not anymore “merely” things, but are beings, which call for moral considerations. This is because interactions between humans and AI or AI robots are increasing ever more, and humans tend to consider them to be moral beings or quasi-moral beings. In this tendency, it is necessary to design AI or AI robots that interact with humans to be ethical or moral. The purpose of this paper is to search for moral considerations for designing an artificial moral agent(hereafter, AMA) and to suggest how this AMA should be designed. Based on my analysis, the structure of purpose, moral norms, and action-guiding should be considered in the design of an AMA with moral considerations. Based on this structure, I suggest that the purpose of the AMA design should be to achieve a quasi-AMA, the level of which is an explicit ethical agent rather than a full ethical agent such as humans. In addition, this quasi-AMA should be designed to act in a specific-domain, but not in general areas as humans do. I also suggest that we should design the AMA according to 8 rules of common morality, which are selected from among established theories of common morality through John Rawls’s method of overlapping consensus and give the AMA a strategy to integrate the “specification” of common morality and “balancing and weighing” to strengthen casuistic reasoning for action-guiding. This strategy of action-guiding is to program the AMA so that it basically weighs moral norms according to the specification of common morality and learns how to weigh a specific action-guiding through the later ratification of an accomplished action.

10세 아동 수준의 도덕적 인공지능의 도덕성 판단 적용 기준에 관한 기초연

김은수,변순용,정진규 한국윤리학회 2018 倫理硏究 Vol.123 No.1

본 논문은 10세 아동 수준의 도덕적 인공지능의 도덕성 판단 적용 기준을 마련하기 위한 것으로, 우리는 이와 같은 목적을 달성하기 위해 이전의 예비적 단계의 설문과 본 단계의 설문의 비교를 통해 인공지능 도덕성 판단 기준을 명백하게 제시하고자 한다. 따라서 본 논문은 다음과 같은 과정으로 서술되었다. 첫째, 도덕성 판단 기준이 무엇이며, 그리고 그것의 필요성에 대하여 논의할 것이다. 둘째, 우리가 지금까지 제시한 연구결과물을 토대로 인공적 도덕 행위자(Artificial Moral Agent: AMA)의 도덕발달 3단계와 그 특징을 명료화 할 것이다. 마지막으로 우리는 이를 바탕으로 이전의 예비적 단계의 설문과 본 단계의 설문 내용을 비교·분석하여 우리가 고안한 AMA의 도덕발달 3단계가 10세 아동 수준의 인공지능이 갖춰야 하는 도덕성 판단 기준임을 밝힐 것이다 The purpose of this study is to establish a moral judgment criterion for moral artificial intelligence at the level of 10 years old child. In order to achieve this purpose, we compare the previous preliminary survey to the main survey, and it makes clear moral judgement criteria of artificial moral agent. Therefore, we will describe this paper as follows. First, we will discuss what moral judgement criteria are and what needs to be done. Second, we will clarify the three stages of moral development of artificial moral agent (AMA) and its characteristics based on our research results so far. Finally, based on this, we will compare and analyze the previous preliminary survey to the main survey. And from this we will reveal that the AMA's the three stages of moral development, which we devised, is a criteria of moral judgement for artificial intelligence at the level of 10 years old child.

10세 아동 수준의 도덕적 인공지능의 도덕성 판단 적용 기준에 관한 기초연구

김은수 ( Kim Eun-soo ),변순용 ( Byun Sun-young ),정진규 ( Jeong Jin-kyu ) 한국윤리학회(구 한국국민윤리학회) 2018 倫理硏究 Vol.123 No.1

본 논문은 10세 아동 수준의 도덕적 인공지능의 도덕성 판단 적용 기준을 마련하기 위한 것으로, 우리는 이와 같은 목적을 달성하기 위해 이전의 예비적 단계의 설문과 본 단계의 설문의 비교를 통해 인공지능 도덕성 판단 기준을 명백하게 제시하고자 한다. 따라서 본 논문은 다음과 같은 과정으로 서술되었다. 첫째, 도덕성 판단 기준이 무엇이며, 그리고 그것의 필요성에 대하여 논의할 것이다. 둘째, 우리가 지금까지 제시한 연구결과물을 토대로 인공적 도덕 행위자(Artificial Moral Agent: AMA)의 도덕발달 3단계와 그 특징을 명료화 할 것이다. 마지막으로 우리는 이를 바탕으로 이전의 예비적 단계의 설문과 본 단계의 설문 내용을 비교·분석하여 우리가 고안한 AMA의 도덕발달 3단계가 10세 아동 수준의 인공지능이 갖춰야 하는 도덕성 판단 기준임을 밝힐 것이다. The purpose of this study is to establish a moral judgment criterion for moral artificial intelligence at the level of 10 years old child. In order to achieve this purpose, we compare the previous preliminary survey to the main survey, and it makes clear moral judgement criteria of artificial moral agent. Therefore, we will describe this paper as follows. First, we will discuss what moral judgement criteria are and what needs to be done. Second, we will clarify the three stages of moral development of artificial moral agent (AMA) and its characteristics based on our research results so far. Finally, based on this, we will compare and analyze the previous preliminary survey to the main survey. And from this we will reveal that the AMA's the three stages of moral development, which we devised, is a criteria of moral judgement for artificial intelligence at the level of 10 years old child.

성리학에서 인공적 도덕행위자 구현 가능성을 위한 시론(試論) - 율곡의 관점을 중심으로 -

최복희 새한철학회 2023 哲學論叢 Vol.113 No.3

The purpose of this paper is to examine whether the Neo-Confucian concepts of the mind can be formally described and organized in a form that can be handled by a computer, although it is only an experimental stage. Based on the discussion on the function of the moral mind, I discussed whether it is possible to simulate a Neo-Confucian moral agent. When explaining the concept of mind in Neo-Confucianism, the method of conceptualization may vary depending on whether you pay attention to the innate moral ability, which is the main body, or whether the morality of the mind has worked realistically. I considered Yulgok's perspective, which is close to the latter, relatively empiricist, and tried to explain the mind as clearly as the real and as the body, so I used it as an example to participate in artificial moral agent (AMA) discussions. Yulgok explained the action of the mind as an "automatic pattern" of energy and suggested a method of cultivating the pattern to work as a moral principle. Therefore, the author first analyzed how the action of energy, called "automatic pattern," develops in the mind, and then examined how the moral action of the mind, that is, the priority expression of moral principles, can be standardized. Furthermore, I reviewed Yulgok's theory of political reform to discuss the impersonal model of the Political system, judging that unconscious morality, one of the issues of the artificial moral actor debate, is unacceptable at the level of handwriting. It is expected that this theory will trigger a full-fledged discussion on the possibility of implementing Neo-Confucian artificial moral agent. 본 논문은 비록 시험적 단계에 불과하지만, 마음에 대한 성리학적 개념들을 형식적으로기술하여 컴퓨터에서 다룰 수 있는 형태로 구성할 수 있을 것인가를 검토하는 것을 목적으로 한다. 필자는 도덕적 마음의 작용에 관해 논의한 내용을 바탕으로 성리학적 도덕행위자구현을 위한 시뮬레이션이 가능한가를 논의해 보았다. 성리학에서 마음의 개념을 설명할 때, 본체인 선천적 도덕 능력에 주목하는가 아니면현실적으로 작용한 마음의 도덕성 여부에 주목하는가에 따라 개념화의 방식이 달라질 수있다. 필자는 후자에 가까운 율곡의 관점이 상대적으로 경험주의적이라고 보고, 마음을 실물처럼, 몸처럼 명백하게 설명하려고 했다는 점이 인공적 도덕행위자(AMA, Artificial Moral Agent) 토론에 참여하는 데 용이하지 않을까 하여 예시로 삼아 보았다. 율곡은 마음의 작용을 기(氣)의 ‘자동적 패턴[機自爾]’으로 설명하면서, 그 패턴이 도덕적 원리로 작동되도록 하는 수양방법을 제시했다. 그래서 필자는 우선 ‘자동적 패턴[機自 爾]’이라 했던 기(氣)의 작용이 마음에서 어떻게 전개되는가를 분석하고, 그 다음에 마음의도덕적 작용, 즉 도덕원리의 우선적 발현을 정형화할 수 있는가를 검토해보았다. 나아가, 검토의 과정에서 인공적 도덕행위자 논쟁의 쟁점 중 하나인 무의식적 도덕성이수기(修己)의 차원에서는 용납될 수 없지만, 치인(治人)의 차원에서는 가능하다는 판단 하에, 필자는 비인격적 모델인 치인(治人) 시스템에 관한 논의를 위해 율곡의 정치개혁론을검토해보았다. 이러한 시론으로 성리학적 인공적 도덕행위자 구현 가능성에 대한 본격적인토론이 촉발될 수 있기를 기대한다.

인공적 도덕행위자(AMA)의 온톨로지 구축

박균열(Gyun-Yeol Park) 한국디지털콘텐츠학회 2019 한국디지털콘텐츠학회논문지 Vol.20 No.11

This study aims to provide a basic direction for the ontology of artificial intelligence which is needed to attain its status as a moral agent. With the ever-evolving artificial intelligence technology, discussions on the moral and legal issues of artificial intelligence are being seriously raised. As for legal matters, it is stated in the form of codes, so there are no major difficulties in making segmentations, but many challenges lie ahead on the moral issues. If the artificial intelligence itself is given moral functions, if at what level it will do, and if it is recognized as a moral subject, users, developers and relevant policymakers should discuss what attitude to pursue. The study, among other issues, assumes that the artificial intelligence itself can be given a moral function, and tries to present a basic framework for how to give it the moral function. For that purpose, this study reviewed the theories related to the ethical decision-making mechanism model of the artificial intelligence, and proposed a basic algorithm for the model. This study can also provide a basis for the establishment of a more complicated and explainable artificial moral agent’s ontology in the future by bringing up its ethical implications.

인공지능, 도덕적 기계, 좋은 사람

맹주만(Maeng, Jooman) 중앙대학교 중앙철학연구소 2020 철학탐구 Vol.59 No.-

이 글은 인공지능은 행위의 동기와 의도 그리고 목적을 스스로 생성하고 산출할 수 있는 자율적 행위자가 아니기 때문에 도덕적 기계가 될 수 없다고 주장한다. 예상 가능한 인공지능 행위자가 갖게 될 공학적 의미의 자율성은 인간 행위자의 도덕적 자율성과 근본적인 차이를 가지며, 그것은 단지 의사(pseudo) 자율성에 불과하다. 따라서 그것은 그냥 놀랍도록 편리하거나 위험한 기계일 뿐이다. 동기와 의도 그리고 목적의 자기생성과 자기산출 및 자기변경이 가능한 자율성만이 진정한 의미의 도덕적 자율성이다. 반면에 인공지능 행위자는 기껏해야 형식적 자율성만을 가지며, 그러한 자율성은 한정된 목적에 제약되고, 그것만을 실행하도록 특화된 자동기계의 자동성에 다름 아니다. 아무리 복잡한 윤리적 문제의 해결을 위해 설계된 인공지능이라도 언제나 프로그램이 지시하는 일정한 그리고 한정된 행위만을 충실히 이행하는 기계인 한, 그것은 실제로는 도덕적 기계도 도덕적 행위자도 아니다. 도덕적 기계는 이론적으로도 실제적으로도 불가능하다. 만일 그런 존재가 있다면, 그것은 분명 인간종 이상의 다른 새로운 가공할 위력을 지닌 인공종일 것이다. 현재 가능한 인공지능 행위자를 둘러싸고 벌어지는 대부분의 전망들은 그릇된 상상의 산물이다. 도덕적 기계의 불가능성과 함께 윤리적 관점에서 의사 자율적 행위자에 불과한 인공지능 로봇은 모든 면에서 위험성을 완전히 제거하도록 철저하게 기획되고 통제된 기계이지 않으면 안 된다. In this paper I will argue that artificial intelligence cannot be a moral machine because it is not an autonomous agent who can create and establish the motive, intention and purpose of the act on his own. The autonomy of the engineering meaning that an anticipated artificial intelligence agent will have, or the autonomy of artificial intelligence, has a fundamental difference from the moral autonomy of the human agent, and it is merely a pseudo-autonomy. So it"s just an incredibly convenient or dangerous machine. Only self-creation and self-establishment and self-modification of motive, intention and purpose are the real moral autonomy, whereas artificial intelligence agents have only formal autonomy at best, and such autonomy is no less than the automation of automatic machines which is limited to a limited purpose, and specialized to implement only that. A machine that always performs certain acts is not really a moral machine or a moral agent. Artificial intelligence can never be a moral machine. Moral machines are theoretically and practically impossible. If there was such an existence, it would certainly be an artificial species with other formidable powers beyond human species. Thus, most of those prospects that take place around the current possible artificial intelligence agents are a product of false imagination. Artificial intelligence robots, which are nothing but pseudo-autonomous agents from an ethical standpoint, along with the impossibility of moral machines, must be thoroughly planned and controlled machines in all respects.

도덕의 방 속 한니발: 강한 인공도덕행위자와 두 가지 도덕성, 그리고 도덕신경심리학

문규민 범한철학회 2022 汎韓哲學 Vol.106 No.3

If the moral language of a computer is indistinguisgable from that of a human, does it have the same morality as the human? Strong AMA gives a positive answer to this question. This article attempts to examine strong AMA by a parodied version of the Chinese room argumentㅡthe morality room argument. The morality room argument claims that merely running an appropriate algorithm does not enable computers to literally make moral judgments as humans. To show this point, this article presents the thesis of strong AMA and highlights how it is directly tied to the currently accepted levels of AMA. After illustrating the parallels between strong AMA and strong AI, I will present the morality room argument. Some of the typical replies to the Chinese room argument are considered, and it turns out that none of them is conclusive against the Chinese room argument and the morality room argument as well. If the morality argument is valid, the morality of humans and that of AMA should be distinguished, and the essential difference between them should be found in the neuropsychology of human morality. 기계가 구사하는 도덕적 언어가 인간과 식별 불가능하다면, 그 기계는 인간과 같은 도덕성을 가지는 것일까? 강한 인공도덕행위자(strong AMA)는 이 질문에 대해 긍정적으로 대답한다. 본 논문은 중국어 방 논변을 변형한 도덕의 방 논변을 통해 강한 AMA를 비판적으로 고찰해보고자 한다. 도덕의 방 논변에 따르면, 컴퓨터가 단지 적절한 알고리즘을 실행한다고 해서 문자 그대로 인간과 같은 도덕적 판단을 하게 되지는 않는다. 이를 보이기 위해 본 논문에서는 우선 강한 AMA를 정식화한 뒤 그것이 현재 통용되는 AMA의 단계와 직결되는지를 보일 것이다. 다음으로 강한 AMA과 강한 인공지능(strong AI) 사이의 유사성을 보인 뒤, 중국어 방 논변을 패러디한 도덕의 방 논변을 제시할 것이다. 또한 중국어 방 논변과 관련된 대표적 반론들을 살펴보고 이들이 중국어 방 논변은 물론 도덕의 방 논변에도 결정적인 반론이 되지 못함을 보일 것이다. 마지막으로 도덕의 방 논변이 함축하는 바를 알아본다. 도덕의 방 논변이 타당하다면, 인간의 도덕성과 AMA의 도덕성은 구별될 수 있으며, 둘의 차이는 인간 도덕성의 신경심리학에서 찾아져야 할 것이다.