인공지능이 야기한 새로운 위험 및 대응 방안에 관한 연구 : 국내외 인공지능 관련 법령 비교를 중심으로 = A Study on Emerging Risks Caused by Artificial Intelligence and Corresponding Countermeasures : Focusing on a Comparison of Global AI Legislations|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Artificial Intelligence(AI) is a technology that implements human cognitive abilities in computers, and it has established itself as a core driving force of the Fourth Industrial Revolution alongside the digital transformation accelerated by the COVID-19 pandemic. In particular, recently emerged Generative AI has brought innovation to the creation of knowledge information and problem-solving methods, dramatically improving work productivity and generating immense economic value across industries, including specialized fields. However, behind these technological advancements, serious side effects and threats to national security persist, such as the dissemination of false information using deepfakes, the erosion of social trust, the deepening of information bias, and the potential for AI to degenerate into a tool for sophisticated cyber attacks and the development of biochemical weapons. This study stems from the recognition that, amidst these circumstances, it is urgent to establish legal and institutional regulations for the sustainable development of AI technology and the establishment of 'Trustworthy AI'. In particular, the purpose is to analyze regulatory trends in major countries around the world and critically review Republic of Korea's AI-related laws, which came into full effect in January 2026, in order to derive concrete legal improvement measures that can harmonize technological innovation with the protection of human rights. Looking at the trends in AI legislation enactment among leading global technology nations, the European Union(EU) established a four-tiered regulatory framework based on risk levels through the world's first ｢Artificial Intelligence Act｣. This framework is characterized by prohibiting, in principle, technologies with the potential to infringe on human rights, such as real-time biometric recognition, while imposing strict obligations on high-risk AI and levying severe punitive fines for violations. In contrast, the United States has moved away from the regulation-centric stance of the Biden administration, which sought to balance AI technological innovation and risk. With the recent announcement of the ｢AI Action Plan｣ under the second Trump administration, the United States has abandoned this regulation-centric approach and is rapidly shifting toward a strategy centered on innovation and competitiveness to secure a technological advantage in its hegemonic competition with China. China is also implementing a tight, grid-like regulatory framework focused on preventing social unrest and threats to the regime. It is rapidly completing its regulatory system by mandating real-name verification for deepfake service users and stipulating that AI-generated content must align with core socialist values. Amidst these global trends, Republic of Korea has pursued the enactment of the AI Framework Act, demonstrating a comprehensive and flexible legislative attitude that emphasizes industrial development. However, while the current legal framework is significant in that it has established a legal foundation, it faces challenges such as a lack of specific criteria for balancing promotion and regulation, and reduced legal stability and predictability as key regulatory matters are deferred to enforcement decrees or guidelines. In particular, regarding the guarantee of human rights in high-risk areas and the prevention of deepfake misuse, the lack of regulations regarding General-Purpose AI may lead to confusion within the industry and social distrust. Therefore, this study proposes two approaches—a complete revision and a partial revision—for the amendment of the Korean AI Framework Act, aiming to harmoniously realize the two values of AI technology development and ensuring reliability. Regarding the complete revision, first, the definitions of AI and AI systems must be advanced to align with international standards, such as those of the OECD and the European Union, and the roles of service providers must be clearly reclassified into providers and operators to clarify the locus of liability. Second, to protect human rights and safety, it is necessary to introduce a differential regulatory framework based on the risk level of AI systems and to codify the principle of prohibiting AI that undermines human dignity. Third, the existing concept of high-impact AI should be expanded to include public and sensitive areas affecting citizens' fundamental rights, such as investigation, trials, and employment, in addition to health and medical care, to enable effective risk management. Fourth, the scope of General-Purpose AI must be specified to ensure the effectiveness of technical safety assessments and copyright compliance, and the scope of exceptions to the law for specific purposes, such as national defense and research, must be reasonably adjusted to prevent research innovation from being stifled. Fifth, Notification methods for Generative AI content must be standardized at the national level to guarantee users' right to awareness, and the rights of users and affected parties (such as the right to demand explanations and the right to raise objections) must be legally stipulated. Sixth, recognizing that AI can become an ideological weapon if trained with data biased by specific forces from a national security perspective, the introduction of a government certification system for sectors directly related to national security should be considered to safeguard the values of liberal democracy. Finally, to ensure effective regulatory compliance, penalty provisions, such as punitive fines at the level of the European Union, should be strengthened; however, on-site inspections should be conducted supplementarily to ensure procedural legitimacy and alleviate the burden on the industry. As part of the partial amendment proposal, specific supplementary measures are presented to address the immediate risks posed by AI. Specific standards regarding deepfakes must be established within the definition of AI ethics and ethical principles, and relevant response strategies must be included when formulating the AI Basic Plan. To prevent deepfake-related crimes, the state's responsibilities for prevention and users' right to demand explanations must be strengthened, and the development of detection technologies and the overhaul of the damage compensation system must be carried out under the leadership of the National Artificial Intelligence Strategy Committee. Furthermore, to prevent the exploitation of cyber attacks, it is necessary to codify relevant concepts into law and mandate the Security by Design principle—which eliminates security vulnerabilities from the development stage—as well as Red Team testing. In terms of data, we must move beyond mere quantitative expansion to ensure public accountability through measures such as data card disclosure and third-party verification, which secure data diversity and prevent bias. Moreover, to serve as a safeguard for the public, we must prevent the mass production of so-called 󰡐Black Box AI󰡑 by mandating the retention of core logs and data documentation detailing algorithm operating principles. In conclusion, the Korean AI Framework Act must move beyond a perspective centered on self-regulation and industrial protection to stipulate a minimum framework capable of guaranteeing human safety and accountability. A balanced regulatory system is required that prioritizes human dignity and constitutional values while ensuring corporate flexibility through harmonization with global norms, thereby protecting national security and the rights and interests of citizens. This study holds academic and policy significance in that it examines new types and cases of risks caused by AI in a rapidly changing technological environment and proactively suggests directions for improving the Korean AI Framework Act by reflecting recent regulatory trends in leading technology countries. If follow-up research is conducted to address derivative issues such as AI governance, copyright, and personal information, more practical response measures could be devised.

번역하기

국문 초록 (Abstract)

인공지능(AI)은 인간의 인지 능력을 컴퓨터로 구현한 기술로서, 코로나19 팬데믹 이후 가속화된 디지털 전환과 함께 4차 산업혁명의 핵심 동력으로 자리 잡았다. 특히, 최근 등장한 생성형 AI는 지식 정보의 창출과 문제 해결 방식에 혁신을 가져왔고, 업무 생산성을 획기적으로 향상시키며, 전문 분야를 포함한 산업 전반에 걸쳐 막대한 경제적 가치를 창출하고 있다. 그러나, 이러한 기술적 발전의 이면에는 딥페이크를 활용한 허위정보 유포와 사회적 신뢰 훼손, 정보의 편향성 심화, 그리고 지능화된 사이버 공격 및 생화학 무기 개발 도구로의 전락 가능성 등 심각한 부작용과 국가안보 위협이 상존한다. 이 연구는 이러한 상황 속에서 AI 기술의 지속 가능한 발전과 '신뢰할 수 있는 AI' 정착을 위해 법적ㆍ제도적 규율 마련이 시급하다는 인식에서 출발한다. 특히, 세계 주요국의 규제 동향을 분석하고, 2026년 1월 본격 시행된 한국의 AI 관련 법령을 비판적으로 검토하여, 기술 혁신과 인권 보호가 조화를 이룰 수 있는 구체적인 법적 개선 방안을 도출하는 데 목적이 있다. 글로벌 기술 선도국들의 AI 법령 제정 동향을 살펴보면, 유럽연합(EU)은 세계 최초의 ｢인공지능법(AI Act)｣을 마련해 위험의 정도에 따른 4단계 차등 규제 체계를 확립하였다. 이는 실시간 생체인식 등 인권 침해 소지가 있는 기술은 원칙적으로 금지하되, 고위험 AI에는 엄격한 의무를 부과하고, 위반 시 강력한 징벌적 과태료를 부과하는 것이 특징이다. 반면, 미국은 AI 기술 혁신과 위험 사이의 균형을 도모하였던 바이든 행정부의 규제 중심 기조에서 벗어나, 최근 트럼프 2기 행정부에 이르러 ｢AI 행동 계획(AI Action Plan｣을 발표하며 규제 중심 기조를 폐기하고, 중국과의 패권 경쟁에서 기술적 우위 확보를 위한 혁신과 경쟁력 중심의 전략으로 급격히 선회하고 있다. 중국 또한 사회적 혼란과 체제 위협 방지에 초점을 맞춰 촘촘한 그물망식 규제를 시행 중으로, 딥페이크 서비스 이용자의 실명 인증을 의무화하고, AI 생성 콘텐츠가 사회주의 핵심 가치에 부합해야 함을 명시하는 등 빠른 속도로 규제 체계를 완성해 나가고 있다. 우리나라는 이러한 글로벌 흐름 속에서 산업 육성에 방점을 둔 포괄적이고 유연한 입법 태도를 보이며 AI 기본법 제정을 추진해 왔다. 그러나, 현행 법제는 법적 기반을 마련했다는 점에는 의의가 있으나, 진흥과 규제 간의 균형을 위한 구체적인 기준 제시가 부족하고, 주요 규제 내용이 시행령이나 가이드라인으로 미뤄져 있어 법적 안정성과 예측 가능성이 떨어진다는 과제를 안고 있다. 특히, 고위험 영역에서의 인권 보장이나 딥페이크 악용 방지, 범용 AI에 대한 규율 등이 미비하여 산업계의 혼란과 사회적 불신을 가져올 수 있다. 따라서, 이 연구는 AI 기술의 발전과 신뢰성 확보라는 두 가지 가치를 조화롭게 실현하기 위한 한국 AI 기본법의 개정 방향으로 전부 개정 방안과 일부 개정 방안의 두 가지 접근 방식을 제안한다. 전부 개정 방안으로는 첫째, OECDㆍ유럽연합 등 국제 기준에 맞춰 AI와 AI 시스템의 정의를 고도화하고, 사업자의 역할을 제공자와 운영자로 명확히 재분류하여 책임 소재를 분명히 해야 한다. 둘째, 인권과 안전을 보호하기 위해 AI 시스템의 위험 수준에 따른 차등 규제 체계를 도입하고, 인간의 존엄성을 훼손하는 AI에 대한 금지 원칙을 명문화하는 것이 필요하다. 셋째, 기존의 고영향 AI 개념을 보건ㆍ의료뿐만 아니라 수사ㆍ재판ㆍ고용 등 국민의 기본권에 영향을 미치는 공공 및 민감 영역으로 확대하여 실질적인 위험 관리가 가능하도록 해야 한다. 넷째, 범용 AI의 범위를 명시하여 기술적 안전 평가와 저작권 준수 등의 실효성을 확보하고, 국방ㆍ연구 등 특정 목적에 대한 법 적용 예외 범위를 합리적으로 조정하여 연구 혁신이 위축되지 않도록 해야 한다. 다섯째, 생성형 AI 콘텐츠에 대한 고지 방식을 국가 차원에서 표준화하여 이용자의 인지권을 보장하고, 이용자와 영향받는 자의 권리(설명 요구권, 이의 제기권 등)를 법적으로 명시해야 한다. 여섯째, 국가안보 측면에서 AI가 특정 세력에 의해 편향된 데이터로 학습되어 이념적 무기가 될 수 있음을 인식하고, 자유민주주의 가치 수호를 위해 국가안보 직결 분야에 대한 방어적 차원의 정부 인증제 도입을 검토해야 한다. 마지막으로, 실효적인 규제 준수를 위해 유럽연합 수준의 징벌적 과태료 등 벌칙 규정을 강화하되, 현장 조사는 보충적으로 실시하여 산업계의 부담을 완화하는 절차적 정당성을 확보해야 한다. 일부 개정 방안으로는 AI로 인한 당면한 위험에 대처하기 위한 구체적인 보완책을 제시한다. 인공지능 윤리 정의와 윤리 원칙에 딥페이크 관련 기준을 구체적으로 마련하고, 인공지능 기본계획 수립 시에도 관련 대응 전략을 포함시켜야 한다. 딥페이크 관련 범죄 예방을 위해 국가의 방지 책무와 이용자의 설명 요구권을 강화하고, 국가인공지능전략위원회 중심의 탐지 기술 개발 및 손해배상 제도 정비가 이루어져야 한다. 또한, 사이버 공격 악용 방지를 위해 관련 개념을 법제화하고, 개발 단계부터 보안 취약점을 제거하는 보안 설계(Security by Design) 원칙과 레드팀 테스트를 의무화할 필요가 있다. 데이터 측면에서는 양적 활성화에서 벗어나 데이터의 다양성 확보와 편향성 방지를 위한 데이터 카드 공개, 제3자 검증 등을 통해 공공성을 확보해야 한다. 나아가, 국민의 안전판으로서 알고리즘 작동 원리를 담은 데이터 설명서와 핵심 로그(log) 보관을 의무화하여 소위 󰡐블랙박스 AI(Black Box AI)󰡑가 양산되는 것을 방지해야 한다. 결론적으로, 한국 AI 기본법은 자율규제와 산업 보호 중심의 시각에서 나아가 인류의 안전과 책임성을 담보할 수 있는 최소한의 프레임워크를 규정해야 한다. 인간 존엄과 헌법적 가치를 최우선으로 하되, 글로벌 규범과의 조화를 통해 기업의 유연성을 확보하면서도 국가안보와 국민의 권익을 보호할 수 있는 균형 잡힌 규제 체계가 필요한 것이다. 이 연구는 급변하는 기술 환경 속에서 AI로 인한 새로운 위험의 유형과 사례를 살펴보고, 이와 관련한 기술 선도 국가들의 최근 규제 동향을 반영하여 한국 AI 기본법의 개선 방향을 선도적으로 제시했다는 점에서 학술적·정책적 의의를 지닌다. 향후 AI 거버넌스 및 저작권·개인정보 등 파생적 쟁점을 다루는 후속 연구가 이어진다면 더욱 실질적인 대응 방안이 마련될 수 있을 것이다.

번역하기

인공지능(AI)은 인간의 인지 능력을 컴퓨터로 구현한 기술로서, 코로나19 팬데믹 이후 가속화된 디지털 전환과 함께 4차 산업혁명의 핵심 동력으로 자리 잡았다. 특히, 최근 등장한 생성형 AI...

목차 (Table of Contents)