생성형 AI의 '환각'과 법적 책임 - Mata v. Avianca 사건을 중심으로 본 한국 민법에의 시사점 - = Generative AI 'Hallucinations' and Legal Liability - Implications for Korean Civil Law from the Mata v. Avianca Case -

국문 초록 (Abstract)

생성형 인공지능의 급속한 발전과 함께 법조계에서도 AI 활용이 확산되고 있으나, 대규모 언어모델의 '환각(hallucination)' 현상은 법률 실무의 신뢰성을 위협하는 새로운 위험요소로 부상하고 있다. 본 연구는 2023년 미국 Mata v. Avianca 사건에서 변호사가 ChatGPT 생성 허위 판례를 검증 없이 제출하여 제재받은 사례를 분석하고, AI 환각 현상이 한국 민법상 책임 구조에 미치는 법적 파급효과를 검토한다.
연구 결과, 생성형 AI 환각으로 인한 손해에 대해서는 여러 법적 책임 근거가 경합적으로 적용될 수 있다. 민법 제750조 불법행위책임, 위임계약상 선관주의의무 위반에 따른 채무불이행 책임, AI 개발자와의 공동불법행위 책임이 그것이다. 「제조물책임법」의 적용은 제한적이나, 2024년 제정된 「인공지능기본법」의 투명성 확보 의무는 민법상 과실 판단의 근거로 작용할 수 있다.
비교법적으로 미국은 변호사 개인 책임을, EU는 개발사 책임을 강조하며, 한국은 사후적 책임과 사전적 예방을 균형 있게 결합하는 혼합형 모델을 지향한다. AI 시대 법률 실무에서는 변호사의 교차 검증 의무 강화, 로펌의 내부 검증 프로토콜 제도화, 그리고 시스템적 '책무성(accountability)' 개념 도입이 필요하다.

다국어 초록 (Multilingual Abstract)

With the rapid development of generative AI, its utilization is expanding in the legal profession. However, the 'hallucination' phenomenon of large language models threatens legal practice reliability. This study analyzes the 2023 Mata v. Avianca case, where U.S. lawyers were sanctioned for submitting ChatGPT-generated fictitious cases without verification, and examines AI hallucination implications for Korea's civil liability structure.
Multiple legal liability grounds can concurrently apply to AI hallucination damages. First, tort liability under Civil Code Article 750 applies when lawyers foresee hallucination possibilities yet fail verification duties. Second, breach of contract liability exists based on duty of care violations in lawyer-client mandate contracts (Articles 681, 390). Third, AI developers may bear joint tort liability with lawyers under Article 760 if found violating defect prevention or warning duties.
While the current Product Liability Act has limited applicability, discussions propose strict liability by characterizing hallucinations as design or indication defects. The 2024 AI Basic Act doesn't stipulate direct damages liability, but obligations for indicating AI outputs and ensuring transparency support civil negligence or illegality determinations.
Comparatively, the U.S. strengthens liability through ex post sanctions against individual lawyer negligence, while the EU emphasizes systematic ex ante accountability by prioritizing developer duties and alleviating victim proof burdens. Korea pursues a hybrid model balancing ex post liability and ex ante prevention through civil law professional duties and AI Basic Act transparency requirements.
This study suggests that in the AI era, lawyers must thoroughly cross-verify AI outputs, law firms must institutionalize internal verification protocols, and legislative amendments clearly defining software and AI as manufactured products are needed long-term. Ultimately, an 'accountability' concept based on systematic design, management, and explainability must transcend individual negligence frameworks.