인공지능(AI) 기반 외부감사법 질의응답 시스템 기법 연구 : RAG를 적용한 회계감리 및 과징금 설명 연구를 중심으로 = A Study on Artificial Intelligence (AI) based Question-Answering System for the External Audit Act: Focusing on Accounting Oversight and Penalty Explanations using RAG

다국어 초록 (Multilingual Abstract)

This study examines the limitations of applying Large Language Models (LLMs), a core technology in artificial intelligence (AI), to legal interpretation and proposes an alternative approach to address these challenges. When standard LLMs are used for legal interpretation, they frequently produce unreliable and inaccurate outputs due to hallucination, which manifests as generating non-existent statute titles or article numbers, failing to reflect the most recent legal amendments, and misinterpreting hierarchical relationships among legal provisions. These issues significantly undermine the reliability of LLMs in legal reasoning, particularly in contexts that require structured interpretation of tabular data and numerical calculations.

To overcome these structural limitations, this study develops a legal interpretation question-and-answer system based on Retrieval-Augmented Generation (RAG) and empirically evaluates its effectiveness. The External Audit Act was selected as the target legal framework due to its high level of technical complexity, systematic statutory hierarchy, and extensive use of tables and penalty surcharges calculation formulas, which are known weaknesses of standard LLMs. Various system configurations were analyzed to achieve optimal performance, including Parent–Child (P-C) document structures, data preprocessing strategies, and Top-K retrieval expansion.

Experimental results demonstrate that the proposed RAG-based system substantially outperforms a standard LLM. Factuality improved from 7.5% to 93.5%, marking a twelve-fold improvement and effectively suppressing hallucinations. In addition, the hit rate increased from 42% to 91%, while the Mean Reciprocal Rank (MRR) rose from 41% to 85%, indicating significant improvements in retrieval accuracy and ranking quality. These findings suggest that RAG not only enhances the factual reliability of legal interpretation but also benefits from systematic data preprocessing, hierarchical structuring, and expanded retrieval parameters.

Furthermore, this study addresses the mathematical limitations of LLMs in calculating regulatory penalty surcharges. The proposed system integrates qualitative legal reasoning performed by the LLM with quantitative calculations executed through a Python-based module. This hybrid architecture enables accurate fine computation by jointly considering provisions that require natural language interpretation and those that demand numerical processing. As a result, the study demonstrates that AI-based legal interpretation can be implemented in a concrete and operational manner, rather than remaining conceptual or theoretical.

In conclusion, this study establishes that RAG provides a structural alternative that extends the capabilities of standard LLMs for legal interpretation. By integrating methodologies from law, accounting, and artificial intelligence, the proposed approach offers a practical technical foundation that facilitates more accurate and accessible legal understanding for businesses, administrative agencies, and the general public.

국문 초록 (Abstract)

본 연구는 인공지능(AI) 분야의 핵심 기술인 대규모 언어모델 LLM(Large Language Model, LLM)을 법규해석 분야에 적용함에 있어 발생할 수 있는 문제점과 그 대안을 제시하고자 한다. 일반 LLM을 사용하여 법규해석을 하는 경우 환각(hallucination)으로 인하여 신뢰성 및 정확성이 낮은 정보가 산출된다. 이를 해결하기 위하여 AI 기반의 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술을 적용한 시스템을 개발하고 그 유효성을 실증적으로 검증하였다.

일반 LLM으로 법규 해석을 하는 경우, 존재하지 않는 법령명 및 조문 번호 생성, 최신 법규의 미반영, 조문간 상하관계 인식 오류가 발생한다. 또한, 일반 LLM은 표 구조 및 수치계산 등이 필요한 부분에 대한 해석에도 취약하여 오류를 생성하며, 이는 법규해석에 대한 LLM의 신뢰성에 치명적 영향을 준다.

이러한 LLM의 구조적 한계를 극복하고자 법규해석 RAG 기술로 시스템을 구현하여 해당 기술이 LLM의 한계를 정량적으로 얼마나 개선하는지를 측정하였다. 본 연구는 기술적 해석 복잡성이 높은 외부감사법을 연구 대상으로 선정하여 데이터셋을 구축하였고, 최적 성능을 구현하기 위하여 Parent-Child 구조, 전처리, TOP-K 확장 등을 달리 적용하여 그 효과를 분석하였다. 외부감사법은 일반적인 법규와 마찬가지로 법, 시행령 등의 체계적 구조로 이루어져 있을 뿐만 아니라, LLM의 취약점인 표 구조, 과징금 산식 등에 대한 규정이 많아 시스템 능력 측정에 다양성을 갖추어, 기술적 대표성이 높다.
 
법규해석 질의응답 시스템을 RAG 시스템으로 구현하여 단독 LLM과 비교한 결과, Factuality를 7.5%에서 최대 93.5%까지 12배 향상시켜 환각 발생률을 효과적으로 억제하였다. Hit rate 및 MRR의 경우 Hit rate가 42%에서 91%까지 상승하여 49%p 상승하였고, MRR은 41%에서 85%까지 44%p 상승하였다. 이로써, RAG를 사용하면, 정답률이 비약적으로 상승하고, RAG 구현 시 데이터 전처리, P-C 구조 적용 및 K 값 상승 등으로 RAG 성능을 향상시킬 수 있음을 도출하였다.

나아가, 본 연구는 LLM의 수리적 취약점을 극복하고, 과징금 산정 난제를 해결하고자 하였다. 이를 위해 자연어를 해석해야 하는 규정과 계산이 필요한 규정을 복합적으로 고려할 수 있도록 구현하였다. 구체적으로, LLM이 법규 해석에 대한 정성적 판단을 할 수 있도록 하고, Python Code 모듈이 정량적 계산을 할 수 있도록 하여 과징금을 정확히 산출할 수 있도록 하였다. 그 결과 과징금이라는 복합적 실무과제를 해결하고, 법규해석에 대한 AI의 도입이 추상적 또는 선언적 도입이 아닌, 구체적 방식으로 이루어질 수 있음을 입증하였다.

결론적으로, 본 연구는 일반 LLM의 한계를 제시하고, 그 대안으로 RAG를 적용하여 RAG 기술이 법규 해석에 대한 LLM의 확장성을 제시하는 구조적 대안임을 입증하였다. 또한, 본 연구는 AI의 법규해석이라는 난제를 법률, 회계, AI 세 전문 분야의 학문간 융합을 통해 해결하고자 하였으며, 이를 통해 실무적으로 기업, 행정기관 및 일반인도 쉽게 법규를 이해할 수 있도록 할 수 있는 기술적 근간을 제시함에 의의가 있다.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 1 절 연구의 배경 2
• 1. 인공지능과 법규 해석의 접점 2
• 2. AI 법규해석 대상으로서의 외부감사법 4
• 3. LLM 활용의 가능성과 한계 6
• 제 2 절 연구의 목적 및 범위 7
• 제 3 절 연구 방법 및 구성 9
• 1. 연구 접근 방법 9
• 2. 논문의 구조 10
• 제 2 장 이론적 배경 11
• 제 1 절 법규 해석의 특수성과 인공지능의 적용 11
• 1. 법률 언어의 복잡성, 체계성, 해석 다양성 11
• 2. 기존 법률정보시스템과 한계 14
• 제 2 절 대규모 언어모델(LLM)과 법규 해석의 접점 16
• 1. LLM의 원리와 법률 분야 적용 현황 16
• 2. 환각(Hallucination)과 해석 오류 문제 21
• 3. 일반 LLM과 도메인 특화 LLM의 비교 25
• 제 3 절 RAG의 이론적 기반 26
• 1. RAG의 구조와 동작 원리 26
• 2. 규정형 문서와 RAG의 적합성 29
• 3. 기존 연구와의 차별성 31
• 제 4 절 외부감사법 및 회계감리 제도의 개관 32
• 1. 외부감사법의 입법 목적과 주요 구조 32
• 2. 심사감리 제도의 법적 체계 35
• 3. 회계처리기준 위반으로 인한 과징금 산정 규정 39
• 제 3 장 법규 해석을 위한 RAG 기반 연구 설계 43
• 제 1 절 일반 LLM의 한계와 RAG를 통한 개선 연구 43
• 1. 일반 LLM이 외부감사법 해석 시 직면하는 한계 43
• 2. RAG 적용을 통한 개선 가능성 48
• 3. RAG의 법규 해석 정확도 및 과징금 산정 유효성 검증 49
• 4. 외부감사법 선정의 연구적 의의와 타 법규 확장 가능성 50
• 제 2 절 법규해석 RAG 시스템 데이터 설계 51
• 1. 외부감사법시행령외감규정 등의 데이터셋 구축 51
• 2. 법률 체계 유지 및 ParentChild 구조 설계 52
• 3. 표 형식 데이터 구조화 및 과징금 계산 53
• 제 3 절 법규해석 조건별 RAG 시스템('외감박사') 설계 55
• 1. 단독 LLM 시스템 구조 55
• 2. RAG 기반 법규해석 질의응답 시스템 56
• 3. 실험 조건 별 질의응답 시스템 설계 59
• 제 4 절 법규 해석 RAG 시스템 성능 평가 체계 62
• 1. Hit rate, MRR, Factuality 지표의 상세 산출 및 해석 62
• 2. RAG 시스템의 성능 향상 효과 검증(LLM 대비 비교) 64
• 3. RAG 구성요소별 성능 분석 및 최적화 비교 65
• 제 4 장 법규 해석 RAG 시스템 실험 및 분석 66
• 제 1 절 단독 LLM의 법규 해석 질의응답 결과 66
• 1. 실험 개요 및 환경 설정 66
• 2. 실험형 오류 사례 67
• 3. 관찰형 오류 사례 71
• 4. 소결 75
• 제 2 절 RAG의 성능 향상 검증 76
• 1. 단독 LLM과 RAG 비교 결과 76
• 2. RAG 기능별 성능 변화 분석 78
• 제 3 절 종합 비교 분석 및 실증적 검증 100
• 1. Hit Rate 및 MRR를 통한 종합적 RAG 성능향상 분석 100
• 2. Factuality를 통한 종합적 RAG 성능향상 분석 104
• 3. AI 기반 법규해석과 계산 자동화의 결합 검증 106
• 제 4 절 시사점 107
• 1. 법규 해석 보조 도구로서 LLM-RAG의 가능성 107
• 2. 행정법규 분야에서의 제도 발전적 함의 107
• 제 5 장 결 론 109
• 제 1 절 연구 결과 요약 109
• 1. 연구 문제와 접근 방법 109
• 2. 실험 결과의 주요 성과 109
• 제 2 절 학문적 의의 110
• 1. 법률 분야에서의 RAG 적용 실증 검증 110
• 2. 일반 LLM의 한계와 대안 제시 111
• 3. 문서 해석에서 AI 활용의 학문적 기여 111
• 제 3 절 실무적 의의 112
• 1. 법률 수요자(기업감사인행정기관)의 법규 이해도 제고 112
• 2. 과징금 산정의 유용성 및 투명성 강화 113
• 3. 방어권 보장 제도 및 신뢰도 향상 113
• 제 4 절 한계와 향후 연구과제 114
• 1. 단일 법령(외부감사법)에 대한 테스트 적용 및 확장 연구 114
• 2. 타 법규와의 조정 및 가중감경 미반영 114
• 3. 다중 언어국제 규제 환경 확장 가능성 115
• 4. LLM 기반 RAG의 변동성 문제와 시스템 견고성 확보 연구 115
• 참고 문헌 116
• Abstract 120