LLM-RAG 기반 문서형 디지털 증거 관련성 판별 자동화 시스템 설계 및 구현 = Design and Implementation of an LLM-RAG?Based Automated System for Assessing the Relevance of Document-Based Digital Evidence

국문 초록 (Abstract)

디지털 시대가 도래함에 따라 범죄 수사에서 디지털 증거의 중요성이 갈수록 증대되고 있다. 그러나 데이터의 양이 폭발적으로 증가함으로 인하여 수사 실무에 큰 부담이 되고 있으며 이로 인해 현행법과 판례가 요구하는 ‘관련성 기반의 선별압수’ 원칙을 준수하는 것이 더욱 어려워지고 있다.
선별압수 원칙 준수를 위해 실무상 가장 많이 사용되는 방법 중 하나로 키워드 위주의 검색 방식이 있다. 다만 이는 파일명과 제목을 위장하거나, 혹은 내용 자체에 은어 등을 사용하여 우회하는 등의 은닉 방식에 취약점이 존재한다. 키워드 검색 외에도 담당 수사관이 파일을 전수조사 하는 방식도 있으나 이 방식 또한 수사관 개인의 주관 개입의 여지가 크고 시간도 많이 소요되므로 객관성과 효율성 측면 모두에서 한계가 있다.
이러한 실무적 한계를 극복하기 위해 대규모 언어모델(LLM)과 검색 증강 생성(RAG) 기술에 기반한 ‘문서형 디지털 증거 관련성 판별 자동화 시스템’을 설계 및 구현하였다.
LLM은 뛰어난 문맥 이해 능력을 갖추고 있지만 환각(Hallucination) 현상을 일으킬 위험성이 존재하여 사실관계가 중요한 수사 분야에 적용하기 어렵다는 한계가 있다. 이러한 한계를 보완하기 위하여 RAG 아키텍처를 도입하였다. 이를 통해 LLM이 입력된 증거 문서 원본에만 근거하여 판단을 생성할 수 있도록 유도함으로써 결과의 신뢰성과 설명 가능성을 확보하였다.
시스템 구현을 위해 텍스트 추출, 분할(Chunking), 임베딩으로 이어지는 표준화된 전처리 작업 흐름을 구축하였다. 또한 단일 모델의 편향성을 최소화하고 판단의 객관성을 높이기 위해 OpenAI(ChatGPT), Google(Gemini), Perplexity(Sonar), Anthropic(Claude) 4개 주요 AI 플랫폼의 API를 연동하여 동일한 조건에서 교차 검증이 가능하도록 설계하였다.
구현된 시스템이 실무적으로 활용될 수 있는지를 검증하기 위해 가상의 디지털포렌식 시나리오 데이터 세트와, 사건과 무관한 노이즈 데이터를 혼합하여 노이즈 속에서 핵심 증거를 판별해내는 방식으로 모의 실험을 진행하였다. 실험 결과 LLM이 복잡한 데이터 속에서 범죄 시나리오와 연관 된 핵심 증거를 어떻게 근거에 기반하여 식별해내는지를 평가하고 계량화된 수치로 통계화하였다.
실험 결과 범용 모델군(GPT-5.1 등)은 다량의 노이즈 문서 속에서도 시나리오의 핵심 증거 파일을 완벽하게 식별하며 성능의 기준점 역할을 하였다. 경량화 모델군(Gemini-2.5-flash 등)은 사건과 명백하게 관련이 없는 노이즈 문서들은 대부분 효과적으로 배제하였다. 다만 범행과 의미적으로는 연관되어 있지만 실제로 핵심 증거에는 해당하지 않는 문서들을 판별해내는 과정에서 일관성이 떨어지는 다소 미흡한 모습을 보였다.
경량화 모델군들은 대체적으로 관련성 점수를 비일관적으로 부여하며 신뢰성이 저하되는 현상을 보였지만 일부 특정 플랫폼의 경량화 모델은 노이즈, 유사 증거 사이에서 핵심 증거를 성공적으로 분별해내는 모습을 보이며 낮은 비용 대비 높은 효율성을 나타내기도 하였다.
연구를 통해 LLM-RAG 기반 자동화 시스템이 방대한 문서형 디지털 증거에서 신속하고 객관적인 근거에 기반하여 관련성을 판별할 수 있음을 입증하였다.또한 비용과 추론 성능 사이의 단순한 상충 관계를 입증함을 넘어, 분석 목적과 데이터의 복잡성에 따라 최적의 효율을 내는 저비용 경량화 모델을 선별적으로 활용할 수 있다는 실증적 근거를 제시했다는 점에서 실무적 의의가 있다.

다국어 초록 (Multilingual Abstract)

The rising prominence of digital evidence in modern criminal investigations has created a critical challenge for practitioners: the "relevance-based selective seizure" mandate. As data volumes expand exponentially, traditional keyword-based searches struggle with sophisticated concealment techniques, while manual reviews suffer from inherent investigator bias and inefficiency. This research addresses these challenges by developing an automated framework that utilizes Large Language Models (LLM) combined with Retrieval-Augmented Generation (RAG) to determine the relevance of documentary evidence.
To resolve the hallucination issues typically associated with LLMs in high-stakes legal environments, the proposed system employs a RAG architecture. This design forces the model to generate assessments strictly from the original evidence source, thereby establishing the necessary levels of reliability and evidentiary explainability. The technical implementation involves a standardized pipeline of text extraction and embedding, integrated with four distinct AI platforms—OpenAI, Google, Perplexity, and Anthropic. This multi-platform approach facilitates cross-validation, effectively neutralizing the bias found in single-model deployments.
Validation was conducted through a simulated forensic scenario where key evidence was embedded within a large, noisy dataset. Experimental data revealed that flagship models, such as GPT-5.1, act as a gold standard by achieving perfect identification rates despite high noise levels. Conversely, the study found that while most lightweight models (e.g., Gemini-2.5-flash) can filter out obviously irrelevant data, they encounter difficulties with semantically overlapping but non-critical documents. However, certain specific lightweight models demonstrated an impressive ability to isolate core evidence at a fraction of the cost, suggesting a high degree of economic efficiency.
The findings confirm that an LLM-RAG-based automation system can provide a rapid, objective, and evidence-grounded assessment of relevance within massive document collections. Beyond confirming a simple cost-performance trade-off, this research provides empirical justification for the selective deployment of specialized, low-cost models based on specific investigative needs and data complexity.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 1 절 연구 배경 및 목적 1
• 1. 연구의 배경 1
• 2. 연구의 목적 3
• 제 2 절 연구 방법론 5
• 제 2 장 디지털 증거의 관련성 판별과 선별압수 6
• 제 1 절 디지털 증거의 개념 및 특성 6
• 1. 전자정보와 디지털 증거의 개념 6
• 2. 디지털 증거의 특성 8
• 제 2 절 선별압수의 법적 근거와 원칙 9
• 1. 관련성 판별과 선별압수의 법적 기반 9
• 2. 관련성의 의미와 판별 기준 10
• 3. 관련성 원칙의 법제화와 실무 지침 11
• 4. 판례에 나타난 관련성의 기준과 선별압수 원칙의 확립 15
• 제 3 절 선별압수의 한계와 실무상 과제 20
• 1. 선별압수 집행의 기술·절차적 한계 20
• 2. 관련성 판별의 객관성 및 효율성 문제 22
• 제 4 절 소결 24
• 제 3 장 LLM-RAG 기반 문서형 디지털 증거 관련성 판별 자동화 시스템의 이론적 배경과 설계 25
• 제 1 절 이론적 배경 25
• 1. 대규모 언어모델(LLM)의 발전과 법적 응용 25
• 2. LLM의 한계와 검색증강생성(RAG)의 필요성 27
• 3. 검색증강생성(RAG)의 구조와 작동 원리 29
• 4. 선행연구 검토 및 연구의 초점 34
• 제 2 절 다중 AI 플랫폼 개요 및 비교 38
• 1. ChatGPT(OpenAI)의 특성과 강점 39
• 2. Gemini(Google)의 특성과 강점 39
• 3. Sonar(Perplexity)의 특성과 강점 40
• 4. Claude(Anthropic)의 특성과 강점 40
• 5. 플랫폼별 특징 비교 요약 41
• 제 3 절 프로그램 개요 및 설계 구조 42
• 1. 시스템 아키텍처 및 프로그램 인터페이스 42
• 2. 전처리 및 임베딩 52
• 3. 벡터화 및 유사도 계산 59
• 4. RAG 기반 문서형 디지털 증거 관련성 판별 알고리즘 63
• 제 4 절 통합 워크플로 및 가상 시나리오 분석·평가 71
• 1. 시뮬레이션 시나리오 및 데이터 세트 구성 71
• 2. 성능 평가지표 및 평가방법 80
• 3. 플랫폼별 실험 결과 비교 및 성능 분석 91
• 제 5 절 소결 및 시사점 99
• 제 4 장 결론 101
• 제 1 절 연구 요약 101
• 제 2 절 AI 플랫폼 활용의 의의 및 한계 103
• 제 3 절 향후 과제 및 연구 확장 방향 105
• 참고문헌 107
• Abstract 113