수사 확증편향 해소를 위한 AI 기반 계층형 타임라인 생성･검증 시스템연구 = An AI-based Hierarchical Timeline Generation and Verification System to Mitigate Confirmation Bias in Criminal Investigations

국문 초록 (Abstract)

2021년 형사소송법 개정 이후 경찰 수사관의 업무 부담이 크게 증가하고, 수사 인력이 제한된 상황에서 증거 수집이 진술 확보에 치중되어 초기 가설에 매몰되는 확증편향(confirmatory bias)과 인지적 오류의 위험이 심화되고 있다. 이러한 배경 하에, 본 연구는 물증 부족과 확증편향의 악순환을 완화하기 위해 AI 기반 ‘계층형 타임라인 생성･검증 시스템’을 설계 및 구현하고, 그 실효성을 검증하는 것을 목표로 한다.
본 연구는 이론 정립, 시스템 구현, 실증 평가의 설계 과학 방법론을 따른다. 먼저, 이론적 기틀로서 Heinrich-Kirk의 ‘증거우선 전통(Evidence-First Tradition)’을 현대적으로 재해석하여, 편향을 유발하는 WHO/WHY 선행 접근법의 대안으로 WHAT 선행 원칙 기반의 분석 방법론을 제시하였다. 기술적으로는 LLM 기반 문서 단위 이벤트 추출(DocEE) 기술을 복잡한 한국어 수사서류 분석에 특화하여 적용하였으며 귀납적 증거 분석(상향 검사)과 연역적 가설 검증(하향 수정)의 순환적 상호작용을 자동화하는 ‘양방향 루프 구조’를 시스템의 핵심 아키텍처로 설계하였다.
또한, 확증편향의 체계적 완화를 위해 증거와 가설 간의 정합성을 평가하는 프레임워크(EHCAF)를 도입하였고, 정보탐색편향(ISBI), 가설고착계수(HPC) 등 지표를 활용하여 수사관의 편향 위험을 실시간으로 모니터링하고 적극적 반증 탐색을 자동화하는 기능을 구현하였다.
제안된 시스템의 효용성을 검증하기 위해 실제 사건 기반의 ‘노예호 사기사건’ 가상 시나리오를 대상으로 사례 분석을 수행하였다. 그 결과, 본 시스템의 계층형 클러스터링 접근법은 전통적인 문장 단위 추출 방식 대비 연관성 인식률을 39.0%에서 92.4%로, 인과관계 파악률을 45.0%에서 90.0% 등 전체 평균 51.0%에서 90.95%로 39.9%p 향상시켰다. 또한, WHO-FIRST 접근법이 유발하는 확증편향을 WHAT 선행 원칙 기반의 타임라인 분석을 통해 체계적으로 완화함을 실증적으로 확인하였다.
본 연구는 전통적 수사학 이론과 현대 AI 기술을 융합하여 수사 분석의 새로운 패러다임을 제시했다는 점에서 학술적 의의를 가진다. 실무적으로는 본 시스템이 수사관의 인지적 부담을 경감하고 수사 과정의 객관성과 공정성을 제고함으로써, 궁극적으로 사법 정의 실현에 이바지할 수 있을 것으로 기대한다.

다국어 초록 (Multilingual Abstract)

Since the 2021 revision of the Criminal Procedure Act in South Korea, the workload of police investigators has significantly increased. Amid limited human resources, an over-reliance on testimonial evidence has exacerbated the risk of cognitive errors, particularly confirmation bias, where investigators become fixated on initial hypotheses. Against this backdrop, this study aims to design, implement, and verify the effectiveness of an AI-based 'Hierarchical Timeline Generation and Verification System' to mitigate the vicious cycle of insufficient physical evidence and confirmation bias.
As a theoretical framework, this study reinterprets the Heinrich-Kirk 'Evidence-First Tradition' to propose an analysis methodology based on the WHAT-first principle as an alternative to the bias-inducing WHO/WHY-first approach. Technically, the system specializes and applies LLM-based Document-Level Event Extraction (DocEE) technology for analyzing complex Korean investigative documents, and its core architecture is a 'bidirectional loop structure' that automates the cyclical interaction between inductive evidence analysis and deductive hypothesis testing. To systematically mitigate confirmation bias, the system also integrates an Evidence-Hypothesis Coherence Assessment Framework (EHCAF) with real-time bias monitoring.
To verify the proposed system's efficacy, a case study was conducted on a virtual 'Noh Ye-ho fraud case' scenario. The results demonstrated that the system's hierarchical clustering approach significantly outperformed traditional sentence-level extraction methods, improving relevance recognition from 39.0% to 92.4% and causal relationship identification from 45.0% to 90.0%. It was also empirically confirmed that the system systematically mitigates the confirmation bias induced by the WHO-FIRST approach through its WHAT-first principle-based timeline analysis.
This study holds academic significance in presenting a new paradigm for investigative analysis by fusing traditional forensic theory with modern AI technology. Practically, the system is expected to contribute to the realization of judicial justice by alleviating the cognitive load of investigators and enhancing the objectivity and fairness of the investigative process.