검색 근거 기반 AI 텍스트 생성 시나리오에 따른 점수 기반 탐지기의 성능 평가 및 탐지 신호 분석 = Performance Evaluation and Detection-Signal Analysis of Score-Based Detectors in Retrieval-Grounded AI Text Generation Scenarios

다국어 초록 (Multilingual Abstract)

As large language models （LLMs） and Retrieval-Augmented Generation （RAG） systems become widely used, generated text is increasingly conditioned on retrieved or user-provided materials. While prior evaluations of AI-generated text （AIGT） detection have examined factors such as generator models, domains, languages, task types, and post-generation transformations, the composition of retrieval evidence available at generation time remains underexplored as an explicit evaluation factor. In this paper, we propose Retrieval-Grounded Text Generation （RGT） as an evaluation scenario for AIGT detection and compare the Generic and Task-specific baseline scenarios with RGT in-doc and RGT external based on the same source documents and human-written texts （HWT） across arXiv, PubMed, and Multi-News using four generation models and five score-based detectors. The overall mean AUROC is 0.952 for Generic, 0.666 for Task-specific, 0.630 for RGT in-doc, and 0.591 for RGT external, and detector rankings also change across generation scenarios. The HWT-AIGT difference in mean negative log-likelihood （Mean NLL） narrows in Task-specific and the two RGT scenarios and reverses under some conditions, whereas probability-structure-based scores exhibit a distinct pattern. The average TPR@1%FPR decreases from 0.563 in Generic to 0.066–0.071 in Task-specific and the two RGT scenarios, showing that AUROC alone does not adequately represent performance at operational points. These results establish the composition of retrieval evidence as an explicit evaluation axis for AIGT detection and demonstrate the need to revalidate detection performance and rankings in settings that reflect the generation task, input context, and retrieval evidence rather than directly generalizing results from existing non-retrieval evaluations to RGT settings.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 5
• 1.3 논문 기여 7
• 1.4 논문 구성 8
• Ⅱ. 배경 및 관련 연구 9
• 2.1 대형 언어 모델과 검색 근거 기반 생성 9
• 2.1.1 대형 언어 모델의 텍스트 생성 원리 9
• 2.1.2 검색 근거 기반 생성 10
• 2.2 AI 생성 텍스트 탐지 방법 12
• 2.2.1 확률 및 토큰 순위 기반 탐지 13
• 2.2.2 모델 관계, 곡률 및 확률 시퀀스 기반 탐지 14
• 2.2.3 학습 기반 및 Proxy 모델 기반 탐지 15
• 2.3 생성 시나리오 변화와 탐지 강건성 17
• 2.4 AI 생성 텍스트 탐지 평가와 벤치마크 18
• 2.4.1 강건성 및 실사용 조건 중심 벤치마크 18
• 2.4.2 다중 생성모델, 도메인 및 언어 벤치마크 19
• 2.4.3 작업 유형 AIGT평가 벤치마크 20
• 2.5 기존 연구의 공백 및 본 연구의 접근 21
• Ⅲ. 검색 근거 기반 생성을 고려한 점수 기반 탐지기 평가 및 분석 방법 24
• 3.1 생성 시나리오 정의 25
• 3.2 동일 문서 기반 평가 데이터 구축 및 전처리 27
• 3.2.1 원문-HWT 대응 문서 구성 27
• 3.2.2 AIGT 생성 입력 및 출력 구성 28
• 3.2.3 검색 근거 인덱스 구축 및 검색 30
• 3.2.4 평가 데이터 구성 및 전처리 32
• 3.3 점수 기반 탐지기 구성 33
• 3.3.1 탐지 점수 산출 34
• 3.3.2 우도 및 토큰 순위 기반 탐지기 35
• 3.3.3 모델 관계, 곡률 및 확률 시퀀스 기반 탐지기 36
• 3.4 평가 지표 37
• 3.4.1 AUROC 기반 탐지 성능 37
• 3.4.2 낮은 오탐률 운영 성능 38
• 3.4.3 탐지 성능 비교 및 탐지기 순위 40
• 3.5 탐지 난이도 및 신호 분석 설계 41
• 3.5.1 평균 NLL 기반 탐지 난이도 비교 41
• 3.5.2 Likelihood 및 Curvature 신호 산출 42
• 3.5.3 외부 검색 근거 비율 조절 실험 설계 44
• Ⅳ. 생성 시나리오별 점수 기반 탐지기 성능 평가 및 신호 분석 46
• 4.1 실험 환경 및 구성 47
• 4.2 생성 시나리오별 탐지 성능 비교 (RQ1) 49
• 4.3 생성 시나리오 간 탐지기 성능 순위 비교 (RQ2) 54
• 4.4 RGT 시나리오의 점수 분포 및 탐지 신호 분석 (RQ3) 59
• 4.4.1 생성 시나리오별 평균 NLL 분포와 우도 기반 탐지 난이도 60
• 4.4.2 생성 시나리오별 평균 NLL과 구조 기반 점수의 분리 정도 63
• 4.4.3 외부 검색 근거 비율에 따른 탐지 신호 변화 65
• 4.5 생성 시나리오별 낮은 오탐률 탐지 성능(RQ4) 68
• 4.6 주요 결과의 계산 검증과 재표집 안정성 73
• 4.7 분석 결과의 종합 76
• Ⅴ. 논의 79
• 5.1 연구 결과의 해석 및 시사점 79
• 5.2 연구의 한계 및 향후 연구 83
• Ⅵ. 결론 85
• 참고문헌 88
• Abstract 106