프롬프트 인젝션 공격 유형별 특성 측정 : Tool Calling 지원 로컬 LLM 모델 비교 연구 = Measuring the Characteristics of Prompt Injection Attacks by Type: A Comparative Study of Tool-Calling-Enabled Local LLM Models

국문 초록 (Abstract)

본 연구는 도구 호출（Tool Calling） 기능을 지원하는 로컬 거대언어모델（LLM） 에이전트 환경에서 간접 프롬프트 인젝션（IPI） 취약성의 발현 메커니즘을 실증적으로 분석하였다. 이를 위해 페이로드의 은닉 깊이와 구조적 특성을 차별화한 5가지 공격 유형을 설계하여 Cloud Security Alliance（CSA, 2025）의 위협 체계와 매핑하였다. 실험은 외부 프레임워크의 의존성을 배제하고 Ollama API 및 Flask Mock Server와 직접 연동되는 독자적인 화이트박스 파이프라인 환경에서 수행되었으며, LLaMA 3.2 3B, LLaMA 3.1 8B, GPT-OSS 20B 모델을 대상으로 공격 성공률（ASR）과 응답 표면 노출 지표（AFP）를 포함한 4단계 반응 체계를 통해 취약성을 정량 측정하였다.

총 162회의 실증 실험을 수행한 결과, 최종 도구 실행 성공률（ASR）은 모든 모델에서 0.0%로 나타나 ReAct 추론 아키텍처의 다단계 제어 루프가 지닌 내재적 방어 효과를 증명하였다. 그러나 최종 행동 실행 이전 단계인 응답 표면 노출（AFP）은 LLaMA 3.1 8B에서 80.0%, LLaMA 3.2 3B에서 40.0%로 관측되어, 시스템적 도구 차단 성과와 별개로 자산 정보 유출이나 텍스트 오염 현상이 독립적으로 발생할 수 있음을 실증하였다. 이를 통해 IPI 위협 경로를 ‘페이로드 인식’과 ‘후속 도구 호출 결정’의 두 계층으로 격리하는 '2단계 인과 모형（Two-stage Model）'을 정립하였다. 반면, GPT-OSS 20B 모델은 모든 조건에서 AFP 발생률 0.0%를 기록하여, IPI 저항성이 단순히 파라미터 규모에 비례하지 않으며 모델 내재적인 안전성 정렬 수준에 종속됨을 입증하였다.

본 연구는 에이전트의 IPI 취약성 평가 범주를 최종 실행단에서 응답 표면 영역으로 확장하여 다차원 정량 판정 프레임워크를 정립하고, 실제 배포 환경에서 보안성과 응답성 간의 상충 관계（Trade-off）를 고려한 모델 선정 및 독립적인 응답 후처리 정화 계층 도입의 필요성을 제시하였다는 점에서 차별화된 학술적·실무적 기여를 지닌다.

핵심어: 간접 프롬프트 인젝션, LLM 에이전트, 도구 호출, 공격 성공률, AFP 판정 체계, 모델 비교, CSA 위협 프레임워크

다국어 초록 (Multilingual Abstract)

This study empirically analyzed the vulnerability activation mechanism of Indirect Prompt Injection （IPI） in local Large Language Model （LLM） agent environments that support Tool Calling capabilities. To achieve this, five attack types with different payload concealment depths and structural characteristics were designed and mapped to the industry-standard threat framework of the Cloud Security Alliance （CSA, 2025）. The experimental infrastructure was implemented as a framework-independent, whitebox pipeline that interfaces directly with the Ollama API and a Flask Mock Server, eliminating dependencies on external agent platforms. Using this pipeline, the IPI vulnerabilities of three local LLM models—LLaMA 3.2 3B, LLaMA 3.1 8B, and GPT-OSS 20B—were quantitatively measured based on a four-tier verdict system including Attack Success Rate （ASR） and Agent Response Footprint （AFP）.
Across 162 total trials, the final tool execution success rate （ASR） was 0.0% for all models, demonstrating the inherent defensive effect of the ReAct multi-step reasoning loop architecture. However, the agent response footprint （AFP）, which indicates exposure on the final response surface prior to action execution, occurred at a rate of 80.0% for LLaMA 3.1 8B and 40.0% for LLaMA 3.2 3B. This empirically proves that text contamination and information exposure can occur independently of backend tool blocking. Based on these findings, this study established a “Two-stage Model” that isolates the IPI threat pathway into two layers: payload recognition and follow-up tool call decision. In contrast, the GPT-OSS 20B model recorded a 0.0% AFP rate across all conditions, proving that IPI resistance does not linearly correlate with parameter scale but depends heavily on the model's internal safety alignment.

By extending the scope of IPI evaluation from simple tool execution to the agent's response surface, this study contributes a multi-dimensional quantitative framework for LLM agent security. Furthermore, it provides practical implications for secure model selection considering the trade-off between security and responsiveness, and highlights the necessity of introducing an independent response sanitization layer in production environments.

목차 (Table of Contents)

• 제1장 서 론 1
• 제1절 연구의 배경 및 목적 1
• 1. 에이전트 기반 AI의 확산과 프롬프트 공격 위협 1
• 2. 로컬 LLM 에이전트 환경의 보안 취약 구조 3
• 3. 프롬프트 인젝션 공격 유형별 특성 측정 연구의 목적 4
• 제2절 연구의 방법 및 범위 5
• 1. 연구의 방법 5
• 2. 연구 범위 6
• 3. 연구 범위 외 사항 7
• 4. 기타 생성형 AI 활용 관련 8
• 제3절 연구 질문 （Research Questions） 9
• 제2장 프롬프트 인젝션 공격 이론 11
• 제1절 LLM 에이전트와 Tool Calling 메커니즘 11
• 1. ReAct 패러다임과 에이전트 처리 흐름 11
• 2. Tool Calling의 구조적 특성과 보안 취약점 12
• 3. 연구 실험 환경의 적합성 13
• 제2절 프롬프트 인젝션 공격 14
• 1. 직접 프롬프트 인젝션（DPI）과 간접 프롬프트 인젝션（IPI）의 구분 14
• 2. IPI 공격의 성공 조건과 페이로드 은닉 깊이 15
• 3. 주요 IPI 연구 및 벤치마크 현황 16
• 제3절 IPI 공격의 위협분류 17
• 1. CSA Agentic Red Teaming Guide의 위협 분류 체계 17
• 2. IPI 공격과 직접 관련된 위협 목록 （5종） 19
• 제4절 IPI 공격의 인지 심리적 메커니즘 20
• 1. LLM 아첨성（Sycophancy） 편향과 RLHF 훈련의 영향 20
• 2. 사회공학적 설득 원칙의 공격 페이로드 적용 22
• 3. 다단계 누적 공격과 FITD 매커니즘 22
• 제5절 선행 연구의 한계와 본 연구의 차별성 24
• 1. 국외 선행 연구 24
• 2. 국내 선행 연구 24
• 3. 선행 연구의 한계와 본 연구의 차별성 26
• 제3장 프롬프트 인젝션 공격 연구 방법론 및 실험 환경 28
• 도입: 본 연구가 다루는 문제 28
• 제1절 실험 환경 구성과 설계 원칙 및 측정 지표 29
• 1. 실험 모델 및 하드웨어 구성 29
• 2. Baseline 설계 원칙 및 실험 통제 변수 32
• 3. Tool Calling 메커니즘과 스키마 정합성 （Schema Fidelity） 33
• 제2절 실험 개요 및 전체 아키텍처 35
• 1. 시스템 전체 아키텍처 및 Flow 개요 35
• 2. 엔드-투-엔드（End-to-End） 파이프라인 구축 및 연동 38
• 제3절 위협 모델링 （Threat Modeling） 40
• 1. 공격자 가정 （Attacker Assumptions） 40
• 2. 공격 표면 （Attack Surface） 41
• 3. IPI 공격 성공 조건 및 판단 기준 41
• 제4절 IPI 공격 시나리오 구성 및 페이로드 설계 45
• 1. 5종 IPI 공격 유형과 CSA 위협 목록의 매핑 45
• 2. 페이로드 설계 원칙 및 은닉 깊이（Embedding Depth） 구현 46
• 제5절 실험 자동화 및 데이터 수집 스키마 48
• 1. 실험 자동화 스크립트 및 재현성 확보 절차 48
• 2. 판정 결과 및 experiment_raw.jsonl 기록 스키마 활용 50
• 3. Flask Mock Server 기반 4단계 판정 알고리즘 및 우선순위 52
• 제6절 데이터 분석 방법론 및 통계 검정 계획 53
• 1. 수식 기반의 정량 지표 정의 및 완전성 입증 53
• 2. 4단계 데이터 분석 및 실증적 가설 검정 프로세스 54
• 3. 통계적 효과 크기（Effect Size）의 해석 및 판정 기준 56
• 4. 사후 진단 분석（Diagnostic Analysis）: ASR=0 관측 원인의 다각적 분리 57
• 5. 본 데이터 분석 방법론의 학술적 의의 58
• 제4장 실험 결과 및 분석 60
• 제1절 모델별 ASR 및 4단계 판정 분포 61
• 제2절 공격 유형별 반응 패턴 분석 62
• 1. AFP-S와 AFP-L의 대조적 거울상 분포 패턴 62
• 2. 표면 노출형 페이로드 반응 특성 분석 （TYPE 1, TYPE 2） 63
• 3. 심층 은닉형 페이로드 반응 특성 분석 （TYPE 3, TYPE 4, TYPE 5） 64
• 제3절 AFP 분포 분석 66
• 제4절 추론 지연 비교 분석 68
• 제5절 Schema Fidelity 측정 결과 71
• 제6절 종합 분석 및 고찰 72
• 1. ReAct 루프 종결 패턴과 IPI 공격의 두 단계 모형 72
• 2. 모델 학습 안정성 정렬이 결정하는 응답 표면 차폐 특성 74
• 3. 페이로드 구조와 응답 표면 메커니즘의 분리 75
• 4. 실무적 에이전트 시스템 설계를 위한 5대 보안 시사점 77
• 5. 통계적 유의성 보조 검증 및 총괄 데이터 분석 79
• 제5장 결 론 82
• 참 고 문 헌 84
• 부 록 90
• ABSTRACT 99