기업 내 AI 서비스 활용 보안 관리체계 수립 방안 연구 : ISMS 통제 항목 고도화를 중심으로 = A Study on Establishing a Security Management System for the Use AI Services in Enterprises : Focusing on the Advancement of ISMS Control Items

국문 초록 (Abstract)

본 연구는 기업 내 생성형 AI 및 자율형 에이전트 서비스 활용이 확대됨에 따라 기존 정보보호 관리체계가 AI 특화 보안 위험을 충분히 통제할 수 있는지 검토하고, 현행 K-ISMS 통제항목을 AI 환경에 맞게 보완하는 방안을 제시하는 것을 목적으로 한다. 생성형 AI 서비스는 업무 생산성 향상과 자동화 측면에서 높은 활용 가능성을 가지지만, 섀도우 AI 사용, 민감정보의 외부 전송, 프롬프트 인젝션, 환각에 따른 불완전한 출력, 비인간 식별자（NHI）의 권한 오남용, 외부 플러그인 및 서드파티 API 의존성 등 기존 보안관리 체계에서 명시적으로 다루기 어려운 새로운 위험을 발생시킨다.

이를 위해 본 연구는 문헌연구를 중심으로 국내외 AI 보안 가이드라인, NIST AI RMF, ISO/IEC 42001, OWASP Top 10 for LLM Applications 및 K-ISMS 인증기준을 비교·분석하였다. 또한 주요 기업용 AI 서비스의 보안 통제 사례를 검토하여 현행 K-ISMS 통제영역과의 연계 가능성을 분석하였다.

연구 결과, 현행 K-ISMS는 관리체계, 자산관리, 접근통제, 운영보안, 외부자 보안 등 기본적인 정보보호 통제 구조를 제공하지만, AI 서비스의 데이터 학습 여부, AI 특화 자산 식별, 동적 데이터 생명주기 관리, NHI 권한 관리, AI 입·출력 가드레일, AI 특화 이상 행위 모니터링, 외부 플러그인 통제와 같은 항목은 구체적으로 반영되어 있지 않은 것으로 확인되었다. 이에 따라 본 연구는 AI 서비스 활용 정책 수립, AI 특화 위험 평가, AI 자산 인벤토리 관리, 에이전트 권한 통제, 입·출력 가드레일 적용, AI 보안 로그 관리, 서드파티 플러그인 보안 통제 등 신규 보완 통제항목을 제안하였다.

본 연구는 별도의 독립적인 AI 보안 인증체계를 제안하기보다, 기업이 이미 운영 중인 K-ISMS 기반 관리체계를 확장하여 AI 보안 위험을 통제할 수 있는 실무적 방안을 제시했다는 점에서 의의가 있다. 이를 통해 기업은 AI 서비스 도입 과정에서 보안성 검토, 위험 평가, 운영 모니터링, 외부 공급망 관리 절차를 체계화하고, 안전한 사내 AI 활용을 위한 보안 관리체계를 수립할 수 있을 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

While the advancement of Generative AI and Agentic AI technologies is revolutionizing corporate productivity, it has simultaneously introduced unprecedented information security threats, such as the proliferation of Shadow AI and data dependency on external foundation models. The Korea Information Security Management System （K-ISMS）, the most authoritative compliance standard in South Korea, is predominantly designed for traditional physical IT assets and human-centric access control. Consequently, it exhibits clear limitations in defending against the non-deterministic characteristics and unique security blind spots inherent in modern AI systems.
This study aims to identify core security threats in enterprise AI environments and propose a customized AI security control guideline that can be seamlessly integrated into the K-ISMS framework. By analyzing the current 102 control items of K-ISMS, this research identifies five critical gaps: the absence of AI governance policies, the inability to identify intangible AI assets, limitations in Non-Human Identity （NHI） and agent access control, vulnerabilities in defending
against natural language-based prompt attacks, and the dependency on external AI supply chain terms of service.
To bridge these gaps, a cross-analysis was conducted with global AI security standards, including the NIST AI RMF, ISO/IEC 42001, and OWASP Top 10 for LLM. By reinterpreting the core requirements of these global frameworks to align with the K-ISMS architecture, a total of 20 new control items were deductively designed, encompassing administrative, technical, and responsive security domains.
The proposed framework mandates the inclusion of Vector Databases （Vector DB） and system prompts in asset inventories, enforces the principle of least privilege for multi-API calls by AI agents, and necessitates the implementation of ＂Kill-Switch＂ mechanisms. Furthermore, it provides highly practical safeguards and evidence requirements, such as the application of input/output guardrails to block natural language attacks and hallucinations, and the mandatory verification of data non-training （Opt-out） clauses from foundation model providers.
This study holds significant practical implications by offering actionable solutions for establishing enterprise AI governance, reflecting recent regulatory trends such as the enhanced board reporting duties of the Chief Information Security Officer （CISO）. Furthermore, it contributes to the advancement of national information security policies by recommending the incorporation of AI-specific asset management and NHI control concepts into the official K-ISMS certification audit criteria.

목차 (Table of Contents)

• 제1장 서 론 1
• 제1절 연구의 배경 및 목적 1
• 1. 기업의 사내 AI 서비스 도입 가속화와 보안 패러다임의 변화 1
• 2. 사내 AI 서비스 활용에 따른 신종 보안 위협 대두 1
• 3. K-ISMS 기반의 기업 보안 거버넌스 수립 목적 2
• 제2절 연구의 목적 3
• 제3절 연구의 범위 및 방법 4
• 1. 연구의 범위 4
• 2. 연구의 방법 4
• 제2장 기업용 AI 서비스의 보안 위협 및 국내외 표준 고찰 7
• 제1절 기업용 AI 시스템의 진화와 보안 위협 7
• 1. 생성형 AI모델（LLM）과 RAG（검색 증강 생성） 아키텍처의 이해 7
• 2. 자율형 에이전트（Agentic AI）의 등장과 비인간 정체성（NHI）의 개념 9
• 3. 사내 AI 서비스 도입에 따른 섀도우 AI（Shadow AI） 및 위협 표면 확장 9
• 제2절 국내 정보보호 및 개인정보보호 관리체계 （ISMS-P） 개요 11
• 1. ISMS-P 인증 제도의 개요 및 법적 근거 11
• 2. ISMS-P 인증 기준의 구조 및 구성 11
• 3. 현행 보호대책 통제 항목의 주요 특징 12
• 제3절 글로벌 AI 보안 표준 및 주요 프레임워크 13
• 1. 미국 국립표준기술연구소: NIST AI RMF 1.0 13
• 2. 국제표준화기구: ISO/IEC 42001 （AI 경영시스템） 14
• 3. OWASP Top 10 for LLM 15
• 제3장 기업용 AI 거버넌스 관점의 현행 K-ISMS 구조적 문제점 16
• 제1절 거버넌스 및 보안 정책 수립의 한계 16 1. 중앙집중형 IT 자산 도입 정책의 한계와 섀도우 AI（Shadow AI）의 확산 16
• 2. AI 특화 '사용 허용 기준（AUP）' 및 데이터 학습 통제 정책의 부재 17
• 3. 전사적 AI 위험 관리（Risk Management）식별의 사각지대 18
• 제2절 AI특화 자산 식별 및 관리 체계의 한계 18
• 1. AI 무형 자산의 자산 식별 기준 부재 19
• 2. RAG 기반 '벡터 데이터베이스（Vector DB）'의 보안 중요도 산정 오류 19
• 3. 데이터 파이프라인 내 '동적 데이터' 생명주기 관리 미흡 20
• 제3절 비인간 정체성（NHI） 및 AI 에이전트 권한 관리의 한계 21
• 1. 사람 중심 인증 체계 우회 및 다중 인증（MFA） 적용의 한계 21
• 2. 자율형 에이전트 권한 남용 및 접근 통제 사각지대 22
• 3. 비인간 정체성（NHI） 수명주기 관리 및 킬 스위치（Kill-Switch） 부재 22 제4절 AI 시스템 운영 및 위협 방어 통제의 한계 25
• 1. 자연어 기반 공격（프롬프트 인젝션） 방어 및 필터링 기준의 부재 26
• 2. AI 환각 및 불안전한 출력물 통제 한계 27
• 3. 모델 오염 위협 및 AI 침해사고 대응 한계 27
• 제5절 외부 AI 공급망（SaaS） 및 서드파티 데이터 통제의 한계 29
• 1. '공식 수탁사' 중심 통제의 한계와 Shadow AI의 범람 30
• 2. 외부 AI 약관 및 데이터 학습 통제의 사각지대 30
• 3. 에이전트 확장성 및 제3자 의존성 사각지대 31
• 제4장 안전한 AI 서비스 활용을 위한 K-ISMS 통제항목 연구 33
• 제1절 글로벌 보안 프레임워크 교차 분석 개요 33
• 제2절 거버넌스 및 보안 정책 분야 통제 항목 도출 34
• 1. AI 서비스 활용 정책（AUP） 수립 및 섀도우 AI 통제 34
• 2. 이사회 중심의 AI 위협 보고 체계 및 CISO 책임 강화 35
• 3. AI 특화 위험 평가（Risk Assessment） 방법론 수립 35
• 제3절 AI 특화 자산 관리 분야 통제 항목 도출 37
• 1. AI 특화 자산 식별 및 인벤토리（Inventory） 관리 37
• 2. AI 자산 중요도 분류 및 보안 등급 산정 기준 수립 38
• 3. AI 데이터 파이프라인 및 동적 자산 생명주기 관리 38
• 제4절 접근 통제 및 AI 위협 방어 분야 통제 항목 도출 40
• 1. 비인간 정체성（NHI） 인증 및 에이전트 권한 관리 40
• 2. AI 입력 및 출력 가드레일（Guardrails） 적용 41
• 3. AI 특화 이상 행위 모니터링 및 로깅 강화 41
• 제5절 외부 AI 공급망 통제 및 K-ISMS 맞춤형 종합 가이드라인 제안 도출 43
• 1. AI 서비스 약관（ToS） 및 데이터 비학습（Opt-out） 검증 의무화 43
• 2. 서드파티 플러그인 연동 및 의존성 통제 요건 설계 43
• 3. K-ISMS 맞춤형 자율형 AI 보안 통제 가이드라인 종합 45
• 제6절 실제 기업 사례 기반 K-ISMS 확장 통제항목 검증 48
• 1. 데이터 비학습 및 외부 AI 약관 통제 사례 48
• 2. 기존 권한 기반 접근통제 및 NHI 통제 사례 49
• 3. 프롬프트 공격 방어 및 가드레일 사례 50
• 제5장 결 론 52
• 참 고 문 헌 54
• ABSTRACT 57
• 〈표 목 차〉
• 〈표 2-1〉 기업용 AI 시스템 발전 단계에 따른 핵심 보안 위협 비교 10
• 〈표 3-1〉 K-ISMS 계정 관리와 에이전트 권한 관리（NHI） 비교 25
• 〈표 3-2〉 전통적 애플리케이션 보안과 AI 특화 위협 방어 한계 비교 28
• 〈표 4-1〉 글로벌 표준 기반 거버넌스 분야 신규 통제 항목 매핑 36
• ＜표 4-2＞ 글로벌 표준 기반 자산 관리 분야 신규 통제 항목 매핑 39
• ＜표 4-3＞ 글로벌 표준 기반 접근 통제 및 위협 방어 분야 신규 통제 항목 매핑 42
• 〈표 4-4〉 글로벌 표준 기반 외부 공급망 분야 신규 통제 항목 매핑 44
• 〈표 4-5〉 자율형 AI 환경 맞춤형 K-ISMS 확장 프레임워크 45
• 〈표 4-6〉 주요 기업 AI 보안 통제 사례와 K-ISMS 연계 분석 50
• [그림목차]
• [그림 2-1] 사내 문서 기반 RAG 아키텍처 및 주요 보안 위협 지점 8
• [그림 3-1] K-ISMS 자산 식별 체계와 AI 자산 간의 불일치（Mismatch） 모델 20
• [그림 3-2] 현행 접근 통제（MFA） 우회 및 NHI 탈취 위협 시나리오 24
• [그림 3-3] 전통적 위탁 계약 범위를 벗어난 외부 생성형 AI 및 플러그인의 데이터 유출 위협 구조 32