공공기관의 AX를 위한 sLLM 기반 도입‧운영 프레임워크 연구 = A Study on an sLLM-Based Adoption and Operational Framework for AI Transformation in Public Institutions

국문 초록 (Abstract)

본 논문은 공공기관의 AI 전환(AX) 맥락에서 small Large Language Model(sLLM)의 도입 필요성과 운영 원칙을 제시하였다. 연구는 디자인사이언스 접근을 적용하여 (1) 공공 업무 특성 및 기존 시스템 한계 진단, (2) sLLM 중심의 기술 아키텍처(RAG, 온프레미스/하이브리드, LoRA‧어댑터‧선호/크리틱 루프), (3) 운영‧거버넌스 체계(LLM Ops, 데이터 보안‧접근통제, HPHL, SLA/OLA), (4) 규제‧표준 정합(NIST AI RMF, EU AI Act, OMB 가이드, 해외 공공모델 사례)으로 구성된 설계 규칙과 가드레일을 도출하였다. 제안 모형은 지식검색‧문서요약‧민원응대 등 반복적‧규정기반 업무의 자동화를 통해 처리시간(TAT) 단축과 서비스수준(SLO) 준수율 제고, GPU‧네트워크 비용 최적화에 따른 총소유비용(TCO) 절감을 목표로 하며, 단계적 도입 시 12～24개월 내 ROI 실현 가능성을 논증하였다. 또한 환각‧편향‧개인정보‧연계 안정성 등 위험요인을 식별하고, 근거기반 생성(RAG), 제로트러스트 보안(DLP‧KMS‧RBAC/ABAC), 혼돈 테스트, KPI 기반 모니터링으로 완화 전략을 제안하였다. 결론적으로 공공기관은 데이터 정비와 벤치마킹, 온프레 인프라‧운영역량 확충, 표준‧제도 정합을 병행하는 로드맵을 통해 sLLM을 안전하고 책임있게 내재화할 수 있음을 확인하였다.

다국어 초록 (Multilingual Abstract)

This study examines AI Transformation(AX) in the public sector with a focus on adopting small Large Language Models(sLLMs). Using a design-science approach, it derives practical design rules and guardrails across four dimensions: (1) diagnosis of public-sector work characteristics and legacy constraints; (2) sLLM-centric technical architecture-retrieval-augmented generation(RAG), on-premise or hybrid deployment, and parameter-efficient tuning(e.g., LoRA/adapter) supported by preference/ critique loops; (3) operations and governance—LLM Ops, data security and access control, human- in-the-loop review(HPHL), and SLA/OLA management; and (4) regulatory and standards alignment referencing NIST AI RMF, the EU AI Act, and recent OMB guidance. The proposed model targets routine, rule-bound workloads such as knowledge search, document summarization, and citizen-service responses, aiming to shorten turnaround time and improve service-level attainment while optimizing GPU and network costs to reduce total cost of ownership. Risk factors—including hallucination, bias, privacy exposure, and integration fragility-are identified, with mitigation strategies based on evidence-grounded generation via RAG, zero-trust controls(DLP/KMS/RBAC/ABAC), chaos testing, and KPI-driven monitoring. The paper concludes with a staged roadmap for responsible internalization of sLLMs in public institutions: data curation and benchmarking, strengthening on-prem infrastructure and MLOps capabilities, and ensuring consistency with prevailing standards and institutional policies.