軍 AI-XAI 통합개발 프레임워크 제안 = A Proposal for an Integrated AI-XAI Co-Development Framework for Military Applications

국문 초록 (Abstract)

군 AI 시스템은 극도의 신뢰성과 견고성이 요구되며, 이를 위해 전투원이 AI의 작업·추론 과정을 신뢰할 수 있는 설명가능성 확보가 필수적이다. 그러나 현재 AI 시스템 개발은 신속한 개발과 성능 향상에 치우쳐, 설명 가능한 인공지능(eXplainable AI, XAI)을 초기 설계 단계에서 통합하지 않거나 사후(post hoc) 모듈로만 별도로 적용하는 방식에 주로 의존하고 있다. 이로 인해 AI-XAI 간 결합 구조의 불일치로 ‘잘못된 설명’이 생성될 수 있으며, 적대적 공격에 대한 취약성, ‘설명 가능성 부채’의 누적, ‘책임 공백’과 같은 구조적 위험이 발생한다. 본 논문은 이러한 문제를 해소하기 위해 기술·절차·정책을 아우르는 통합 프레임워크를 제안한다. 구체적으로 (1) 설계 기반 설명가능성 구현(기술), (2) 획득·개발 절차의 구조적 개혁(절차), (3) 책임 있는 인공지능 표준과의 연계 강화(정책)를 통해 AI-XAI 통합 개발을 체계화함으로써, 군 AI 시스템의 신뢰성과 책임성을 제고하고자 한다.

다국어 초록 (Multilingual Abstract)

“Explainability in AI systems (XAI) is inherently inseparable from the underlying AI model architecture. However, current AI system development practices often prioritize rapid development and performance gains, resulting in XAI being excluded from the initial design phase or applied only as a post hoc add-on. Such separated development approaches create misalignments between AI and XAI components, which may produce misleading explanations, increase vulnerability to adversarial attacks, accumulate ‘explainability debt,’ and create accountability gaps. To address these risks, this report proposes a comprehensive 3-Pillar integration framework encompassing technology, process, and policy. Specifically, it outlines (1) the implementation of design-integrated explainability (technology), (2) structural reform of acquisition and development procedures (process), and (3) strengthened alignment with responsible AI standards (policy) to systematize integrated AI-XAI development.