Improving Interpretability and Reliability in AI Models = 해석 가능성과 신뢰성이 향상된 인공지능 모델

국문 초록 (Abstract)

딥러닝 모델의 복잡성이 증가하면서 인공지능(AI)은 컴퓨터 비전, 자연어 처리와 같은 분야에서 괄목할 만한 성과를 이루었지만, 모델의 해석 가능성 부족은 중요한 응용 분야에서 신뢰성과 책임성 문제를 초래하고 있다. 본 논문은 성능뿐만 아니라 신뢰할 수 있는 AI 시스템 개발의 중요성을 제시하며, 이를 달성하기 위해 두 가지 필수적인 측면인 해석 가능성(interpretability)과 신뢰성(reliability)을 강조한다. 이를 위해 다음 네 가지 핵심 방향을 다룬다: (i) 비전(Vision) 분야에서 해석 가능한 예측 프로세스 구축, (ii) 인간의 직관에 부합하는 설명 개선, (iii) 불확실성 모델링을 통한 설명 신뢰성 확보, (iv) 자연어 처리 분야에 해석 가능성 방법론 확장.
먼저, 본 논문은 흉부 방사선 영상의 진단을 위한 자동화된 해석 가능한 프레임워크인 XProtoNet을 소개한다. XProtoNet은 질병과 관련된 특징이 포함된 영역을 동적으로 예측하며, 지역(Local) 및 전역(Global) 설명을 제공하여 높은 진단 정확도를 유지하면서도 해석 가능성을 대폭 향상시켰다. 이 프레임워크는 기존 진단 모델 대비 최첨단 성능을 달성함과 동시에 사용자 친화적인 설명을 지원한다.
다음으로 local 설명 방법 중 많은 응용 분야에 사용되는 방법론인 클래스 활성화 지도(CAM)를 객체 위치 탐지 관점에서 개선하는 방법을 소개한다. 분류 학습 시 CAM을 통한 객체 위치 예측 실패의 원인을 분석하고, 특징 지도와 클래스별 가중치 간의 방향성을 정렬하는 기법을 통해 객체 위치 탐지의 정확도와 신뢰성을 크게 개선하였다.
또한, 설명의 제공뿐만 아니라 설명의 신뢰성을 보장하는 것이 중요함을 강조하며, 기존 병목 모델의 한계를 해결하기 위한 확률적 개념 병목 모델(ProbCBM)을 제안한다. ProbCBM은 다양한 시각적 문맥에서 발생하는 모호성을 모델링하여, 보다 신뢰할 수 있고 정보 전달력이 높은 설명을 제공한다.
언어 모델링 분야에서는 전통적인 ngram 모델에 대규모 언어 모델(LLM)의 induction head 개념과 fuzzy matching 기법을 통합한 Induction-Gram을 제안한다. 이를 통해 다음 토큰 예측의 정확도를 향상함으로써, 해석 가능한 모델이 블랙박스 언어 모델과 경쟁할 수 있는 가능성을 입증하였다.
본 연구는 성능 저하 없이도 해석 가능한 딥러닝 모델 설계가 가능함을 보여준다. 본 논문에서 제안된 방법들은 AI 모델의 해석 가능성을 높이며, 신뢰성과 투명성을 갖춘 강력한 AI 시스템 개발에 기여하고자 한다.

다국어 초록 (Multilingual Abstract)

As deep learning models grow increasingly complex, their lack of interpretability poses critical challenges for trust, accountability, and user acceptance across high-stakes applications. This dissertation addresses the urgent need for trustworthy AI systems that are not only high-performing but also understandable and reliable from a human perspective. To achieve this, we emphasize two essential aspects: interpretability, which enables clear, meaningful explanations of a model’s behavior, and reliability, which ensures that these explanations remain credible, coherent, and aligned with user expectations. Grounded in these principles, we focus on four key directions: (i) constructing interpretable prediction mechanisms in vision models, (ii) refining local explanations to better resonate with human judgments and intuitions, (iii) improving explanation reliability through uncertainty modeling, and (iv) extending interpretability methodologies to natural language tasks.
First, we introduce XProtoNet, an automated diagnostic framework for chest radiography that combines high diagnostic accuracy with prototype-driven explanations. By grounding its predictions in clinically meaningful concepts, XProtoNet enables both global and local transparency and achieves state-of-the-art performance.
Next, to better align local explanations with human perceptions, we develop a method that refines Class Activation Maps (CAM) for weakly supervised object localization. By bridging the gap between classification and localization signals, this approach yields explanations that are more intuitive, trustworthy, and easily comprehensible to human observers.
To ensure explanation reliability, we propose Probabilistic Concept Bottleneck Models (ProbCBM), which incorporate uncertainty modeling into concept-based interpretability frameworks. By quantifying and managing uncertainty in concept predictions, ProbCBM safeguards the stability and credibility of explanations, allowing them to remain informative even as data distributions shift.
Finally, we extend interpretability principles to language models through Induction-Gram, a dataset-centric approach that integrates induction-head ngram models with neural large language models. This method enhances next-token prediction accuracy while maintaining a transparent decision-making process, bridging the performance gap between interpretable and black-box language models.
Our contributions demonstrate that it is possible to design deep learning models that are both high-performing and interpretable. By focusing on model design that narrows the gap between machine representations and human understanding, this thesis advances the development of AI systems that are powerful, transparent, and trustworthy.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Tables vii
• List of Figures ix
• 1 INTRODUCTION 1
• 2 BACKGROUND 7
• 3 XProtoNet: Diagnosis in Chest Radiography with Global and Local Explanations 19
• 4 Bridging the Gap between Classification and Localization for Weakly Supervised Object Localization 42
• 5 Probabilistic Concept Bottleneck Models 69
• 6 Interpretable Language Modeling via Induction-head Ngram Models 98
• 7 CONCLUSION 118
• Bibliography 121
• Abstract (In Korean) 149
• 감사의 글 151