Theoretical Analysis of Knowledge Distillation Models and Its Application to Logit Correction = 지식 증류 모델의 이론적 분석과 로짓 교정에의 응용

국문 초록 (Abstract)

지식 증류는 대규모 교사 모델의 지식을 더 작은 학생 모델로 전달함으로써, 제한된 자원과 메모리 환경에서도 높은 성능을 달성하게 하는 핵심 기법으로 자리 잡았다.
로짓 기반 증류에서 지식 증류가 성공하는 이유는, 주로 비타깃 클래스 간의 상대 확률 비율, 그리고 부차적으로 타깃 클래스 확신도의 순서를 전달하기 때문이라고 여겨진다.

그러나 지식 증류는 교사의 소프트 레이블에 크게 의존하기 때문에, 교사의 오답까지 함께 전달될 위험이 있다.
그럼에도 불구하고, 지식 증류로 학습된 학생 모델이 궁극적으로 어떤 수렴 상태에 도달하는지, 교사 오류를 어떻게 교정할 수 있는지, 그리고 암흑지식이 어느 정도까지 보존되는지에 대해서는 거의 알려져 있지 않다.
본 연구는 이러한 공백을 메우기 위해, 단순히 지식 증류 손실 최소화에 국한된 분석을 넘어, 교차 엔트로피 손실을 함께 고려하여 지식 증류 모델의 수렴 해를 이론적으로 규명하였다.

충분히 폭이 넓은 신경망이 모든 샘플의 학습 손실을 최소화할 수 있다는 전제하에, 교차 엔트로피와 지식 증류 손실을 동시에 최적화한 모델의 수렴 특성을 분석하였다.
그 결과, 완전히 학습된 학생 모델이라 하더라도 교사의 암흑지식을 완벽하게 보존할 수 없으며, 비타깃 클래스 확률은 $T=1$인 경우를 제외하고 타깃 클래스 확률이 같다고 해도 다르며, 샤프니스 계수(sharpness factor) $k$가 변하기 때문에 타깃 확신도의 순서가 붕괴됨을 밝혔다.

샤프니스 계수 $k$를 도입함으로써, 우리는 $NCKD=0$ 근사 하에서의 수렴 타깃 확신도를 교사 확신도, 손실 가중치, 그리고 $k$의 함수로 표현할 수 있었다.
또한 실제로 완전히 손실이 최소화된 해 역시 실제 학생이 수렴한 $k$에 대해 동일한 형태의 방정식을 따른다.

완전하게 학습된 증류 모델의 출력은 계산 가능하지만, $NCKD=0$ 가정 하에서도 교사의 지식을 완전히 보존하지는 않는다.

핵심적으로, 우리는 타깃 클래스 확신도를 높이면 비타깃 지식 증 손실이 감소하고 교사의 암흑지식이 더 잘 보존된다는 사실을 발견하였다.
이 통찰에 기반하여, 우리는 BITA-KD(내장형 보조 교사 지식 증류)를 제안한다.
이는 비타깃 분포를 유지하면서 타깃 확신도를 증가시키는 로짓 순서 보존형 보정 기법이다.

거친 분류 과제 데이터셋에서는 $k=1$로 고정하는 것이 효과적이며, 미세한 구분이 필요한 미세 분류 환경에서는 더 약한 보정이 바람직함을, 최소 가능한 $k$에서의 수렴 분석을 통해 설명하였다.

CIFAR-100 데이터셋에서의 실험 결과, 제안한 BITA-KD는 디커플된 지식 증류 (DKD)를 일관되게 능가하였다.
특히 암흑지식의 역할이 중요하고 교사–학생 간 격차가 작은 설정에서, 기존의 보정 기반 방법들이 성능을 향상시키지 못하거나 오히려 저하시키는 경우에도 BITA-KD는 확실한 개선을 보였다.
예를 들어, DKD가 강한 성능을 보이는 WRN-40-2 / WRN-16-2 조합에서, RLD가 실패한 반면 BITA-KD는 top-1 정확도를 76.24\%에서 76.41\%로 향상시켜, 최첨단(SOTA)에 근접한 성능을 달성하였다.

그러나 미세 분류 데이터셋에서는 동일한 보정 함수가 항상 일반화를 향상시키지는 않았다.
이에 우리는 주어진 타깃 확신도에 대해 지식 증류 모델이 달성할 수 있는 최소 확신도를 분석하였다.
암흑지식을 안정적으로 유지하기 위해서는 보정량이 과도하거나 항상 0에 가까워서는 안 되며, 두 극단 모두 소프트 레이블 분포를 왜곡시킨다.

우리는 전형적인 온도 설정($T<!-- Not Allowed Tag Filtered --><N>$)에서 완전하게 학습된 지식 증류 모델이 무작위 추정보다 높은 타깃 확신도를 갖는다는 것을 증명하였으며, 이 최소 확신도가 안정적이고 적응적인 보정 함수 설계의 자연스러운 하한 역할을 한다고 제안한다.

나아가, 우리는 도함수 분석에 기반하여 미세 분류 데이터셋에 적합한 두 가지 보정 함수를 제안하였다.
첫 번째는 분석적 최소 확신도보다 약간 더 강한 보정으로, 보정 곡선을 매끄럽게 하여 안정성을 높인다.
두 번째는 물리적으로 의미 있는 중간 샤프니스 계수 $k$ 기반 보정으로, 이는 보정 전 교사 확률이 $p=0$ 일때 $\tfrac{d^2x}{dp^2}=0$이 되는 $k_{\mathrm{flat}}$에 해당한다.

두 보정 모두 Tiny-ImageNet 실험에서 정확도를 향상시켰으며, 이는 도함수 기반으로 설계된 보정 함수가 미세 분 환경에서도 일반화 성능을 높일 수 있음을 입증한다.
이는 또한, 지식 증류에서 타깃 클래스 확신도를 높이는 것이 교사의 암흑지식을 더 잘 보존함으로써 정확도를 향상시킬 수 있다는 본 연구의 핵심 결론을 뒷받침한다.

본 연구는 지식 증류 모델의 수렴 특성을 이론적으로 규명하고, 타깃 확신도 보정을 통한 성능 개선의 가능성을 실험적으로 입증하였다.
더 나아가, 완전한 손실 최소화가 반드시 완전한 지식 전달을 보장하지는 않는다는 점을 보여줌으로써, 향후 지식 증류의 분석 및 설계 방향에 새로운 통찰을 제공한다.

다국어 초록 (Multilingual Abstract)

Knowledge distillation (KD) has become a central technique for transferring the knowledge of a large teacher model to a smaller student, enabling strong performance even under resource and memory constraints. In logit distillation, KD is believed to succeed because it conveys dark knowledge: primarily the relative probability ratios among non-target classes, and secondarily the ordering of target class confidences. However, KD relies heavily on the teacher’s soft labels, which risks transferring the teacher’s mistakes. Yet little is known about the ultimate convergence of a student trained with KD, how teacher errors can be corrected, and to what extent dark knowledge is preserved. This work addresses these gaps by moving beyond analyses limited to minimizing KD loss alone, and instead incorporating cross-entropy loss to characterize the converged solution of jointly optimized KD models.

Based on the theoretical premise that a sufficiently wide network can minimize training loss for all samples, we analyze the convergence of models jointly optimized with CE and KD losses.
Our results reveal that a fully trained student cannot perfectly preserve the teacher's dark knowledge: non-target probabilities differ unless $T = 1$, and the ordering of target confidences collapses as the sharpness factor k varies.
By introducing k, we express the converged target confidence under the $NCKD = 0$ approximation as a function of the teacher's confidence, loss weights, and k. The fully loss-minimized solution follows the same equation with the actually converged k.

The output of a perfectly trained distillation model can be computed but it does not fully preserve the teacher’s knowledge even under the $NCKD = 0$ assumption.

Crucially, we find that raising the target class confidence decreases the non-target KD loss and better preserves the teacher’s dark knowledge. This insight motivates BITA-KD: an order-preserving logit correction that boosts the target confidence while keeping the non-target distribution fixed. In coarse-grained tasks, fixing $k = 1$ works effectively; in fine-grained settings, weaker corrections are preferable, which we explain by analyzing convergence at the minimal feasible $k$.


Experiments on CIFAR-100 demonstrate that our Knowledge Distillation with Built-in Teacher Assistant (BITA-KD) consistently outperforms Decoupled KD (DKD). These gains are most pronounced when dark knowledge plays a critical role and the teacher–student gap is small, where conventional refinement methods often fail to improve or even degrade performance. For example, in the WRN-40-2 / WRN-16-2 setting—where DKD performs strongly but its refinement-based counterpart RLD fails—BITA-KD improves top-1 accuracy from 76.24\% to 76.41\%, achieving near–state-of-the-art performance.


However, in fine-grained datasets, the same correction function did not consistently improve generalization.
We therefore examined the minimal confidence attained by a knowledge-distilled model for a given target confidence.
To preserve dark knowledge through target confidence refinement, the correction should neither be excessively large nor approach zero, as both extremes distort the soft-label distribution.

We proved that, for typical temperature settings where $T<!-- Not Allowed Tag Filtered --><N>$, a fully trained knowledge-distilled model attains a target confidence higher than random guessing. and we propose that this minimal confidence serves as a natural lower bound for designing stable and adaptive correction functions.


We further propose two complementary correction functions for fine-grained datasets, both derived from derivative-based analyses of the refinement function.
The first is a mildly stronger correction that slightly exceeds the analytically minimal confidence, smoothing the refinement curve and improving stability.
The second is a physically meaningful intermediate-$k$ correction corresponding to the curvature-neutral point $k_{\mathrm{flat}}$, where the second derivative of the equilibrium mapping $\tfrac{d^2x}{dp^2}$ vanishes at $p = 0$.

Both corrections improved accuracy on Tiny-ImageNet, confirming that derivative-guided refinements can enhance generalization even under fine-grained conditions.

This further supports our central finding that increasing the target class confidence in knowledge distillation can lead to improved accuracy by better preserving the teacher’s dark knowledge.

This study theoretically elucidated the convergence properties of distillation models and demonstrated the potential for performance improvement through target confidence refinement. Furthermore, by showing that complete loss minimization does not necessarily guarantee perfect knowledge transfer, this work provides new insights into the analysis and design directions of knowledge distillation.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Related Works 5
• 2.1 Background and Motivation 5
• 2.1.1 KD Taxonomy and Training Settings 5
• 2.1.2 Logit-Based Distillation 6
• 2.1.3 Feature-Based Distillation 7
• 2.1.4 Relation-Based Distillation 7
• 2.1.5 Motivation of Proposed Method 7
• 2.2 Knowledge Modulation Methods for Efficient Distillation 8
• 2.2.1 Adaptive Temperature Methods 8
• 2.2.2 Addressing Harmful Information 9
• 2.2.3 Teacher assistant KD 10
• 2.3 Theoretical Studies of Deep Learning 11
• 2.3.1 Theoretical Studies of Deep Learning 11
• 3 Theoretical Analysis of Knowledge Propagation in KD 13
• 3.1 Contribution of Less Accurate Samples in KD 15
• 3.2 Theoretical Properties of Fully Trained Student in KD 17
• 3.3 Proofs of Theoretical Properties 19
• 3.3.1 Notation 19
• 3.3.2 Proof of Theorem 3.1 23
• 3.3.3 Proof of Theorem 3.2 29
• 3.3.4 Proof of Theorem 3.3 31
• 3.3.5 Empirical validation of Theorem 3.3 33
• 3.4 Algorithms to calculate loss-minimized output 36
• 3.5 Analysis of Hypothetical Fully Trained Student Models 38
• 4 Built-in teacher in KD 48
• 4.1 BITA-KD algorithm 48
• 4.2 Experiments on CIFAR-100 51
• 4.2.1 Main Results 52
• 4.2.2 Extensions 54
• 4.2.3 Ablations 56
• 4.3 Analysis of Minimal Target Class Confidence of BITA 59
• 4.3.1 Equation for Optimal Target Confidence 62
• 4.3.2 Asymptotic Behavior as T 63
• 4.3.3 Behavior for Small Sharpness Factor k 64
• 4.3.4 Derivative of the Solution via Implicit Function Theorem 67
• 4.3.5 General Derivative Formula. 69
• 4.3.6 Implications for Dataset Granularity 70
• 4.3.7 Quantitative Analysis of Target Refinement Functions 74
• 4.3.8 Identification of a Physically Meaningful Intermediate k 80
• 4.4 Experiments on Tiny-ImageNet 84
• 5 Discussion and Conclusion 91
• A. Appendix 93
• A.0 Minimal confidence of original BITA (k=1) 93
• A.1 Maximum Non-Target Confidence and Practical Check 96
• A.1.1 Detailed Analysis by Temperature Regime 107
• A.2 Miscellaneous Algorithms 112
• A.3 Proofs of Miscellaneous Theorems and Extensions 115
• A.3.1 Proof of k_flat 115
• A.3.2 Monotonicity of the Initial Sensitivity at Finite Sharpness Factor 122
• A.3.3 Non-Target Order Preservation Analysis 125
• A.4 Analysis for Irregular Case (Optional) 129
• A.4.1 Symmetry-Breaking Analysis for 0 < T < 1 129
• The bibliography 138
• Abstract (in Korean) 143