Gently sloped and extended classification margin for overconfidence relaxation of out-of-distribution samples

다국어 초록 (Multilingual Abstract)

Recently, machine learning models are expected to be capable of detecting out-of-distribution (OOD) samples for safe use. However, the existing OOD detection methods have limitations. Post-hoc calibration techniques used for OOD detection during the inference-phase suffer from slow inference and low OOD detection accuracy because pretrained classifiers were not originally designed for this task. Training phase methods require auxiliary data, entail slow training, and result in a decrease in classification accuracy. To address these issues, this paper proposes jointly employing discriminative representation learning through angular margin loss and weight regularization during neural network training. Angular margin loss extends the classification margin, whereas weight regularization ensures a gently sloped margin in the learned embedding space. By constructing a classification margin that is both gently sloped and enlarged, the proposed approach mitigates the overconfidence of OOD samples and overcomes the shortcomings of previous methods. The experimental results demonstrate that the proposed method outperforms state-of-the-art detectors in detecting OOD samples without any side effects.

국문 초록 (Abstract)

신경망을 활용한 분류 모형의 학습에서는 분류 성능뿐만 아니라, 학습에 사용된 데이터의 분포에 해당하지 않는 out-of-distribution(OOD) 개체를 탐지할 수 있는 성능 또한 요구되고 있다. 하지만, 기존의 OOD 탐지 기법들은 다음과 같은 한계를 보인다. 추론 단계 기법들은 다양한 사후 보정 기법들을 제안하지만, 사전 학습된 분류기가 OOD 개체 탐지 목적으로 설계되지 않았다는 한계점에 의해 아쉬운 탐지 성능을 보이며 추론 소요 시간에 지연이 발생한다는 부작용이 존재한다. 또한, 학습 단계 기법들은 보조 OOD 데이터를 학습에 사용하거나 분류 성능의 저하가 종종 관찰된다. 이러한 한계점들을 극복하기 위해 본 연구에서는 각도 마진 손실 함수와 가중치 정규화로 구성된 손실 함수 기반 학습을 통해 인공신경망 분류기의 차별적 특성 학습을 제안한다. 각각의 손실 함수는 특성 공간에서 분류 마진을 확장하고 예측 신뢰도 경사를 완만하게 형성하는 효과를 갖는다. 본 연구의 다양한 실험을 통해 제안 방법이 기존 기법들과 다르게 어떠한 부작용 없이 효과적으로 OOD 개체를 탐지할 수 있음을 보인다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Introduction 1
• 1.2 Overview of Research 2
• 1.3 Outlook of this Thesis 3
• 2 Background 5
• 2.1 Neural Networks 5
• 2.2 Literature Review 8
• 3 Proposed Method 13
• 3.1 Margin Extension via Angular Margin Loss 13
• 3.2 Gently Sloped Margin via Weight Regularization 18
• 3.3 Out-of-distribution Detection 20
• 4 Theoretical Analyses 21
• 4.1 Detection Error Minimization 21
• 4.2 Overconfidence Relaxation 23
• 5 Experiments 25
• 5.1 Preliminary Assessment 26
• 5.2 Comparative Experiment 28
• 5.3 Combination with Post-hoc Processes 31
• 6 Discussions 32
• 6.1 Robustness to Hyperparameter Setting 32
• 6.2 Preservation of Classification Accuracy 33
• 6.3 Computational Efficiency 34
• 7 Conclusion 36
• Appendix 43
• Guideline for the real-world application 43