입력 기반 확률적 활성화 함수를 통한 모델 견고성 향상 = Improving the Robustness of Models Through Input-Based Stochastic Activation Functions

국문 초록 (Abstract)

심층 신경망(DNN)은 다양한 분야에서 성과를 거두었으나, 적대적 공격(Adversarial Attack)에 취약하여 안전 필수 시스템 적용에 한계가 있다. 이에 본 논문은 입력 크기에 따라 활성화 확률을 동적으로 조절하는 새로운 확률적 활성화 함수인 BReLU(Bernoulli Rectified Linear Units)를 제안한다. BReLU는 입력으로부터 계산된 확률을 기반으로 베르누이 샘플링을 수행하며, 추론 단계에서도 확률적으로 동작하여 공격자가 모델의 그래디언트를 정확하게 추정하는 것을 방해한다. BReLU를 표준 및 고급 적대적 훈련 기법과 결합하여 실험한 결과, 기존 ReLU 기반 모델 대비 적대적 강건성 향상을 확인하였다. CIFAR-10 데이터셋과 ResNet18 모델 기준, BReLU는 최적화 기반 공격인 CW에 대해 약 52%p, 블랙박스 공격인 Pixle에 대해 약 55%p, 그리고 강력한 앙상블 공격인 Auto Attack에 대해 약 12%p의 강건 정확도(Robust Accuracy) 향상을 달성하였다. 또한 강건성 확보 시 발생하는 일반화 성능 저하(Trade-Off) 문제를 극복하고 표준 적대적 훈련에서 Clean Accuracy까지 동시에 향상시키는 성과를 거두었다. 나아가 본 논문은 BReLU의 기댓값이 SiLU와 동일함을 수학적으로 증명하고, 이를 라데마허 복잡도(Rademacher Complexity) 분석과 연결하여 BReLU가 더 평탄한 손실 공간을 학습함으로써 일반화 성능 향상에 기여함을 이론적으로 규명하였다. 본 연구는 BReLU가 기존 적대적 방어 기법의 성능을 강화하는 효과적이고 실용적인 방안임을 입증한다.

다국어 초록 (Multilingual Abstract)

Deep Neural Networks (DNNs) have achieved remarkable success across various fields, but their vulnerability to adversarial attacks limits their application in safety-critical systems. To address this challenge, this paper proposes Bernoulli Rectified Linear Units (BReLU), a novel input-based stochastic activation function that dynamically adjusts activation probabilities based on input magnitude. BReLU performs Bernoulli sampling based on probabilities derived from the input and operates stochastically even during inference, thereby disrupting the attacker's ability to accurately estimate the model's gradients. Experimental results demonstrate that integrating BReLU with standard and advanced adversarial training techniques leads to significant improvements in adversarial robustness compared to baseline ReLU models. Specifically, on the CIFAR-10 dataset using ResNet-18, BReLU achieved robust accuracy improvements of approximately 52%p against the optimization-based CW attack, 55%p against the black-box Pixle attack, and 12%p against the strong ensemble Auto Attack. Furthermore, BReLU effectively mitigated the trade-off between robustness and generalization, simultaneously improving Clean Accuracy in standard adversarial training scenarios. Moreover, this paper mathematically proves that the expectation of BReLU is equivalent to SiLU. Connecting this to Rademacher complexity analysis, the study theoretically elucidates that BReLU facilitates the learning of a flatter loss landscape, thereby contributing to enhanced generalization performance. This study validates BReLU as an effective and practical approach for strengthening adversarial defense mechanisms.

목차 (Table of Contents)

• 제1장 서 론 1
• 제2장 이론적 배경 및 관련 연구 4
• 2.1 적대적 공격 4
• 2.1.1 화이트박스 공격 4
• 2.1.2 블랙박스 공격 5
• 2.1.3 앙상블 공격 6
• 2.2 적대적 훈련 6
• 2.2.1 표준 적대적 훈련 6
• 2.2.2 고급 적대적 훈련 7
• 2.3 활성화 함수와 모델 강건성 8
• 제3장 BReLU(Bernoulli Rectified Linear Units) 11
• 제4장 BReLU의 이론적 분석 14
• 4.1 BReLU와 SiLU의 관계 14
• 4.2 이론적 배경: 일반화 성능과 손실 공간의 평탄함 15
• 4.2.1 라데마허 복잡도와 일반화 오류 15
• 4.2.2 이론적 가설: 활성화 함수가 훈련 동역학에 미치는 영향 16
• 4.2.3 BReLU의 이론적 이점 20
• 4.3 이론의 실험적 검증 21
• 4.3.1 몬테카를로(MC) 평균 수렴성 검증· 21
• 4.3.2 결정 경계와 입력 그래디언트 분석 22
• 4.4 고찰 26
• 제5장 실험 및 결과 28
• 5.1 실험 환경 설정 28
• 5.2 표준 훈련 성능 29
• 5.3 표준 적대적 훈련 성능 30
• 5.4 BReLU의 확률적 특성 분석 33
• 5.4.1 BReLU의 랜덤성 수준 분석 33
• 5.4.2 Dropout과의 비교 분석 34
• 5.5 고급 적대적 훈련과의 결합 37
• 5.6 종합 분석 및 한계점 40
• 제 6장 이론의 실험적 확장 43
• 6.1 이론적 동기 43
• 6.2 결합 방법론 43
• 6.2.1 정적 혼합 43
• 6.2.2 동적 게이트 44
• 6.3 실험 결과 및 분석 44
• 6.4 고찰 47
• 제 7장 결론 48
• 참고문헌 50
• ABSTRACT 56