상임계 조건에서의 발화 규칙에 따른 지도학습 기반 스파이킹 신경망의 비단조적 특징 분석 : 노이즈를 주입한 뉴런의 발화 규칙에 따른 SNN의 비단조적 특징 분석

국문 초록 (Abstract)

본 논문은 입력이 단독으로 뉴런의 임계전압을 통과하는 상임계 (suprathreshold)조건에서, 지도학습 기반 스파이킹 신경망(Spiking Neural Network, SNN)의 뉴런의 발화 규칙에 따라 노이즈(noise)가 네트워크 성 능과 정보전달 효율에 미치는 영향을 분석하고 비단조적 특징을 확인한 다. 기존의 스토캐스틱 레조넌스(Stochastic Resonance, SR) 연구는 주로 약한 입력 신호가 문턱을 단독으로 넘지 못하는 서브스레시홀드 (subthreshold)조건으로 비선형 문턱 시스템을 대상으로 진행되어 왔고, 노이즈는 문턱 통과를 보조하며, 출력 성능을 향상시키는 현상을 중심으 로 정의되어 왔다. 하지만 생물학적, 인공신경망(Artificial Neural Network, ANN)에서는 상임계 조건에서의 신호처리가 일반적으로 진행되 며, 상임계 조건에서의 노이즈 주입으로 나타나는 효과에 대한 분석은 한 계가 있다. 본 연구는 전류기반 LIF(Leaky Integrate-and-Fire)뉴런을 사용하는 지도 학습 기반 SNN를 기본 모델로 활용한다. 뉴런의 발화 방식을 결정론적 발화(deterministic firing)와 확률론적 발화(probabilistic firing)로 구분하 고, 가우시안 화이트 노이즈(gaussian white noise)를 주입 후, 학습을 진 행하여 비교 분석한다. 결정론적 발화의 경우 뉴런의 막전위 동역학에 가 우시안 화이트 노이즈를 주입하여 진행하고, 확률론적 발화의 경우 막전 위 동역학과 발화 판정 단계에 가우시안 화이트 노이즈를 주입하여 학습 을 진행한다. 실험은 뉴런이 단독으로 임계전압을 통과하여 발화가 일어 나는 상임계 조건으로 고정하여 진행하였다. 결정론적 발화 기반 SNN의 경우 노이즈의 강도가 높아짐에 따라 학습 의 정확도와 상호정보량(Mutual Information, MI)이 단조적으로 감소하는 모습을 보였다. 이는 상임계 조건에서 결정론적 발화를 기반으로 학습을 진행할 때 노이즈가 발화 타이밍의 불안정을 증가시키는 교란적 요소로 작용한 것으로 해석된다. 확률론적 발화 기반 SNN의 경우 노이즈 강도가 낮을 때, 발화 확률이 억제되어 학습 정확도와 MI가 낮은 수준을 보이지 만 중간 수준의 노이즈 강도에서 발화 확률이 임계전압 근방에서 효과적 으로 조절되어 학습 정확도와 MI가 상승하는 모습을 보인다. 강한 노이즈 강도가 주입되면 다시 학습 정확도와 MI가 감소하여 비단조적 특징이 관 찰된다. 이러한 결과 상임계 조건을 기반으로 하는 확률론적 발화 규칙을 사용 하는 SNN에서 노이즈가 단순히 교란적 요인이 아닌, 정보전달 효율과 네 트워크의 성능을 향상시킬 수 있는 요소로 활용할 수 있음을 보여준다. 본 논문은 상임계 조건에서 확률론적 발화 기반 SNN에 가우시안 화이트 노이즈를 주입하여 학습 및 분석함으로써 노이즈를 사용하는 SNN 설계 에 대한 확장에 기여한다.

다국어 초록 (Multilingual Abstract)

This paper analyzes the effect of noise on network performance and information transmission efficiency under suprathreshold conditions, where the input alone exceeds the neuron's threshold voltage, based on the firing rules of neurons in a supervised learning-based Spiking Neural Network (SNN), and identifies nonmonotonic characteristics. Previous Stochastic Resonance (SR) research has primarily focused on nonlinear threshold systems under subthreshold conditions, where weak input signals cannot independently cross the threshold. Noise has been defined mainly in terms of its role in assisting threshold crossing and enhancing output performance. However, biological and artificial neural networks typically process signals under suprathreshold conditions, and analyses of the effects of noise injection under suprathreshold conditions are limited. This study compares deterministic firing and probabilistic firing models using a supervised learning-based SNN and analyzes how the noise injection method, varying according to the firing rule, affects network behavior. In supervised learning using current-based LIF (Leaky
Integrate-and-Fire) neurons, Gaussian white noise was injected into the membrane potential dynamics for deterministic firing, and into both the membrane potential dynamics and the firing decision stage for probabilistic firing. All experiments were conducted under fixed suprathreshold conditions where neurons could independently pass the threshold. Experimental results showed that for deterministic spiking-based SNNs, classification accuracy and mutual information monotonically decreased as noise intensity increased. This is interpreted as noise acting as a disruptive factor increasing spike timing instability. For the probabilistic spiking-based SNN, performance degraded at low noise intensities due to suppressed spiking probability. However, at moderate noise intensities, the probability of spike generation around the threshold voltage is effectively controlled. This leads to increased classification accuracy and MI (Mutual Information). When excessive noise is injected again, performance decreases, indicating the emergence of nonmonotonic characteristics observed in SR as noise intensity changes. This result demonstrates that in SNNs using probabilistic firing rules under suprathreshold conditions, noise can be utilized not as a disruptive factor degrading performance, but as an element that enhances information transmission efficiency and network performance. This paper contributes to the expandability of SNN design utilizing noise by analyzing a stochastic spiking-based SNN injected with Gaussian white noise under suprathreshold conditions.

목차 (Table of Contents)

• 1. 서론 1
• 1.1. 연구 필요성 1
• 1.2. 연구 목적 3
• 2. LIF 뉴런 잡음 모델 4
• 2.1. LIF 뉴런의 동작 특성 4
• 2.2. 전류기반 LIF 뉴런 6
• 2.3. 가우시안 화이트 노이즈 8
• 2.4. 발화규칙 10
• 2.4.1. 결정론적 발화 LIF 뉴런 10
• 2.4.2. 확률론적 발화 LIF 뉴런 13
• 3. 스토캐스틱 레조넌스 17
• 3.1. 정의 및 배경 17
• 3.2. 문턱 구조에서의 SR 발생 매커니즘 19
• 3.3. MI 기반 해석 23
• 4. 지도학습 기반 SNN 24
• 4.1. 지도학습 기반 SNN 개념 및 적용 24
• 4.2. 지도학습 기반 SNN 모델 구조 및 학습 방식 26
• 4.3. 실험 설계 및 시뮬레이션 29
• 4.4. 시뮬레이션 결과 및 분석 31
• 4.4.1. 정확도-노이즈 강도 분석 31
• 4.4.2. MI-노이즈 강도 분석 33
• 5. 결론 37
• 참고문헌 38
• ABSTRACT 43