가중치 및 뉴런 출력의 양자화 영향을 최소화하는 다층퍼셉트론 신경망 설계 방법

권오준(Oh Jun Kwon),방승양(Sung Yang Bang) 한국정보과학회 1999 정보과학회논문지(B) Vol.26 No.12

When we implement a multilayer perceptron with the digital VLSI technology, we generally have to quantize the weights and the neuron outputs These quantizations eventually cause distortion in the output of the network for a given input. In this paper first we made a statistical analysis about the effect caused by the quantization on the output of the network The analysis revealed that the sum of the squared input components and the sizes of the weights are the major factors which contribute to the quantization effect. We present a design method for an MLP which minimizes the quantization effect when the precision of the quantization is given. In order to show the effectiveness of the proposed method, we developed a network by our method and compared it with the one developed by the regular backpropagation. We could confirm that the network developed by our method performs better even with a low precision of the quantization. 이미 학습된 다층퍼셉트론 신경망을 디지털 VLSI 기술을 사용하여 하드웨어로 구현할 경우 신경망의 가중치 및 뉴런 출력들을 양자화해야 하는 문제가 발생한다. 이러한 신경망 변수들의 양자화는 결과적으로 주어진 입력에 대한 신경망의 최종 출력에서의 왜곡을 초래한다. 본 논문에서는 먼저 이러한 양자화로 인한 신경망 출력에서의 왜곡을 통계적으로 분석하였다. 분석 결과에 의하면 입력패턴 각 성분의 제곱들의 합과 가중치의 크기들이 양자화 영향에 주로 기여하는 것으로 나타났다. 이러한 분석 결과를 이용하여 양자화를 위한 정밀도가 주어졌을 때, 양자화 영향이 최소화된 다층퍼셉트론 신경망을 설계하는 방법을 제시하였다. 그리고 제안된 방법에 의해 얻은신경망과 오류역전파 학습방법에 의하여 얻은 신경망의 성능을 비교함으로써 제안된 방법의 효율성을 입증하였다. 실험결과는 낮은 양자화 정밀도에서도 제안된 방법이 더 좋은 성능을 보였다.

선택적 증식을 통한 결함포용 다층 퍼셉트론 설계 (pp.325-328)

권오준(Oh-jun Kwon),방승양(Sung-yang Bang) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.1B

인공 신경망은 두뇌와 같은 분산 구조로 되어 있기 때문에 본질적으로 강한 결함포용성을 가지고 있는 것으로 간주되고 있다. 그러나 오류 역전파 학습 방법에 의해 학습된 다층 퍼셉트론의 경우 단 하나의 은닉층 뉴런의 제거만으로도 학습된 성능이 심각하게 저하될 수 있다. 이러한 사실은 다층 퍼셉트론이 최소한 은닉층 뉴런들의 stuck_at_O 결함에 대해 결함포용하지 않다는 것을 의미한다. 본 논문에서는 다층 퍼셉트론의 결함포용에 대한 일반적 개념을 명확히 정의한다. 그리고 이러한 정의와 은닉층 뉴런의 최대 기여도에 기반하여 임의의 학습된 다층 퍼셉트론을 은닉층 뉴런의 stuck_at_O 결함에 대한 결함포용 신경망으로 변환하는 효율적인 방법인 선택적 증식 알고리즘을 제안한다. 패턴 인식 및 비선형 함수 근사 문제에 대한 실험을 통하여 제안된 방법에 의해 설계된 결함포용 신경망이 임의의 은닉층 뉴런의 stuck_at_O 결함에 대해 실제로 결함포용함을 보인다. 또한 제안된 방법은 일괄 중식 방법에 비해 소요되는 redundancy 측면에서 훨씬 효율적임을 보인다.

선택적 증식을 통한 결함허용 다층 퍼셉트론 설계 (pp.694-704)

권오준(Oh-Jun Kwon),방승양(Sung-Yang Bang) 한국정보과학회 1997 정보과학회논문지(B) Vol.24 No.7

인공 신경망은 두뇌와 같은 분산 구조로 되어 있기 때문에 본질적으로 강한 결함허용성을 가지고 있는 것으로 간주되고 있다. 그러나 오류 역전파 학습 방법에 의해 학습된 다층 퍼셉트론의 경우 단 하나의 은닉층 뉴런의 제거만으로도 학습된 성능이 심각하게 저하될 수 있다. 이러한 사실은 다층 퍼셉트론이 최소한 은닉층 뉴런들의 stuck_at_O 결함에 대해 결함허용하지 않는다는 것을 의미한다. 본 논문에서는 먼저 다층 퍼셉트론의 결함허용에 대한 일반적 개념을 명확히 정의한다. 그리고 이러한 정의와 은닉층 뉴런의 최대 기여도에 기반하여 임의의 학습된 다층 퍼셉트론을 은닉층 뉴런의 stuck_at_O 결함에 대한 결함허용 신경망으로 변환하는 효율적인 방법인 선택적 증식 알고리즘을 제안한다. 제안된 방법은 먼저 학습된· 다층 퍼셉트론의 출력에 미치는 각 은닉층 뉴런의 최대 기여도를 결정한다. 그리고 다층 퍼셉트론이 임의의 은닉층 뉴런의 stuck_at_O 결함에 대해 미리 결정된 수준의 둔감도를 만족하도록 각 은닉층 뉴런의 최대 기여도를 고려하여 선택적으로 복제를 수행한다. 패턴 인식 및 비선형 함수 근사 문제에 대한 실험을 통하여 제안된 방법에 의해 설계된 결함허용 신경망이 임의의 은닉층 뉴런의 stuck_at_O 결함에 대해 실제로 결함허용함을 보인다. 또한 제안된 방법은 일괄 증식 방법에 비해 소요되는 redundancy 측면에서 훨씬 효율적임을 보인다. Artificial neural networks are regarded as being inherently highly fault tolerant since they have the same distributed structure as the brain. But at least in case of a multilayer perceptron(MLP) trained by the backpropagation learning algorithm, the removing of even a single hidden neuron often severely degrades the performance of the network. This implies that an MLP is not intrinsically fault tolerant against a stuck_at_O fault at the hidden neurons. In this paper, we present a new formal definition of fault tolerance for an MLP. Based on this definition and the maximum contribution of a hidden neuron we propose a method which transforms a trained MLP to the fault tolerant one against a stuck_at_O fault at the hidden neurons. The proposed method first determines the maximum contribution of each hidden neuron to the outputs in the network. Then it replicates the hidden neurons selectively depending on their maximum contributions in such a way that the resulting network satisfies a prespecified level of robustness against the faults. We show, through examples, that the resulting networks designed by the proposed method are not only fault tolerant but also less redundant than the ones by the uniform augmentation.

연속 상태 공간을 갖는 조합 최적화 문제를 위한 수정된 평균장 어닐링 알고리즘

권오준,이원돈,방승양(Oh-Jun Kwon),Won-Don Lee,Sung-Yang Bang 한국정보과학회 1998 정보과학회논문지(B) Vol.25 No.8

본 논문에서는 기존의 평균장 어닐링 알고리즘(MFA)을 연속 상태 공간을 갖는 조합 최적화 문제에 적용할 수 있도록 수정한 새로운 알고리즘을 제안한다. 평균장 어닐링 알고리즘은 각 노드들에 가해지는 시스템의 평균장을 사용하여 상태 천이를 전개하기 때문에 확률적 랜덤 과정을 사용하는 시뮬레이티드 어닐링 알고리즘보다 일반적으로 주어진 온도에서 훨씬 빨리 평형점에 도달하는 것으로 보고되고 있다. 하지만 기존의 평균장 어닐링 알고리즘은 이진 상태 공간을 갖는 문제에만 국한되어 적용되는 단점이 있다. 제안된 새로운 MFA 알고리즘을 제한된 연속 상태 공간을 가지는 단순 회귀 모델의 D-최적 설계에 적용하였다. 이 실험에서 제안된 알고리즘은 시뮬레이티드 어닐링 알고리즘과 비교하여 동일한 수준의 결과를 내면서도 계산 속도면에서는 약 7배 정도의 빠른 결과를 보여 주었다. In this paper we present a new modified mean field annealing(MFA) algorithm to support combinatorial optimization problems with continuous real-valued states In general it have been reported that the MFA algorithm can attain to equilibrium much faster than the stochastic simulated annealing(SSA) algorithm in a given temperature. This is because MFA relaxes to an equilibrium state by using the mean field of a system while the SSA algorithm uses probabilistic random process. The conventional MFA algorithm, however, can only support combinatorial optimization problems with binary states. We applied the proposed algorithm to the construction of D-optimal designs for simple regression models with a bounded continuous state space. The experimental results showed that the proposed algorithm is about 7 times faster than the SSA algorithm while they have the same quality of solutions.

가상 셀손실율을 이용한 ATM 연결수락제어

임대영(Dae-Young Lim),권오준(Oh-Jun Kwon),방승양(Sung-Yang Bang) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.2Ⅲ

ATM망에서 CAC는 통신망에서 수용 가능한 범위의 호원만을 접속시킴으로써 과잉밀집 현상이 발생하는 것을 사전에 막아주는 트래픽 제어 방법이다. 기존에 제시된 CAC 방법은 대부분 통계적 모델에 기반한 방법으로 호원들의 트래픽 특성을 근사화함으로써 모델링의 정확도가 떨어지고, 많은 계산량으로 인해 실시간 제어를 요구하는 CAC에 적당하지 않다. 또한 새로운 호원의 출현에 대한 적응력이 결여되어 있어 신경망에 의한 CAC방법들이 많이 제안되고 있다. 그러나 대부분의 신경망 모델에서는 실제 셀손실이 많이 발생해야만 학습이 가능하다는 문제점이 발생하고 있으며, 정확한 제어를 하기 위하여 긴 학습시간이 필요하다는 문제점이 있다. 본 논문에서는 가상 출력링크에서의 셀손실율을 학습패턴으로 사용하여 실제로 셀손실이 발생하기 전에도 신경망이 셀손실을 가능성을 예측하여 CAC를 수행하는 방법을 제시한다. 이를 위하여 본 논문에서는 셀손실을 참조곡선에 의한 패턴의 전처리 방법과 셀생성률에 기반한 신경망패턴 선택방법을 제시한다.

개선된 자소 인식 방법을 통한 고인식률 인쇄체 한글 인식

이진수(Jin-Soo Lee),권오준(Oh-Jun Kwon),방승양(Sung-Yang Bang) 한국정보과학회 1996 정보과학회논문지(B) Vol.23 No.8

본 논문에서는 다중 폰트 다중 크기의 인쇄체 한글에 대해서 99% 이상의 높은 인식률을 얻을 수 있는 고성능 인식 시스템의 개발에 관하여 보고한다. 제안된 시스템은 18개의 신경망으로 구성되어있다. 하나는 한글의 유형을 인식하기 위한 것이고 나머지는 자소를 인식하기 위한 것이다. 먼저 입력이 오면 유형을 결정하고 그 유형에 따라 해당되는 자소를 인식한다. 하지만 이러한 방법의 문제는 분리된 자소 영역에 원하는 자소 이외의 부분이 포함되어, 잡음과 같이 작용하여 학습을 어렵게 한다는 것이다. 우리는 이러한 잡음을, 그것들이 어떤 자소의 일부인가를 알 수 있을 정도로 인식 영역을 확대함으로써, 오히려 학습도 쉬워지고 자소 인식도 정확해짐을 알아냈다. 우리는 제안된 시스템이 두 가지 기본 폰트의 500자에 대해 100%에 가까운 인식률을 보였을 뿐 아니라, 문자 수를 늘이거나 폰트 수를 늘려도 높은 인식률을 유지할 수 있음을 실험을 통하여 확인하였다. This paper presents a recognition system which obtains a recognition rate higher than 99% for the printed Korean characters of multi-font and multi-size. The system consists of 18 neural networks : one for character type classifier and the rest for grapheme recognizers. We recognize a given input by first identifying the character type of the input and then recognizing its constituent graphemes. The problem of this type of approach is that the other graphemes' strokes show up in the image area for the grapheme which we try to recognize. These line segments behave like noises and make the training of the neural network difficult. We solved the problem by expanding the input image areas. We observed through experiments that not only we can obtain an almost 100% recognition rate for 500 characters of two most popular fonts but also we can keep this high recognition rate even when we increase the number of characters and the number of fonts.