상호활성화모형에 기반한 문자인식방법의 타당성 평가

김상기(Sang-Ki Kim),박창수(Chang-Su Park),방승양(Sung-Yang Bang),김대진(Dae-Jin Kim) 한국정보과학회 2001 한국정보과학회 학술발표논문집 Vol.28 No.1B

여기서 우리는 한국어의 글자를 인식하기 위한 계산모형을 제시한다. 이 모형은 상호활성화모형에 기반하고 있으나, 입력처리부분이 개선되었다. 우리는 기존의 상호활성화모형에서 모든 입력이 규격화된 형태라는 가정을 배제하였다. 또한 우리는 성능향상을 위하여 다중해상도경로 학설을 결합시켰다. 우리는 제안된 모형을 구현하고, 그것을 실제 자료에 적용해 보았다. 우리는 모의실험결과를 통하여 제안된 모형이 실용적인 의미를 갖고 있음과 다중해상도 경로가 실제적으로 인식 성능 향상에 도움을 주고 있음을 확인할 수 있었다.

RBF 신경망 분류기의 효율적 구성 방법

황영섭,방승양(Young-Sup Hwang),Sung-Yang Bang 한국정보과학회 1997 정보과학회논문지(B) Vol.24 No.5

Radial basis function(RBF) neural networks have the power of the universal function approximation. But it is usually not straightforward how to construct an RBF neural network to solve a given problem. This paper describes a method to construct an RBF neural network classifier efficiently and effectively. The method determines the middle layer neurons by a fast clustering algorithm, APC-III and computes the optimal weights between the middle and the output layers statistically. We applied the proposed method to construct an RBF neural network classifier for an unconstrained handwritten digit recognition. The experiment showed that the method could construct an RBF neural network classifier fast and the performance of the classifier was better than the best result previously reported. RBF 신경망은 임의의 함수를 근사할 수 있지만 주어진 문제를 풀기 위해 RBF 신경망을 구성하는 간단한 방법이 없었다. 이 논문은 RBF 신경망을 분류기로 사용할 때 이를 효율적이고 효과적으로 구성하는 방법을 설명한다. 제안하는 방법은 빠른 클러스터링 방법인 APC-III을 써서 중간층을 결정하고 중간층과 출력층 사이의 가증치를 통계적 방법으로 구한다. 제안한 방법을 무제약 필기 숫자 인식을 위한 분류기를 구성하는데 적용하였다. 실험은 제안한 방법이 RBF 신경망 분류기를 빠르게 구성할 수 있고, 같은 데이터베이스를 사용한 이전 연구 결과보다 분류기의 성능이 더 나음을 보여 주었다.

Input code를 지정하기 위한 Davis방법의 산법

양흥석(Yang Heung Suk),방승양(Bang Sung Yang) 대한전기학회 1969 전기의 세계 Vol.18 No.3

A combinational circuit is one of the fundamental elements in digital circuits, containing electronic computers. W.A. Davis presented a new approach to the problem of assigning binary input codes so that the combinational circuits necessary to realize the given output functions may be minimized. This paper has derived an algorithm for determining the actual cost of a given assignment scheme in Davis method. First, the combinations of partitions realizing the output functions are obtained and then those among them implementing all of the output functions are found by using a table. In consequence it has been proved that by this algorithm the process of the assignment in a schcme with 16 states and 3 determined partitions can be reduced to 1/10 .

계층적인 가버 특징들과 베이지안 망을 이용한 필기체 숫자인식

성재모(JaeMo Sung),방승양(Sung-Yang Bang) 한국정보과학회 2004 정보과학회논문지 : 소프트웨어 및 응용 Vol.31 No.1

본 논문에서는 필기체 숫자인식을 위해서 계층적으로 서로 다른 레벨의 정보를 표현할 수 있는 구조화된 특징들의 추출 방법과 특징들 사이에 의존도를 이용하여 분류하는 베이지안 망을 제안한다. 이러한 계층적 특징들을 추출하기 위해서 레벨 단위로 가버 필터들을 정의하고, FLD(Fisher Linear Discriminant) 척도를 이용하여 최적화된 가버 필터들을 선택한다. 계층적 가버 특징들은 최적화된 가버필터들을 이용하여 추출되며, 하위 레벨일수록 더욱 국부적인 정보를 표현한다. 추출된 계층적 가버 특징들의 분류성능 향상을 위해서 가버 특징들 사이의 계층적 의존도를 이용하는 베이지안 망을 생성한다. 본 논문에서 제안하는 방법은 naive Bayesian 분류기, k-nearest neighbor 분류기, 그리고 신경망 분류기들과 함께 필기체 숫자인식에 적용되어 계층적 가버 특징들의 효율성과 계층적 의존도를 이용하는 베이지안망은 분류성능을 향상시킬 수 있다는 것을 보여준다. For the handwritten digit recognition, this paper proposes a hierarchical Gabor features extraction method and a Bayesian network for them. Proposed Gabor features are able to represent hierarchically different level information and Bayesian network is constructed to represent hierarchically structured dependencies among these Gabor features. In order to extract such features, we define Gabor filters level by level and choose optimal Gabor filters by using Fisher's Linear Discriminant measure. Hierarchical Gabor features are extracted by optimal Gabor filters and represent more localized information in the lower level. Proposed methods were successfully applied to handwritten digit recognition with well-known naive Bayesian classifier, k-nearest neighbor classifier, and backpropagation neural network and showed good performance.

연속 상태 공간을 갖는 조합 최적화 문제를 위한 수정된 평균장 어닐링 알고리즘

권오준,이원돈,방승양(Oh-Jun Kwon),Won-Don Lee,Sung-Yang Bang 한국정보과학회 1998 정보과학회논문지(B) Vol.25 No.8

본 논문에서는 기존의 평균장 어닐링 알고리즘(MFA)을 연속 상태 공간을 갖는 조합 최적화 문제에 적용할 수 있도록 수정한 새로운 알고리즘을 제안한다. 평균장 어닐링 알고리즘은 각 노드들에 가해지는 시스템의 평균장을 사용하여 상태 천이를 전개하기 때문에 확률적 랜덤 과정을 사용하는 시뮬레이티드 어닐링 알고리즘보다 일반적으로 주어진 온도에서 훨씬 빨리 평형점에 도달하는 것으로 보고되고 있다. 하지만 기존의 평균장 어닐링 알고리즘은 이진 상태 공간을 갖는 문제에만 국한되어 적용되는 단점이 있다. 제안된 새로운 MFA 알고리즘을 제한된 연속 상태 공간을 가지는 단순 회귀 모델의 D-최적 설계에 적용하였다. 이 실험에서 제안된 알고리즘은 시뮬레이티드 어닐링 알고리즘과 비교하여 동일한 수준의 결과를 내면서도 계산 속도면에서는 약 7배 정도의 빠른 결과를 보여 주었다. In this paper we present a new modified mean field annealing(MFA) algorithm to support combinatorial optimization problems with continuous real-valued states In general it have been reported that the MFA algorithm can attain to equilibrium much faster than the stochastic simulated annealing(SSA) algorithm in a given temperature. This is because MFA relaxes to an equilibrium state by using the mean field of a system while the SSA algorithm uses probabilistic random process. The conventional MFA algorithm, however, can only support combinatorial optimization problems with binary states. We applied the proposed algorithm to the construction of D-optimal designs for simple regression models with a bounded continuous state space. The experimental results showed that the proposed algorithm is about 7 times faster than the SSA algorithm while they have the same quality of solutions.

제약조건 만족 그래프를 이용한 필기 한글 인식

황영섭(Hwang Young-Sup),방승양(Bang Sung-Yang) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.1B

필기 한글을 인식하려면 문자단위 인식보다 자소단위 인식이 유리하다. 자소단위로 문자를 인식하려면 문자영상에서 자소영상을 분리해야 한다. 그러나, 필기 한글은 변형이 많아 자소영상을 정확히 분리하기 어렵다. 따라서, 이 논문에서는 우선 조각이라는 자소보다 작은 기본 단위를 정의하여 입력 영상을 조각으로 분해하고, 이들 조각을 재조?ㅂ하면서 자소를 인식하는 방법을 제안하였다. 그리고, 조각들의 조합에 자소를 할당하는 문제를 제약조건 만족 문제로 정형화(formulation)하였다. 정형화된 필기 한글 자소 인식 문제를 풀기 위해 제약조건 만족 그래프를 정의하고, 한글에 대한 사람의 지식을 이용하여 이 그래프를 효율적으로 탐색하는 방법을 제안하였다. 제안한 방법을 실제 필기 한글 데이터에 적용하여 제안한 방법의 타당성을 알아 보았다. 실험 결과, 학습 데이터와 테스트 데이터 사이의 인식률 차이가 크지 않아 제안한 방법의 일반화 능력이 좋음을 알 수 있었다. 또, 학습하지 않은 글자에 대한 인식 실험에서 인식률이 테스트 데이터와 작은 차이만을 보였다. 이는 제안한 방법이 모든 필기 한글(11,172자)을 인식할 수 있음을 보여준다.

필기체 문자 영상 데이타의 변형량

김대환(Dae Hwan Kim),방승양(Sung Yang Bang) 한국정보과학회 1993 정보과학회논문지 Vol.20 No.11

본 논문에서는 문자 영상 데이타의 변형량을 정의하고 그것이 가져야 할 조건 6가지를 제안한다. 지금까지 연구된 5가지 변형량들이 이 조건을 모두 만족시키지는 않음을 보이고 이 조건을 모두 만족시키는 새로운 변형량, 평균 엔트로피 변화량을 제안한다. 이 변형량은 여백이나 문자의 두께에 무관하며 같은 문자 뿐만아니라 다른 문자간에도 비교할 수 있는 특성을 가진다. 여러가지 인위적인 데이타 분포에 대하여 평균 엔트로피 변화량이 다른 변향량보다 변형을 측정하는데 더 적절함을 검증한다. We first formally define a variation measure for handwritten character image data and then propose 6 conditions which such a variation measure should satisfy. We show that the 5 variation measures proposed so far do not satisfy all of the conditinos. Here we propose a new variation measure, called Average Entropy Difference, which satisfies all of the conditions, It is shown that this measure is independent of blank space and thickness of the character line and that the measure can be also used to compare the data of different characters. We verify that Average Entropy Difference is actually superior to the other variation measures by using data of artificially generated various distributions.

계층별 학습 알고리즘의 FIR 신경회로망 적용

유희열(Hea-Yeal Yoo),방승양(Sung-Yang Bang) 한국정보과학회 1996 정보과학회논문지(B) Vol.23 No.9

최근 다충 신경회로망이 비선형 신호처리 분야에서 많이 응용되고 있다. 특히 시계열 예측에서 신경회로망은 기존의 통계적 방법보다 좋은 결과를 보이고 있다. 여러 가지의 예측용 신경회로망이 연구되고 있는데 그 중에 FIR(finite impulse response) 신경회로망 모델은 FIR필터의 특성을 이용한 FIR 연결방식을 가지는 신경회로망의 모델이다. FIR 신경회로망은 비선형 자기회귀를 잘 구현한 모델이며, 시계열 예측에 좋은 결과를 보이고 있다. 그러나, 이 모델도 역시 추계적 오류 역전파 학습 알고리듬을 이용하고 있어 학습 속도가 무척 느리며 때에 따라선 최소의 비용 함수(cost function)값이 나오지 않는다. 한편 전방향 신경회로망을 위한 계층별 학습(Optimization layer by layer) 알고리듬은 학습 속도 및 예측 정확도에서 다른 알고리듬보다 좋은 결과를 보이고 있는데, 이 학습 알고리듬은 계층별로 뉴런의 비선형성을 선형화하여 비용 함수의 값을 최소화시킨다. 본 논문에서는 FIR 모델에 적합한 계층별(Optimization layer by layer) 학습 알고리듬을 제안하고자 한다. 제안된 FIR-OLL 학습 알고리듬도 비선형 활성화 함수를 선형화시키고, 이 선형화에 바탕을 두고 뉴런 간의 FIR 연결을 고려하면서 계층별로 비용 함수를 최소화시킨다. 실험 결과 제안된 학습 알고리듬은 과학습(overtraining)과 지역적 최소값(local minimal) 및 느린 학습 속도라는 단점을 가진 기존의 추계적 경사 추적법(stochastic gradient descent) 방법보다 월등하게 좋은 결과를 얻을 수 있음을 확인했다. Recently more and more neural networks are used for time-series prediction problems and show better performance in some cases than the traditional statistical methods. Among the neural network models used the FIR neural network model is unique in that it has special connections between nodes which use the property of a finite impulse response(FIR) filter. Therefore the model has the potential of representing auto-regression and hence demonstrates a nice performance for time-series prediction problems. However this model also uses a stochastic back propagation learning algorithm and hence cannot get away from a slow learning time and a possibility of settling in a local minimum. On the other hand a new learning algorithm called the optimization layer by layer (OLL) has recently developed for feed-forward networks and shows a better learning speed as well as a nice performance. This algorithm minimizes the cost function by linearizing the non-linearity of neurons layer by layer. In this paper we develop a new learning algorithm for the FIR neural network model by applying the idea of OLL to the FIR neural networks. The structure of the model we used consists of one hidden layer with the input and output layers. But this FIR model is general enough to represent universal function approximation The proposed algorithm also minimizing the cost function layer by layer by linearizing the non-linear activation function. The experimental results using two popular time-series prediction problems show that the new algorithm is far better in the learning time as well as the prediction performance then the existing stochastic gradient descent learning algorithm.

RBF 신경망 분류기의 효과적인 학습방법

황영섭(Hwang Young-Sup),방승양(Bang Sung-Yang) 한국정보과학회 1996 한국정보과학회 학술발표논문집 Vol.23 No.1A

RBF 신경망은 함수근사와 패턴분류에 사용할 수 있다. 패턴분류는 함수근사의 부분집합이므로 주어진 문제가 패턴분류에 관한 것이라면 함수근사를 위한 방법보다 더 효과적인 RBF 신경망 학습방법이 있을 것이다. 이 논문은 RBF 신경망 분류기의 효과적이며 효율적인 학습방법을 제안한다. 제안한 방법은 중간층을 빠른 군집화 알고리즘인 APC-Ⅲ로 만들고 중간층과 출력층 사이의 최적의 가중치를 통계적 방법을 써서 구한다. 제안한 방법을 무제약 필기 숫자 인식에 적용하였다. 실험결과 제안한 방법이 RBF 신경망 분류기를 빠르게 학습시켰고, 같은 실험데이타에 대한 인식률도 이미 발표된 최고의 것 이상으로 나왔다.

신경망 개념을 이용한 Production System 의 기능적 설계

변강섭(Kang-Sup Byun),방승양(Sung-Yang Bang) 한국정보과학회 1989 한국정보과학회 학술발표논문집 Vol.16 No.1

규칙 기반 전문가 시스팀을 신경망 (neural network) 개념을 이용한 production system의 기능적 설계를 보인다. 이 설계를 구현한 TS-CRUBS 추론시스팀에서는 규칙 토대의 모든 규칙들이 신경망적으로 연결되어진다. 이 신경망적 구현의 특징은 matching이 아니라, 신경망 처리 요소의 특징인 sum-and-thresholding으로 어떤 규칙의 적용여부를 판단 하는 것이다. 각 규칙들은 또한 병렬적으로 적용될 수 있어 추론의 병렬성과 실시간 처리성에서 기존의 인공 지능적 규칙 기반 시스팀들보다 더 나은 구조적 특성을 보여 주고 있다.