한 일 낙농경영의 구조변화에 관한 비교분석

곽영태,류제창 ( Young Tae Kwak,Je Chang Ryu ) 한국축산경영학회 1994 韓國畜産經營學會誌 Vol.10 No.1

가변 감쇠 파라미터를 이용한 Levenberg-Marquardt 알고리즘의 학습 속도 향상

곽영태(Young-Tae Kwak) 한국컴퓨터정보학회 2010 韓國컴퓨터情報學會論文誌 Vol.15 No.4

Levenberg-Marquardt 알고리즘에서 감쇠 파라미터는 오류역전파 학습과 Gauss-Newton 학습의 스위치 역할을 하며 학습 속도에 영향을 준다. 이런 감쇠 파라미터를 고정시키는 것은 오차 함수의 진동을 유발하고 학습 속도를 감소시킨다. 따라서 본 논문은 오차 함수의 변화 과정을 참조하여 감쇠 파라미터를 가변적으로 적용하는 방법을 제안한다. 제안된 방법은 오차의 변화량이 크면 감쇠 파라미터를 크게, 오차의 변화량이 작으면 감쇠 파라미터를 작게 조정한다. 이것은 모멘텀과 유사한 역할을 하여 학습 속도를 향상시킨다. 제안된 방법의 검증을 위한 실험으로는 iris 분류 문제와 wine 분류 문제를 사용하였다. 제안된 방법은 iris 분류 문제에서는 67% 학습에서, wine 분류 문제에서는 78% 학습에서 학습 속도가 향상되었으며 기존 방법과 비교하여 오차의 진동도 적은 것을 확인할 수 있었다. The damping parameter of Levenberg-Marquardt algorithm switches between error backpropagation and Gauss-Newton learning and affects learning speed. Fixing the damping parameter induces some oscillation of error and decreases learning speed. Therefore, we propose the way of a variable damping parameter with referring to the alternation of error. The proposed method makes the damping parameter increase if error rate is large and makes it decrease if error rate is small. This method so plays the role of momentum that it can improve learning speed. We tested both iris recognition and wine recognition for this paper. We found out that this method improved learning speed in 67% cases on iris recognition and in 78% cases on wine recognition. It was also showed that the oscillation of error by the proposed way was less than those of other algorithms.

New Approach to Optimize the Size of Convolution Mask in Convolutional Neural Networks

Young-Tae Kwak(곽영태) 한국컴퓨터정보학회 2016 韓國컴퓨터情報學會論文誌 Vol.21 No.1

Convolutional neural network (CNN) consists of a few pairs of both convolution layer and subsampling layer. Thus it has more hidden layers than multi-layer perceptron. With the increased layers, the size of convolution mask ultimately determines the total number of weights in CNN because the mask is shared among input images. It also is an important learning factor which makes or breaks CNN"s learning. Therefore, this paper proposes the best method to choose the convolution size and the number of layers for learning CNN successfully. Through our face recognition with vast learning examples, we found that the best size of convolution mask is 5 by 5 and 7 by 7, regardless of the number of layers. In addition, the CNN with two pairs of both convolution and subsampling layer is found to make the best performance as if the multi-layer perceptron having two hidden layers does.

신경망을 이용한 자기 구성 인식기

곽영태(Young Tae Kwak),권오석(Oh Seok Kwon) 대한공업교육학회 2001 대한공업교육학회지 Vol.26 No.1

This paper proposes a new self-organizing recognizer by removing the unnecessary hidden nodes of neural network during learning. The proposed method uses a new cost function that evaluates the variance and the mean of hidden node outputs in Muti Layer Perceptron. The proposed cost function makes the necessary hidden nodes be activated and the unnecessanr hidden nodes be constants so that the size of Muti Layer Perceptron can be organized by itself. Using the handwritten digit recognition, we have shown that the proposed method can reduce the number of hidden nodes up to 43%, with higher recognition rate and shorter learning time.

다층퍼셉트론의 은닉노드 근사화를 이용한 개선된 오류역전파 학습

곽영태(Young Tae Kwak),이영직(Young Gik Lee),권오석(Oh Seok Kwon) 한국정보과학회 2001 정보과학회논문지 : 소프트웨어 및 응용 Vol.28 No.9

본 논문은 학습 속도가 계층별 학습처럼 빠르며, 일반화 성능이 우수한 학습 방법을 제안한다. 제안한 방법은 최소 제곱법을 통해 구한 은닉층의 목표값을 이용하여 은닉층의 가중치를 조정하는 방법으로, 은닉층 경사 벡터의 크기가 작아 학습이 지연되는 것을 막을 수 있다. 필기체 숫자인식 문제를 대상으로 실험한 결과, 제안한 방법의 학습 속도는 오류역전파 학습과 수정된 오차 함수의 학습보다 빠르고, Ooyen의 방법과 계층별 학습과는 비슷했다. 또한, 일반화 성능은 은닉노드의 수에 관련없이 가장 좋은 결과를 얻었다. 결국, 제안한 방법은 계층별 학습의 학습 속도와 오류역전파 학습과 수정된 오차 함수의 일반화 성능을 장점으로 가지고 있음을 확인하였다. This paper proposes a novel fast layer-by-layer algorithm that has better generalization capability. In the proposed algorithm, the weights of the hidden layer are updated by the target vector of the hidden layer obtained by least squares method. The proposed algorithm improves the learning speed that can occur due to the small magnitude of the gradient vector in the hidden layer. This algorithm was tested in a handwritten digits recognition problem. The learning speed of the proposed algorithm was faster than those of error back propagation algorithm and modified error function algorithm, and similar to those of Ooyen's method and layer-by-layer algorithm. Moreover, the simulation results showed that the proposed algorithm had the best generalization capability among them regardless of the number of hidden nodes. The proposed algorithm has the advantages of the learning speed of layer-by-layer algorithm and the generalization capability of error back propagation algorithm and modified error function algorithm.

Jacobian 행렬의 주부분 행렬을 이용한 Levenberg-Marquardt 알고리즘의 개선

곽영태(Young-Tae Kwak),신정훈(Jung-Hoon Shin) 한국컴퓨터정보학회 2009 韓國컴퓨터情報學會論文誌 Vol.14 No.8

본 논문은 Levenberg-Marquardt 알고리즘에서 Jacobian 행렬의 주부분 행렬을 이용하여 학습속도를 개선하는 방법을 제안한다. Levenberg-Marquardt 학습은 오차함수에 대한 2차 도함수를 계산하기 위해 Hessian 행렬을 사용하는 대신 Jacobian 행렬을 이용한다. 이런 Jacobian 행렬을 가역행렬로 만들기 위해, Levenberg-Marquardt 학습은 μ값을 증가시키거나 감소시키는 과정을 수행하고 μ값의 변경에 따른 역행렬의 재계산이 필요하다. 따라서 본 논문에서는 μ값의 설정을 위해 Jacobian 행렬의 주부분 행렬을 생성하고 주부분 행렬의 고유값 합을 이용하여 μ값을 설정한다. 이와 같은 방법은 추가적인 역행렬 계산을 하지 않으므로 학습속도를 개선할 수 있다. 제안된 방법은 일반화된 XOR 문제와 필기체 숫자인식 문제를 대상으로 실험하여 학습속도의 향상을 검증하였다. This paper proposes the way of improving learning speed in Levenberg-Marquardt algorithm using the principal submatrix of Jacobian matrix. The Levenberg-Marquardt learning uses Jacobian matrix for Hessian matrix to get the second derivative of an error function. To make the Jacobian matrix an invertible matrix. the Levenberg-Marquardt learning must increase or decrease μ and recalculate the inverse matrix of the Jacobian matrix due to these changes of μ. Therefore, to have the proper μ, we create the principal submatrix of Jacobian matrix and set the μ as the eigenvalues sum of the principal submatrix. which can make learning speed improve without calculating an additional inverse matrix. We also showed that our method was able to improve learning speed in both a generalized XOR problem and a handwritten digit recognition problem.

자율주행 시대를 대비한 긴급 교통 수신호 인식 시스템

곽영태(Young-Tae Kwak),최대원(Dae-Won Choi),송민지(Min-Ji Song) 한국컴퓨터정보학회 2020 한국컴퓨터정보학회 학술발표논문집 Vol.28 No.2

입력구동 MLP의 직접 연결선을 이용한 연결선 축소 방법

곽영태(Young Tae Kwak),이영직(Young Gik Lee),권오석(Oh Suk Kwon) 한국정보과학회 1996 정보과학회논문지(B) Vol.23 No.5

We propose a method for reducing the total number of hidden nodes and connection weights using the direct connections of Input Driven MLP(Multi-layer Perceptron). We analyze the function of the direct connections that are connected from the input layer to all higher layers in Input Driven MLP By using this analytic result, we remove the hidden nodes that are similar to the direct connections and we reduce the connection weights by mapping these hidden nodes into the direct connections. When MLP is implemented by hardware, this approach has an advantage of reducing the number of hidden nodes and connection weights We showed that the connection weights could be removed up to 40% in handwritten digit recognition problem, while not greatly bringing down the recognition rate. 본 논문은 Input Driven MLP의 직접 연결선을 이용하여, 은닉 노드와 총 연결선의 수를 줄이는 방법을 제안한다. 입력층이 은닉층과 출력층에 직접 입력되는 Input Driven MLP에서 직접 연결선의 기능을 분석한다. 이런 분석 결과를 이용해서, 학습이 완료된 다층퍼셉트론에서 직접 연결선과 유사한 기능을 하는 은닉 노드를 제거하고, 직접 연결선으로 사상함으로써 총 연결선의 수를 줄인다. 제안된 방법은 다층퍼셉트론의 하드웨어 구현시, 은닉 노드와 많은 수의 연결선을 줄일 수 있다는 장점이 있다. 실험 대상으로 필기체 숫자인식 문제를 선정하여 인식률을 크게 손상시키지 않으면서 약 40%까지 연결선을 줄일 수 있음을 보였다.

Convolutional Neural Network을 활용한 아날로그 게이지 분류

곽영태(Young-Tae Kwak),유진규(Jin-Kyu Ryu),김가희(Ga-Hui Kim) 한국컴퓨터정보학회 2017 한국컴퓨터정보학회 학술발표논문집 Vol.25 No.1

상관 계수를 이용한 다층퍼셉트론의 계층별 학습

곽영태(Young-Tae Kwak) 한국컴퓨터정보학회 2011 韓國컴퓨터情報學會論文誌 Vol.16 No.8

다층퍼셉트론의 계층별 학습 방법의 하나인 Ergezinger 방법은 출력 노드가 1개로 구성되어 있고, 출력층의 가중치를 최소자승법으로 학습하기 때문에 출력층의 가중치에 조기포화 현상이 발생할 수 있다. 이런 조기 포화현상은 학습 시간과 수렴 속도에 장애가 된다. 따라서, 본 논문은 Ergezinger의 학습 방법을 출력층에서 벡터 형태로 학습할 수 있는 알고리즘으로 확대하고 학습 시간과수렴 속도를 개선하기 위해서 학습 상수를 도입한다. 학습상수는 은닉층 가중치 조정 시, 새로이 계산된 가중치와 기존 가중치의 상관 관계를 계산하여 학습 상수에 반영하는 가변적인 방법이다. 실험은 제안된 방법과 기존 방법의 비교를 위해서 iris 문제와 비선형 근사화 문제를 대상으로 실험하였다. 실험에서, 제안 방법은 기존 Ergezinger 방법보다 학습 시간과 수렴 속도에서 우수한 결과를 얻었으며, 상관 관계를 고려한 CPU time 측정에서도 제안한 방법이 기존 방법보다 약 35%의 시간을 절약할 수 있었다. Ergezinger's method, one of the layer-by-layer algorithms used for multilyer perceptrons, consists of an output node and can make premature saturations in the output's weight because of using linear least squared method in the output layer. These saturations are obstacles to learning time and covergence. Therefore, this paper expands Ergezinger's method to be able to use an output vector instead of an output node and introduces a learning rate to improve learning time and convergence. The learning rate is a variable rate that reflects the correlation coefficient between new weight and previous weight while updating hidden's weight. To compare the proposed method with Ergezinger's method, we tested iris recognition and nonlinear approximation. It was found that the proposed method showed better results than Ergezinger's method in learning convergence. In the CPU time considering correlation coefficient computation, the proposed method saved about 35% time than the previous method.