Crystal Structure of Chlorocyclopentadienylbis(1,3-diphenyl-1,3-propanedionato)zirconium(IV) Complex

Samkeun Lee*,Sung Kwon Kang*,Sock Sung Yun,Sung-Hyun Ahn,Dong-Koo Lee 대한화학회 2005 Bulletin of the Korean Chemical Society Vol.26 No.5

Syntheses and Crystal Structure of Cp*Ti(β-diketonato)Cl2 Complexes

Samkeun Lee,Sung Kwon Kang*,Seung Jae Lee,Sock Sung Yun,Tae-Sun Chang 대한화학회 2005 Bulletin of the Korean Chemical Society Vol.26 No.10

Weight Perturbation for Efficient Learning of Neural Networks

Samkeun Kim,Changwoo Min,Myungwon Kim 대한전기학회 1998 Journal of Electical Engineering and information S Vol.3 No.5

Weight Perturbation for Efficient Learning of Neural Networks

Samkeun Kim,Changwoo Min,Myungwon Kim 한국정보과학회 1998 Journal of Electrical Engineering and Information Vol.3 No.5

The Error Back-Propagation(EBP) algorithm is widely applied to train a multi-layer perceptron, which is a neural network model frequently employed in order to solve complex problems including pattern recognition and adaptive control. However, it suffers from two major problems: local minima and network structure design.<br/> This paper presents a modified error back-propagation algorithm which have the capability to solve the local minima problem and the network structure design in a unified and efficient way. Our algorithm is basically the same as the conventional EBP algorithm except application of stochastic perturbation in order to escape a local minimum. In our algorithm when a local minimum is detected weights associated with hidden units are probabilistically reinitialized and the normal EBP learning is continued with the new set of weights. Addition of a new hidden unit also can be viewed as a special case of stochastic perturbation, i.e., reinitializing all-zero weights of a virtually existing unit. The results of our experiments with several benchmark test problems, the parity problem and the two-spirals problem, including "credit-screening" data, a practical problem of credit card approval, demonstrate that our algorithm is very efficient.

함수 근사와 분류를 위한 효율적인 프로덕트 유닛 신경망의 진화

김삼근(Samkeun Kim),민창우(Changwoo Min),김명원(Myung Won Kim) 한국정보과학회 1997 정보과학회논문지(B) Vol.24 No.11

유전알고리즘은 지역최소치에 빠지는 것을 피하게 해주는 특성을 지니고 있어서 일반적으로 복잡한 응용분야를 학습하는데 효율적이라고 알려져 있다. 또한 목적함수가 미분가능해야 한다는 조건을 요구하지 않으므로 적용분야가 넓다. 본 논문에서는 함수 근사를 위하여 유전알고리즘을 이용한 프로덕트 유닛 신경망(PUNN)을 진화시키는 방법을 제안한다. 다항식 표현을 위하여 프로덕트 트리(product tree)를 이용하는데, 이 트리는 프로덕트 유닛들과 시그마 유닛들로 구성된 트리 모양의 신경망이다. 프로덕트 트리에서 프로덕트 유닛은 입력값들에 의한 하나의 항을 표현해 주는 반면에 시그마 유닛은 들어오는 값들의 선형합을 의미한다. 유전알고리즘에 의한 진화와 단순한 트리를 복잡한 트리보다 좋게 평가하는 MDL 원칙을 적용함으로써 최적의 구조와 크기를 갖는 신경망이 얻어질 수 있다. 시뮬레이션에 의하여 여러 가지 함수 근사 문제와 Iris 데이타 분류 문제에 적용한 결과 MLP보다 PUNN을 이용한 제안한 방법이 더 좋은 성능을 보였다. 실험 결과로 보아 PUNN을 이용한 방법은 여러 가지 함수 근사와 분류 문제에 효율적임을 알 수 있다. Genetic algorithm is generally known to be efficient in learning complex tasks because of its nature of avoiding local minima. Since it does not require objective function to be differentiable, genetic algorithm can be applied to many learning problems. In this paper we investigate evolving Product Unit Neural Networks(PUNN) using genetic algorithm for function approximation. We use a product tree for representing a polynomial-like function, which is a tree-structured network consisting of product units and sigma units. In the product tree a product unit represents a term of input values while a sigma unit represents a linear sum of incoming values. By adopting the Minimum Description Length(MDL) principle, an optimally structured neural network can evolve using genetic algorithm. From simulations of approximating three different functions and of classifying the Iris data, we observe that PUNN outperforms Multi-Layer Perceptron. Experimental results show that our method is efficient in approximating various functions with PUNN.

함수 최적화를 위한 확률적 교란 알고리즘

김삼근(Samkeun Kim),장경익(Kyoung Ik Jang),민창우(Changwoo Min),김명원(Myung Won Kim) 한국정보과학회 1998 한국정보과학회 학술발표논문집 Vol.25 No.1B

이 논문에서는 전역적 최적화를 위한 확률적 교란(Stochastic Perturbation; SP) 알고리즘을 제안한다. SP 알고리즘은 적은 계산만으로 효율적으로 최적해를 찾는 국부적 최적해 탐색 방법인 경사하강법과 전역적 최적해 탐색 방법으로 시뮬레이티드 어닐링(Simulated Annealing; SA)으로 알려진 Monte Carlo 방법을 결합한다. SP 알고리즘은 두 단계로 구성된다. 먼저 현재의 점에서 경사하강법에 의해 진행되는 최소화 단계와 현재의 점에서 탐색을 더 넓은 범위로 확장하여 탐색할 수 있게 하는 교란 단계로 구성된다. SP 알고리즘은 SA와는 다르게 일단 최소점의 끌개 범주(basin of attraction)가 결정되면 경사하강법으로 빠르게 수렴하기 때문에 계산시간을 크게 단축시킬 수 있다. 몇 가지 함수들에 대한 실험 결과는 SP 알고리즘이 효율적임을 보여 준다.

신경망 학습에서 국부적 최적해 탈출을 위한 확률적 교환

김삼근(Samkeun Kim),민창우(Changwoo Min),김명원(Myung Won Kim) 한국정보과학회 1998 정보과학회논문지(B) Vol.25 No.1

EBP(Error Back-Propagation) 학습 알고리즘은 패턴 인식, 적응 제어 등의 복잡한 문제를 해결하는데 성공적으로 적용되어 온 다층 퍼셉트론(multi-layer perceptron)을 학습시키는 대표적인 학습 알고리즘이다. 그러나 이것은 몇 가지 문제점을 안고 있다. 즉, EBP 학습 알고리즘은 기본적으로 오차 표면의 기울기를 이용하여 학습을 수행하는 경사 하강법을 이용한 학습 알고리즘으로 국부적 최적해에 수렴할 수 있다는 문제점을 내포하고 있다. 더욱이 학습이 성공적으로 이루어지기 위해서는 주어진 문제의 적절한 신경망 구조를 결정해야 한다. 신경망 구조를 결정하는 것은 대개 은닉 노드의 개수를 결정하는 문제로서 이것은 주로 시행 착오에 의해서 결정된다. 이 논문에서는 위의 두 가지 문제를 해결하는 새로운 알고리즘을 제안한다. 제안한 학습 알고리즘은 가중치 공간에서 확률적 교란을 수행함으로써 다층 퍼셉트론 학습에서의 국부적 최적해에 수렴한 경우로부터 효과적으로 탈출한다. 확률적 교란 방법은 EBP 학습에 의하여 국부적 최적해에 수렴한 경우로부터 탈출하기 위하여 은닉 노드들과 관계된 가충치들을 확률적으로 재 초기화한다. 또한 새로운 은닉 노드의 추가 방법 역시 확률적 가중치 교란의 특별한 경우로 볼 수 있다. 따라서 확률적 교란을 통하여 국부적 최적해 문제 및 신경망 구조 설계 문제를 일관된 방법으로 해결할 수 있다. Horseshoes 문제, parity 문제, two-spirals 문제, 그리고 credit-screening 데이타 등에 대한 실험 결과는 제안한 알고리즘이 매우 효율적임을 보여준다. The Error Back-Propagation(EBP) algorithm is widely applied to train a multi-layer perceptron, which is a neural network model frequently used to solve complex problems such as pattern recognition and adaptive control. However, it suffers from some problems. The EBP is basically a gradient descent method, which may get stuck in a local minimum, leading to failure in finding the globally optimal solution. Moreover, a multi-layer perceptron suffers from lacking a systematic determination of the network structure appropriate for a given problem. It is usually the case to determine the number of hidden nodes by trial and error. In this paper, we propose a new algorithm to efficiently train a multi-layer perceptron. Our algorithm uses stochastic perturbation in the weight space to effectively escape from local minima in multi-layer perceptron learning. Stochastic perturbation probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the EBP learning gets stuck to it. Addition of new hidden nodes also can be viewed as a special case of stochastic perturbation. Using stochastic perturbation we can solve the local minima problem and the network structure design in a unified way. The results of our experiments with several benchmark test problems including the horseshoes problem, the panty problem, the two-spirals problem, and the credit-screening data show that our algorithm is very efficient.

신경망 학습에서 가중치 교란에 의한 국부적 최적해 탈출

김삼근(Samkeun Kim),민창우(Changwoo Min),김명원(Myung Won Kim) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.1B

다층 퍼셉트론(multilayer perceptron)의 학습 방법인 오류 역전파(error backpropagation) 알고리즘은 오차를 최소화하기 위한 전략으로 오차 표면의 기울기를 이용하는 경사하강법을 사용한다. 임의로 가중치를 초기화한 후 오류 역전파 알고리즘을 통해 학습을 진행시키면 각각의 은닉 노드가 패턴 공간에서 하나의 특징을 추출하는 역할을 하게 된다. 따라서 오류 역전파 알고리즘은 전역적 최적해에 수렴했을 때뿐만 아니라 국부적 최적해에 수렴했을 때에도 많은 은닉 노드들이 유효한 ‘feature detector'일 수 있다고 판단할 수 있다. 즉, 오류 역전파 학습의 중요한 특성은 학습이 진행되어 감에 따라 각 은닉 노드를 입력 패턴들의 특징을 구분해 주는 하나의 기능적 단위로 간주할 수 있게 한다. 이러한 특성을 이용하여 국부적 탐색에서 매우 효율적인 경사하강법과 가중치 교란을 결합함으로써 전역적 최적해를 찾을 수가 있다. 제안된 알고리즘은 먼저 오류 역전파 알고리즘으로 학습을 수행하다가 오류 역전파 알고리즘이 국부적 최적해에 수렴하게 되면 국부적 최적해를 유발 시키는 은닉 노드들의 가중치를 교란시킴으로써 전역적 최적해를 탐색하는 알고리즘이다. 시뮬레이션을 통하여 벤치마크 문제들인 4-비트 패리티(4-bit parity) 문제와 “horseshoes" 문제에 적용한 결과 제안도니 재초기화 방법이 매우 효율적임을 알 수 있었다.

웹 마이닝 시스템의 효율성 개선을 위한 확장된 웹 로그 획득 시스템

김삼근,김병천 안성산업대학교 2002 論文集 Vol.33 No.-

In this paper, we propose a Extended Web Log Aquisition System(EWLAS) which reliably acquires extended Web logs, which is required in Web mining systems. EWLAS consists of Page Logger, acquiring all of the page accesses of the user, and Log Processor, producing these data into user sessions. The proposed system abbreviates several preprocessing tasks, which spend a lot of time and efforts, that must be performed in Web mining systems. In particular, it omissions path completion caused by the use of local caching. Also it simplifies the complexity of transaction identification through directly acquiring the amount of time a user spends on a page. It is compared with traditional approaches and EWLAS using sample data.

Synthesis and Crystal Structure of Tris(1,3-diphenyl-1,3-propanedionato)Titanium(III)

강성권,Samkeun Lee*,Kyoung-Chae Seo,Sock Sung Yun 대한화학회 2004 Bulletin of the Korean Chemical Society Vol.25 No.6