함수 근사와 분류를 위한 효율적인 프로덕트 유닛 신경망의 진화

김삼근(Samkeun Kim),민창우(Changwoo Min),김명원(Myung Won Kim) 한국정보과학회 1997 정보과학회논문지(B) Vol.24 No.11

유전알고리즘은 지역최소치에 빠지는 것을 피하게 해주는 특성을 지니고 있어서 일반적으로 복잡한 응용분야를 학습하는데 효율적이라고 알려져 있다. 또한 목적함수가 미분가능해야 한다는 조건을 요구하지 않으므로 적용분야가 넓다. 본 논문에서는 함수 근사를 위하여 유전알고리즘을 이용한 프로덕트 유닛 신경망(PUNN)을 진화시키는 방법을 제안한다. 다항식 표현을 위하여 프로덕트 트리(product tree)를 이용하는데, 이 트리는 프로덕트 유닛들과 시그마 유닛들로 구성된 트리 모양의 신경망이다. 프로덕트 트리에서 프로덕트 유닛은 입력값들에 의한 하나의 항을 표현해 주는 반면에 시그마 유닛은 들어오는 값들의 선형합을 의미한다. 유전알고리즘에 의한 진화와 단순한 트리를 복잡한 트리보다 좋게 평가하는 MDL 원칙을 적용함으로써 최적의 구조와 크기를 갖는 신경망이 얻어질 수 있다. 시뮬레이션에 의하여 여러 가지 함수 근사 문제와 Iris 데이타 분류 문제에 적용한 결과 MLP보다 PUNN을 이용한 제안한 방법이 더 좋은 성능을 보였다. 실험 결과로 보아 PUNN을 이용한 방법은 여러 가지 함수 근사와 분류 문제에 효율적임을 알 수 있다. Genetic algorithm is generally known to be efficient in learning complex tasks because of its nature of avoiding local minima. Since it does not require objective function to be differentiable, genetic algorithm can be applied to many learning problems. In this paper we investigate evolving Product Unit Neural Networks(PUNN) using genetic algorithm for function approximation. We use a product tree for representing a polynomial-like function, which is a tree-structured network consisting of product units and sigma units. In the product tree a product unit represents a term of input values while a sigma unit represents a linear sum of incoming values. By adopting the Minimum Description Length(MDL) principle, an optimally structured neural network can evolve using genetic algorithm. From simulations of approximating three different functions and of classifying the Iris data, we observe that PUNN outperforms Multi-Layer Perceptron. Experimental results show that our method is efficient in approximating various functions with PUNN.

함수 최적화를 위한 확률적 교란 알고리즘

김삼근(Samkeun Kim),장경익(Kyoung Ik Jang),민창우(Changwoo Min),김명원(Myung Won Kim) 한국정보과학회 1998 한국정보과학회 학술발표논문집 Vol.25 No.1B

이 논문에서는 전역적 최적화를 위한 확률적 교란(Stochastic Perturbation; SP) 알고리즘을 제안한다. SP 알고리즘은 적은 계산만으로 효율적으로 최적해를 찾는 국부적 최적해 탐색 방법인 경사하강법과 전역적 최적해 탐색 방법으로 시뮬레이티드 어닐링(Simulated Annealing; SA)으로 알려진 Monte Carlo 방법을 결합한다. SP 알고리즘은 두 단계로 구성된다. 먼저 현재의 점에서 경사하강법에 의해 진행되는 최소화 단계와 현재의 점에서 탐색을 더 넓은 범위로 확장하여 탐색할 수 있게 하는 교란 단계로 구성된다. SP 알고리즘은 SA와는 다르게 일단 최소점의 끌개 범주(basin of attraction)가 결정되면 경사하강법으로 빠르게 수렴하기 때문에 계산시간을 크게 단축시킬 수 있다. 몇 가지 함수들에 대한 실험 결과는 SP 알고리즘이 효율적임을 보여 준다.

신경망 학습에서 가중치 교란에 의한 국부적 최적해 탈출

김삼근(Samkeun Kim),민창우(Changwoo Min),김명원(Myung Won Kim) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.1B

다층 퍼셉트론(multilayer perceptron)의 학습 방법인 오류 역전파(error backpropagation) 알고리즘은 오차를 최소화하기 위한 전략으로 오차 표면의 기울기를 이용하는 경사하강법을 사용한다. 임의로 가중치를 초기화한 후 오류 역전파 알고리즘을 통해 학습을 진행시키면 각각의 은닉 노드가 패턴 공간에서 하나의 특징을 추출하는 역할을 하게 된다. 따라서 오류 역전파 알고리즘은 전역적 최적해에 수렴했을 때뿐만 아니라 국부적 최적해에 수렴했을 때에도 많은 은닉 노드들이 유효한 ‘feature detector'일 수 있다고 판단할 수 있다. 즉, 오류 역전파 학습의 중요한 특성은 학습이 진행되어 감에 따라 각 은닉 노드를 입력 패턴들의 특징을 구분해 주는 하나의 기능적 단위로 간주할 수 있게 한다. 이러한 특성을 이용하여 국부적 탐색에서 매우 효율적인 경사하강법과 가중치 교란을 결합함으로써 전역적 최적해를 찾을 수가 있다. 제안된 알고리즘은 먼저 오류 역전파 알고리즘으로 학습을 수행하다가 오류 역전파 알고리즘이 국부적 최적해에 수렴하게 되면 국부적 최적해를 유발 시키는 은닉 노드들의 가중치를 교란시킴으로써 전역적 최적해를 탐색하는 알고리즘이다. 시뮬레이션을 통하여 벤치마크 문제들인 4-비트 패리티(4-bit parity) 문제와 “horseshoes" 문제에 적용한 결과 제안도니 재초기화 방법이 매우 효율적임을 알 수 있었다.

신경망 학습에서 국부적 최적해 탈출을 위한 확률적 교환

김삼근(Samkeun Kim),민창우(Changwoo Min),김명원(Myung Won Kim) 한국정보과학회 1998 정보과학회논문지(B) Vol.25 No.1

EBP(Error Back-Propagation) 학습 알고리즘은 패턴 인식, 적응 제어 등의 복잡한 문제를 해결하는데 성공적으로 적용되어 온 다층 퍼셉트론(multi-layer perceptron)을 학습시키는 대표적인 학습 알고리즘이다. 그러나 이것은 몇 가지 문제점을 안고 있다. 즉, EBP 학습 알고리즘은 기본적으로 오차 표면의 기울기를 이용하여 학습을 수행하는 경사 하강법을 이용한 학습 알고리즘으로 국부적 최적해에 수렴할 수 있다는 문제점을 내포하고 있다. 더욱이 학습이 성공적으로 이루어지기 위해서는 주어진 문제의 적절한 신경망 구조를 결정해야 한다. 신경망 구조를 결정하는 것은 대개 은닉 노드의 개수를 결정하는 문제로서 이것은 주로 시행 착오에 의해서 결정된다. 이 논문에서는 위의 두 가지 문제를 해결하는 새로운 알고리즘을 제안한다. 제안한 학습 알고리즘은 가중치 공간에서 확률적 교란을 수행함으로써 다층 퍼셉트론 학습에서의 국부적 최적해에 수렴한 경우로부터 효과적으로 탈출한다. 확률적 교란 방법은 EBP 학습에 의하여 국부적 최적해에 수렴한 경우로부터 탈출하기 위하여 은닉 노드들과 관계된 가충치들을 확률적으로 재 초기화한다. 또한 새로운 은닉 노드의 추가 방법 역시 확률적 가중치 교란의 특별한 경우로 볼 수 있다. 따라서 확률적 교란을 통하여 국부적 최적해 문제 및 신경망 구조 설계 문제를 일관된 방법으로 해결할 수 있다. Horseshoes 문제, parity 문제, two-spirals 문제, 그리고 credit-screening 데이타 등에 대한 실험 결과는 제안한 알고리즘이 매우 효율적임을 보여준다. The Error Back-Propagation(EBP) algorithm is widely applied to train a multi-layer perceptron, which is a neural network model frequently used to solve complex problems such as pattern recognition and adaptive control. However, it suffers from some problems. The EBP is basically a gradient descent method, which may get stuck in a local minimum, leading to failure in finding the globally optimal solution. Moreover, a multi-layer perceptron suffers from lacking a systematic determination of the network structure appropriate for a given problem. It is usually the case to determine the number of hidden nodes by trial and error. In this paper, we propose a new algorithm to efficiently train a multi-layer perceptron. Our algorithm uses stochastic perturbation in the weight space to effectively escape from local minima in multi-layer perceptron learning. Stochastic perturbation probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the EBP learning gets stuck to it. Addition of new hidden nodes also can be viewed as a special case of stochastic perturbation. Using stochastic perturbation we can solve the local minima problem and the network structure design in a unified way. The results of our experiments with several benchmark test problems including the horseshoes problem, the panty problem, the two-spirals problem, and the credit-screening data show that our algorithm is very efficient.

함수 근사를 위한 효율적인 다항식 유닛 신경망의 진화

이재철(Jae Cheul Yi),김삼근(Samkeun Kim),민창우(Changwoo Min),김명원(Myung Won Kim) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.2Ⅱ

PUNN(Product Unit Neural Networks)[8]은 다항식 표현을 위하여 프로덕트 트리(product tree)를 이용하는데, 이 트리는 프로덕트 유닛들과 시그마 유닛들로 구성된 트리 모양의 신경망이다. 그러나 PUNN은 함수 근사에 적용되는 입력값들이 양의 실수에만 국한되기 때문에 그 적용범위가 매우 제한적이다. 본 논문에서는 PUNN의 이러한 제약사항을 보완하기 위하여 다항식 유닛 신경망을 제안한다. 다항식 유닛은 프로덕트 유닛의 연결강도을 실수에서 정수로 대체함으로써 함수 근사에 적용되는 입력값들이 실수 전범위에 걸쳐서 적용될 수 있다. 다항식 유닛 신경망은 PUNN에서의 연결강도의 수정을 지수부와 계수부로 나누어서 각각 달리 수행한다. 다항식 유닛 신경망의 성능평가를 위해 PUNN에서 이용한 함수들에 적용함으로써 실험결과를 통하여 다항식 유닛 신경망의 효율성을 보인다.

공과대학에서 문제중심학습 적용 사례 연구

이근수(Lee, Keun-Soo),김삼근(Kim, SamKeun) 한국산학기술학회 2015 한국산학기술학회논문지 Vol.16 No.1

본 논문은 공과대학에서 요소설계 과목에 문제중심학습(PBL : Problem-Based Learning) 활용을 위하여 PBL 문제를 개발하여 수업에 적용하고 PBL 효과를 확인하는데 목적을 두었다. 현대 산업사회에서는 협동 학습 능력, 자율적인 학습능력, 통합지식 활용 능력, 창의 문제해결 능력을 갖춘 인재를 필요로 하고 있다. 대학은 사회에서 요구하는 인재를 양성하기 위해 학습자들에게 문제해결능력 향상과 협동학습의 기회를 제공해 주어야 한다. PBL 활동은 이러한 실천을 위한 적합한 학습 방법이다. 연구대상은 요소설계에 해당하는 ‘공학설계 1’교과목을 수강한 H대학 2학년 학생 32명이었으며, PBL수업은 15주에 5개의 PBL문제를 적용하였다. 학생들은 주어진 문제의 PBL 활동이 끝날 때마다 성찰일지를 작성하여 제출하였으며, 5번째 PBL문제의 활동이 끝난 후에 강의 평가지를 작성하였다. 연구 결과는 학습내용에 대한 이해(71.87%), 협동학습에 대한 이해(87.5%), 실제적 경험, 문제해결력(90.63%), 프리젠테이션 스킬(96.87%), 자기주도적 학습 능력, 자신감(96.87%)과 같은 다양한 PBL의 효과를 경험한 것으로 나타났다. 학생들은 이 PBL 학습 활동은 현대 산업사회에서 요구하는 미래의 유능한 엔지니어로서의 전문성을 기를 수 있는 중요한 방법이라고 인식하였다. The aim of this thesis was to develop PBL(Problem-Based-Learning) problems to supply the problems to classes and to confirm the effectiveness of PBL for PBL applications to element design in engineering schools. Modern industrial society needs competent people with abilities in cooperative learning, self-controlling learning, united knowledge application, and creative problem-solving. Universities need to offer opportunities for improving the problem-solving ability and cooperative learning to learners to train competent people that society demands. PBL activity is a proper learning method for the execution of the above offer. The study subjects were 32 sophomore students in H University who took 'Engineering design 1', which is Element design. Five PBL problems were applied to the class for 15 weeks. They wrote and submitted a reflective journal when they finished the every given PBL activity. In addition, they wrote a class evaluation form after the 5th PBL problem's activity ended. The study showed that the students experienced the effectiveness of PBL in many fields, such as the comprehension of the studied contents(71.87%), the comprehension of cooperative learning (87.5%), authentic experience, problem-solving skills (90.63%), presentation skills (96.87%), communication ability, self-directed study ability, and confidence (96.87%). The students realized that PBL learning activities are important because students could develop into future intelligent engineers that modern industrial society demands through PBL learning activities.

LAN상의 음성회의 시스템 구축

허홍(Hong Heo),이근왕(Keunwang Lee),김삼근(Samkeun Kim),오해석(Haeseok Oh) 한국정보과학회 1994 한국정보과학회 학술발표논문집 Vol.21 No.2B

음성회의(Voice conferencing)는 회의 참가자들이 직접 한자리에 모여야 하는 필요성을 제거해 줌으로써 이동시에 걸리는 시간을 줄일 수 있고, 실시간으로 의견교환이 가능하므로 신속한 의사결정을 하게 해준다. 또한 문서를 작성하고, 인가받는 복잡한 절차를 줄여주어 빠른 시간 내에 그 문서의 효력을 발생시키는데 도움을 줄 수 있다. 본 논문에서는 음성회의의 이러한 장점을 활용할 수 있는 회의 시스템을 제안한다. 시스템의 기본 구조는 peer-to-peer LAN상에서 참가자마다 응용 프로그램을 실행시키는 분산형 구조를 가지며, 각 참가자는 자신의 위치에 있는 컴퓨터를 이용하여 회의에 참여하게 된다.

테스크탑 멀티미디어 회의 시스템의 설계

이근왕(Keunwang Lee),이한준(Hanjoon Lee),허홍(Hong Heo),김삼근(Samkeun Kim),오해석(Haeseok Oh) 한국정보과학회 1995 한국정보과학회 학술발표논문집 Vol.22 No.1

본 논문에서는 CSCW(Computer Supported Cooperative Work)개념을 바탕으로 멀티미디어 데이터의 특성을 살려 지역적으로 분산된 환경하에서의 Desktop PC로 상호 실시간 원거리 회의를 할 수 있는 멀티미디어 회의 시스템에 대한 개략적인 모델을 설계하고자 한다. 이 시스템은 개발 비용 부담은 상대적으로 줄이고 일반 소규모 그룹에서도 활용할 수 있도록 TCP/IP, Ethernet, 그리고 Video overlayboard, Audio card, Mic, CCD Camera, Mouse, Keyboard등을 장착한 MS-Windows-based 486 DX2 system으로 구현중에 있다. 본 기술이 개발 되었을 경우 분산된 환경하에서 여러 사용자들이 네트워크로 연결된 공유공간을 통하여 회의를 포함한 공동작업을 하며 음성, 정지화상, 동화상등을 통신 수단으로 이용하는 멀티미디어 회의 시스템 개발에 보다 쉬운 구현의 기술을 제공하리라 기대된다.

효율적인 수치지도 시스템을 위한 DXF 파일로부터의 웹기반 공간개체 추출

이규명 ( Gyu Myung Lee ),서정민 ( Jeong Min Seo ),김삼근 ( Samkeun Kim ) 한국정보처리학회 2006 한국정보처리학회 학술대회논문집 Vol.13 No.1

최근 정보 관련 산업 발달과 더불어 공간 정보의 중요성이 점점 강조되어, 국가 차원의 지리정보체계가 구현되고 있다. 국토지리정보원이 구축하고 있는 수치지도는 DXF로 제작되는데, 이 DXF맵은 GIS분야에서 필요한 속성정보나 위상정보를 갖지 못하여 지리정보 통합에 어려움이 있다. 지리정보의 여러 분야에 걸쳐 효율적인 데이터의 공유가 가능하도록 DXF파일에서 공간 개체를 추출하는 연구는 매우 중요하다. 본 논문에서는 DXF 파일에서 다양한 공간 개체를 추출하는 효율적인 공간 개체 추출기를 제안한다. 공간 개체 추출기는 DXF파일을 구성하는 요소들 중에 POLYLINE, POINT, CIRCLE, TEXT, ARC, LINE의 수치값을 비교하여 그에 해당하는 좌표값을 DAT 파일에 저장한다. 제안된 시스템은 웹상에서도 사용할 수 있다. 사용자는 단순히 웹서버에 DXF 파일을 업로드해서 공간 개체 추출기를 실행하여 결과를 다운로드 받아 활용할 수 있다.

카드체크기를 이용한 효율적인 프랜차이즈 물류관리시스템

서정민(Jeong Min Seo),문일환(Il-Hwan Moon),이창훈(Chang-Hoon Lee),김삼근(Samkeun Kim) 한국컴퓨터정보학회 2007 韓國컴퓨터情報學會論文誌 Vol.12 No.2

프랜차이즈 물류관리시스템 (FDS)은 SCM (Supply Chaining Management)이나 ECR (Efficient Consumer Response)과 같이 체인점 형식의 원자재의 주문관리를 효율적으로 관리하기 위한 시스템이다. 그러나 기존의 시스템은 PC와 인터넷을 이용한 시스템이나 ARS를 확장한 CTI (Computer Telephony Integration)를 이용하는 시스템이 주를 이루어 별도의 장비가 필요하거나 사용상의 잦은 오류로 영세한 가맹점들에게 많이 보급되지 못하고 있는 실정이다. 이러한 문제를 해결하기 위해 본 논문에서는 모든 가맹점들이 사용하는 카드 체크기를 이용하여 각종 원자재를 주문할 수 있는 웹 카드 체크기를 이용한 물류관리시스템을 개발하였다. 따라서 본 시스템은 별도의 장비나 경제적인 추가 부담 없이 기존 시스템을 이용할 수 있다는 점에서 향후 많은 발전과 사용이 될 것으로 예상된다. FDS (Franchise Distributed System) which can efficiently control and manage the resources like food, liquid and services is required in many distributed system related areas like SCM (Supply Chaining Management) and ECR (Efficient Consumer Response). But, established system, such as used PC and Internet or CTI (Computer Telephony Integration) that need other equipment and expenses. And these have many problems, as voices record or recognition, not spreaded. To solve those problems, we design and implemented Web Card Checker for Franchise Distribution. Our system used card checker machine, not make additions, which can order raw materials like SCM as well as managed distributed processes.