은닉노드의 목표 값을 가진 2개 층 신경망의 분리학습 알고리즘

최범기(Bum-Ghi Choi),이주홍(Ju-Hong Lee),박태수(Tae-Su Park) 한국정보과학회 2006 한국정보과학회 학술발표논문집 Vol.33 No.1

BP알고리즘은 지역 최소점이나 고원 문제와 같은 수렴 실패문제와 학습 속도가 느리다고 알려져 있다. 이제까지 알려진 BP알고리즘의 대체 방법들은 수렴 속도와 인자에 따른 수렴의 안정성에 대한 불균형을 해소 하는데 치중했다. 기존의 전통적인 BP알고리즘에서 발생하는 위와 같은 문제를 해결하기 위하여, 본 논문에서는 적은 용량의 저장 공간만을 요구하며 수렴이 빠르고 상대적으로 안정성이 보장되는 알고리즘을 제안한다. 이 방법은 상위연결(upper connections), 은닉층-출력층(hidden to output), 하위연결(lower connections), 입력층-은닉층(input to hidden)에 대해 개별적으로 훈련을 시키는 분리 학습방법을 적용한다.

은닉노드 목표 값을 가진 2개 층 신경망의 분리학습 알고리즘

최범기(Bum-Ghi Choi),이주홍(Ju-Hong Lee),박태수(Tae-Su Park) 한국정보과학회 2006 정보과학회논문지 : 소프트웨어 및 응용 Vol.33 No.12

역전파 학습 방법은 속도가 느리고, 지역 최소점이나 고원에 빠져 수렴에 실패하는 경우가 많다고 알려져 있다. 이제까지 알려진 역전파의 대체 방법들은 수렴 속도와 변수에 따른 수렴의 안정성 사이에서 불균형이라는 대가를 치루고 있다. 기존의 전통적인 역전파에서 발생하는 위와 같은 문제점 중, 특히 지역 최소점을 탈피하는 기능을 추가하여 적은 저장 공간으로 안정성이 보장되면서도 빠른 수렴속도를 유지하는 알고리즘을 제안한다. 이 방법은 전체 신경망을 은닉층-출력층(hidden to output)을 의미하는 상위연결(upper connections)과 입력층-은닉층(input to hidden)을 의미하는 하위연결(lower connections) 2개로 분리하여 번갈아 훈련을 시키는 분리 학습방법을 적용한다. 본 논문에서 제안하는 알고리즘은 다양한 classification 문제에 적용한 실험 결과에서 보듯이 전통적인 역전파 및 기타 개선된 알고리즘에 비해 계산량이 적고, 성능이 매우 좋으며 높은 신뢰성을 보장한다. The Backpropagation learning algorithm is known to have slow and false convergence aroused from plateau and local minima. Many substitutes for backpropagation announced so far appear to pay some trade-off for convergence speed and stability of convergence according to parameters. Here, a new algorithm is proposed, which avoids some of those problems associated with the conventional backpropagation problems, especially with local minima, and gives relatively stable and fast convergence with low storage requirement. This is the separate learning algorithm in which the upper connections, hidden-to-output, and the lower connections, input-to-hidden, separately trained. This algorithm requires less computational work than the conventional backpropagation and other improved algorithms. It is shown in various classification problems to be relatively reliable on the overall performance.

다중 계층 퍼셉트론의 교대학습 알고리즘

최범기 ( Bum-ghi Choi ),이주홍 ( Ju-hong Lee ),박태수 ( Tae-su Park ) 한국정보처리학회 2006 한국정보처리학회 학술대회논문집 Vol.13 No.1

역전파 학습 방법은 속도가 느리고, 지역 최소점으로 빠져 수렴에 실패하는 경우가 많다고 알려져 있다. 이제까지 알려진 역전파의 대체 방법들은 수렴 속도와 인자에 따른 수렴의 안정성에 대한 불균형을 해소 하는데 치중했다. 기존의 전통적인 역전파에서 발생하는 위와 같은 문제를 해결하기 위하여, 본 논문에서는 적은 용량의 저장 공간만을 요구하며 수렴이 빠르고 상대적으로 안정성이 보장되는 알고리즘을 제안한다. 이 방법은 상위연결(upper connections), 은닉층-출력층(hidden to output), 하위연결(lower connections), 입력층-은닉층(input to hidden)에 대해 개별적으로 훈련을 시키는 교대 학습방법을 적용한다.

동적분류에 의한 주제별 웹 검색엔진의 설계 및 구현

최범기 ( Bum-ghi Choi ),박선 ( Sun Park ),이주홍 ( Ju-hong Lee ),박태수 ( Tae-su Park ),송재원 ( Jae-won Song ) 한국인터넷정보학회 2006 인터넷정보학회논문지 Vol.7 No.2

웹 검색엔진의 검색방법에는 키워드검색방법과 주제별검색방법이 있다. 키워드검색은 재현율(recall)이 높지만 검색결과가 너무 많이 나오기 때문에 원하는 검색결과를 찾는 것이 어렵다. 주제별검색 역시 찾는 문서의 해당 주제가 모호하거나 주제를 정확하게 알지 못하면 문서를 찾지 못하는 경우가 있다. 즉, 검색결과의 정확율(precision)는 높으나 재현율이 떨어진다. 본 논문은 주제별검색의 문제점을 해결하기 위해서 주제와 키워드간의 관계를 퍼지논리로 정량적으로 계산하고, 이를 바탕으로 주제간의 함의(implication)관계를 유도하여 동적인 분류체계를 구성하는 새로운 웹 검색엔진을 설계하고 구현하였다. 구현된 검색엔진은 분류간의 함의관계를 유사한 하위주제로서 간주함으로써 주제별검색 결과의 재현율을 높일 수 있다. In web search engines, there are two main methods: directory searching and keyword searching. Keyword searching shows high recall rate but tends to come up with too many search results to find which users want to see the pages. Directory searching has also a difficulty to find the pages that users want in case of selecting improper category without knowing the exact category, that is, it shows high precision rates but low recall rates. We designed and implemented a new web search engine to resolve the problems of directory search method. It regards a category as a fuzzy set which contains keywords and calculate the degree of inclusion between categories. The merit of this method is to enhance the recall rate of directory searching by expanding subcategories on the basis of similarity.

Support Vector Machine Learning for Region-Based Image Retrieval with Relevance Feedback

김덕환,Jae-Won Song,Ju-Hong Lee,Bum-Ghi Choi 한국전자통신연구원 2007 ETRI Journal Vol.29 No.5

We present a relevance feedback approach based on multi-class support vector machine (SVM) learning and cluster-merging which can significantly improve the retrieval performance in region-based image retrieval. Semantically relevant images may exhibit various visual characteristics and may be scattered in several classes in the feature space due to the semantic gap between low-level features and high-level semantics in the user's mind. To find the semantic classes through relevance feedback, the proposed method reduces the burden of completely re-clustering the classes at iterations and classifies multiple classes. Experimental results show that the proposed method is more effective and efficient than the two-class SVM and multi-class relevance feedback methods.

부분복제 지수 상향 추종을 위한 진화 알고리즘 기반 3단계 포트폴리오 선택 앙상블 학습

윤동진(Dong Jin Yoon),이주홍(Ju Hong Lee),최범기(Bum Ghi Choi),송재원(Jae Won Song) 한국스마트미디어학회 2021 스마트미디어저널 Vol.10 No.3

지수 상향 추종은 시장수익률을 좇는 지수 추종에 기반을 두고 지수 이상의 수익을 내기 위한 목적함수를 최적화시키는 문제이다. 큰 거래비용과 비유동성 등의 문제를 피하기 위하여 지수 편입종목들 중 일부만을 선택하여 포트폴리오를 구성하는 방법을 사용하였다. 기존의 지수 상향 추종 방법들은 테스트하는 모든 구간에서 하나의 목적함수만을 가지고 최적의 포트폴리오를 찾고자 하였으나 변동성이 큰 금융시장에서 항상 잘 통하는 궁극의 전략을 찾고자 하는 것은 불가능에 가깝다. 또한, 시간에 따라 통계적 특성이 크게 변하는 금융시장의 특성 상 학습 데이터에 대한 목적함수를 최적화시키는 것 이상으로 일반화 성능을 향상시키는 것이 중요하지만 기존의 방법들은 이를 위한 직접적인 논의가 부족하다는 한계점을 가지고 있다. 이러한 문제점들을 해결하기 위하여 본 논문은 여러 목적함수들을 조합하여 포트폴리오를 구성하는 앙상블 학습과 학습 데이터에 대한 목적함수 이외의 다른 기준을 적용하여 포트폴리오를 선택할 수 있는 3단계 포트폴리오 선택 알고리즘을 제안한다. S&P500 지수를 사용한 실험에서 제안한 방법은 지수와 기존 방법들보다 27% 이상 높은 Sharpe ratio를 보이며 3단계 포트폴리오 선택 알고리즘과 앙상블 학습이 지수 상향 포트폴리오를 선택하는데 효과가 있음을 보여준다. Enhanced index tracking is a problem of optimizing the objective function to generate returns above the index based on the index tracking that follows the market return. In order to avoid problems such as large transaction costs and illiquidity, we used a method of constructing a portfolio by selecting only some of the stocks included in the index. Commonly used enhanced index tracking methods tried to find the optimal portfolio with only one objective function in all tested periods, but it is almost impossible to find the ultimate strategy that always works well in the volatile financial market. In addition, it is important to improve generalization performance beyond optimizing the objective function for training data due to the nature of the financial market, where statistical characteristics change significantly over time, but existing methods have a limitation in that there is no direct discussion for this. In order to solve these problems, this paper proposes ensemble learning that composes a portfolio by combining several objective functions and a 3-stage portfolio selection algorithm that can select a portfolio by applying criteria other than the objective function to the training data. The proposed method in an experiment using the S&P500 index shows Sharpe ratio that is 27% higher than the index and the existing methods, showing that the 3-stage portfolio selection algorithm and ensemble learning are effective in selecting an enhanced index portfolio.

문서요약 및 동적 분류체계를 사용한 E-mail 분류의 재구성

안찬민 ( Chan-min Ahn ),박선 ( Sun Park ),김태순 ( Tae-soon Kim ),최범기 ( Bum-ghi Choi ),이주홍 ( Ju-hong Lee ) 한국정보처리학회 2004 한국정보처리학회 학술대회논문집 Vol.11 No.1

현재의 이메일 분류는 규칙기반, 베이시안, SVM 등을 이용하여 스팸메일을 필터링 하는 이원 분류가 주로 연구되어지고 있고, 이외에도 다원분류에 대한 연구로는 클러스터링을 이용한 방법이 있다. 그러나 클러스터링에 의한 방법은 단순히 유사도에 의해 메일을 묶는 수준에 그치고 있다. 본 논문에서는 자동 문서요약 방법과 동적분류체계 방법을 결합하여 새로운 이메일 자동 다원분류 방법을 제안했다. 본 논문에서 제안한 방법은 이메일을 자동으로 분류하며 분류한 결과를 검색할 때 사용자의 요구사항을 만족하지 못하면 재분류하여 분류 빛 검색의 정확성을 높였다.

대규모 외생 변수 및 Deep Neural Network 기반 금융 시장 예측 및 성능 향상

천성길(Sung Gil Cheon),이주홍(Ju Hong Lee),최범기(Bum Ghi Choi),송재원(Jae Won Song) 한국스마트미디어학회 2020 스마트미디어저널 Vol.9 No.4

미래의 주가를 예측하기 위한 시도는 과거부터 꾸준히 연구되어왔다. 그러나 일반적인 시계열 데이터와 달리 금융 시계열 비정상성(non-stationarity)과 장기 의존성(long-term dependency), 비선형성(non-linearity) 등 예측을 하는 것에 있어서 여러 가지 방해 요인이 존재한다. 또한, 광범위한 데이터의 변수는 기존에 사람이 직접 선택하는 것에 한계가 있으며 모델이 변수를 자동으로 잘 추출할 수 있도록 하여야 한다. 본 논문에서는 비정상성 데이터를 정규화할 수 있는 슬라이딩 타임스텝 정규화(sliding time step normalization) 방법과 LSTM 형태의 오토인코더(AutoEncoder)를 사용하여 모든 변수로부터 압축된 변수로 미래 주가를 예측하는 방법, 기간을 나누어 전이 학습을 하는 이동 전이 학습(moving transfer learning)을 제안한다. 또한, 실험을 통하여 100개의 주요 금융 변수들만을 사용하는 것보다 뉴럴 네트워크를 통해서 가능한 많은 변수를 사용하였을 때 성능이 우수함을 보이며, 슬라이딩 타임스텝 정규화 방법을 사용하여 모든 구간에서 데이터의 비정상성에 대해 정규화를 수행함으로써 성능 향상에 효과적임을 보인다. 이동 전이 학습 방법은 스텝 별 테스트 구간에서 모델의 성능을 평가하고 전이학습을 함으로써 긴 테스트 구간에서 성능 향상에 효과적임을 보인다. Attempts to predict future stock prices have been studied steadily since the past. However, unlike general time-series data, financial time-series data has various obstacles to making predictions such as non-stationarity, long-term dependence, and non-linearity. In addition, variables of a wide range of data have limitations in the selection by humans, and the model should be able to automatically extract variables well. In this paper, we propose a ‘sliding time step normalization’ method that can normalize non-stationary data and LSTM autoencoder to compress variables from all variables. and ‘moving transfer learning’, which divides periods and performs transfer learning. In addition, the experiment shows that the performance is superior when using as many variables as possible through the neural network rather than using only 100 major financial variables and by using sliding time step normalization to normalize the non-stationarity of data in all sections, it is shown to be effective in improving performance. moving transfer learning shows that it is effective in improving the performance in long test intervals by evaluating the performance of the model and performing transfer learning in the test interval for each step.

자동 카테고리 생성과 동적 분류 체계를 사용한 이메일 분류

박선(Sun Park),안찬민(Chan Min Ahn),박상호(Sang Ho Park),이주홍(Ju-Hong Lee),최범기(Bum-Ghi Choi) 한국지능정보시스템학회 2004 지능정보연구 Vol.10 No.2

이메일 사용이 보편화됨에 따라 점차 수신되는 메일의 량이 증가하고 있다. 이러한 메일 량의 중가는 사용자로 하여금 이메일을 좀 더 효율적으로 분류할 수 있는 방법을 필요하게 한다. 그러나 현재의 이메일 분류는 규칙기반, 베이시안, SVM 등을 이용하여 스팸메일을 필터링 하는 이원분류가 주로 연구되고 있다. 이외에도 다원분류에 대 한 연구로는 클러스터링을 이용한 방법이었으나, 이는 단순히 유사도에 의해 메일을 그룹화 하는 수준이다 . 본 논문에서는 벡터모델의 유사도를 기반으로 한 자동 카테고리 생성 방법과 동적분류체계 방법을 결합하여 새로운 이 때일 자동 분류 방법을 제안했다. 본 논문에서 제안한 방법은 이메일을 자동으로 다원분류하며 대량의 메일도 효율 적으로 관리할 수 있다 . 또한 메일을 동적으로 재분류 할 수 있게 함으로써 정확율을 높였다.<br/> Since the amount of E-mail messages has increased, we need a new technique for efficient e-mail classification. E-mail classifications are grouped into two classes: binary classification, multi-classification. The current binary classification methods are mostly spam mail classification methods which are based on rule driven, bayesian, SVM, etc. The current multi-classification methods are based on clustering which groups e-mails by similarity. In this paper, we propose a novel method for e-mail classification. It combines the automatic category generation method based on the vector model and the dynamic category hierarchy<br/> construction method. This method can multi-classify e-mail automatically and manage a large amount of e-mail efficiently. In addition, this method increases the search accuracy by dynamic reclassification of e-mails.<br/>