퍼지 원 클래스 서포트 백터 머신

김기주 ( Kijoo Kim ),최영식 ( Youngsik Choi ) 한국인터넷정보학회 2005 인터넷정보학회논문지 Vol.6 No.3

OC-SVM(One Class Support Vector Machine)은 주어진 전체 데이터의 분포를 측정하는 대신에, 데이터 분포의 서포트(support)를 측정하는 기술로서 주어진 데이터를 가장 잘 설명할 수 있는 최적의 서포트 벡터(support vector)를 구하는 기술이다. OC-SVM은 데이터 분포의 표현에 아주 뛰어난 접근 방법이지만, 사람의 주관적인 중요도를 반영하는 것은 힘들다. 본 논문에서는 각 데이터에 퍼지 맴버쉽(fuzzy membership)을 적용하여 기존의 OC-SVM에 사용자의 주관적인 중요도를 표현할 수 있는 FOC-SVM(Fuzzy One Class Support Vector Machine)을 유도 하였다. FOC-SVM은 데이터들을 동등하게 다루는 것이 아니라, 데이터 객체의 중요도에 따라 데이터를 다룬다. 즉, 덜 중요한 데이터의 특징 벡터는 OC-SVM의 처리과정에 덜 기여하도록 하기 위하여, 객체의 중요도에 따라 특징 벡터의 크기를 조정하였다. 이를 증명하기 위하여 가상의 데이터를 가지고 실험을 하였고, 실험 결과는 예측된 결과를 보여 주었다. OC-SVM(One Class Support Vector Machine) avoids solving a full density estimation problem, and instead focuses on a simpler task, estimating quantiles of a data distribution, i.e. its support. OC-SVM seeks to estimate regions where most of data resides and represents the regions as a function of the support vectors. Although OC-SVM is powerful method for data description, it is difficult to incorporate human subjective importance into its estimation process. In order to integrate the importance of each point into the OC-SVM process, we propose a fuzzy version of OC-SVM. In FOC-SVM (Fuzzy One-Class Support Vector Machine), we do not equally treat data points and instead weight data points according to the importance measure of the corresponding objects. That is, we scale the kernel feature vector according to the importance measure of the object so that a kernel feature vector of a less important object should contribute less to the detection process of OC-SVM. We demonstrate the performance of our algorithm on several synthesized data sets. Experimental results showed the promising results.

SVM의 미세조정을 통한 음성/음악 분류 성능향상

임정수(Chungsoo Lim),송지현(Ji-Hyun Song),장준혁(Joon-Hyuk Chang) 大韓電子工學會 2011 電子工學會論文誌-SP (Signal processing) Vol.48 No.2

Support vector machine (SVM)은 패턴인식 분야에 많이 사용되어지고 있다. 한 예로서 3GPP2 selectable mode vocoder(SMV)와 같은 규격화된 코덱에 쓰여 코덱의 음성/음악 분류 성능을 향상시킬 수 있다. 본 논문에서는 SVM을 개선시켜 음성/음악의 분류성능을 향상시키는 새로운 방법을 제안한다. SVM을 학습시킬 때 적용되는 기존의 기법들과는 달리 제안되는 기법은 SVM이 패턴분류를 행할 때 사용된다. 그렇기 때문에 기존의 기법들과 독립적으로 개발되고 사용될 수 있고, 따라서 패턴분류의 성능을 한층 더 향상시킬 수 있다. 이를 위해 먼저 radial basis function의 커널 width 파라미터가 SVM의 패턴분류에 미치는 영향을 분석해 보았다. 분석한 결과, 커널 width 파라미터를 가지고 SVM의 패턴분류 성향을 미세 조정할 수 있다는 것을 알았다. 또한 음성신호의 각 프레임 간의 상관관계 (correlation)을 확인하고 이를 커널 width 파라미터조절의 길잡이로 삼았다. 실험을 통해, 제안된 기법이 SVM의 성능을 향상시킬 수 있음을 증명하였다. Support vector machines have been extensively studied and utilized in pattern recognition area for years. One of interesting applications of this technique is music/speech classification for a standardized codec such as 3GPP2 selectable mode vocoder. In this paper, we propose a novel approach that improves the speech/music classification of support vector machines. While conventional support vector machine optimization techniques apply during training phase, the proposed technique can be adopted in classification phase. In this regard, the proposed approach can be developed and employed in parallel with conventional optimizations, resulting in synergistic boost in classification performance. We first analyze the impact of kernel width parameter on the classifications made by support vector machines. From this analysis, we observe that we can fine-tune outputs of support vector machines with the kernel width parameter. To make the most of this capability, we identify strong correlation among neighboring input frames, and use this correlation information as a guide to adjusting kernel width parameter. According to the experimental results, the proposed algorithm is found to have potential for improving the performance of support vector machines.

퍼지 서포트 벡터 기계 분류-그룹 소속 가능성

김상민, 나은경 김천대학교 2004 김천대학교 논문집 Vol.25 No.-

Support vector machine, which is an universal approximator based on the Vapnik's statistical learning theory, is very popular to many scien-tists for its unique learning method and good generalization perfor-mance. Instead of using empirical risk minimization which is generally used by statistical learning method such as multi-layer perceptron, radial basis function network, etc. support vector machine uses struc- tural risk minimization to reduce its generalization error rate to find the appropriate objective function. Also, like other general learning method. support vector machine can be applied to the classification problem (pattern recognition) and function estimation (nonlinear regression). The result of the experiment showed that it was advanced to SVM classification of crisp data. In reality, however, there are many kinds of inaccurate and ambiguous fuzzydata. This kind of research has not been conducted inside South Korea before now. My research has shown that fuzzy input data can be handled using this fuzzy support vector machine classification (FSVC) algorithm. The basic idea of FSVC algorithm is to transform an existing weight vector into a fuzzy weight vector. The fuzzy weight vector norm is defined as the sum of the centernorm, (where the center has the maxi-mum membership function value), and spread norm, (where the spread norm indicates both left end point and right end point). In this research I have proposed a new fuzzy spread plane method that differs from the original SVM classification hyperplane. This research enables us to make efficient decisions with much more accurate information whist illustrating more possibility detail pertaining to group data.

A Decision Support Model for Sustainable Collaboration Level on Supply Chain Management using Support Vector Machines

임세헌(Sehun Lim) 한국유통학회 2005 流通硏究 Vol.10 No.3

성공적인 공급사슬관리에 있어 성과에 따른 지속적 협업 통제는 매우 중요하다. 본 연구에서는 기계학습 알고리즘인 SVM(Support Vector Machines)을 이용해 균형성과표에 기반한 공급사슬관리 성과에 따른 지속적 협업 통제 모델을 개발하였다. 우리는 지속적 협업 통제모델 개발에 있어 108명의 전문가를 상대로 실증조사를 수행하였다. 본 연구 수행에 있어 4가지 형태의 SVM 커늘 (1) linear, (2) polynomial, (3) Radial Basis Function(RBF), (4) sigmoid kernel을 이용해 공급사슬관리 지속적 협업 예측 정확도를 비교하였다. SVM 커늘 4가지 중 linear kernel의 예측성과가 가장 좋았다. 그리고 본 연구에서는 SVM linear kernel의 예측성과를 ANN(Artificial Neural Network)의 예측성과와 비교하였다. 분석결과 SVM linear kernel이 공급사슬관리에 있어 지속적 협업 예측에 우수한 예측성과를 보여주는 것을 발견하였다. 이러한 결과는 SVM linear kernel이 공급사슬관리의 지속적 협업 예측통제에 있어 우수한 대안을 제공해 줄 것이다. 그러므로 공급사슬관리를 추구하는 기업들은 본 모델을 통해 지속적 협업 통제에 유용한 정보를 얻을 수 있을 것이다. It is important to control performance and a Sustainable Collaboration (SC) for the successful Supply Chain Management (SCM). This research developed a control model which analyzed SCM performances based on a Balanced Scorecard (BSC) and an SC using Support Vector Machine (SVM). 108 specialists of an SCM completed the questionnaires. We analyzed experimental data set using SVM<SUP>dark</SUP>. This research compared the forecasting accuracy of an SCMSC through four types of SVM kernels: (1) linear, (2) polynomial, (3) Radial Basis Function (RBF), and (4) sigmoid kernel (linear > RBF > Sigmoid > Polynomial). Then, this study compares the prediction performance of SVM linear kernel with Artificial Neural Network (ANN). The research findings show that using SVM linear kernel to forecast an SCMSC is the most outstanding. Thus SVM linear kernel provides a promising alternative to an SC control level. A company which pursues an SCM can use the information of an SC in the SVM model.

Variable Selection of Feature Pattern using SVM-based Criterion with Q-Learning in Reinforcement Learning

김차영 한국인터넷정보학회 2019 인터넷정보학회논문지 Vol.20 No.4

Selection of feature pattern gathered from the observation of the RNA sequencing data (RNA-seq) are not all equally informative for identification of differential expressions: some of them may be noisy, correlated or irrelevant because of redundancy in Big-Data sets. Variable selection of feature pattern aims at differential expressed gene set that is significantly relevant for a special task. This issues are complex and important in many domains, for example. In terms of a computational research field of machine learning, selection of feature pattern has been studied such as Random Forest, K-Nearest and Support Vector Machine (SVM). One of most the well-known machine learning algorithms is SVM, which is classical as well as original. The one of a member of SVM-criterion is Support Vector Machine-Recursive Feature Elimination (SVM-RFE), which have been utilized in our research work. We propose a novel algorithm of the SVM-RFE with Q-learning in reinforcement learning for better variable selection of feature pattern. By comparing our proposed algorithm with the well-known SVM-RFE combining Welch’ T in published data, our result can show that the criterion from weight vector of SVM-RFE enhanced by Q-learning has been improved by an off-policy by a more exploratory scheme of Q-learning.

SMV코덱의 음성/음악 분류 성능 향상을 위한 Support Vector Machine의 적용

김상균(Sang-Kyun Kim),장준혁(Joon-Hyuk Chang) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.6

본 논문에서는 support vector machine (SVM)을 이용하여 기존의 3GPP2 selectable mode vocoder (SMV)코덱의 음성/음악 분류 성능을 향상시키는 방법을 제시한다. SVM은 통계적 학습 이론으로 훈련 데이터 사이의 최적 분류 초평면을 찾아내 최적화된 이진 분류를 보여준다. SMV의 음성/음악 실시간 분류 알고리즘에서 사용된 특징벡터와 분류방법을 분석하고, 이를 기반으로 분류성능향상을 위해 통계적 학습 이론인 SVM을 도입한다. 구체적으로, SMV의 음성/음악 분류알고리즘에서 사용되어진 특징벡터만을 선택적으로 사용하여 효과적으로 SVM을 구성한 분류기법을 제시한다. SMV의 음성/음악 분류에 적용한 SVM의 성능 평가를 위해 SMV 원래의 분류알고리즘과 비교하였으며, 다양한 음악장르에 대해 시스템의 성능을 평가한 결과 SVM을 이용하였을 때 기존의 SMV의 방법보다 우수한 음성/음악 분류 성능을 보였다. In this paper, we propose a novel approach to improve the performance of speech/music classification for the selectable mode vocoder (SMV) of 3GPP2 using the support vector machine (SVM). The SVM makes it possible to build on an optimal hyperplane that is separated without the error where the distance between the closest vectors and the hyperplane is maximal. We first present an effective analysis of the features and the classification method adopted in the conventional SMV. And then feature vectors which are applied to the SVM are selected from relevant parameters of the SMV for the efficient speech/music classification. The performance of the proposed algorithm is evaluated under various conditions and yields better results compared with the conventional scheme of the SMV.

음성/음악 분류 향상을 위한 2차 조건 사후 최대 확률기법 기반 SVM

임정수(Chungsoo Lim),장준혁(Joon-Hyuk Chang) 大韓電子工學會 2011 電子工學會論文誌-SP (Signal processing) Vol.48 No.5

Support vector machine (SVM)은 패턴인식 분야에 많이 사용되어지고 있고 그 한 예로서 3GPP2 selectable mode vocoder (SMV)와 같은 규격화된 코덱에 쓰여 코덱의 음성/음악 분류 성능을 향상시킬 수 있다. 본 논문에서는 SVM을 개선시켜 음성/음악의 분류성능을 더욱 향상시키는 새로운 방법을 제안한다. 음성/음악신호의 각 프레임들은 서로 강한 상관관계를 가지고 있는데, 이를 바탕으로 2차 조건 사후 최대 확률기법을 SVM에 적용하여 음성/음악 분류성능을 향상시킨다. 또한 SVM을 학습시킬 때 적용되는 기존의 기법들과는 달리 제안되는 기법은 SVM이 패턴분류를 행할 때 사용된다. 그렇기 때문에 기존의 기법들과 독립적으로 개발되고 사용될 수 있고, 따라서 패턴분류의 성능을 한층 더 향상시킬 수 있다. 실험을 통해 제안된 기법의 독립성과 성능향상을 기존의 기법들과 비교하여 증명하였다. Support vector machines are well known for their outstanding performance in pattern recognition fields. One example of their applications is music/speech classification for a standardized codec such as 3GPP2 selectable mode vocoder. In this paper, we propose a novel scheme that improves the speech/music classification of support vector machines based on the second-order conditional maximum a priori. While conventional support vector machine optimization techniques apply during training phase, the proposed technique can be adopted in classification phase. In this regard, the proposed approach can be developed and employed in parallel with conventional optimizations, resulting in synergistic boost in classification performance. According to experimental results, the proposed algorithm shows its compatibility and potential for improving the performance of support vector machines.

SVM을 이용한 VKOSPI 일 중 변화 예측과 실제 옵션 매매에의 적용

라윤선(Yun Seon Ra),최흥식(Heung Sik Choi),김선웅(Sun Woong Kim) 한국지능정보시스템학회 2016 지능정보연구 Vol.22 No.4

Machine learning is a field of artificial intelligence. It refers to an area of computer science related to providing machines the ability to perform their own data analysis, decision making and forecasting. For example, one of the representative machine learning models is artificial neural network, which is a statistical learning algorithm inspired by the neural network structure of biology. In addition, there are other machine learning models such as decision tree model, naive bayes model and SVM(support vector machine) model. Among the machine learning models, we use SVM model in this study because it is mainly used for classification and regression analysis that fits well to our study. The core principle of SVM is to find a reasonable hyperplane that distinguishes different group in the data space. Given information about the data in any two groups, the SVM model judges to which group the new data belongs based on the hyperplane obtained from the given data set. Thus, the more the amount of meaningful data, the better the machine learning ability. In recent years, many financial experts have focused on machine learning, seeing the possibility of combining with machine learning and the financial field where vast amounts of financial data exist. Machine learning techniques have been proved to be powerful in describing the non-stationary and chaotic stock price dynamics. A lot of researches have been successfully conducted on forecasting of stock prices using machine learning algorithms. Recently, financial companies have begun to provide Robo-Advisor service, a compound word of Robot and Advisor, which can perform various financial tasks through advanced algorithms using rapidly changing huge amount of data. Robo-Advisers main task is to advise the investors about the investors personal investment propensity and to provide the service to manage the portfolio automatically. In this study, we propose a method of forecasting the Korean volatility index, VKOSPI, using the SVM model, which is one of the machine learning methods, and applying it to real option trading to increase the trading performance. VKOSPI is a measure of the future volatility of the KOSPI 200 index based on KOSPI 200 index option prices. VKOSPI is similar to the VIX index, which is based on S&P 500 option price in the United States. The Korea Exchange(KRX) calculates and announce the real-time VKOSPI index. VKOSPI is the same as the usual volatility and affects the option prices. The direction of VKOSPI and option prices show positive relation regardless of the option type (call and put options with various striking prices). If the volatility increases, all of the call and put option premium increases because the probability of the options exercise possibility increases. The investor can know the rising value of the option price with respect to the volatility rising value in real time through Vega, a Black-Scholess measurement index of an options sensitivity to changes in the volatility. Therefore, accurate forecasting of VKOSPI movements is one of the important factors that can generate profit in option trading. In this study, we verified through real option data that the accurate forecast of VKOSPI is able to make a big profit in real option trading. To the best of our knowledge, there have been no studies on the idea of predicting the direction of VKOSPI based on machine learning and introducing the idea of applying it to actual option trading. In this study predicted daily VKOSPI changes through SVM model and then made intraday option strangle position, which gives profit as option prices reduce, only when VKOSPI is expected to decline during daytime. We analyzed the results and tested whether it is applicable to real option trading based on SVMs prediction. The results showed the prediction accuracy of VKOSPI was 57.83% on average, and the number of position entry times was 43.2 times, which is less than half of the benchma

효과적인 특징 벡터를 도입한 Support Vector Machine기반 음성 검출기

조규행,박윤식,이계환,장준혁 에스케이텔레콤 (주) 2008 Telecommunications Review Vol.18 No.2

본 논문에서는 support vector machine (SVM)을 이용하여 잡음 환경에서의 음성 검출기 (voice activity detection) 성능 향상을 위한 효과적인 특징 벡터를 제안한다. SVM은 통계적 학습 이론으로 훈련 데이터 사이의 최적 분류 초평면을 찾아내 최적화된 이진 분류를 보여준다. 음성 검출을 위한 SVM의 특징 벡터는 음성의 통계 모델에 기반한 음성 검출기에서 주요 파라미터로 사용된 세 가지 특징 벡터인 a posteriori SNR, a priori SNR과 predicted SNR을 결합하여 제시하였다. 도입된 특징 벡터를 적용한 SVM을 이용하여 구현된 음성 검출기의 성능 평가를 위해 G.729B의 음성 검출기와 기존에 제안된 SVM 기반의 음성 검출기와 비교하였으며, 전반적으로 제안된 특징 벡터를 사용했을 때 다양한 잡음 구간에서 향상된 성능을 보였다.

분광 유사도 커널을 이용한 하이퍼스펙트럴 영상의 Support Vector Machine(SVM) 분류

최재완(Choi Jae Wan),변영기(Byun Young Gi),김용일(Kim Yong Il),유기윤(Yu Ki Yun) 대한공간정보학회 2006 대한공간정보학회지 Vol.14 No.4

통계학습이론에 기반하고 있는 Support Vector Machine(SVM)은 구조적 위험 최소화원리를 바탕으로 하는 학습 알고리즘이다. 일반적으로 SVM은 비선형 경계를 결정하고 자료를 분류하기 위해서 커널(kernel)을 사용한다. 그러나 기존의 커널들은 두 벡터간의 내적이나 거리차를 이용하여 유사도를 측정하기 때문에 하이퍼스펙트럴 영상분류에 효과적으로 적용될 수 없다. 본 논문에서는 이를 해결하기 위해서 분광유사도커널(Spectral similarity kernel)을 제안한다. 분광유사도 커널은 두 벡터의 거리차와 각 차이를 모두 계산하는 지역적 커널로 하이퍼스펙트럴 영상의 분광특성을 효과적으로 고려할 수 있다. 이를 검증하기 위해서 Hyperion 영상에 polynomial kernel, RBF kernel을 사용한 SVM 분류기와 분광유사도 커널을 사용한 SVM 분류기를 적용하여 토지피복분류를 시행하였다. 분류결과를 통해서 분광유사도 커널을 사용한 SVM 분류기가 정량적, 공간적으로 가장 우수한 결과를 보임을 확인하였다. Support Vector Machine (SVM) which has roots in a statistical learning theory is a training algorithm based on structural risk minimization. Generally, SVM algorithm uses the kernel for determining a linearly non-separable boundary and classifying the data. But, classical kernels can not apply to effectively the hyperspectral image classification because it measures similarity using vector’s dot-product or euclidian distance. So, This paper proposes the spectral similarity kernel to solve this problem. The spectral similariy kernel that calculate both vector’s euclidian and angle distance is a local kernel, it can effectively consider a reflectance property of hyperspectral image. For validating our algorithm, SVM which used polynomial kernel, RBF kernel and proposed kernel was applied to land cover classification in Hyperion image. It appears that SVM classifier using spectral similarity kernel has the most outstanding result in qualitative and spatial estimation.