빅 데이터 분석을 위한 지지벡터기계 = Support vector machines for big data analysis

다국어 초록 (Multilingual Abstract)

We cannot analyze big data, which attracts recent attentions in industry and academy, by batch processing algorithms developed in data mining because big data, by definition, cannot be uploaded and processed in the memory of a single system. So an imminent issue is to develop various leaning algorithms so that they can be applied to big data. In this paper, we review various algorithms for support vector machines in the literature. Particularly, we introduce online type and parallel processing algorithms that are expected to be useful in big data classifications and compare the strengths, the weaknesses and the performances of those algorithms through simulations for linear classification.

국문 초록 (Abstract)

최근 산/학계에서 주목받고 있는 빅 데이터는 정의상 한꺼번에 자료를 메모리에 올려 분석할 수 없기 때문에 기존의 데이터마이닝 시대에 개발된 일괄처리 (batch processing) 방식의 알고리즘을 적용할 수 없게 된다. 따라서 가장 시급히 해결해야 하는 문제는 기존의 여러 가지 기계학습방법을 빅 데이터에 적용할 수 있도록 분산처리 (distributed processing)를 수행하는 적절한 알고리즘을 개발하는 것이라 볼 수 있다. 본 논문에서는 분류문제에서 각광받는 지지벡터기계 (support vector machines)의 여러 알고리즘을 살펴보고자 한다. 특히 빅 데이터 분류문제에 유용할 것으로 예상되는 온라인 타입 알고리즘과 병렬처리 알고리즘에 대하여 소개하고, 이러한 알고리즘들의 성능 및 장단점을 선형분류에 대한 모의실험을 통해서 살펴본다.

참고문헌 (Reference)

1 피수영, "커널머신을 이용한 대학의 컴퓨터교육 만족도 분석" 한국데이터정보과학회 22 (22): 921-929, 2011

2 박혜정, "온라인 서포트벡터기계를 이용한 온라인 비정상 사건 탐지" 한국데이터정보과학회 22 (22): 197-206, 2011

3 박동준, "기계학습 방법을 이용한 기업부도의 예측" 한국데이터정보과학회 23 (23): 569-577, 2012

4 Fan, R. -E., "Working set selection using second order information for training SVM" 6 : 1889-1918, 2005

5 Bottou, L., "The tradeoffs of large scale learning" 20 : 161-168, 2008

6 Cortes, C., "Support vector networks" 20 : 273-297, 1995

7 Bordes, A., "SGD-QN : Careful quasi-Newton stochastic gradient descent" 10 : 1737-1754, 2008

8 Zou, H., "Regularization and variable selection via the elastic net" 67 : 301-320, 2005

9 Shalev-Shwartz, S., "Pegasos : Primal estimated sub-gradient solver for SVM" 127 : 3-30, 2011

10 Franc, V., "Optimized cutting plane algorithm for support vector machines" ACM 320-327, 2008

11 Platt, J. C., "Fast training of support vector machines using sequential minimal optimization, In Advances in Kernal Methods - Support Vector Learning" MIT Press 185-208, 1999

12 Duchi, J., "Efficient online and batch learning using forward-backward splitting" 10 : 2873-2898, 2009

13 Boyd, S., "Distributed optimization and statistical learning via the alternating direction method of multipliers" 3 : 1-122, 2010

14 Park, C., "Data mining using R, 2nd Edition" Kyowoo Publisher 2013

15 Forero, P. A., "Consensus-based distributed support vector machines" 11 : 1663-1707, 2010

16 Smola, A. J., "Bundle methods for machine learning, In Advances in Neural Information Processing Systems, 20" MIT Press 1377-1384, 2007

17 Hsieh, C. -J., "A dual coordinate descent method for large-scale linear SVM" ACM 408-415, 2008