고차원 데이터에서 서포트 벡터 머신을 위한 효율적인 변수 선택법

국문 초록 (Abstract)

서포트 벡터 머신(Support Vector Machine; SVM)은 분류문제에서 강력한 성능을 보이지만 커널공간(kernel space)을 이용하기 때문에 변수의 중요도를 책정하기 어렵고 변수 선택 역시 쉽지 않다. 기존의 SVM을 위한 변수 선택 방법들은 적은 변수의 수를 상정하여 교차검증(cross-validation)을 통해 예측률을 구하고 이를 기준으로 후진제거(backward elimination)를 진행하였다. 하지만 이러한 방식은 고차원 데이터에 적용하기에 계산 비용측면에서 문제가 있다. 본 연구에서는 고차원 데이터에 대한 SVM의 변수 선택 문제를 해결하기 위해 변수 거르기(variable screening)와 재귀적 변수 제거(Recursive Feature Elimination; RFE)를 결합하는 효율적인 변수 선택 방법을 제시한다. 제안하는 방법은 먼저 SVS(Sufficient Variable Screening)를 적용하여 비선형성과 변수들의 조합을 모두 고려하여 변수의 개수를 줄인 후, 축소된 변수 집합에 SVM-RFE를 적용한다. 더 나아가 본 방법에서는 SVM-RFE가 변수의 랭킹만 정하던 문제를 해결하여 변수선택이 가능하도록 개선한다. 제시한 방법론의 효과를 검증하기 다양한 상황에 대한 모의실험을 진행하고, 실제 유전자 데이터에 적용하여 그 활용성을 검증한다.

다국어 초록 (Multilingual Abstract)

Support Vector Machine (SVM) deliver strong performance in classification, but their operation in a kernel feature space makes variable importance hard to quantify and feature selection non-trivial. Many existing SVM feature selection schemes assume a small number of candidates: they rank variables via cross-validated predictive accuracy and then perform backward elimination. Such procedures scale poorly and become unreliable in high-dimensional regimes.
We propose an efficient two-stage method for high-dimensional SVM feature selection that couples variable screening with Recursive Feature Elimination (RFE). In the first stage, we replace the commonly used Iterative Sure Independence Screening (ISIS) with Sufficient Variable Screening (SVS), which retains both nonlinear relationships and joint effects, thereby preserving the signal structure most relevant to SVM. In the second stage, we adopt a modified SVM-RFE that goes beyond ranking: a permutation-test–based stopping rule decides when elimination should stop. This yields a data-driven determination of the final subset size while avoiding unnecessary computation.
We assess the proposed method in simulated settings to evaluate variable recovery and selection stability, and further demonstrate its practical value on real gene-expression classification tasks.

목차 (Table of Contents)

• 1 서론 1
• 2 문헌연구 4
• 2.1 스크리닝 4
• 2.1.1 Sure Indipendence Screening (SIS) 5
• 2.1.2 Distance Correlation SIS (DC-SIS) 8
• 2.1.3 Sufficient Variable Screening (SVS) 11
• 2.2 서포트 벡터 머신 (SVM) 15
• 2.3 SVM-RFE 18
• 2.3.1 Linear SVM-RFE 18
• 2.3.2 RFE-pseudo-samples 20
• 2.4 Sparse SVM (L1-regularized SVM) 23
• 2.5 평가지표 24
• 2.5.1 True Positive Ratio 24
• 2.5.2 Precision 25
• 3 방법론 26
• 3.1 배경 및 아이디어 26
• 3.2 변수선택 방법 28
• 3.3 알고리즘 30
• 3.4 시간 복잡도 비교 32
• 4 모의실험 33
• 4.1 모의실험 설명 및 데이터 생성 33
• 4.2 모의실험 결과 37
• 5 실증 자료 분석 44
• 5.1 데이터 설명 44
• 5.2 분석 방법 45
• 5.3 분석 결과 46
• 6 결론 49
• 참고문헌 52
• Abstract 55