신규 공개 취약점의 정량적 Time-to-Exploit 예측을 위한 Out-of-Fold Stacking Regression 모델연구 = A Study on an Out-of-Fold Stacking Regression Model for Quantitative Time-to-Exploit Prediction of Newly Disclosed Vulnerabilities

국문 초록 (Abstract)

취약점 공개 후 실제 공격에 이르기까지 걸리는 시간인 Time-to-Exploit의 개념은 2020년 카네기멜론 대학의 논문을 통해 최초 언급되었으며 최근 TTE가 급격히 단축되어 평균 3~5일로 보고되고 있다. TTE(Time-to-Exploit)는 현대 사이버전에서도 중요한 전술 지표로 부상하고 있으나 현존하는 위험기반(Risk-Based)의 CVSS(Common Vulnerability Scoring System) 또는 위협기반(Threat-Based)의 EPSS 등은 급격하게 단축되는 TTE을 대응하는데 한계가 실증되었다. 본 연구는 신규 취약점이 인지되는 초기 단계의 제한된 정보만을 사용하여 TTE를 신속하게 자동 예측하도록 설계된 Stacking Ensemble Regression 모델을 제안한다. 제안된 프레임워크는 CVE-PoC Paris 데이터셋을 구성하여 다변량 범주형 데이터인 CVSS Base metrics, 비정형 자연어인 CVE(Common Vulnerability and Exposures) description, 공개된 PoC(Proof-of-Concept)의 발생량(event_count)을 입력피처를 이용하였다. 각 입력피처는 맞춤형 전처리 파이프라인과 최적화된 Base model을 거쳐 처리되며, 이후 OOF(Out-of-Fold) Meta model에 통합되어 예측 정확도를 혁신적으로 향상시켰다.

본 연구는 가상 데이터가 아닌 실제 데이터를 이용하여 피처별 구성과 특성에 따른 다단계 전처리 의존성 실험으로 최적 조합을 탐색함으로써 각 구성단계 간의 상호 작용과 의존성을 고려한 통합적인 전처리 파이프라인 설계의 중요성을 실증하였다. CVSS metrics는 Target Encoding 및 Ridge Regression알고리즘 조합이 최상의 성능으로 나타났으며, CVE description은 SecBERT 임베딩(128 Max_length), mean-max Pooling, 주성분 분석(PCA) 64차원 축소 후 CatBoost Regressor 알고리즘의 조합이 가장 우수한 성능으로 평가되었다. event_count는 로그변환 후 Linear Regression 알고리즘이 최종적으로 선택되었다. 이 세 가지 이질적 Base model의 예측결과를 Meta model로 통합한 최종 Stacking architecture 구성은 개별 Base model의 성능을 혁신적으로 향상시켜서 MAE 0.2060, R2 0.8751을 달성하였으며, SHAP(SHapley Additive exPlanations)로 설명 가능성 분석 결과, CVE description은 0.983, CVSS는 0.012, event_count는 0.004의 피처 기여도(Gini Importance)를 보였다. 잔차 분포 분석 결과, 중심이 0인 거의 대칭적인 종 모양 곡선을 보이며 예측 안정성을 확인하였다. 또한, 동일 조건에서 Hold-out 기반의 Blending 앙상블과 비교했을 때, 제안된 Stacking 프레임워크가 MAE와 R²가 상당히 우수한 성능을 보였다.

기존 연구들이 단일 피처 또는 피처수준의 단일 모델링 접근법을 사용하거나 위험 심각도 스코어링 또는 범주형 분류에 중점을 두는 반면, 본 연구는 이질적인 세 개의 입력피처들을 앙상블 학습으로 통합하여 TTE를 예측하는 새로운 프레임워크를 제안함으로써 급격히 단축되는 TTE환경에서 기존 평가체계가 갖는 한계를 보완한다. 본 연구의 최종 모델은 학술적 기여뿐 만 아니라 취약점 공개 전·후 모든 단계에서 대응 우선순위 결정이나 정량적 엠바고 산정 등에 실무적으로 응용될 수 있으며 기존의 평가체계인 CVSS, EPSS(Exploit Prediction Scoring System) 등과 결합하여 효율적 자원으로 비용 효과적 취약점 대응을 위한 의사결정을 지원한다. 또한, TTE예측 모델을 Micro-segmentation에 연동함으로써 시간기반(Time-base)의 동적 작동에 응용되는 등 취약점에 대한 선제적 대응력을 가속화하는데 실질적 가치를 제공한다.

다국어 초록 (Multilingual Abstract)

The concept of Time-to-Exploit (TTE)—the elapsed time between public disclosure of a vulnerability and the first real-world exploit—was first introduced in a 2020 study by Carnegie Mellon University. Recent threat-intelligence reports show that TTE has rapidly shortened to an average of 3-5 days. Although TTE is emerging as a critical tactical indicator in modern cyber operations, existing assessment schemes such as the risk-based CVSS and the threat-based EPSS have demonstrated practical limitations in responding to this accelerating exploitation window. This study proposes a Stacking Ensemble Regression model designed to rapidly and automatically predict TTE using only minimal initial information available during the earliest stage of vulnerability recognition. The proposed framework uses a CVE-PoC pairs dataset and incorporates three heterogeneous input features: the multivariate categorical CVSS Base Metrics, the unstructured natural-language CVE descriptions, and the publicly observed Proof-of-Concept (PoC) counts.

Each feature is processed through a customized preprocessing pipeline and an optimized Base model, and the outputs are integrated using an Out-of-Fold (OOF) Meta model to significantly improve prediction accuracy. Using real-world data rather than synthetic samples, this study empirically demonstrates the importance of an integrated preprocessing pipeline that accounts for feature-level interactions and dependencies. For CVSS metrics, the combination of Target Encoding and Ridge Regression achieved the best performance. For CVE descriptions, the optimal configuration was SecBERT embeddings with max_length 128, mean-max pooling, and PCA reduction to 64 dimensions, followed by a CatBoost regressor. For event_count, log-transformation and a Linear Regression model were selected. The final Stacking architecture that integrates these three heterogeneous Base models achieved MAE 0.2060 and R² 0.8751, showing substantial improvement over individual models. SHAP-based explainability analysis showed feature contributions (Gini Importance) of 0.983 for CVE descriptions, 0.012 for CVSS, and 0.004 for event_count. The residual analysis exhibited an almost symmetric bell-shaped distribution centered at zero, confirming prediction stability. Under identical conditions, the proposed Stacking framework outperformed a hold-out Blending ensemble in both MAE and R².

While prior studies typically rely on single features, single-stage modeling approaches, classification-based models, or severity-based scoring schemes, this work introduces a new framework that integrates three heterogeneous feature groups to predict TTE via ensemble learning. The proposed model not only contributes academically but also offers practical applicability to vulnerability-management operations across all phases before and after disclosure, including prioritization and quantitative embargo-period estimation. By combining TTE predictions with existing scoring systems such as CVSS and EPSS, organizations can make more cost-effective decisions with limited resources. Furthermore, by linking the TTE prediction model with micro-segmentation mechanisms, the framework supports time-based dynamic controls, enabling more proactive and accelerated defensive actions against emerging vulnerabilities.

목차 (Table of Contents)

• 1. 서 론 1
• 가. 연구 배경 1
• 1) 최근 취약점 및 공격자동화 동향 1
• 2) TTE(Time-to-Exploit) 단축 현상 2
• 나. 연구 필요성 3
• 1) 위험 및 위협기반 접근 방식의 한계 3
• 2) TTE 동향 대비 CVSS와 EPSS의 한계 6
• 3) 문제정의 및 TTE기반 예측 모델의 필요성 12
• 다. 연구 방법 14
• 1) 연구 절차 및 흐름 14
• 2) 연구 방법론적 제약 16
• 3) 입력피처 구성 및 설계 논리 18
• 4) 과적합 최소화를 위한 설계 전략 18
• 5) 다단계 전처리 및 의존성 분석 20
• 라. 연구 차별성 21
• 마. 논문 구성 22
• 2. 관련 연구 24
• 가. OSINT 및 PoC 피처 활용 연구 24
• 나. Time-Based Exploit 예측 연구 24
• 다. CVSS 기반 리스크 모델링 및 전처리 연구 27
• 라. CVE description 전처리 및 모델링 29
• 마. 위협예측을 위한 앙상블 학습 31
• 3. CVE-PoC 기반 데이터셋 구축 34
• 가. 데이터셋 구축 개요 34
• 나. CVE 데이터셋 수집 34
• 다. Exploit PoC 데이터 수집 36
• 라. TTE 산출 및 레이블링 40
• 마. 최종 데이터셋 구축과 규모 적절성 40
• 1) 최종 데이터셋 구성 40
• 2) 데이터셋 규모의 적절성 41
• 4. 입력피처 전처리 및 최적화 44
• 가. TTE 데이터 특징 및 전처리 44
• 1) TTE 데이터 분포 특징 44
• 2) TTE 데이터 로그변환 전처리 46
• 나. CVSS metrics 데이터 특징 및 전처리 48
• 1) CVSS metrics 데이터 분포특성 48
• 2) 인코딩 및 알고리즘 비교실험 방법론 50
• 3) 인코딩 비교 실험 대상 정의 51
• 4) 회귀 알고리즘 비교 실험 대상 정의 55
• 5) 인코딩 및 회귀알고리즘 비교 실험 결과 57
• 6) 비교 실험 결과 요약 59
• 다. CVE description 데이터 특성 및 전처리 61
• 1) CVE description 데이터 분포특성 61
• 2) 전처리 및 알고리즘 다단계 비교실험 방법론 66
• 3) 첫 번째 단계: BERT PTM과 max_length 비교 실험 (24조합) 68
• 4) 두 번째 단계: Pooling 방식 비교 실험 (15조합) 75
• 5) 세 번째 단계: PCA 차원 축소 비교 실험 (21조합) 79
• 6) 네 번째 단계: 회귀 알고리즘 비교 실험 (15조합) 81
• 7) 다단계 전처리 실험 결과 요약 83
• 8) 최적 전처리 파이프라인 구성 87
• 라. event_count 데이터 특성 및 전처리 88
• 1) event_count 데이터 분포특성 88
• 2) event_count 로그변환 90
• 3) event_count 회귀 알고리즘 선정 91
• 마. 입력피처별 최적 조합 종합 92
• 5. 스태킹 앙상블 설계·평가 및 응용 93
• 가. 스태킹(Stacking) 접근법의 필요성 93
• 1) 개별 입력피처와 log(tte)간의 제한적 상관성 93
• 2) 이질적 예측 신호를 포착하는 입력피처 95
• 나. 스태킹 앙상블 구조 설계 96
• 다. Base model 최적화 97
• 1) CVSS Base model 최적화 97
• 2) CVE description Base model 최적화 101
• 3) event_count Base model 최적화 104
• 라. Meta model 최적화 106
• 1) 알고리즘 비교 및 최적 선택 106
• 2) K-Fold 교차검증 개수 탐색 108
• 3) Meta model 하이퍼파라미터 최적화 112
• 마. 앙상블(Ensemble) 전략 비교 실험 (Stacking과 Blending) 115
• 바. 최종 스태킹 앙상블 모델의 성능 및 설명성 평가 118
• 1) 최종 모델의 예측 성능 비교 평가 118
• 2) 최종 모델의 일반화 성능 분석 119
• 3) 최종 모델의 예측 안전성 분석 (잔차 기반) 120
• 4) 입력피처의 구조적 타당성 분석 121
• 5) 최종 모델의 설명 가능성 분석 (SHAP 기반) 122
• 사. 최종 TTE 예측 모델의 핵심 기여와 실무적 활용 127
• 1) 본 연구의 TTE 예측 프레임워크 요약 127
• 2) OOF 기반 TTE 예측 프레임워크의 학술적 기대효과 130
• 3) 취약점 공개 전·후 모든 단계의 실무적 활용 131
• 4) 기존 대응 우선순위 체계와 통합한 평가구조로 확장 134
• 5) TTE기반 정량적 엠바고 산정 정책으로 활용 137
• 6) 위협 인텔리전스 및 보안관제 자동화와 연동 140
• 7) Kubernetes환경 동적 Micro-Segmentation로 활용 141
• 6. 결론 및 향후 연구 143