Signals in State Rhetoric: A Machine Learning Analysis of North Korean Missile Provocations : Utilizing CatBoost and SVM Classifiers to Elucidate Indicators of Impending Missile Launches in Rodong Sinmun Newspapers in the Kim Jong Un Era (2012-2022) = 국가 선전 속 신호:북한의 미사일 도발에 대한 머신러닝 분석

다국어 초록 (Multilingual Abstract)

Throughout the Kim Jong Un era, North Korea has engaged in an unprecedented level of missile, nuclear weapons, and nuclear delivery systems development and testing. In particular, North Korea has made significant strides in advancing its intercontinental ballistic missile (ICBM) program and has now successfully tested four missiles which are estimated to be capable of reaching the United States: Hwasong-14, -15, -17, and -18. It has also made advancements in the intermediate (IRBM), short range (SRBM), submarine launched (SLBM), and hypersonic missile (HGV) categories. North Korea’s significant strides to expand and improve its missile capabilities has been a major destabilizing variable in the regional security of Northeast Asia, not only in terms of the arms-racing conditions they provoke but also in terms of the credible threat that it enables North Korea to impose on its enemies in South Korea, Japan, and the United States and its territories.
North Korean missile launches are considered by neighboring states to be major provocations that destabilize regional security. In light of this, this study proposes a framework for identifying and interpreting textual signals that foreshadow North Korean missile provocations. This is the first study to use the internal North Korean state newspaper Rodong Sinmun as a datasource to analyze and detect missile provocations with machine learning. It demonstrates that rhetorical patterns in domestic propaganda (not only outward-facing English-language media) contain quantifiable and potentially stronger signals of strategic behavior.

Three ML models were central to this analysis: two trained using the CatBoost classifier on a temporally balanced dataset from 2012–2022 and on a dataset limited to 2016 onward; and one was trained using a Support Vector Machine (SVM) on the 2016–2022 dataset. Each model was trained to classify whether a given edition of the Rodong Sinmun fell within the seven-day period preceding selected North Korean missile launches, based solely on its textual features. When evaluated on unseen and unlabeled test data, the CatBoost model trained on the temporally balanced 2012–2022 dataset achieved 81.9% precision and 73.8% recall for an F1 score of 0.776. The CatBoost model trained on the 2016–2022 subset attained 86.8% precision and 69.7% recall for an F1 score of 0.773. The SVM model trained on the 2016–2022 data achieved the highest recall (77.3%) and F1 score (0.797), making it the best overall performer in terms of early warning effectiveness, despite a slightly lower precision (82.3%) than the CatBoost model trained on the same data (86.8%).
SHAP (SHapley Additive exPlanations) analysis of the models revealed the most influential predictive concepts driving threat identification. In the 2012–2022 dataset, the CatBoost model ranked keywords such as 만리마 (Mallima speed campaign), 리졸브 (Key Resolve), 태양절 (Day of the Sun), 싸드 (THAAD), and 남조선 (South Korea, pejorative) as the strongest rhetorical indicators. In contrast, when trained on post-2016 data, the model emphasized terms such as 만리마, 미제 (American imperialist), 선군 (military-first), 북침 (invasion of the North), and 미국 (United States), along with continued prominence of 백두산 (Mount Paektu), 괴뢰 (puppet regime), and 남조선. These different terms becoming more influential when pre-2016 data was excluded reflects evolving priorities in state rhetoric, suggesting a shift from internally focused ideological mobilization to, in the later Kim Jong Un

period, more explicit confrontational signaling about specific external enemies in the lead-up to missile activity.
A closer investigation into the broader rhetorical environment and original texts of the Rodong Sinmun reveals how these textual indicators often coincide with certain types of messaging themes in the lead-up to provocations. Compared to prior studies analyzing conventional provocations via KCNA (Whang et al., 2016, 2017), this study demonstrates comparable or superior recall and accuracy in detecting provocations through Rodong Sinmun, suggesting that North Korea’s domestic-facing media carries reliable indicators of imminent provocative behavior. Further research based on this methodology may be well situated to examine the signal power of Rodong Sinmun textual elements for other types of provocations or events.

국문 초록 (Abstract)

김정은 시대 전반에 걸쳐 북한은 미사일, 핵무기, 핵 투발 수단의 개발 및 시험에 있어 전례 없는 수준의 활동을 전개해왔다. 특히 대륙간탄도미사일(ICBM) 프로그램에서 큰 진전을 이루었으며, 현재 미국 본토까지 도달 가능한 것으로 추정되는 화성-14형, 화성-15형, 화성-17형, 화성-18형 등 네 차례의 성공적인 시험발사를 완료한 상태이다. 이 외에도 북한은 중거리(IRBM), 단거리(SRBM), 잠수함발사(SLBM), 극초음속(HGV) 미사일 분야에서도 기술적 성과를 축적해왔다. 북한의 이 같은 미사일 능력 확장은 동북아시아 지역 안보를 심각하게 위협하는 불안정 요인으로 작용하고 있으며, 이는 단지 군비경쟁을 촉진한다는 차원을 넘어, 북한이 남한, 일본, 미국 및 그 영토를 대상으로 신뢰성 있는 군사적 위협을 가할 수 있는 능력을 갖추었다는 점에서도 전략적 함의를 지닌다.
이러한 배경 속에서 본 연구는 북한의 미사일 도발을 사전에 식별하고 해석할 수 있는 텍스트 기반 신호 탐지 프레임워크를 제시한다. 본 연구는 북한 내부 매체인 『로동신문』을 머신러닝 기반의 분석 자료로 활용한 최초의 연구로, 대외향 영문 매체가 아닌 대내향 선전 담론에서도 전략적 행동을 시사하는 정량화 가능한 언어적 패턴이 존재함을 실증적으로 보여준다.
본 분석의 핵심에는 세 가지 머신러닝 모델이 있다. 첫 번째와 두 번째는 각각 2012–2022년 전체 기간과 2016년 이후로 제한된 기간에 대한 CatBoost 분류기 모델이며, 세 번째는 2016–2022년 데이터에 대해 훈련된 서포트 벡터 머신(SVM) 모델이다. 세 모델 모두 『로동신문』의 특정 판이 주요 미사일 도발 7일 이내에 발간된 것인지 여부를 해당 판의 텍스트 특징만을 기반으로 분류하도록 훈련되었다. 테스트 데이터에 대한 성능 평가 결과, 2012–2022년 전체 데이터로 학습된 CatBoost 모델은 정밀도 81.9%, 재현율 73.8%, F1 점수 0.776을 기록했다. 2016–2022년 데이터로 학습된 CatBoost 모델은 정밀도 86.8%, 재현율 69.7%, F1 점수 0.773을 보였다. SVM 모델은 재현율 77.3%, F1 점수 0.797로 가장 높은 경고 효과를 기록했으며, 정밀도는 82.3%로 동일 데이터셋에서 학습된 CatBoost 모델(86.8%)보다는 약간 낮았다.
SHAP(Shapley Additive Explanations) 분석 결과, 각 모델이 위협을 예측할 때 가장 큰 영향을 미친 핵심 키워드들이 도출되었다. 2012–2022년 데이터에서는 만리마(속도전), 리졸브(한미연합훈련), 태양절(김일성 생일), 싸드, 남조선(비하적 표현) 등이 상위 예측 요인으로 나타났으며, 2016년 이후 데이터에서는 만리마, 미제(미국 제국주의), 선군, 북침(북한 침략), 미국 외에도 백두산, 괴뢰, 남조선 등이 강조되었다. 이는 김정은 집권 초기의 내부 동원 중심 담론에서 후기의 명시적 외부 적대국 지목 담론으로의 전환을 시사하며, 체제 담론의 변화가 미사일 도발 직전의 언어적 특징에 반영되고 있음을 보여준다.
원문 기사 및 전반적인 담론 환경을 정밀 검토한 결과, 이러한 키워드들은 실제로 도발 이전의 특정 메시지 프레임과 자주 함께 등장함이 확인되었다. KCNA를 기반으로 한 과거 연구(Whang et al., 2016)와 비교했을 때, 본 연구는 『로동신문』을 활용한 분석을 통해 더 높은 재현율과 정확도로 미사일 도발을 식별하는 데 성공하였으며, 이는 북한의 대내 매체가 오히려 보다 신뢰성 높은 군사 행동의 징후를 담고 있을 수 있음을 시사한다. 향후 본 연구 방법론을 토대로 다른 유형의 북한 도발이나 정치적 이벤트에 대한 예측 모델 개발도 충분히 가능할 것이다.

목차 (Table of Contents)

• Short Form Abstract III
• Abstract V
• 1. Introduction 1
• 2. Literature Review 3
• 2.1 Introduction 3
• 2.2 The Strategic Logic of North Korean Provocations 4
• 2.3 North Korean Media 8
• 2.4 Machine Learning Research 10
• 2.5 Research into Rodong Sinmun 14
• 3. Methodology 16
• 3.1 Item labeling 18
• 3.2 Preprocessing Pipeline 21
• 3.3 Modeling Pipeline 23
• 4. Results 26
• 4.1 SHAP Analysis 26
• 4.2 Testing and Model Performance 33
• 5. Discussion 35
• 5.1 Keywords 35
• 5.2 Model Performance 42
• 5.3 Theoretical Implications of the Findings 44
• 5.4 Limitations/Notes 46
• 6. Conclusion 48
• 7. Bibliography 50
• 8. Korean Abstract 국문 초록 52