Robust application fingerprinting on encrypted network traffic

다국어 초록 (Multilingual Abstract)

Mobile application fingerprinting is a critical capability for network security, enabling policy enforcement and malware detection. However, we find that the performance of existing mobile app fingerprinting techniques (e.g., FlowPrint, AppScanner, and ET-BERT) significantly degrades when a virtual private network (VPN) is used. This dissertation addresses two realistic scenarios to enable robust mobile app fingerprinting in VPN environments: single-app identification and multi-app detection.
For single-app identification, we propose a framework called AppSniffer that uses a two-stage classification process. In the first stage, we distinguish VPN traffic from normal traffic; in the second stage, we apply the optimal model for each traffic type. Specifically, we propose a stacked ensemble model using Light Gradient Boosting Machine (LightGBM) and a FastAI library-based neural network to identify applications over VPNs. Our experimental results on 150 Android apps show that AppSniffer achieves F1-scores between 84.7% and 95.5% across four different VPN protocols, while the best existing method (AppScanner) achieves only 25.6% to 47.6% in the same settings. When normal and VPN traffic are mixed, AppSniffer achieves an F1-score of 90.6%, significantly outperforming AppScanner’s 70.4%.
For multi-app detection, we examine scenarios where flows from concurrent applications become heavily interleaved within a VPN tunnel. Our analysis reveals that state-of-the-art multi-app fingerprinting frameworks such as FOADA degrade substantially under TCP/OpenVPN traffic, achieving an F1-score of only 45.2%. To address this limitation, we propose a sequential encoder-based framework that preserves temporal dependencies, improving the F1-score to 74.4% in the same setting.

국문 초록 (Abstract)

모바일 애플리케이션 핑거프린팅 기술은 네트워크 관리자, 보안 분석가, 마케팅 기관 등이 네트워크 트래픽을 분석할 때 유용하게 활용되는 기술이다. 최근에는 네트워크 트래픽의 특징을 이용해 모바일 앱을 식별하는 다양한 기법들(예: FlowPrint, AppScanner, ET-BERT)이 제안되었으나, 이러한 기존 시스템들은 VPN (Virtual Private Network) 환경에서 탐지 성능이 크게 저하되는 문제가 있다. 본 연구에서는 VPN 환경에서도 강건한 모바일 앱 핑거프린팅을 가능하게 하기 위해 단일 앱 식별과 다중 앱 탐지라는 두 가지 현실적인 시나리오를 다룬다. 단일 앱 식별을 위해, 본 연구에서는 VPN 여부에 따라 서로 다른 분류 모델을 적용하는 2단계 분류 기반 프레임워크인 AppSniffer를 제안한다. 첫 번째 단계에서는 네트워크 트래픽이 VPN을 사용한 것인지 여부를 판별하고, 두 번째 단계에서는 해당 트래픽 유형에 적합한 최적의 분류기를 적용하여 앱을 식별한다. 특히, VPN 트래픽에 대해서는 LightGBM (Light Gradient Boosting Machine)과 FastAI 기반 신경망을 결합한 스태킹 앙상블 모델인 ScanVPN을 설계하여 높은 정확도를 달성하였다. 150개의 대중적인 안드로이드 앱에 대해 실험을 수행한 결과, AppSniffer는 네 가지 VPN 프로토콜 환경에서도 84.7%에서 95.5%의 F1-score를 기록하였으며, 이는 동일 조건에서 기존 최고 성능 기법인 AppScanner이 기록한 25.6%–47.6%보다 크게 향상된 수치이다. 또한, VPN 트래픽과 일반 트래픽이 혼합된 상황에서도 AppSniffer는 90.6%의 F1-score를 달성하여, 기존 기법 대비 실용성과 정확도 모두에서 우수함을 입증하였다. 다중 앱 탐지를 위해, 본 연구에서는 VPN 터널 내에서 여러 애플리케이션의 트래픽이 동시에 발생하여 패킷이 뒤섞여 전달되는 시나리오를 분석하였다. 실험 결과, 최신 다중 앱 탐지 기법인 FOADA는 TCP/OpenVPN 환경에서 다수의 고정 크기 제어 패킷과 MTU 패킷으로 인해 F1-score가 45.2%까지 저하되는 것을 확인하였다. 이러한 한계를 해결하기 위해 본 연구에서는 패킷 순서를 보존하여 시간적 패턴을 학습할 수 있는 시퀀셜 인코더 기반 프레임워크를 제안하였으며, 동일 환경에서 F1-score를 74.4%까지 향상시켰다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1. Objectives and Scope 2
• 1.2. Contributions 5
• 1.3. Dissertation Structure 7
• Chapter 2. Background 9
• 2.1. VPN Protocols 9
• 2.2. Mobile App Fingerprinting Techniques 11
• Chapter 3. Related Work 13
• 3.1. Mobile App Fingerprinting 13
• 3.2. VPN Detection 14
• Chapter 4. Study 1: Single-App Identification in VPN Traffic 15
• 4.1. Limitations of Flow-Based Mobile Fingerprinting Systems Against VPN 15
• 4.2. Overview of AppSniffer 17
• 4.2.1. Threat Model 17
• 4.2.2. High Level Description of AppSniffer 18
• 4.2.3. Components of AppSniffer in Detail 20
• 4.3. Experiments 22
• 4.3.1. Dataset 23
• 4.3.2. Experiment Setup 24
• 4.3.3. Implementation 27
• 4.3.4. Evaluation 28
• Chapter 5. Study 2: Multi-App Identification in VPN Traffic 37
• 5.1. Limitations of State-of-the-Art Multi-App Detection Framework Against VPN 38
• 5.2. Sequential Encoder-Based Framework 40
• 5.2.1. Framework Overview 40
• 5.2.2. Sequential Encoder Architecture 41
• 5.2.3. Detection Network Architecture 43
• 5.3. Experiments 45
• 5.3.1. Dataset 45
• 5.3.2. Experimental Results 46
• Chapter 6. Discussion 50
• Chapter 7. Conclusion 53
• Bibliography 54
• Appendix 63
• Abstract in Korean 67