A Hybrid Framework for Personally Identifiable Information Detection in Structured and Unstructured Data = 구조화 및 비 구조화 데이터의 개인식별정보 탐지를 위한 하이브리드 프레임워크

국문 초록 (Abstract)

본 논문은 한국어와 영어로 구성된 구조화 및 비 구조화 기업 데이터에서 개인정보(PII) 를 효과적으로 탐지하기 위한 하이브리드 기반 민감정보 탐지 프레임워크를 제안한다. 제안한 시스템은 정규 표현식 기반 규칙 탐지, 메타데이터 기반 머신 러닝(Gradient Boosted Trees), 그리고 **BERT 기반 심층 언어 모델(mBERT, KoBERT)**을 통합하여 단일 방식 탐지 기법의 한계를 보완하고, 다국어·다 형태 환경에서의 탐지 정확성과 신 뢰성을 향상시키는 것을 목표로 한다. 구조화 데이터의 경우 엔트로피, 숫자 비율, 특 수문자 비율 등 통계적·의미적 속성으로 구성된 메타데이터 특징을 활용하여 GBT 분 류기의 성능을 강화하였으며, 비구조화 텍스트 데이터에는 BERT 기반 언어모델을 적 용하여 의미적 문맥과 언어적 다양성을 반영하였다. 또한 각 탐지 계층에서 산출된 신 뢰도 점수를 통합하는 스코어 융합(score fusion) 모듈과, 탐지된 민감정보에 대해 비 식별화·차단·경고 등의 조치를 수행하는 **정책 엔진(policy engine)**을 설계하였다. 본 연구에서는 Enron 이메일, KDPII 한국어 대화 데이터, FUNSD 스캔 문서(OCR), Mendeley 구조화 데이터 등 실제 기업 환경을 모사한 다양한 공개 데이터셋과 함께, 기업 데이터를 기반으로 구성한 합성 데이터셋을 이용하여 제안한 시스템을 평가하였 다. 실험 결과, 제안한 하이브리드 모델은 정규 표현식, 머신 러닝 단독 모델, BERT 단 독 모델 대비 정확도(Precision), 재현 율(Recall), F1-점수(F1-score), AUROC, AUPRC 전반에서 우수한 성능을 보였다. 특히 합성 데이터 실험에서는 F1-점수 0.9998, AUROC 0.9999 등 거의 완벽에 가까운 탐지 성능을 달성하였으며, 실제 데이터 실험에서도 Precision 약 0.90, Recall 약 0.89, AUROC 0.97–0.99로 다양한 데이터 유형에 대해 안 정적이고 균형 잡힌 성능을 확인하였다. 종합적으로, 본 연구는 다국어·다 형태 기업 데이터 환경에서 발생하는 민감정보 탐지 문제를 해결하기 위한 통합적이고 실용적인 서버 기반 DLP(데이터 유출 방지) 프레임워크를 제시하였으며, 실제 기업 환경에 적 용 가능한 높은 일반화 성능과 운영 안정성을 제공한다

다국어 초록 (Multilingual Abstract)

This thesis presents a Hybrid Framework for detecting Personally Identifiable Information in both multilingual structured and unstructured enterprise data. The proposed system combines three complementary detection layers - rule- based regular expression, metadata-driven machine learning using Gradient Boosted Trees, and deep contextual language models based on BERT. This approach aims to overcome the challenges of existing single-method techniques in real enterprise environments. For structured data, the framework combines deterministic Regex rules with a GBT classifier trained on column-level statistical and semantic metadata features such as entropy, digit ratio, and special character ratio. For unstructured text, BERT-based language models - mBERT and KoBERT are fine-tuned to capture semantic context and linguistic differences in both English and Korean documents. A score fusion module combines from all layers into one reliability score. A policy engine then applies post-detection actions such as redaction, flagging, or blocking to assist enterprise-scale Data Loss Prevention. The system was tested with a wide range of datasets, including synthetic enterprise like records and real -world heterogeneous collections like Enron emails, and KDPII bilingual dialogues, FUNSD scanned documents, Mendeley structured dataset. Experimental results indicate that the hybrid system consistently outperforms individual methods. In synthetic evaluation, the Hybrid model achieved nearly perfect performance (Precision 0.99996, Recall 1.0, F1-score 0.9998, AUROC 0.9999). In real- world evaluation, the Hybrid approach showed balanced and strong accuracy across different types of data (Precision 0.90, Recall 0.89, F1-score 0.89, AUROC 0.97-0.99), surpassing Regex-only, ML-only and BERT-only baselines. Moreover, the integrated policy engine reached 97% enforcement accuracy on enterprise-style documents, proving the system’s practical use. Overall, this research offers a unified, multilingual, and multimodal detection framework that tackles the challenges of contemporary enterprise data environments. The proposed system provides string generalization, stability and ease of deployment, making it a practical foundation for server-side DLP systems in real operational setting.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Background 1
• 1.2 Problem Statement 3
• 1.2.1 The Growing Challenge of Protecting PII 3
• 1.2.2 Real-World Examples and Reginal Context 4
• 1.2.3 What counts as PII and why it is hard to detect 4
• 1.2.4 Existing detection methods 5
• 1.2.5 How PII Leaks Occur in Practice 6
• 1.3 Research Objectives 7
• 1.4 Research Questions 9
• Chapter 2. Literature Review 10
• 2.1 Existing Detection Approaches 10
• 2.1.1 Rule-Based Approaches 10
• 2.1.2 Machine – Learning Based Detection Approaches 13
• 2.1.3 Deep Learning and Contextual Models 16
• 2.1.4 Korean and Bilingual Dataset Approaches 18
• 2.2 Limitations of Existing Works 21
• 2.2.1 Rule-Based Approaches 21
• 2.2.2 Machine Learning Approaches 22
• 2.2.3 Deep Learning Approaches 23
• 2.2.4 Korean and Bilingual Challenges 24
• 2.3 Research Motivation 25
• Chapter 3. Research Methodology & Proposed Work 26
• 3.1 Proposed Hybrid Detection Framework 27
• 3.2 System Architecture 28
• 3.2.1 Regex-Based detection 35
• 3.2.2 Machine Learning Based Detection 38
• 3.2.3 Deep Learning Based Detection 42
• 3.2.4 Score Fusion and Decision Integration 47
• 3.2.5 Post-Detection Policy Engine 51
• Chapter 4. Implementation and Evaluation 57
• 4.1 System Overview 57
• 4.2 Dataset Description 57
• 4.2.1 Synthetic Dataset 58
• 4.2.2 Real Dataset 60
• 4.3. Analysis and Performance Evaluation 61
• 4.3.1 Evaluation Metrics 62
• 4.3.2 Synthetic Dataset Training Results and Discussion 64
• 4.3.3 Real Dataset Training Results and Discussion 68
• 4.4 Post Detection Enforcement Results 74
• 4.5 Comparison with existing PII Detection Models 75
• Chapter 5. Conclusion 77
• 5.1 Summary of Findings 77
• 5.2 Limitations 78
• 5.3 Future Work 79
• References 81
• Acknowledgements 85
• Glossary 87
• Appendix 89