Online False Discovery Rate Control with Dependent Data Streams = 종속성이 있는 스트리밍 데이터에 적용 가능한 온라인 다중검정방법론

국문 초록 (Abstract)

실시간 모니터링 시스템에서는 다양한 종속 구조를 지닌 데이터 스트림이 지속적으로 관측된다. 이러한 환경에서 미래 정보를 알 수 없는 상태에서 순차적으로 의사결정을 내려야 한다는 점은, 거짓발견률(FDR)을 안정적으로 통제하는 데 근본적인 어려움을 제기한다. 본 학위논문은 이러한 문제를 해결하기 위해, 다양한 데이터 스트림 환경에서 LIS(local index of significance)를 활용한 온라인 FDR 제어 방법을 제안한다. LIS는 주어진 과거 관측값 하에서 귀무가설이 참일 확률을 의미하는 사후 확률로, 이론적으로 가장 자연스러운 통계량이지만, 독립동분포 가정이 성립하지 않는 경우 계산이 까다롭다는 한계가 있다.

제1부에서는 동적 베이지안 네트워크를 기반으로 이산적이고 종속적인 시계열에서의 LIS와 그 추정량을 정의하고, 적절한 정규 조건하에서 추정된 LIS를 이용한 온라인 검정 절차가 FDR을 통제함을 이론적으로 보인다.

제2부에서는 오프라인 검정 절차를 반복 적용하는 방식이 온라인 환경에서도 FDR을 보장할 수 있는지를 규명하고, 전체 구간 또는 슬라이딩 윈도우 상황에서 성립하는 오프라인-온라인 변환 조건을 제시한다. 이는 기존 오프라인 절차와 온라인 모니터링 환경을 연결하는 이론적 기반을 제공하며, 특히 슬라이딩 윈도우 기반 추정량을 이용할 때에도 FDR 통제가 가능함을 보임으로써 저장 및 계산 부담을 완화하는 실용적 대안을 제시한다.

제3부에서는 공간적 의존성을 고려해야 하는 다중 스트림 환경으로 범위를 확장한다. 이를 위해 LIS의 대체통계량을 정의하고, 마르코프 구조에 적합한 절차를 고안하여, 은닉 마르코프 랜덤 필드 하에서의 타당성과 강건성을 이론적으로 보장한다.

종합적으로, 본 연구는 복잡한 의존 구조를 지닌 이산형 및 다중 스트림 데이터 환경에서도 LIS 기반 온라인 검정이 이론적으로 정당화될 뿐 아니라 실제 데이터에서 구현 가능함을 보인다. 더 나아가, 현실적인 모니터링 환경에서 순차적 의사결정을 수행하기 위한 효과적인 통계적 기반을 제공한다.

다국어 초록 (Multilingual Abstract)

Modern sequential monitoring systems—such as epidemic surveillance,
high-frequency industrial sensors, and real-time biomedical signals—produce
data streams that are discrete, temporally dependent, and often nonstationary.
A key challenge in these settings is that online decisions must be made
without access to future information while still maintaining global control of
the false discovery rate (FDR).
Existing p-value and e-value–based procedures cannot leverage
the latent temporal structure present in real data, often resulting in
substantial power loss when dependence carries the most useful
information.

This dissertation develops a unified statistical framework for LIS-based
online FDR control in various data streams.
The central object is the local index of significance (LIS)—the posterior
probability that a hypothesis is null given past observations—which provides a
principled significance score but is generally intractable outside i.i.d.
settings.

Chapter 1 formulates a flexible dynamic Bayesian network (DBN) representation
for discrete time series and defines the finite- and infinite-history LIS.
Under stationarity and ergodicity, we show that the oracle LIS rule
controls the online FDR at level alpha+o(1).
For the statistical SIS epidemic model, we construct an online EM algorithm
that yields a consistent plug-in LIS estimator, enabling one of the first
implementable LIS-based online testing method for discrete epidemic
surveillance.
Simulations and COVID-19 case data demonstrate the validity of our approach.

Chapter 2 studies offline-to-online conversion for general score-based
procedures.
We show that repeated offline LIS thresholding, when applied with either a
full or sliding window, achieves asymptotic online FDR control under mild
continuity and ergodicity conditions.
These results provide a theoretical foundation for using plug-in LIS
estimators in sequential testing without requiring knowledge of the full data
length.

Chapter 3 extends LIS-based inference to multistream settings with
cross-stream spatial dependence.
We introduce a surrogate LIS and
develop the Markov-adapted sLIS procedure for multistream online testing, and prove its
validity and robustness under Hidden Markov Random Field structure.
Large-scale simulations and a 12-lead ECG case study show that msLIS
substantially outperforms leading e-value methods while maintaining rigorous
error control.

As a result, this work suggests that LIS-based online testing can be made both
practically implementable and theoretically justified for a broad class of
dependent, discrete, and multistream data settings, offering a framework for
sequential monitoring under realistic data conditions.

목차 (Table of Contents)

• Abstract i
• List of Tables vi
• List of Figures vii
• 0 Introduction 1
• 0.1 Motivation 1
• 0.2 Related Work 3
• 0.2.1 P-value Based Methods 3
• 0.2.2 LIS-based Methods 5
• 0.2.3 E-value Based Online Methods 7
• 0.3 Summary of Contributions 7
• 0.4 Setup and Notation 8
• 1 LIS-based Inference for Dependent and Discrete Data 12
• 1.1 Introduction 12
• 1.2 Setup 14
• 1.2.1 Dynamic Bayesian Network and the Local Index of Significance 14
• 1.2.2 Application: SIS Modeling within a DBN Framework 16
• 1.3 Proposed Method and Theoretical Results 20
• 1.3.1 LIS-Based Online Testing Procedure 20
• 1.3.2 Application to the SIS–DBN Model 25
• 1.4 Simulation Study 29
• 1.4.1 Simulation Setup 30
• 1.4.2 Simulation Results 31
• 1.5 Application: Daily COVID-19 Incidence in South Korea 32
• 1.6 Discussion 33
• 1.7 Appendix: Proofs for Chapter 1 34
• iii
• 1.7.1 Proof of Theorem 1.3 34
• 1.7.2 Proof of Theorem 1.1 37
• 1.7.3 The Expectation–Maximization (EM) Algorithm 39
• 1.7.4 Proof of Lemma 1.1 45
• 1.7.5 Proof of Lemma 1.2 50
• 1.7.6 Proof of Proposition 1.2 52
• 2 General Offline→Online Testing Framework 56
• 2.1 Introduction 56
• 2.2 Setup : Notations and Assumptions 58
• 2.2.1 Hypotheses and Data 58
• 2.2.2 Scores 58
• 2.2.3 Threshold Functional 59
• 2.2.4 Decision Rule 60
• 2.3 Theoretical Results 62
• 2.3.1 Full-Window Iteration: From Offline FDR to Online FDR 62
• 2.3.2 Sliding-Window Iteration: From Offline mFDR to Online FDR 64
• 2.4 Empirical Validation: Simulation Studies 66
• 2.4.1 Simulation Setup 66
• 2.4.2 Simulation Results 67
• 2.5 Discussion 70
• 2.6 Appendix: Proofs for Chapter 2 71
• 2.6.1 Proof of Theorem 2.1 71
• 2.6.2 Proof of Theorem 2.2 75
• 2.6.3 Proof of Lemma 2.1 79
• 2.6.4 Proof of Lemma 2.2 82
• 2.6.5 Proof of Lemma 2.3 83
• 2.6.6 Proof of Lemma 2.4 84
• 2.6.7 Proof of Lemma 2.5 85
• 3 Robust Online FDR through Surrogate LIS with Structural Dependence
• Modeling 88
• 3.1 Introduction 88
• 3.2 Setup: Surrogate LIS and HMRF Modeling for Complex Data Streams 89
• 3.2.1 Definition of Surrogate LIS 89
• iv
• 3.2.2 Structural Dependence Modeling via HMRF 93
• 3.3 Proposed Method and Theoretical Guarantees 94
• 3.3.1 Markov-Adapted Surrogate LIS (msLIS) 94
• 3.3.2 Theoretical Guarantees of msLIS 99
• 3.4 Simulation Studies 102
• 3.4.1 Simulation Setup 102
• 3.4.2 Simulation Results 103
• 3.5 Real Data Analysis: 12-lead ECG 107
• 3.6 Discussions 109
• 3.7 Appendix: Proofs for Chapter 3 109
• 3.7.1 Proof of Theorem 3.1 109
• 3.7.2 Proof of Theorem 3.2 112
• 3.7.3 Proof of Theorem 3.3 114
• 3.7.4 Proof of Lemma 3.1 117
• 4 Conclusion and Future Directions 120
• 4.1 Summary of Contributions 120
• 4.2 A Unified Perspective 121
• 4.3 Limitations 122
• 4.4 Future Directions 123
• 국문초록 128