CNN-based Deep Learning Approaches for Tabular and Non-Tabular Data

국문 초록 (Abstract)

합성곱 신경망 (CNN)은 다양한 딥러닝 응용 분야에서 우수한 성능을 보여 왔다. 그러나 고차원 정형 데이터와 비정형 의료 영상 데이터를 통합하여 분석하는 분야에서는 CNN 방법들이 상대적으로 덜 연구되어져 왔다. 따라 서 정형 데이터와 비정형 데이터를 모두 효과적으로 분석할 수 있는 효율적인 CNN 기반 딥러닝 방법을 연구할 필요가 있다.
이를 위해 본 논문에서는 과산포 갯수 데이터, 중도절단성 (censoring)을 포함한 고차원 생존 데이터, 그 리고 변동성이 큰 시계열 데이터를 포함한 다양한 정형 데이터를 분석하기 위한 통합된 1차원 융합형 (hybrid) CNN 프레임워크를 제안한다. 제안된 융합형 CNN 프레임워크는 복잡한 특성 패턴을 효과적으로 포착하고 기 존의 머신러닝 ·딥러닝 모델 대비 예측 성능을 향상시키도록 설계되었다. 또한 본 연구는 방사선학적 (radiomic) 정량 특징과 구조화된 임상 변수를 포함하는 의료 영상 기반 생존 데이터 프레임워크로 확장하였다. 모의실험 연구와 실제 데이터 분석을 통해 제안된 방법의 타당성을 제시하였다. 실험 결과, 제안된 융합형 CNN은 정형 데이터셋에서 경쟁력 있는 예측 성능을 보였으며, 방사선학적 특징과 임상 정보를 함께 활용할 경우 의료 영상 기반 생존 예측에서 기존 방법들보다 우수한 성능을 보였다. 이러한 결과는 제안된 접근법의 유연성(flexibility) 을 보여 주며, 융합형 CNN 기반 프레임워크의 잠재력을 강조한다.

다국어 초록 (Multilingual Abstract)

Convolutional Neural Networks (CNNs) have been performing well in various deep learn- ing applications. However, their potential in high-dimensional tabular data and their integration with non-tabular medical imaging data remain underexplored. It is required to study an efficient CNN-based method for analyzing tabular data as well as non-tabular data. For these purposes, we propose a unified one-dimensional hybrid CNN framework for analyzing various types of tabular data, including over-dispersed count data, cen- sored high-dimensional survival data and time-series data with substantial variability, to evaluate its ability to capture complex feature patterns and improve their predictive performances compared to existing machine learning and deep learning models. We also extend the proposed framework to medical imaging survival data that incorporate radiomic features and structured clinical variables. The proposed method is demon- strated with experimental studies using both simulated and real-world datasets. Our experimental results indicate that the proposed CNNs perform competitively on tabular datasets and outperform existing methods in medical imaging survival prediction when incorporating radiomic and clinical features. In particular, these findings demonstrate the flexibility of the proposed methods and highlight the potential of hybrid frameworks. key words: CNN; deep learning; DNN; high-dimensional survival data; machine learning.

목차 (Table of Contents)

• 1. INTRODUCTION 1
• 2. BASIC STATISTICAL AND DEEP LEARNING MODELS 4
• 2.1 Classical Statistical Models 4
• 2.1.1 Linear Regression 5
• 2.1.2 Logistic Regression Models for Binary Data 5
• 2.1.3 Regression Models for Count Data 5
• 2.1.4 Cox Proportional Hazards Model 6
• 2.1.5 Time-Series Models 7
• 2.2 Deep Learning for Tabular and Non-Tabular Data 8
• 2.2.1 Deep Neural Networks (DNNs) 8
• 2.2.2 Advanced Deep Learning Models 10
• 3. METHODOLOGY FOR TABULAR DATA 12
• 3.1 Basic Concepts of CNN 12
• 3.1.1 Convolutional Layers 13
• 3.1.2 Pooling Layers 13
• 3.1.3 Fully Connected Layers 14
• 3.2 Formulation of Hybrid CNN 14
• 3.3 Joint Modeling With Neural Networks 16
• 3.3.1 Negative Binomial Joint Model 16
• 3.3.2 Double Poisson Joint Model 18
• 4. EXPERIMENTAL STUDY 19
• 4.1 Simulation Study 19
• 4.1.1 Simulation: Overdispersed Count Data 19
• 4.1.2 Simulation: High-Dimensional Survival Data 23
• 4.2 Real Data Examples 25
• 4.2.1 Binary Response Data 25
• 4.2.2 Over-dispersed Count Data 27
• 4.2.3 High-dimensional Gene Expression Survival Data 30
• 4.2.4 Time-series Data With Substantial Variability 34
• 5. SURVIVAL ANALYSIS FOR NON-TABULAR DATA 38
• 5.1 Lung Cancer Image Survival Data 38
• 5.2 Deep Survival Analysis 39
• 5.3 Discussion 42
• 6. CONCLUSIONS 44
• References 45
• Appendix A. Hyperparameter Settings 51
• Appendix B. Box Plots of Predictive Results 56