희박 주성분을 통한 모형 기반 군집분석에서의 변수 선택

국문 초록 (Abstract)

최근 생명과학, 유전체학, 금융, 영상 분석 등 다양한 분야에서 고차원의 형태의 데이터를 흔히 찾아볼 수 있다. 이러한 데이터는 변수의 수가 표본 수보다 훨씬 많은 p ≫ n의 구조를 가지며, 변수 간 상관성과 희박성을 동시에 고려해야 하는 복잡한 분석 문제를 야기한다. 특히 유전자 발현 데이터와 같이 극히 일부 변수만이 주요 현상에 기여하는 경우, 유효 변수의 선택과 내재된 데이터 구조의 탐색은 통계적 모델링의 핵심 과제가 된다. 군집분석 문제에 있어서 고차원 공간은 “차원의 저주”를 야기하고, 이는 거리 기반 군집분석의 성능을 급격히 저하시키는 원인이 되며 기존 방법들이 가정하는 데이터 간 유사성 구조가 왜곡될 수 있다. 이러한 문제를 완화하기 위한 방법으로써 차원축소 기반 접근법이 제안되어 왔으며, 특히 주성분 분석(Principal Component Analysis; PCA)의 확장인 희박 주성분 분석(Sparse PCA; SPCA)이 널리 활용되어 왔다. SPCA는 변수 선택과 차원 축소를 동시에 수행할 수 있으나, (1) 높은 분산을 갖는 주성분이 반드시 군집 식별에 유용하다는 보장이 없고, (2) 변수 선택의 중요한 역할을 하는 희박 모수(sparsity parameter)의 설정 기준이 군집분석 상황에서는 명확하지 않다는 한계를 가진다. 본 연구는 SPCA의 이러한 한계를 극복하기 위해 다양성 측도의 하나인 레니 엔트로피(Rényi entropy)를 도입하여 군집 형성 가능성이 높은 희박 주성분을 식별하고, 각 희박 주성분에서 최적의 희박 모수를 결정함으로써 군집에 기여하는 변수 집합을 선택하는 방법을 제안한다. 본 연구에서 제안하는 방법은 SPCA를 이용한 군집분석에서 효율적인 군집 탐색과 변수 선택의 정확성과 해석 가능성을 동시에 제공할 수 있다. 제안하는 방법은 다양한 모의실험을 통해 그 성능을 검증하고, 실제 유전자 데이터에 적용하여 활용 가능성을 살펴본다.

다국어 초록 (Multilingual Abstract)

Recently, high-dimensional data structures have become increasingly common across diverse fields such as life sciences, genomics, finance, and image analysis. Such data typically exhibit a p ≫ n structure, where the number of variables far exceeds the number of observations, leading to complex analytical challenges that require simultaneous consideration of variable correlations and sparsity. In particular, in gene expression data — where only a small subset of variables contributes meaningfully to the underlying phenomena — the selection of relevant variables and exploration of intrinsic data structures constitute central tasks in statistical modeling. However, in clustering problems, high-dimensional spaces often induce “the curse of dimensionality”, which severely degrades the performance of distance-based clustering methods and distorts the assumed similarity structure among data points. To alleviate these issues, dimension reduction-based approaches have been proposed, among which Sparse Principal Component Analysis(SPCA), an extension of Principal Component Analysis(PCA), has been widely employed. SPCA enables simultaneous variable selection and dimension reduction, but it has two main limitations: (1) principal components with large variance do not necessarily correspond to meaningful cluster separations, and (2) in clustering contexts, the criterion for determining the sparsity parameter — crucial for variable selection — remains ambiguous. To address these limitations, this study introduces Rényi entropy, a diversity measure, to identify sparse principal components that exhibit high potential for cluster formation and to determine the optimal sparsity parameter for each component. Through this process, the proposed method selects a set of variables that substantially contribute to clustering. The proposed framework enhances both the accuracy and interpretability of cluster identification and variable selection in SPCA-based clustering. Its effectiveness is validated through extensive simulation studies and further demonstrated using real gene expression datasets.

목차 (Table of Contents)

• 제1장 서 론 1
• 제2장 고차원 데이터의 군집분석에 대한 문헌연구 6
• 1. 하위공간 군집분석 6
• 2. 차원 축소 기반 군집분석 17
• 3. 모형 기반 접근법 및 벌점화 24
• 4. 특징 선택을 통한 군집분석 32
• 5. 차원축소를 통한 군집분석에서의 변수 선택 34
• 1) 특이값 기준 가중 주성분 34
• 2) 감쇠 희박 주성분분석 36
• 제3장 희박 주성분을 통한 모형 기반 군집분석에서의 변수 선택 39
• 1. 희박 주성분 분석 39
• 2. 엔트로피(Entropy) 43
• 3. 가우시안 혼합모형(Gaussian Mixture Model) 46
• 4. 군집분석 결과에 대한 평가 및 군집의 식별 49
• 1) 조정 랜드 지수(Adjusted Rand Index) 49
• 2) Ridgeline unimodal 방법 54
• 3) Dip test 57
• 5. Benjamin-Hochberg 보정 59
• 6. 제안 방법 62
• 1) 레니 엔트로피를 이용한 희박 모수 및 관심 주성분 선택 62
• 2) 희박 모수 결정을 통한 변수 선택 66
• 제4장 모의실험 74
• 1. 모의실험 설계 74
• 2. 모의실험 결과 79
• 제5장 실증분석 92
• 1. 데이터 설명 92
• 2. 분석 결과 95
• 제6장 결론 105
• 참 고 문 헌 108
• 부 록 117
• ABSTRACT 120