랜덤 투영 앙상블 기법을 활용한 적응 최근접 이웃 판별분류기법

강종경,전명식,Kang, Jongkyeong,Jhun, Myoungshic 한국통계학회 2021 응용통계연구 Vol.34 No.3

판별분류분석에서 널리 이용되는 k-최근접 이웃 분류 방법은 고정된 이웃의 수만을 고려하여 자료의 국소적 특징을 반영하지 못하는 한계가 있다. 이에 자료의 국소적 구조를 고려하여 이웃의 개수를 선택하는 적응 최근접이웃방법이 개발된 바 있다. 고차원 자료의 분석에 있어서는 k-최근접 이웃 분류를 사용하기 전에 랜덤 투영 기법 등을 활용하여 차원 축소를 수행하는 것이 일반적이다. 이렇게 랜덤 투영시킨 다수의 분류 결과들을 면밀히 조합하여 투표를 통해 최종 할당을 하는 기법이 최근 개발된 바 있다. 본 연구에서는 고차원 자료에서의 분석을 위해 적응 최근접이웃방법과 랜덤 투영 앙상블 기법을 조합한 새로운 판별분류 기법을 제안하였다. 제안된 방법은 기존에 개발된 방법에 비해 분류 정확성 측면에서 더 뛰어남을 모의실험 및 실제 사례 분석을 통해 확인하였다. Popular in discriminant classification analysis, k-nearest neighbor classification methods have limitations that do not reflect the local characteristic of the data, considering only the number of fixed neighbors. Considering the local structure of the data, the adaptive nearest neighbor method has been developed to select the number of neighbors. In the analysis of high-dimensional data, it is common to perform dimension reduction such as random projection techniques before using k-nearest neighbor classification. Recently, an ensemble technique has been developed that carefully combines the results of such random classifiers and makes final assignments by voting. In this paper, we propose a novel discriminant classification technique that combines adaptive nearest neighbor methods with random projection ensemble techniques for analysis on high-dimensional data. Through simulation and real-world data analyses, we confirm that the proposed method outperforms in terms of classification accuracy compared to the previously developed methods.

계층적 벌점함수를 이용한 주성분분석

강종경,박재신,방성완,Kang, Jongkyeong,Park, Jaeshin,Bang, Sungwan 한국통계학회 2017 응용통계연구 Vol.30 No.1

주성분 분석(principal component analysis; PCA)은 서로 상관되어 있는 다변량 자료의 차원을 축소하는 대표적인 기법으로 많은 다변량 분석에서 활용되고 있다. 하지만 주성분은 모든 변수들의 선형결합으로 이루어지므로, 그 결과의 해석이 어렵다는 한계가 있다. sparse PCA(SPCA) 방법은 elastic net 형태의 벌점함수를 이용하여 보다 성긴(sparse) 적재를 가진 수정된 주성분을 만들어주지만, 변수들의 그룹구조를 이용하지 못한다는 한계가 있다. 이에 본 연구에서는 기존 SPCA를 개선하여, 자료가 그룹화되어 있는 경우에 유의한 그룹을 선택함과 동시에 그룹 내 불필요한 변수를 제거할 수 있는 새로운 주성분 분석 방법을 제시하고자 한다. 그룹과 그룹 내 변수 구조를 모형 적합에 이용하기 위하여, sparse 주성분 분석에서의 elastic net 벌점함수 대신에 계층적 벌점함수 형태를 고려하였다. 또한 실제 자료의 분석을 통해 제안 방법의 성능 및 유용성을 입증하였다. Principal component analysis (PCA) describes the variation of multivariate data in terms of a set of uncorrelated variables. Since each principal component is a linear combination of all variables and the loadings are typically non-zero, it is difficult to interpret the derived principal components. Sparse principal component analysis (SPCA) is a specialized technique using the elastic net penalty function to produce sparse loadings in principal component analysis. When data are structured by groups of variables, it is desirable to select variables in a grouped manner. In this paper, we propose a new PCA method to improve variable selection performance when variables are grouped, which not only selects important groups but also removes unimportant variables within identified groups. To incorporate group information into model fitting, we consider a hierarchical lasso penalty instead of the elastic net penalty in SPCA. Real data analyses demonstrate the performance and usefulness of the proposed method.

랜덤 스케치 기법을 활용한 재생성 커널 힐버트 공간에서의 변수선택

강종경(Jongkyeong Kang),전명식(Myoungshic Jhun) 한국데이터정보과학회 2020 한국데이터정보과학회지 Vol.31 No.4

커널 능형회귀 (kernel ridge regression; KRR)는 회귀함수를 재생성 커널 힐버트 공간 (reproducing kernel Hilbert space; RKHS)에서 추정하는 비모수적 추정 기법으로, 명시적 모형 가정을 요구하지 않는 장점이 있다. 이러한 RKHS하에서 기울기 벡터들을 학습함을 통해 변수 선택을 하는 방법론이 개발된 바 있다. 그러나 자료의 크기와 변수의 수가 매우 큰 경우, 많은 계산비용을 요구하여 그 활용성에 한계가 있다. 한편 일반적인 KRR에서 계산비용을 줄이기 위하여 커널 행렬을 m차원 랜덤 스케치 행렬을 이용하여 근사 시키는 기법이 개발된 바 있다. 본 연구에서는 RKHS에서 고차원 자료를 효과적으로 분석하기 위한 새로운 KRR 방법을 제안하였다. 제안된 방법은 기존의 RKHS에서의 기울기 학습 기법에 비해 보다 작은 계산 비용으로 동등한 성능을 나타냄을 다양한 모의 실험 및 실제 사례 분석을 통해 확인하였다. Kernel ridge regression (KRR) is a popular nonparametric estimation technique that estimates regression functions in reproducing kernel Hilbert space (RKHS), which has the advantage of not requiring explicit model assumptions. Under the RKHS, a variable selection methodology has been developed through learning gradient vectors. However, if the size of the data and the number of variables are very large, there is a limitation to its usability due to a large cost. Meanwhile, to improve the computation cost in typical KRR, a technique has been developed to approximate the kernel matrix using a m dimensional random sketch matrix. In this study, a novel KRR method was proposed to effectively analyze high-dimensional data in RKHS. The proposed method showed an equivalent performance at a lower cost of calculation compared to the existing gradient learning technique in RKHS. We demonstrated it through various simulation and real data analyses.

대용량 자료의 분석을 위한 분할정복 랜덤스케치 커널 능형회귀

강종경(Jongkyeong Kang),전명식(Myoungshic Jhun) 한국데이터정보과학회 2020 한국데이터정보과학회지 Vol.31 No.1

커널 능형회귀 (kernel ridge regression; KRR)는 재생성 커널 힐버트 공간에서 비모수적 회귀 함수를 추정하는 대표적인 기법으로 다양한 통계 분석에 활용되고 있다. 크기가 n인 자료에서의 일반적인 KRR의 구현에 필요한 계산 및 저장 비용은 각각 O(n³), O(n²)이며, 대용량 자료와 같이 n이 매우 큰 경우 그 활용성이 매우 제한된다. 이러한 문제를 해결하기 위해 분할정복 KRR, 랜덤스케치 KRR과 같은 기법들이 개발되었다. 본 연구에서는 대용량 자료에서의 KRR에 활용된 분할정복 기법과 랜덤스케치 기법을 결합하여 새로운 커널 능형회귀 방법을 제안하였다. 제안된 방법은 기존의 분할정복 KRR이나 랜덤스케치 KRR보다 작은 계산 및 저장 비용을 가진다. 모의실험 및 실제 자료의 분석을 통해 제안 방법의 성능 및 유용성을 확인하였다. Kernel ridge regression is a standard technique to estimate a nonparametric regression over a reproducing kernel Hilbert space and can be applied to a variety of statistical problems. Given the data set of size n, the computational and space complexity for typical kernel ridge regression implementations are O(n³) and O(n²), respectively, which makes its usage highly limited for large-scale data. To tackle this issue, several methods such as the divide-and-conquer kernel ridge regression and the random sketched kernel ridge regression have been developed. In this paper, we propose a novel method for kernel ridge regression by combining the divide-and-conquer and random sketching techniques used in kernel ridge regression for large-scale data. The proposed method enjoys much smaller computational and space complexity than those of the existing methods such as the divide-and-conquer kernel ridge regression and the random sketch kernel ridge regression. Simulation studies and real data analysis are presented to demonstrate the performance of the proposed method.

대용량 자료의 이항 분류에서의 충분 차원 축소를 위한 전향적 접근 방법

강종경(Jongkyeong Kang),박승환(Seunghwan Park),방성완(Sungwan Bang) 한국자료분석학회 2024 Journal of the Korean Data Analysis Society Vol.26 No.1

반응변수의 정보를 담고있는 설명변수의 저차원 부분공간인 차원축소공간을 찾는 충분 차원축소에 대한 연구는 주로 역방향 기반의 방법론에 근거하고 있다. 이러한 방법들은 구현이 용이한 장점이 있으나, 일반적으로 선형성 조건이나 상수 분산과 같은 제약 조건등을 필요로 한다. 이러한 한계를 극복하기 위해, 중심부분공간을 전향적으로 추정하는 기법들이 개발되었다. 특히, 재생성 커널 힐베르트 공간을 활용하는 방법들이 주목받았으나, 커널 공간의 특성으로 인해 대용량 자료의 분석에 직접적으로 활용하기에는 제한이 있다. 본 논문에서는 대용량 자료의 이항 분류에서의 충분 차원 축소를 위한 새로운 전향적 접근 방법에 관해 연구하였으며, 분할 정복기법을 활용하여 자료를 부분집합으로 나눈 다음 각 부분집합에서 독립적으로 차원 축소를 수행한 후 이를 종합하여 최종모델을 구축하는 방법을 제안하였다. 부분 자료의 분할 수가 적절히 선택되었을 때, 기존의 방법에 비해 예측 정확성에서 손실이 크지 않으면서도 저장공간 및 계산비용 측면에서 매우 효율적임을 입증하였다. 다양한 모형에서의 모의실험을 통해 다른 역방향기반의 방법들과 비교하여 예측 정확성 측면에서 뛰어남을 보였으며, 나아가 실제 자료의 분석을 통해 제안 방법의 유용성을 확인하였다. Sufficient dimension reduction, aimed at finding a lower-dimensional subspace in explanatory variables that contains response variable information, typically relies on inverse-based methodologies. These methods are easy to implement but often require linear or constant variance conditions. To address these limitations, techniques for forwardly estimating the central subspace have been developed. In particular, methods utilizing the Reproducing Kernel Hilbert Space have gained attention, but their use in analyzing large datasets is limited due to the characteristics of the kernel space. In this paper, we study a novel forward approach for sufficient dimension reduction in binomial classification of large-scale data. We propose a method that employs a divide-and-conquer technique to split data into subsets, then independently perform dimension reduction on each subset before synthesizing them into a final model. It was shown that when the number of partitions of data was appropriately selected, the loss in prediction accuracy was not significant compared to the existing method, while being efficient in terms of storage space and calculation cost. In addition, simulations in various models showed superior prediction accuracy than other inverse-based techniques. The utility of the proposed method was confirmed through the real data analysis.

국소 선형 복합 분위수 회귀에서의 평활계수 선택

전명식,강종경,방성완,Jhun, Myoungshic,Kang, Jongkyeong,Bang, Sungwan 한국통계학회 2017 응용통계연구 Vol.30 No.5

국소복합분위수 회귀모형을 활용한 비모수적 함수 추정방법이 높은 효율성과 더불어 활발히 연구되고 있다. 이러한 추정과정에 커널을 사용한 자료 평활방법이 대표적으로 사용되고 있으며, 그 성능은 커널보다는 평활계수의 선택 크게 의존한다. 한편, 회귀함수 추정방법의 성능을 평가하는 기준으로는 통상적으로 $L_2$-노름이 사용되어 평균제곱오차 또는 평균적분제곱오차를 최소화하는 평활계수의 선택에 대한 많은 연구가 진행되어 왔다. 본 논문에서는 국소선형 복합 분위수 회귀방법을 활용한 비모수 회귀모형 추정량의 성능을 결정하는 평활계수 선택의 최적성에 관해 연구하였다. 특히, 여러 장점을 가졌으나 수리적 어려움으로 연구가 미흡한 평균절대오차 및 평균적분절대오차를 최적의 기준으로 삼아 최적의 평활계수를 구하고 그 유일성에 관해 연구하였다. 나아가 기존의 평가기준인 평균제곱오차 및 평균적분제곱오차를 사용한 선택과의 관계를 파악하고 그 성능을 비교하였다. 이러한 과정에서 다양한 상황에서의 모의실험을 통해 제안한 방법의 특성을 규명하였다. Local composite quantile regression is a useful non-parametric regression method widely used for its high efficiency. Data smoothing methods using kernel are typically used in the estimation process with performances that rely largely on the smoothing parameter rather than the kernel. However, $L_2$-norm is generally used as criterion to estimate the performance of the regression function. In addition, many studies have been conducted on the selection of smoothing parameters that minimize mean square error (MSE) or mean integrated square error (MISE). In this paper, we explored the optimality of selecting smoothing parameters that determine the performance of non-parametric regression models using local linear composite quantile regression. As evaluation criteria for the choice of smoothing parameter, we used mean absolute error (MAE) and mean integrated absolute error (MIAE), which have not been researched extensively due to mathematical difficulties. We proved the uniqueness of the optimal smoothing parameter based on MAE and MIAE. Furthermore, we compared the optimal smoothing parameter based on the proposed criteria (MAE and MIAE) with existing criteria (MSE and MISE). In this process, the properties of the proposed method were investigated through simulation studies in various situations.