차원축소를 통한 결측자료의 군집분석

송주원(Juwon Song) 한국자료분석학회 2020 Journal of the Korean Data Analysis Society Vol.22 No.2

군집분석은 유사한 특성들을 지닌 관측값들을 같은 군집으로, 다른 특성들을 지닌 관측값들은 서로 다른 군집으로 분류하는 분석 기법이다. 많은 변수를 포함한 고차원 자료에서는 일반적인 군집분석 대신 차원축소를 통하여 군집분석을 실시하는 방법들이 제안되어 왔다. 주성분 분석을 통해 차원을 축소한 후 축소된 차원에서 군집분석을 실시하는 직렬분석 방법보다 차원축소와 군집분석을 결합하여 동시에 실시하는 방법들이 더 우수한 성능을 보인다는 것이 알려져 있다. 한편, 대부분의 자료는 결측값을 포함하고 있는데 결측값이 포함된 자료에 대하여 군집분석을 실시하는 경우 불완전하게 관측된 자료들은 어느 군집으로도 분류되지 않는 문제가 발생한다. 따라서 군집분석을 실시하기 전에 먼저 결측값 대체를 실시하는 것이 일반적이다. 본 연구에서는 고차원 결측자료에 대하여 차원축소를 통한 k-평균 군집분석을 실시할 때 결측값 대체를 결합하여 실시하는 방법을 제안한다. 이 방법은 군집 정보를 이용한 결측값 대체를 통해 정확한 차원축소를 통한 군집분석이 가능하게 하는 장점을 지닌다. 제안된 방법은 모의실험을 통해 성능을 평가하였고 결측값을 대체한 후 대체된 자료에 대하여 차원축소를 통한 군집분석을 실시하는 직렬식 분석방법과 비교하였다. 제안된 방법은 적절한 차원축소를 통한 k-평균 군집분석을 실시한다면 직렬식 분석보다 오분류율이 낮게 나타났다. Cluster analysis classify similar observations into the same cluster and different observations into different clusters. When data include many variables, reduced dimension clustering methods have been suggested instead of the standard clustering methods. The joint analysis of dimension reduction and clustering is known to perform better than tandem analysis that sequentially conducts dimension reduction and clustering. On the other hand, most data include missing values. When cluster analysis is conducted with incomplete data, incomplete observations can not be classified into any group. To avoid this problem, it is common to impute missing values before conducting cluster analysis. In this study, we suggest a method for combining dimension reduction k-means clustering and missing data imputation. The suggested method has an advantage to accurate classify observations through imputation using cluster information. A simulation is conducted to evaluate performance of the suggested method and compare the result with the one based on tandem analysis. The suggested method using an appropriate dimension reduction k-means clustering showed lower misclassification rates than tandem analysis.

차원축소 방법을 이용한 평균처리효과 추정에 대한 개요

김미정 한국통계학회 2023 응용통계연구 Vol.36 No.4

In causal analysis of high dimensional data, it is important to reduce the dimension of covariates and transform them appropriately to control confounders that affect treatment and potential outcomes. The augmented inverse probability weighting (AIPW) method is mainly used for estimation of average treatment effect (ATE). AIPW estimator can be obtained by using estimated propensity score and outcome model. ATE estimator can be inconsistent or have large asymptotic variance when using estimated propensity score and outcome model obtained by parametric methods that includes all covariates, especially for high dimensional data. For this reason, an ATE estimation using an appropriate dimension reduction method and semiparametric model for high dimensional data is attracting attention. Semiparametric method or sparse sufficient dimensionality reduction method can be uesd for dimension reduction for the estimation of propensity score and outcome model. Recently, another method has been proposed that does not use propensity score and outcome regression. After reducing dimension of covariates, ATE estimation can be performed using matching. Among the studies on ATE estimation methods for high dimensional data, four recently proposed studies will be introduced, and how to interpret the estimated ATE will be discussed. 고차원 데이터의 인과 추론에서 고차원 공변량의 차원을 축소하고 적절히 변형하여 처리와 잠재 결과에 영향을 줄 수 있는 교란을 통제하는 것은 중요한 문제이다. 평균 처리 효과(average treatment effect; ATE) 추정에 있어서, 성향점수와 결과 모형 추정을 이용한 확장된 역확률 가중치 방법이 주로 사용된다. 고차원 데이터의 분석시 모든 공변량을 포함한 모수 모형을 이용하여 성향 점수와 결과 모형 추정을 할 경우, ATE 추정량이 일치성을 갖지 않거나 추정량의 분산이 큰 값을 가질 수 있다. 이런 이유로 고차원 데이터에 대한 적절한 차원 축소 방법과 준모수 모형을 이용한 ATE 방법이 주목 받고 있다. 이와 관련된 연구로는 차원 축소 부분에 준모수 모형과 희소 충분 차원 축소 방법을 활용한 연구가 있다. 최근에는 성향점수와 결과 모형을 추정하지 않고, 차원 축소 후 매칭을 활용한 ATE 추정 방법도 제시되었다. 고차원 데이터의 ATE 추정 방법 연구 중 최근에 제시된 네 가지 연구에 대해 소개하고, 추정치 해석시 유의할 점에 대하여 논하기로 한다.

확률적 reduced $K$-means 군집분석

이승훈,송주원 한국통계학회 2021 응용통계연구 Vol.34 No.6

라벨 없이 진행되는 비지도 학습 중 하나인 군집분석은 자료에 어떤 그룹이 내포되어 있는지 사전 지식이 없을 경우에 군집을 발굴하고, 군집 간의 특성 차이와 군집 안에서의 유사성을 분석하고자 할 때 유용한 방법이다. 기본적인 군집분석 중 하나인 $K$-means 방법은 변수의 개수가 많아질 때 잘 동작하지 않을 수 있으며, 군집에 대한 해석도 쉽지 않은 문제가 있다. 따라서 고차원 자료의 경우 주성분 분석과 같은 차원 축소 방법을 사용하여 변수의 개수를 줄인 후에 $K$-means 군집분석을 행하는 Tandem 군집분석이 제안되었다. 하지만 차원 축소 방법을 이용해서 찾아낸 축소 차원이 반드시 군집에 대한 구조를 잘 반영할 것이라는 보장은 없다. 특히 군집의 구조와는 상관없는 변수들의 분산 또는 공분산이 클 때, 주성분 분석을 통한 차원 축소는 오히려 군집의 구조를 가릴 수 있다. 이에 따라 군집분석과 차원 축소를 동시에 진행하는 방법들이 제안되어 왔다. 그 중에서도 본 연구에서는 De Soete와 Carroll (1994)이 제안한 방법론을 확률적인 모형으로 바꿔 군집분석을 진행하는 확률적 reduced $K$-means를 제안한다. 모의실험 결과 차원 축소를 배제한 군집분석과 Tandem 군집분석보다 더 좋은 군집을 형성함을 알 수 있었고 군집 당 표본 크기에 비해 변수의 개수가 많은 자료에서 기존의 비 확률적 reduced $K$-means 군집분석에 비해 우수한 성능을 확인했다. 보스턴 자료에서는 다른 군집분석 방법론보다 명확한 군집이 형성됨을 확인했다. Cluster analysis is one of unsupervised learning techniques used for discovering clusters when there is no prior knowledge of group membership. $K$-means, one of the commonly used cluster analysis techniques, may fail when the number of variables becomes large. In such high-dimensional cases, it is common to perform tandem analysis, $K$-means cluster analysis after reducing the number of variables using dimension reduction methods. However, there is no guarantee that the reduced dimension reveals the cluster structure properly. Principal component analysis may mask the structure of clusters, especially when there are large variances for variables that are not related to cluster structure. To overcome this, techniques that perform dimension reduction and cluster analysis simultaneously have been suggested. This study proposes probabilistic reduced $K$-means, the transition of reduced $K$-means (De Soete and Caroll, 1994) into a probabilistic framework. Simulation shows that the proposed method performs better than tandem clustering or clustering without any dimension reduction. When the number of the variables is larger than the number of samples in each cluster, probabilistic reduced $K$-means show better formation of clusters than non-probabilistic reduced $K$-means. In the application to a real data set, it revealed similar or better cluster structure compared to other methods.

초분광영상의 표적탐지를 위한 SPVD 차원 축소 및 SPVD 질의 필터 알고리즘

유재환(Jae-Hwan Yu),김덕환(Deok-Hwan Kim) 한국정보과학회 2012 정보과학회논문지 : 데이타베이스 Vol.39 No.6

초분광영상은 적외선 영역부터 자외선 파장 대역까지 수십에서 수백 개의 정보를 가지고 있는 고차원 데이터이다. 최근 분광데이터를 이용한 색인에서 발생하는 문제를 해결하기 위해 적분정합 필터가 제안되었다. 하지만 질의 필터 과정에서 순차검색보다 느려지는 문제가 존재하고, 기존의 PCA, ICA 등의 차원축소 알고리즘을 적용했을 때 분광특성을 정확히 반영하지 못할 수 있다. 본 논문에서는 이러한 문제들을 해결하기 위하여 분광데이터 특성에 따라 차원축소를 하는 SPVD(Spectral pair vector decomposition) 차원축소 알고리즘과 SPVD 질의 필터를 제안한다. 제안하는 알고리즘은 차원축소 과정에서 밴드의 특성을 이용하기 때문에 전처리가 필요 없고, 질의 시간이 줄어든다. 물질 분류 실험 결과 8차원에서 86%의 정확도를 보였고, 표적탐지 실험에서는 k-최근접 질의의 k가 25일 때 8.25초의 검색시간과 나지토양은 77%, 아스팔트는 85.6%의 정탐지율로 기존방법 보다 좋은 성능을 보인다. Hyperspectral Images are high-dimensional data that have dozens or hundreds information ranging between infrared lay and ultraviolet lay wavelength bands. Recently, integrated spectral matching filter is suggested to solve the problem in indexing using spectral data. But its query filter processing time is slower than that of sequential scan and traditional dimensionality reduction algorithm such as PCA, ICA, etc may not exactly reflect spectral characteristics. In this paper, we propose SPVD dimensionality reduction algorithm and SPVD query filter that reduces dimension according to characteristics of spectral data. The proposed algorithm reduces dimension using feature of bands so that it does not take preprocess and query processing time is decreased. The experimental results show better performance than existing methods in that its material classification accuracy is 86% in 8-dimension, its search time takes 8.25 second, its detection ratios are 77% for bare soil and 83% for asphalt, respectively when k is 25 for k-NN query.

대용량 자료의 이항 분류에서의 충분 차원 축소를 위한 전향적 접근 방법

강종경(Jongkyeong Kang),박승환(Seunghwan Park),방성완(Sungwan Bang) 한국자료분석학회 2024 Journal of the Korean Data Analysis Society Vol.26 No.1

반응변수의 정보를 담고있는 설명변수의 저차원 부분공간인 차원축소공간을 찾는 충분 차원축소에 대한 연구는 주로 역방향 기반의 방법론에 근거하고 있다. 이러한 방법들은 구현이 용이한 장점이 있으나, 일반적으로 선형성 조건이나 상수 분산과 같은 제약 조건등을 필요로 한다. 이러한 한계를 극복하기 위해, 중심부분공간을 전향적으로 추정하는 기법들이 개발되었다. 특히, 재생성 커널 힐베르트 공간을 활용하는 방법들이 주목받았으나, 커널 공간의 특성으로 인해 대용량 자료의 분석에 직접적으로 활용하기에는 제한이 있다. 본 논문에서는 대용량 자료의 이항 분류에서의 충분 차원 축소를 위한 새로운 전향적 접근 방법에 관해 연구하였으며, 분할 정복기법을 활용하여 자료를 부분집합으로 나눈 다음 각 부분집합에서 독립적으로 차원 축소를 수행한 후 이를 종합하여 최종모델을 구축하는 방법을 제안하였다. 부분 자료의 분할 수가 적절히 선택되었을 때, 기존의 방법에 비해 예측 정확성에서 손실이 크지 않으면서도 저장공간 및 계산비용 측면에서 매우 효율적임을 입증하였다. 다양한 모형에서의 모의실험을 통해 다른 역방향기반의 방법들과 비교하여 예측 정확성 측면에서 뛰어남을 보였으며, 나아가 실제 자료의 분석을 통해 제안 방법의 유용성을 확인하였다. Sufficient dimension reduction, aimed at finding a lower-dimensional subspace in explanatory variables that contains response variable information, typically relies on inverse-based methodologies. These methods are easy to implement but often require linear or constant variance conditions. To address these limitations, techniques for forwardly estimating the central subspace have been developed. In particular, methods utilizing the Reproducing Kernel Hilbert Space have gained attention, but their use in analyzing large datasets is limited due to the characteristics of the kernel space. In this paper, we study a novel forward approach for sufficient dimension reduction in binomial classification of large-scale data. We propose a method that employs a divide-and-conquer technique to split data into subsets, then independently perform dimension reduction on each subset before synthesizing them into a final model. It was shown that when the number of partitions of data was appropriately selected, the loss in prediction accuracy was not significant compared to the existing method, while being efficient in terms of storage space and calculation cost. In addition, simulations in various models showed superior prediction accuracy than other inverse-based techniques. The utility of the proposed method was confirmed through the real data analysis.

VABS를 이용한 높은 세장비를 가진 복합재료 보 구조의 차원축소 및 응력복원 해석기법에 대한 연구

안상호 한국전산구조공학회 2016 한국전산구조공학회논문집 Vol.29 No.5

본 논문에서는 풍력 블레이드와 같이 세장비가 크고 초기 비틀림이 존재하는 복합재료로 구성된 블레이드에 대한 이차원 단면의 차원축소와 복원관계를 이론적으로 기술하였다. 그리고 VABS 이용한 보의 차원축소모델에 대한 유효성을 검증하기 위해 선행연구 모델을 활용하여 기존 연구결과를 수치적으로 비교하였다. 실물과 가장 가까운 날개 구조물 2차원 형상에 단 면해석을 적용하여 정밀한 단면의 이산화를 수행하고 VABS를 이용하여 블레이드의 특성(질량행렬, 강성행렬)을 포함한 1 차원 보 모델링을 수행하였다. 1차원 보 모델을 통해 세장비가 큰 날개 구조물의 거동을 확인하고 내부하중을 계산하여 단 면위치에서 변형률 복원을 수치적으로 계산하고 이산화된 단면에 수치적으로 매핑하여 시각적으로 확인하고 여유마진을 계 산하였다. This paper presented the theory related to a two dimensional linear cross-sectional analysis, recovery relationship and a one-dimensional nonlinear beam analysis for composite beam with initial twist and high aspect ratio. Using VABS including related theory, preceding research data of the composite wing structure has been modeled and compared. Cross-sectional analysis was performed and 1-D beam was modeled at cutting point including all the details of real geometry and material. The 3-D strain distribution and margin of safety at recovery point was calculated based on the global behavior of the 1-D beam analysis and visualize numerical results.

고차원 데이터에서 무감독 이상치 탐지를 위한 차원 축소 방법

박정희 한국정보과학회 2022 정보과학회논문지 Vol.49 No.7

Among various outlier detection methods, Isolation Forest is known to be very effective in detecting outliers. But it is difficult to apply to high dimensional data due to the sparseness of the data and the limitation of the total number of attributes that can be selected for node partitioning. In this paper, we propose a dimension reduction method for unsupervised outlier detection in high dimensional data. Dimension reduction is performed by linear transformation maximizing kurtosis, and in the transformed space, outlier detection by Isolation Forest is applied. Kurtosis is a statistical measure that can be interpreted as the degree of the presence of outliers in the distribution. A linear transformation is found by using a simple one-layer neural network where a subset of features having the highest kurtosis is used as input features and an objective function, which maximizes kurtosis in output nodes, is set. The experimental results using text data demonstrated the high detection performance of Isolation Forest modeled in the space transformed by the proposed dimension reduction method 많은 이상치 탐지 방법들 중에서 트리 기반 방법인 Isolation Forest는 이상치 탐지 성능이 높은 것으로 알려져 있으나, 텍스트 데이터와 같은 고차원 데이터에서는 데이터의 희소성과 노드 분할을 위해 선택할 수 있는 총 속성 수의 제한으로 인해 적용하는데 한계를 가진다. 본 논문에서는 고차원 데이터에서 이상치 탐지를 위한 차원 축소 방법을 제안한다. 첨도를 최대화하는 선형 변환에 의한 차원 축소를 수행하고, 변환된 공간에서 Isolation Forest에 의한 이상치 탐지 모델을 적용한다. 일변량 확률 분포에서 이상치가 존재할 가능성을 나타내는 값으로 해석할 수 있는 첨도가 높은 특징들의 부분집합을 입력 특징으로 사용하고 출력 노드에서 첨도를 최대화하는 목적 함수를 사용하는 단층 신경망을 이용하여 선형변환을 구하는 방법을 사용하였다. 텍스트 데이터를 이용한 실험결과, 제안된 차원 축소 방법으로 변환한 공간에서 모델링한 Isolation Forest가 더 높은 탐지 성능을 보여주었다.

차원축소모델을 활용한 시간에 따른 착빙 형상 예측 연구

강유업(Yu-Eop Kang),이관중(Kwanjung Yee) 한국항공우주학회 2022 韓國航空宇宙學會誌 Vol.50 No.3

항공기 및 철도차량 운용 중 발생하는 착빙 및 착설 현상은 공력 성능 감소와 주요 부품의 파손을 야기하기 때문에 시간에 따른 얼음 증식을 예측하는 것이 운용 안전 측면에서 매우 중요하다. 결빙수치해석은 실험적 방법에 비해 경제적으로 저렴하고 상사성 문제로부터 자유롭다는 점에서 결빙 형상을 예측하기 위한 수단으로 널리 사용되고 있다. 그러나 결빙수치해석은 착빙노출시간을 multi-step으로 나누어 매 단계별로 정상상태를 가정하는 준정상상태(quasi-steady) 가정을 이용한다. 이러한 방법은 효율적인 해석이 가능하지만 연속적인 결빙 형상을 얻지 못한다는 단점을 가지고 있다. 본 연구에서는 차원축소기법을 활용하여 결빙 형상 데이터를 보간함으로써 시간에 따른 결빙 형상을 연속적으로 예측할 수 있는 모델을 만드는 것을 목적으로 한다. 서로 다른 100개의 결빙 조건에서 형성된 결빙 데이터에 대하여 차원축소모델을 적용하였으며, 학습 데이터의 수와 결빙 조건이 차원축소모델의 예측 오차에 미치는 영향을 분석하였다. The accumulated ice and snow during the operation of aircraft and railway vehicles can degrade aerodynamic performance or damage the major components of vehicles. Therefore, it is crucial to predict the temporal growth of ice for operational safety. Numerical simulation of ice is widely used owing to the fact that it is economically cheaper and free from similarity problems compared to experimental methods. However, numerical simulation of ice generally divides the analysis into multi-step and assumes the quasi-steady assumption that considers every time step as steady state. Although this method enables efficient analysis, it has a disadvantage in that it cannot track continuous ice evolution. The purpose of this study is to construct a surrogate model that can predict the temporal evolution of ice shape using reduced-order modeling. Reduced-order modeling technique was validated for various ice shape generated under 100 different icing conditions, and the effect of the number of training data and the icing conditions on the prediction error of model was analyzed.

다차원 데이터의 군집분석을 위한 차원축소 방법: 주성분분석 및 요인분석 비교

홍준호 ( Jun-ho Hong ),오민지 ( Min-ji Oh ),조용빈 ( Yong-been Cho ),이경희 ( Kyung-hee Lee ),조완섭 ( Wan-sup Cho ) (사)한국빅데이터학회 2020 한국빅데이터학회 학회지 Vol.5 No.2

본 논문은 농식품 소비자패널 데이터에서 소비자의 유형을 나눌 때에 변수간 연관성이 많은 장바구니 분석에서 전처리 방법과 차원축소의 방법을 제안한다. 군집분석은 다변량 자료에서 관측 개체를 몇 개의 군집으로 나눌 때 널리 사용되는 분석기법이다. 하지만 여러 개의 변수가 연관성을 가진 경우에는 차원축소를 통한 군집분석이 더 효과적일 수 있다. 본 논문은 1,987 가구를 대상으로 조사한 식품소비 데이터를 K-means 방법을 사용하여 군집화하였으며, 군집을 나누기 위해 17개의 변수를 선정하였고, 17개의 다중공선성 문제와 군집을 나누기 위한 차원축소의 방법 중 주성분 분석과 요인분석을 비교하였다. 본 연구에서는 주성분분석과 요인분석 모두 2개의 차원으로 축소하였으며 주성분분석에서는 3개의 군집으로 나뉘었지만 분석하고자 하였던 소비 패턴에 대한 군집의 특성이 잘 나타나지 않았으며 요인분석에서는 분석가가 보고자 하는 소비 패턴의 특징이 잘 나타났다. This paper proposes a pre-processing method and a dimensional reduction method in the analysis of shopping carts where there are many correlations between variables when dividing the types of consumers in the agri-food consumer panel data. Cluster analysis is a widely used method for dividing observational objects into several clusters in multivariate data. However, cluster analysis through dimensional reduction may be more effective when several variables are related. In this paper, the food consumption data surveyed of 1,987 households was clustered using the K-means method, and 17 variables were re-selected to divide it into the clusters. Principal component analysis and factor analysis were compared as the solution for multicollinearity problems and as the way to reduce dimensions for clustering. In this study, both principal component analysis and factor analysis reduced the dataset into two dimensions. Although the principal component analysis divided the dataset into three clusters, it did not seem that the difference among the characteristics of the cluster appeared well. However, the characteristics of the clusters in the consumption pattern were well distinguished under the factor analysis method.

단면의 차원축소/복원해석과 에너지 해방률 계산을 위한 복합재블레이드 해석 라이브러리 개발에 대한 연구

장준환 ( Jun Hwan Jang ),안상호 ( Sang Ho Ahn ) 한국복합재료학회 2016 Composites research Vol.29 No.1

본 논문에서는 블레이드 해석 라이브러리를 통해 단면해석 및 응력복원 해석 결과를 VABS와 3차원 유한요소해석모델의 결과와 비교하였다. 그리고 유한요소모델과 차원축소 모델을 가상균열 닫힘법을 이용하여 에너지 해방률을 계산하였다. 블레이드 해석 라이브러리의 구성, 입력 및 출력 형태, 차원 축소와 복원 과정을 살펴보고 이를 이용한 활용 분야를 기술하였다. 블레이드 해석 라이브러리는 박 벽 단면의 강성 행렬 비교, 3차원 유한요소 모델과 차원 축소 모델의 응력비교 그리고 에너지 해방률 계산 수치 비교연구를 통하여 검증하였다. 차원 축소와 복원해석을 통하여 블레이드 해석 라이브러리는 복합재료 블레이드의 전후처리 프로그램와 연계되어 고고도 무인기, 로터 블레이드, 풍력 블레이드 및 틸트로터 블레이드의 모델링에 활용될 수 있을 것이다. In this paper, numerical results of sectional analysis, stress recovery and energy release rate were compared with the results of VABS, 3-D FEM through the blade analysis library. The result of stress recovery analysis for one-dimensional model including the stiffness matrix is compared with stress results of three-dimensional FEM. We discuss the configuration of the blade analysis library and compare verifications of numerical analysis results of VABS. Blade analysis library through dimensional reduction and stress recovery is intended to be utilized in conjunction with pre- and post-processing of the analysis program of the composite blade, high-altitude uav’s wing, wind blades and tilt rotor blade.