주성분회귀와 고유값회귀에 대한 감도분석의 성질에 대한 연구

신재경,장덕준,Shin, Jae-Kyoung,Chang, Duk-Joon 한국데이터정보과학회 2009 한국데이터정보과학회지 Vol.20 No.2

회귀분석에서 설명변수들 사이에 상관이 높으면 최소제곱추정법에서 구한 회귀계수들의 정도가 떨어진다. 다중공선성이라 불리는 이 현상은 실제 자료분석에서 심각한 문제를 야기시킨다. 이 다중공선성의 문제를 극복하기 위한 여러 가지 방법이 제안되었다. 능형회귀, 축소추정량 그리고 주성분분석에 기초한 주성분회귀와 고유값회귀등이 있다. 지난 수십 년간 많은 통계학자들은 일반적인 중 회귀에서 감도분석에 관해 연구하였으며, 주성분회귀, 고유값회귀와 로지스틱 주성분회귀에 대해서도 같은 주제로 연구하였다. 이 모든 방법에서 주성분분석은 중요한 역할을 하였다. 또한, 많은 통계학자들이 주성분분석과 관련된 다변량 방법에서 감도분석에 대해 연구를 하였다. 본 연구논문에서는 주성분회귀와 고유값회귀를 소개하고, 또한 주성분회귀와 고유값회귀에서 감도분석의 방법을 소개하고, 마지막으로 이들두방법에 대한 감도분석의 성질에 대해 논의하였다. In regression analysis, the ordinary least squares estimates of regression coefficients become poor, when the correlations among predictor variables are high. This phenomenon, which is called multicollinearity, causes serious problems in actual data analysis. To overcome this multicollinearity, many methods have been proposed. Ridge regression, shrinkage estimators and methods based on principal component analysis (PCA) such as principal component regression (PCR) and latent root regression (LRR). In the last decade, many statisticians discussed sensitivity analysis (SA) in ordinary multiple regression and same topic in PCR, LRR and logistic principal component regression (LPCR). In those methods PCA plays important role. Many statisticians discussed SA in PCA and related multivariate methods. We introduce the method of PCR and LRR. We also introduce the methods of SA in PCR and LRR, and discuss the properties of SA in PCR and LRR.

주성분분석을 이용한 기종점 데이터의 압축 및 주요 패턴 도출에 관한 연구

김정윤,탁세현,윤진원,여화수 한국ITS학회 2020 한국ITS학회논문지 Vol.19 No.4

기종점 데이터는 수요 분석 및 서비스 설계를 위해서 대중교통, 도로운영 등 다양한 분야에 서 저장 및 활용되고 있다. 최근 빅데이터의 활용성이 증대되면서 기종점 데이터의 분석 및 활용에 대한 수요도 함께 증가하고 있다. 기존의 일반적인 교통 정보 데이터가 수집장비 수(n) 에 비례하여 데이터양이 증가(a·n)하는 것과는 다르게, 기종점 데이터는 수집지점 수(n)의 증 가에 따라 수집 데이터의 양이 기하급수적으로 증가(a·n2)하는 경향이 있다. 이로 인하여 기종 점 데이터를 원시 데이터의 형태로 장기간 저장하고 빅데이터 분석에 활용하는 것은 대용량의 저장 공간이 필요하다는 것을 고려할 때 실용적 대안으로 여겨지지 않고 있다. 이와 함께 기종 점 데이터는 0~10 사이의 작은 수요 부분에 패턴화된 형태와 무작위 적인 형태의 데이터가 섞여있어 작은 수요가 그룹화되어 발생하는 주요 패턴을 추출하기에 어려움이 있다. 이러한 기종점 데이터의 저장용량의 한계와 패턴화 분석의 한계를 극복하고자 본 연구에서는 주성분 분석을 활용한 대중교통 기종점 데이터의 압축 및 분석 방법을 제안하였다. 본 연구에서는 서 울시와 세종시의 대중교통 이용 데이터를 활용하여 모빌리티 데이터를 분석하고, 모빌리티 기 종점 데이터에 포함된 무작위 성향이 높은 데이터를 제거하기 위해 주성분분석 기반의 데이터 압축 및 복원에 관한 연구를 수행하였다. 주성분분석으로 분해된 기종점 데이터와 원데이터를 비교하여 주요한 수요 패턴을 찾고 이를 통해 압축률과 복원율을 높일 수 있는 주성분 범위를 제안하였다. 본 연구에서 분석한 결과, 서울시 기준 1~80, 세종시 기준 1~60까지의 주성분을 사용할 경우 주요 이동 데이터의 손실 없이 기종점 데이터에 포함되어있는 노이즈를 제거하고 데이터를 압축 및 복원이 가능하였다. Origin-destination data have been collected and utilized for demand analysis and service design in various fields such as public transportation and traffic operation. As the utilization of big data becomes important, there are increasing needs to store raw origin-destination data for big data analysis. However, it is not practical to store and analyze the raw data for a long period of time since the size of the data increases by the power of the number of the collection points. To overcome this storage limitation and long-period pattern analysis, this study proposes a methodology for compression and origin-destination data analysis with the compressed data. The proposed methodology is applied to public transit data of Sejong and Seoul. We first measure the reconstruction error and the data size for each truncated matrix. Then, to determine a range of principal components for removing random data, we measure the level of the regularity based on covariance coefficients of the demand data reconstructed with each range of principal components. Based on the distribution of the covariance coefficients, we found the range of principal components that covers the regular demand. The ranges are determined as 1~60 and 1~80 for Sejong and Seoul respectively.

주성분분석을 이용한 토끼 망막 신경절세포의 활동전위 파형 분류

진계환,조현숙,이태수,구용숙 한국의학물리학회 2003 의학물리 Vol.14 No.4

주성분분석은 잘 알려진 데이터 분석 방법으로써 높은 차원의 데이터를 낮은 차원의 데이터로 표현하는데 효과적이어서 얼굴인식, 데이터 압축 등에 이용되고 있다. 주성분분석을 하게 되면 원 데이터의 공분산 행렬로부터 정규직교한 고유벡터와 해당하는 고유치를 얻게 되고 그 중 큰 값을 가지는 고유벡터 들을 선택하여 선형 변환함으로써 데이터의 차원을 줄일 수 있게 된다. 망막에 빛 자극이 인가되면 시세포 층에서 전기신호로 변환된 후 복잡한 신경회로를 거쳐 최종적으로 신경절세포 층에서 활동전위의 형태로 출력되게 된다. 본 연구에서는 다채널전극을 사용하여 여러 개 망막 신경절세포로부터 유래되는 활동전위를 기록한 후 개개의 신호를 구분하는 과정을 거치고, 이어서 그 신호를 만들어 내는 각 뉴론들끼리의 시간적, 공간적 흥분발사 패턴을 이해함으로써 궁극적으로 시각정보 인코딩 기전을 밝히려는 연구 목표하에 그 첫 단계로서 망막 신경절세포의 활동전위를 기록한 후 분류하는 과정을 성공적으로 수행하였기에 그 내용을 서술하고자 한다. 망막에서 기록되는 신경절세포 활동전위는 불규칙하고 확률적이기 때문에 주성분분석을 통하여 그 유형을 분류할 수 있었다. 토끼 눈으로부터 망막을 박리하여 망막조각을 얻은 후 신경절세포 층이 전극표면을 향하도록 전극에 부착하였다. 8${\times}$8의 microelectrode array (MEA)를 전극으로 사용하였고, 증폭기는 MEA 60 system을 사용하여 신경절세포 활동전위를 기록하였다. 활동전위 기록 후 파형 분류를 하였다. 잡음이 섞여있는 기록으로부터 신호를 검출하기 위하여, 잡음역치($\pm$3$\sigma$)를 설정하였다. 역치를 넘는 파형 만을 획득한 후 주성분분석을 통해 각 파형의 첫 번째 주성분, 두 번째 주성분을 계산하여 2차원 평면에 투사함으로써 몇 개의 의미있는 클러스터를 얻었다. 이 클러스터는 곧 각 신경절세포에서 유래되는 파형을 반영하므로 주성분분석을 통하여 망막 신경절세포의 활동전위를 각 세포별로 분류할 수 있음을 확인하였다. The Principal component analysis (PCA) is a well-known data analysis method that is useful in linear feature extraction and data compression. The PCA is a linear transformation that applies an orthogonal rotation to the original data, so as to maximize the retained variance. PCA is a classical technique for obtaining an optimal overall mapping of linearly dependent patterns of correlation between variables (e.g. neurons). PCA provides, in the mean-squared error sense, an optimal linear mapping of the signals which are spread across a group of variables. These signals are concentrated into the first few components, while the noise, i.e. variance which is uncorrelated across variables, is sequestered in the remaining components. PCA has been used extensively to resolve temporal patterns in neurophysiological recordings. Because the retinal signal is stochastic process, PCA can be used to identify the retinal spikes. With excised rabbit eye, retina was isolated. A piece of retina was attached with the ganglion cell side to the surface of the microelectrode array (MEA). The MEA consisted of glass plate with 60 substrate integrated and insulated golden connection lanes terminating in an 8${\times}$8 array (spacing 200 $\mu$m, electrode diameter 30 $\mu$m) in the center of the plate. The MEA 60 system was used for the recording of retinal ganglion cell activity. The action potentials of each channel were sorted by off­line analysis tool. Spikes were detected with a threshold criterion and sorted according to their principal component composition. The first (PC1) and second principal component values (PC2) were calculated using all the waveforms of the each channel and all n time points in the waveform, where several clusters could be separated clearly in two dimension. We verified that PCA-based waveform detection was effective as an initial approach for spike sorting method.

얼굴인식을 위한 방사형 기저함수 신경회로망 분류기 : 2차 원 전처리 알고리즘을 사용한 비교 연구

박상범,오성권 한국지능시스템학회 2019 한국지능시스템학회논문지 Vol.29 No.2

본 연구에서는 2차원 전처리 알고리즘 기반 방사형 기저함수 신경회로망(RBFNN) 분류기를 사용하여 얼굴인식을 한다. 제안된 방법의 얼굴 인식률은 실험을 통하여 평가한다. 사용된 2차원 전처리 알고리즘은 2차원 주성분 분석법, 2차원선형판별 분석법, 2차원 하이브리드 주성분 분석법이다. 2차원 하이브리드 주성분 분석법은 2차원 주성분 분석법과 2차원선형판별 분석법을 결합한 전처리 알고리즘이다. 본 논문에서 사용된 2차원 하이브리드 주성분 분석법은 2차원 주성분분석법에서 구한 고유벡터를 2차원 선형판별 분석법의 목적함수에 적용한다. 다양한 이미지 데이터를 사용하여 2차원전처리 알고리즘 기반 RBFNN 분류기의 분류성능을 평가한다. 2차원 하이브리드 주성분 분석법은 2차원 주성분 분석법과2차원 선형판별 분석법의 분류성능을 비교하는 관점에서 우수성을 보여준다 In this study, a radial basis function neural network(RBFNN) classifier based on two-dimensional preprocessing algorithm is used for recognition of the face images. The face recognition performance of the proposed method is evaluated through several experiments. Two-dimensional preprocessing techniques such as two-dimensional principal component analysis((2D)2PCA), two-dimensional linear discriminant analysis((2D)2LDA) and two-dimensional hybrid PCA((2D)2hybrid PCA) are used in the proposed method. The (2D)2hybrid PCA is a preprocessing algorithm combined with (2D)2PCA and (2D)2LDA. In the (2D)2hybrid PCA, eigenvectors obtained from (2D)2PCA are applied to objective function of the (2D)2LDA. The classification performance of the two-dimensional preprocessing technique-based RBFNN classifier is evaluated by using various image datasets. It is demonstrated that the (2D)2hybrid PCA is preferred to the (2D)2PCA and the (2D)2LDA from the viewpoint of the classification performance.

주성분회귀분석을 이용한 한국프로야구 순위

배재영,이진목,이제영,Bae, Jae-Young,Lee, Jin-Mok,Lee, Jea-Young 한국통계학회 2012 Communications for statistical applications and me Vol.19 No.3

야구경기에서 순위를 예측하는 것은 야구팬들에게 관심의 대상이 된다. 이러한 순위를 예측하기 위해서 2011년 한국프로야구 기록 자료를 바탕으로 산술평균방법, 가중평균방법, 주성분분석방법, 주성분회귀분석 방법을 제시한다. 표준화를 통한 산술평균, 상관계수를 이용한 가중평균과 주성분 분석을 이용해서 순위를 예측하고, 최종모형으로 주성분회귀분석 모형이 선택되었다. 주성분 분석으로 축약된 변수를 이용해서 회귀분석을 실시하여, 투수부분, 타자부분, 투수와 타자부분의 순위예측 모형을 제안한다. 예측된 회귀모형을 통해서 2012년도 순위 예측이 가능하다. In baseball rankings, prediction has been a subject of interest for baseball fans. To predict these rankings, (based on 2011 data from Korea Professional Baseball records) the arithmetic mean method, the weighted average method, principal component analysis, and principal component regression analysis is presented. By standardizing the arithmetic average, the correlation coefficient using the weighted average method, using principal components analysis to predict rankings, the final model was selected as a principal component regression model. By practicing regression analysis with a reduced variable by principal component analysis, we propose a rank predictability model of a pitcher part, a batter part and a pitcher batter part. We can estimate a 2011 rank of pro-baseball by a predicted regression model. By principal component regression analysis, the pitcher part, the other part, the pitcher and the batter part of the ranking prediction model is proposed. The regression model predicts the rankings for 2012.

주성분 분석을 이용한 빅데이터 분석

이승주(Seung-Joo Lee) 한국지능시스템학회 2015 한국지능시스템학회논문지 Vol.25 No.6

빅 데이터 환경에서 빅데이터를 분석하기 위한 새로운 방법의 필요성이 대두되고 있다. 데이터의 크기, 다양성, 그리고 적재 속도 등의 빅데이터 특성으로 인해 모집단의 추론에서 전체 데이터의 분석이 가능해졌기 때문이다. 그러나 전통적인 통계분석 방법은 모집단으로부터 추출된 확률표본에 초점이 맞추어져 있다. 따라서 기존의 통계적 접근방법은 빅데이터 분석에 적합하지 않은 경우가 발생한다. 이와 같은 문제점을 해결하기 위하여 본 논문에서는 빅데이터분석을 위한 새로운 접근방법에 대하여 제안하였다. 특히 대표적인 다변량 통계분석 기법인 주성분 분석을 이용하여 효율적인 빅데이터분석을 위한 방법론을 연구하였다. 제안방법의 성능평가를 위하여 통계적 모의실험을 실시하였다. In big data environment, we need new approach for big data analysis, because the characteristics of big data, such as volume, variety, and velocity, can analyze entire data for inferring population. But traditional methods of statistics were focused on small data called random sample extracted from population. So, the classical analyses based on statistics are not suitable to big data analysis. To solve this problem, we propose an approach to efficient big data analysis. In this paper, we consider a big data analysis using principal component analysis, which is popular method in multivariate statistics. To verify the performance of our research, we carry out diverse simulation studies.

공간자료 주성분분석

임예지,Lim, Yaeji 한국통계학회 2017 응용통계연구 Vol.30 No.3

주성분 분석은 통계학 뿐만 아니라 기상학에서 널리 사용되는 방법론이며, 고차원 자료에 대한 차원축소 역할 뿐만아니라 기상자료에서의 의미있는 패턴을 찾아내기 위해 사용되는 방법론이다. 또한 주성분분석에 기반을 둔 주성분 회귀분석 방법론은 기후예측이 가능하므로 미래 시점의 기후값 예측에 사용될 수 있다. 본 논문에서는 Wang과 Huang (2016) 논문에서 제안한 제한된 공간 주성분 분석을 기반으로 한 주성분 회귀분석 방법론을 개발하였다. 이를 시뮬레이션을 통하여 확인하였고, 실제 자료인 동아시아 지역 온도예측에 적용하여 기존의 주성분 회귀분석 예측 값에 비해 예측력이 높아짐을 확인하였다. Principal component analysis is a popular statistical method to reduce the dimension of the high dimensional climate data and to extract meaningful climate patterns. Based on the principal component analysis, we can further apply a regression approach for the linear prediction of future climate, termed as principal component regression (PCR). In this paper, we develop a new PCR method based on the regularized principal component analysis for spatial data proposed by Wang and Huang (2016) to account spatial feature of the climate data. We apply the proposed method to temperature prediction in the East Asia region and compare the result with conventional PCR results.

다차원 데이터의 군집분석을 위한 차원축소 방법: 주성분분석 및 요인분석 비교

홍준호 ( Jun-ho Hong ),오민지 ( Min-ji Oh ),조용빈 ( Yong-been Cho ),이경희 ( Kyung-hee Lee ),조완섭 ( Wan-sup Cho ) (사)한국빅데이터학회 2020 한국빅데이터학회 학회지 Vol.5 No.2

본 논문은 농식품 소비자패널 데이터에서 소비자의 유형을 나눌 때에 변수간 연관성이 많은 장바구니 분석에서 전처리 방법과 차원축소의 방법을 제안한다. 군집분석은 다변량 자료에서 관측 개체를 몇 개의 군집으로 나눌 때 널리 사용되는 분석기법이다. 하지만 여러 개의 변수가 연관성을 가진 경우에는 차원축소를 통한 군집분석이 더 효과적일 수 있다. 본 논문은 1,987 가구를 대상으로 조사한 식품소비 데이터를 K-means 방법을 사용하여 군집화하였으며, 군집을 나누기 위해 17개의 변수를 선정하였고, 17개의 다중공선성 문제와 군집을 나누기 위한 차원축소의 방법 중 주성분 분석과 요인분석을 비교하였다. 본 연구에서는 주성분분석과 요인분석 모두 2개의 차원으로 축소하였으며 주성분분석에서는 3개의 군집으로 나뉘었지만 분석하고자 하였던 소비 패턴에 대한 군집의 특성이 잘 나타나지 않았으며 요인분석에서는 분석가가 보고자 하는 소비 패턴의 특징이 잘 나타났다. This paper proposes a pre-processing method and a dimensional reduction method in the analysis of shopping carts where there are many correlations between variables when dividing the types of consumers in the agri-food consumer panel data. Cluster analysis is a widely used method for dividing observational objects into several clusters in multivariate data. However, cluster analysis through dimensional reduction may be more effective when several variables are related. In this paper, the food consumption data surveyed of 1,987 households was clustered using the K-means method, and 17 variables were re-selected to divide it into the clusters. Principal component analysis and factor analysis were compared as the solution for multicollinearity problems and as the way to reduce dimensions for clustering. In this study, both principal component analysis and factor analysis reduced the dataset into two dimensions. Although the principal component analysis divided the dataset into three clusters, it did not seem that the difference among the characteristics of the cluster appeared well. However, the characteristics of the clusters in the consumption pattern were well distinguished under the factor analysis method.

주성분분석과 공통요인분석에 대한 비교연구: 요인구조 복원 관점에서

정선호,서상윤,Jung, Sunho,Seo, Sangyun 한국통계학회 2013 응용통계연구 Vol.26 No.6

Common factor analysis and principal component analysis represent two technically distinctive approaches to exploratory factor analysis. Much of the psychometric literature recommends the use of common factor analysis instead of principal component analysis. Nonetheless, factor analysts use principal component analysis more frequently because they believe that principal component analysis could yield (relatively) less accurate estimates of factor loadings compared to common factor analysis but most often produce similar pattern of factor loadings, leading to essentially the same factor interpretations. A simulation study is conducted to evaluate the relative performance of these two approaches in terms of factor pattern recovery under different experimental conditions of sample size, overdetermination, and communality.The results show that principal component analysis performs better in factor recovery with small sample sizes (below 200). It was further shown that this tendency is more prominent when there are a small number of variables per factor. The present results are of practical use for factor analysts in the field of marketing and the social sciences. 본 연구에서는 시뮬레이션 방법을 사용해서 다양한 조건에서 주성분분석이 얼마나 잘 요인 구조를 복원할 수 있는지를 공통요인분석과 비교하여 체계적으로 평가하였다. 이 연구에서 요인 대 변수 비율, 공통성, 그리고 표본크기를 실험변수로 설정하였다. 주성분분석은 표본의 크기가 200개 이하인 경우 공통적으로 공통요인분석에 비해 더 우수한 요인구조의 복원력을 보여주었다. 특히, 요인 당 변수 수가 적은 경우, 주성분분석은 50개의 표본에서도 만족할 만한 수준의 요인복원능력을 보여주었다. 이와 더불어 공통성 수준 또한 낮은 경우 필요한 표본수는 100개로 늘어난다. 본 연구결과는 요인추출방법으로서 주성분분석의 선택의 근거를 제시하고 타당한 사용에 관한 가이드라인을 제시해 준다.

공간 주성분을 이용한 오존데이터 탐색

문승호 한국자료분석학회 2009 Journal of the Korean Data Analysis Society Vol.11 No.1

Among the methods of exploratory analysis on spatial data, principal component analysis can be considered for dimension reduction, in general. Generally, univariate spatial data consist of three variables, that is, two location variables and main interest variable. So in this case, if we simply consider the principal component analysis using variance- covariance matrix from these variables, we can not get some correct results, such as inherent spatial characteristic or spatial correlation information of spatial data. In this study, we derive spatial correlation from spatial data and propose spatial principal component analysis using the spatial correlation as an alternative method. As an application of spatial principal component analysis, we analyze the Korean ozon data. 일반적으로 공간데이터에 대한 탐색적 분석 중 차원축소를 통한 시각적 탐색을 목적으로 하는 경우 주성분분석을 고려할 수 있다. 이러한 경우 주어진 데이터를 위치좌표 변수와 관심 주변수를 포함한 다변량 데이터로 간주하고 일반 주성분분석을 적용할 수 있으나, 이는 그 공간데이터에 내재하고 있는 공간적 특징이나 공간상관의 정보를 제대로 활용하지 못할 분석이 될 수 있다. 이에 대한 대안으로 본 연구에서는 공간상관을 고려한 공간 주성분분석을 제안, 이에 대한 활용 가능성을 한국의 오존데이터에 적용하여 살펴보았다. 사례분석 결과 공간 주성분분석은 공간상관이 존재하는 경우, 일반 주성분분석과는 달리 공간데이터의 군집성과 이에 따른 공간상관이 존재함을 시각적으로도 확인할 수 있었다.