Demension reduction for high-dimensional data via mixtures of common factor analyzers - an application to tumor classification

백장선 한국데이터정보과학회 2008 한국데이터정보과학회지 Vol.19 No.3

Mixtures of factor analyzers (MFA) is useful to model the distribution of high-dimensional data on much lower dimensional space where the number of observations is very large relative to their dimension . Mixtures of common factor analyzers (MCFA) can reduce further the number of parameters in the specification of the component covariance matrices as the number of classes is not small. Moreover, the factor scores of MCFA can be displayed in low-dimensional space to distinguish the groups. We propose the factor scores of MCFA as new low-dimensional features for classification of high-dimensional data. Compared with the conventional dimension reduction methods such as principal component analysis (PCA) and canonical covariates (CV), the proposed factor score was shown to have higher correct classification rates for three real data sets when it was used in parametric and nonparametric classifiers.

K-평균 군집방법을 이요한 가중커널분류기

백장선,심정욱 한국통계학회 2000 응용통계연구 Vol.13 No.2

본 논문에서는 커널분류기에 요구되는 다량의 계산량과 자료저장공간을 감소시키도록 고안된 최적군집방법을 적용한 K-평균 가중커널분류기법이 제안되었다. 이 방법은 원래의 훈련표본보다 작은 수의 참고벡터들과 그들의 가중값을 들을 찾아 원래 커널분류 기준을 근사화하여 패턴을 인식하는 것이다. K-평균 가중커널분류기법은 가중파젠윈도우(WPW)분류기법을 개량한 것으로서 참고벡터들을 계산하기 위한 초기 부적절하게 군집된 관측값들을 최적으로 재군집화 함으로써 WPW기법의 단범을 극복하였다. 실제자료들에 제안된 방법을 적용한 결과 WPW분류기법보다 참고벡터들의 대표성과 자료축소면에서 월등히 향상된 결과를 확인하였다 We propose a weighted kernel pattern recognition method using the K -means clustering algorithm to reduce computation and storage required for the full kernel classifier. This technique finds a set of reference vectors and weights which are used to approximate the kernel classifier. Since the hierarchical clustering method implemented in the 'Weighted Parzen Window (WP\V) classifier is not able to rearrange the proper clusters, we adopt the K -means algorithm to find reference vectors and weights from the more properly rearranged clusters \Ve find that the proposed method outperforms the \VP\V method for the repre~entativeness of the reference vectors and the data reduction.

직교요인을 이용한 국소선형 로지스틱 마이크로어레이 자료의 판별분석

백장선,손영숙,Baek, Jang-Sun,Son, Young-Sook 한국통계학회 2006 응용통계연구 Vol.19 No.3

본 논문에서는 마이크로어레이 (microarray) 자료에 판별분석을 적용 시 나타나는 고차원 및 소표본 문제의 해결방법으로서 직교요인을 새로운 특징변수로 사용한 비모수적 국소선형 로지스틱 판별분석을 제안한다. 제안된 방법은 국소우도에 기반한 것으로서 다범주 판별분석에 적용될 수 있으며, 고려된 직교인자는 주성분 요인, 부분최소제곱 요인, 인자분석 요인 등이다. 대표적인 두 가지 실제 마이크로어레이 자료에 적용한 결과 직교요인들 중에서 부분최소제곱 요인을 특징변수로 사용한 경우 고전적인 통계적 판별분석보다 향상된 분류 능력을 나타내고 있음을 확인하였다. The number of variables exceeds the number of samples in microarray data. We propose a nonparametric local linear logistic classification procedure using orthogonal components for classifying high-dimensional microarray data. The proposed method is based on the local likelihood and can be applied to multi-class classification. We applied the local linear logistic classification method using PCA, PLS, and factor analysis components as new features to Leukemia data and colon data, and compare the performance of the proposed method with the conventional statistical classification procedures. The proposed method outperforms the conventional ones for each component, and PLS has shown best performance when it is embedded in the proposed method among the three orthogonal components.

커널 판별분석의 오분류확률에 대한 붓스트랩 조정

백장선 한국통계학회 1995 Communications for statistical applications and me Vol.2 No.2

본 논문에서는 확률분포가 알려져 있지 않은 두 모집단 중 어느 하나로 새로운 관측치를 분류할 때 오분류확률이 분석자에 의해 사전에 정해진 수준에 부합할 수 있도록 커널 판별함수의 임계치를 결정하였다. 정해진 오분류확률을 만족시키기 위한 판별함수의 임계치는 붓스트랩(bootstrap)기법을 판별 함수에 적용시켜 계산된다. 본 논문에서 제시도된 방법은 모집단에 대한 모수적 가정이 없으므로 어느 분포에도 적용가능하며, 모집단이 정규분포, 대수정규분포, 이산형과 연속형 변수가 혼합된 분포의 경우 모의실험을 통하여 그 성능에 대한 검증을 하였다.

희귀모형의 선형성에 대한 커널붓스트랩검정

백장선,김민수,Baek, Jang-Sun,Kim, Min-Soo 한국데이터정보과학회 1998 한국데이터정보과학회지 Vol.9 No.2

Azzalini and Bowman proposed the pseudo-likelihood ratio test for checking the linear relationship using kernel regression estimator when the error of the regression model follows the normal distribution. We modify their method with the bootstrap technique to construct a new test, and examine the power of our test through simulation. Our method can be applied to the case where the distribution of the error is not normal.

A Generalized Likelihood Ratio Test in Outlier Detection

Jang Sun Baek(백장선) 한국통계학회 1994 응용통계연구 Vol.7 No.2

본 연구에서는 핵확산 감시와 관련된 이상점 탐지를 위한 일반화 우도비 검정 방법이 개발되었다. 고전적인 이상점 탐지방법들이 연속형 변수만을 고려한 반면, 본 연구에서 제안된 방법은 연속형 변수, 이산형 변수, 혹은 이산형과 연속형이 혼합된 변수들에 모두 적용될 수 있다. 더우기 대부븐의 고전적인 방법들에 있어서 주로 이용된 정규분포 가정을 필요로 하지 않는다. 본 연구에서 제안된 방법은 일반화 우도비에 붓스트랩 방법을 적용하여 구성되었다. 모의실험을 통하여 검정력을 고찰함으로써 제안된 검정방법의 성능을 연구하였다. A generalized likelihood ratio test is developed to detect an outlier associated with monitoring nuclear proliferation. While the classical outlier detection methods consider continuous variables only, our approach allows both continuous and discrete variables or a mixture of continuous and discrete variables to be used. In addition, our method is free of the normality assumption, which is the key assumption in most of the classical methods. The proposed test is constructed by applying the bootstrap to a generalized likelihood ratio. We investigate the performance of the test by studying the power with simulations.

2차원 웨이브렛 패킷에 기반한 필기체 문자인식의 특징선택방법

김민수,백장선,이귀상,김수형 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.8

본 논문에서는 문자인식의 특징선택방법으로 2차원 웨이브렛 패킷을 이용하는 새로운 방법을 제안한다. 영상자료의 특징들로부터 중심특징을 선택하기위한 차원축소 기법으로 주성분분석 기법이 주로 사용된다. 하지만, 주성분분석 기법은 고유시스템에 의존하기 때문에, 이상치나 잡음등에 민감할 뿐만 아니라, 전역적 특징만을 선택 하는 경향이 있다. 때때로, 영상자료의 중요한 특징이 가장자리 부분이나 뾰족한 부분 같은 지역적 정보일 수 있다. 이러한 경우, 주성분분석 기법은 좋은 결과를 줄 수 없다. 또한 고유시스템은 많은 계산시간을 요구한다.본 논문에서 원 자료는 2차원 웨이브렛 패킷기저에 의해 변환되고, 최적 판별 기저가 탐색된 후, 그것으로부터 적절한 특징이 선택된다. 주성분분석 기법과 비교하여, 제안된 방법은 웨이브렛의 좋은 특성에 의해 전역적 특징뿐만 아니라 지역적 특징의 선택이 빠른 계산시간으로 이루어진다.제안된 방법의 성능을 보이기 위해 PCA와 제안된 방법의 인식률의 실험결과가 분석되었다. We propose a new approach to the feature selection for the classification of handwritten characters using two-dimensional(2D) wavelet packet bases. To extract key features of an image data, for the dimension reduction Principal Component Analysis(PCA) has been most frequently used. However PCA relies on the eigenvalue system, it is not only sensitive to outliers and perturbations, but has a tendency to select only global features. Since the important features for the image data are often characterized by local information such as edges and spikes, PCA does not provide good solutions to such problems. Also solving an eigenvalue system usually requires high cost in its computation.In this paper, the original data is transformed with 2D wavelet packet bases and the best discriminant basis is searched, from which relevant features are selected. In contrast to PCA solutions, the fast selection of detailed features as well as global features is possible by virtue of the good properties of wavelets.Experiment results on the recognition rates of PCA and our approach are compared to show the performance of the proposed method.

공간 패널 회귀모형을 이용한 양파 생산량 추정

최성천,백장선,Choi, Sungchun,Baek, Jangsun 한국통계학회 2016 응용통계연구 Vol.29 No.5

노지에서 재배되는 양파 생산량은 기후환경에 의하여 영향을 받으며, 특정 지역에서 많이 생산되는 지역적인 특성을 가지고 있다. 따라서 생산량 예측시 기상과 지역을 동시에 고려하는 접근이 필요하다. 본 논문에서는 공간 패널 회귀모형을 이용하여 기상변화에 따른 생산량을 추정하였다. 양파 주산지 13곳에 대한 2006년부터 2015년까지의 기상 패널자료를 사용하여, 공간시차를 반영한 공간자기회귀(spatial autoregressive)모형을 사용하였다. 공간가중치 행렬은 임계치 설정방법과 최근거리 설정방법으로 나누어 분석하여, 최근 3곳까지 거리 설정방법을 사용한 모형이 최종 모형으로 선택되었으며, 자기상관성이 유의함을 보였다. 하우스만 검정을 통해 채택된 확률효과모형으로 분석한 결과 누적일조시간(1월), 평균상대습도(4월), 평균최저기온(6월), 누적강수량(11월) 등이 양파 생산량 예측에 유의한 변수로 나타났다. Onions are grown in a few specific regions of Korea that depend on the climate and the regional characteristic of the production area. Therefore, when onion yields are to be estimated, it is reasonable to use a statistical model in which both the climate and the region are considered simultaneously. In this paper, using a spatial panel regression model, we predicted onion yields with the different weather conditions of the regions. We used the spatial auto regressive (SAR) model that reflects the spatial lag, and panel data of several climate variables for 13 main onion production areas from 2006 to 2015. The spatial weight matrix was considered for the model by the threshold value method and the nearest neighbor method, respectively. Autocorrelation was detected to be significant for the best fitted model using the nearest neighbor method. The random effects model was chosen by the Hausman test, and the significant climate variables of the model were the cumulative duration time of sunshine (January), the average relative humidity (April), the average minimum temperature (June), and the cumulative precipitation (November).

고차원 (유전자 발현) 자료에 대한 군집 타당성분석 기법의 성능 비교

정윤경,백장선,Jeong, Yun-Kyoung,Baek, Jang-Sun 한국통계학회 2007 응용통계연구 Vol.20 No.1

유전자 발현 자료(gene expression data)는 전형적인 고차원 자료이며, 이를 분석하기 위한 여러 가지 군집 알고리즘(clustering algorithm)과 군집 결과들을 검증하는 군집타당성분석 기법(cluster validation technique)이 제안되고 있지만, 이들 군집 타당성을 분석하는 기법의 성능에 대한 비교, 평가는 매우 드물다. 본 논문에서는 저차원의 모의실험 자료와 실제 유전자 발현 자료에 대하여 군집 타당성분석 기법들의 성능을 비교하였으며, 그 결과 내적 측도에서는 Dunn 지수, Silhouette 지수 순으로 뛰어났고 외적 측도에서는 Jaccard 지수가 성능이 가장 우수한 것으로 평가되었다. Many clustering algorithms and cluster validation techniques for high-dimensional gene expression data have been suggested. The evaluations of these cluster validation techniques have, however, seldom been implemented. In this paper we compared various cluster validity indices for low-dimensional simulation data and real gene expression data, and found that Dunn's index is the most effective and robust, Silhouette index is next and Davies-Bouldin index is the bottom among the internal measures. Jaccard index is much more effective than Goodman-Kruskal index and adjusted Rand index among the external measures.

시간경로 유전자 발현자료의 군집분석에서 이질적인 시계열의 탐지를 위한 패턴일치지수

손영숙,백장선,Son, Young-Sook,Baek, Jang-Sun 한국통계학회 2005 응용통계연구 Vol.18 No.2

본 논문에서는 피어슨 상관계수를 이용한 시간경로 유전자 발현자료의 군집분석에서 군집의 대표적인 패턴에서 벗어나는 이질적인 패턴을 보이는 시계열을 탐지하기 위한 패턴일치지수를 제안하고, 이를 마이크로어레이 실험으로부터 얻어진 혈청 시간경로 유전자 발현자료에 적용하여 유용성을 검토해 본다. In this paper, we propose a pattern consistency index for detecting heterogeneous time series that deviate from the representative pattern of each cluster in clustering time course gene expression data using the Pearson correlation coefficient. We examine its usefulness by applying this index to serum time course gene expression data from microarrays.