로지스틱모형에서의 주성분회귀

김부용,강명욱,Kim, Bu-Yong,Kahng, Myung-Wook 한국통계학회 2008 응용통계연구 Vol.21 No.4

로지스틱회귀분석은 고객관계관리나 신용위험관리 등의 분야에서 많이 사용되는 기법인데, 이러한 분야에서의 로지스틱회귀모형에는 연관성이 높은 설명변수들이 다수 포함되어 다중공선성의 문제를 유발하는 경우가 있다. 다중공선성이 존재하는 상황에서 최우추정량은 심각한 결함을 갖는다는 사실은 잘 알려졌다. 이 문제를 해결하기 위하여 로지스틱주성분회귀를 연구하되, 분석상의 주요 과정인 주성분 선정을 위한 방법을 새롭게 제안하였다. 추정량의 분산을 최소가 되게 하는 상태지수 값을 측정하고, 이 값에 영향을 미치는 주요 요인들을 컨조인트분석에 의해 파악하여 주성분 선정기준을 결정하는 모형을 구축하였다. 제안된 방법은 다중공선성 문제를 적절히 해결하면서도 모형의 적합성을 향상시킨다는 사실이 모의실험을 통하여 확인되었다. The logistic regression analysis is widely used in the area of customer relationship management and credit risk management. It is well known that the maximum likelihood estimation is not appropriate when multicollinearity exists among the regressors. Thus we propose the logistic principal components regression to deal with the multicollinearity problem. In particular, new method is suggested to select proper principal components. The selection method is based on the condition index instead of the eigenvalue. When a condition index is larger than the upper limit of cutoff value, principal component corresponding to the index is removed from the estimation. And hypothesis test is sequentially employed to eliminate the principal component when a condition index is between the upper limit and the lower limit. The limits are obtained by a linear model which is constructed on the basis of the conjoint analysis. The proposed method is evaluated by means of the variance of the estimates and the correct classification rate. The results indicate that the proposed method is superior to the existing method in terms of efficiency and goodness of fit.

로버스트주성분회귀에서 최적의 주성분선정을 위한 기준

김부용,Kim, Bu-Yong 한국통계학회 2011 Communications for statistical applications and me Vol.18 No.6

회귀모형에 연관성이 높은 설명변수들이 포함되면 다중공선성의 문제가 야기되며, 동시에 자료에 회귀 이상점들이 포함되면 최소자승추정량에 바탕을 둔 제반 통계적 추론은 심각한 결함을 갖게 된다. 이러한 현상들은 데이터마이닝 분야에서 많이 볼 수 있는데, 본 논문에서는 두 가지 문제를 동시에 해결하기 위한 방안으로서 로버스트주성분회귀를 제안하였다. 특히 최적의 주성분을 선정하기 위한 새로운 기준을 개발하였는데, 설명변수들의 표본공분산 대신에 MVE-추정량을 기반으로 하였으며, 고유치가 아니라 상태지수의 크기에 바탕을 둔 선정기준을 제안하였다. 그리고 주성분모형에서의 추정을 위하여 회귀이상점에 대해 로버스트한 LTS-추정을 도입하였다. 제안된 선정기준이 기존의 기준들보다 다중공선성과 이상점이 유발하는 문제들을 잘 해결할 수 있음을 모의실험을 통하여 확인하였다. Robust principal components regression is suggested to deal with both the multicollinearity and outlier problem. A main aspect of the robust principal components regression is the selection of an optimal set of principal components. Instead of the eigenvalue of the sample covariance matrix, a selection criterion is developed based on the condition index of the minimum volume ellipsoid estimator which is highly robust against leverage points. In addition, the least trimmed squares estimation is employed to cope with regression outliers. Monte Carlo simulation results indicate that the proposed criterion is superior to existing ones.

순위기반 컨조인트분석에서 선호도측정을 위한 새로운 방법

김부용,Kim, Bu-Yong 한국통계학회 2014 응용통계연구 Vol.27 No.2

순위기반 컨조인트분석은 마케팅조사를 비롯한 다양한 분야에서 널리 활용되고 있다. 이 분석기법은 다른 기법들에 비하여 몇 가지 장점을 가지고 있는 반면에, 응답자들이 다수의 제품프로파일들에 대한 선호도 순위를 정확하게 평가하기 어렵다는 한계를 가지고 있다. 본 논문에서는 응답효율성을 향상시키기 위하여 순위집합 개념을 도입한 새로운 선호도 측정방법을 제안한다. 응답자에게 순위집합들에 포함된 소수의 프로파일들에 대한 선호도를 순위로 평가하게 한 후 평가결과를 종합하여 프로파일 전체에 대한 순위를 얻는 방법이다. 이 방법에 의하면 응답자가 프로파일들에 대한 선호도 순위를 매기는 작업을 용이하게 할 수 있고 선호도 순위를 효율적으로 평가할 수 있다. 한편, 다수의 프로파일을 수용할 수 있는 순위집합을 체계적으로 구성하기 위하여 균형불완비블록설계를 확장하여 쌍체설계로 전환시키는 방법을 개발하였다. 제안된 측정방법을 채택한 순위기반 컨조인트분석을 여성용 향수제품에 대한 소비자 선호도분석에 실제로 적용하였다. Ranking-based conjoint analysis is widely used in various fields such as marketing research. While the ranking-based conjoint affords several advantages over the rating-based or choice-based conjoint, it has a serious shortcoming that respondents have much difficulty in ranking the product profiles in order of preference when many profiles are involved. This article suggests a new method for the preference measurement to improve the response efficiency. The method employs the concept of ranking sets that let the respondent evaluate a small number of profiles at a time. Through the proposed method, preference rankings of profiles obtained from each ranking set are aggregated to generate overall rankings. The balanced incomplete block design is expanded and transformed to the dual design in order to construct well-balanced ranking sets that can accommodate a large number of profiles. The proposed method is applied to the analysis of consumer preferences for perfume-for-women.

주성분회귀분석에서 주성분선정을 위한 새로운 방법

김부용,신명희,Kim, Bu-Yong,Shin, Myung-Hee 한국통계학회 2010 응용통계연구 Vol.23 No.5

데이터마이닝 분야에서의 회귀모형에는 연관성이 높은 설명변수들이 포함되어 다중공선성을 유발하는 경우가 많은데, 다중공선성이 야기하는 문제를 해결하기 위하여 주성분회귀분석을 적용할 수 있다. 이 분석에서는 적절한 주성분을 선정하는 과정이 핵심인데, 기존의 선정방법들은 다중공선성을 잘 해결하지 못하거나 모형의 적합성을 저하시킨다는 지적을 받고 있다. 따라서 본 논문에서는 다중공선성 문제와 적합성 저하 현상을 동시에 해결할 수 있는 새로운 선정방법을 제안하였다. 다중공선성에 의해 최소제곱추정량의 분산이 팽창되는 문제를 주성분회귀에 의해 해결할 수 있지만, 주성분의 일부를 선정함에 따라 발생하는 편의도 동시에 통제해야 한다. 따라서 주성분회귀추정량의 평균제곱오차를 최소가 되게 하는 상태지수를 측정하고, 이 값에 영향을 미치는 주요 요인들을 컨조인트분석에 의해 파악하여 주성분 선정기준 모형을 구축하였다. 선정기준의 상한과 하한을 설정하고, 상태지수가 상한을 초과하면 해당 주성분을 제외시키고, 하한에 미달하면 해당 주성분을 포함시킨다. 그리고 상한과 하한 사이의 상태지수에 대응하는 주성분들에 대해서는 일반화선형검정을 순차적으로 적용하여 주성분을 선정하는 방법이다. Since the least squares estimation is not appropriate when multicollinearity exists among the regressors of the linear regression model, the principal components regression is used to deal with the multicollinearity problem. This article suggests a new procedure for the selection of suitable principal components. The procedure is based on the condition index instead of the eigenvalue. The principal components corresponding to the indices are removed from the model if any condition indices are larger than the upper limit of the cutoff value. On the other hand, the corresponding principal components are included if any condition indices are smaller than the lower limit. The forward inclusion method is employed to select proper principal components if any condition indices are between the upper limit and the lower limit. The limits are obtained from the linear model which is constructed on the basis of the conjoint analysis. The procedure is evaluated by Monte Carlo simulation in terms of the mean square error of estimator. The simulation results indicate that the proposed procedure is superior to the existing methods.

로버스트추정에 바탕을 둔 주성분로지스틱회귀

김부용,강명욱,장혜원,Kim, Bu-Yong,Kahng, Myung-Wook,Jang, Hea-Won 한국통계학회 2009 응용통계연구 Vol.22 No.3

로지스틱회귀분석은 고객관계관리를 위한 데이터마이닝 분야에서 많이 사용되는 기법인데, 이 분야의 모형설정 과정에서는 연관성이 매우 높은 설명변수들이 모형에 함께 포함되어 다중공선성의 문제를 유발하며, 더욱이 회귀자료에 이상점들이 포함되면 최우추정량은 심각한 결함을 갖게 된다. 두 가지 문제점을 동시에 해결하기 위하여 로버스트주성분로지스틱회귀를 적용할 수 있는데, 본 논문에서는 주성분의 선정기준을 결정하는 모형을 개발하고, 주성분모형에서의 추정치에 미치는 이상점의 영향을 축소하기 위한 로버스트추정법을 제안하였다. 제안된 추정법은 다중공선성과 이상점이 유발하는 문제들을 적절히 해결해 준다는 사실이 모의실험을 통하여 확인되었다. Logistic regression is widely used as a datamining technique for the customer relationship management. The maximum likelihood estimator has highly inflated variance when multicollinearity exists among the regressors, and it is not robust against outliers. Thus we propose the robust principal components logistic regression to deal with both multicollinearity and outlier problem. A procedure is suggested for the selection of principal components, which is based on the condition index. When a condition index is larger than the cutoff value obtained from the model constructed on the basis of the conjoint analysis, the corresponding principal component is removed from the logistic model. In addition, we employ an algorithm for the robust estimation, which strives to dampen the effect of outliers by applying the appropriate weights and factors to the leverage points and vertical outliers identified by the V-mask type criterion. The Monte Carlo simulation results indicate that the proposed procedure yields higher rate of correct classification than the existing method.

L₁-회귀추정량의 붕괴점 향상을 위한 알고리즘

김부용,Kim, Bu-Yong 한국통계학회 2010 Communications for statistical applications and me Vol.17 No.4

$L_1$-회귀추정량이 수직이상점에 대해서는 매우 로버스트하지만 지렛점에 대해서는 전혀 로버스트하지 않다는 사실은 잘 알려져 있다. 본 논문에서는 수직이상점은 물론 지렛점에 대해서도 로버스트한 $L_1$-회귀추정을 위한 알고리즘을 제안한다. MCD 또는 MVE-추정량에 바탕을 둔 로버스트거리를 기준으로 지렛점들을 식별하고, 식별된 지렛점들의 영향력을 적절히 감소시키기 위한 가중치를 결정한다. 가중치에 의해 변환된 자료에 선형척도변환 기법에 바탕을 둔 선형계획 알고리즘을 적용함으로써 $L_1$-회귀추정량의 붕괴점을 향상시킨다. 다양한 형태와 규모의 자료에 대한 모의실험 결과, 제안된 알고리즘에 의한 $L_1$-회귀추정량의 붕괴점이 크게 향상되는 것으로 나타났다. The $L_1$-regression estimator is susceptible to the leverage points, even though it is highly robust to the vertical outliers. This article is concerned with the improvement of robustness of the $L_1$-estimator. To improve its robustness, in terms of the breakdown point, we attempt to dampen the influence of the leverage points by means of reducing the weights corresponding to the leverage points. In addition the algorithm employs the linear scaling transformation technique, for higher computational efficiency with the large data sets, to solve the linear programming problem of $L_1$-estimation. Monte Carlo simulation results indicate that the proposed algorithm yields $L_1$-estimates which are robust to the leverage points as well as the vertical outliers.

로지스틱회귀모형의 로버스트 추정을 위한 알고리즘

김부용,강명욱,최미애,Kim, Bu-Yong,Kahng, Myung-Wook,Choi, Mi-Ae 한국통계학회 2007 응용통계연구 Vol.20 No.3

로지스틱회귀에서 일반적으로 사용되는 최대우도추정법은 이상점에 대해 로버스트 하지 않다. 따라서 본 논문에서는 로지스틱회귀모형의 로버스트 추정을 위한 알고리즘을 제안하고자 한다. 이 알고리즘은 V-마스크 형태의 경계기준에 의해 나쁜 지렛점과 수직이상점을 식별하고, 식별 결과를 바탕으로 이상점의 영향력을 감소시키기 위한 효과적인 방안을 모색한다. 이상점의 영향력 감소는 가중치와 조정치를 적절히 선정함으로 가능하며, 그 결과 붕괴점이 높은 추정치를 얻게 된다. 제안된 알고리즘을 다양한 자료에 적용하여 정분류율을 측정하여 비교하였는데, 새로운 알고리즘이 최대우도추정보다 정확한 분류를 해 주는 것으로 평가되었다. The maximum likelihood estimation is not robust against outliers in the logistic regression. Thus we propose an algorithm for the robust estimation, which identifies the bad leverage points and vertical outliers by the V-mask type criterion, and then strives to dampen the effect of outliers. Our main finding is that, by an appropriate selection of weights and factors, we could obtain the logistic estimates with high breakdown point. The proposed algorithm is evaluated by means of the correct classification rate on the basis of real-life and artificial data sets. The results indicate that the proposed algorithm is superior to the maximum likelihood estimation in terms of the classification.

순위기반 컨조인트분석과 선택기반 컨조인트분석의 예측력에 대한 실증적 비교

김부용,Kim, Bu-Yong 한국통계학회 2014 응용통계연구 Vol.27 No.5

마케팅조사 등 다양한 분야에서 순위기반 컨조인트분석과 선택기반 컨조인트분석이 많이 활용되고 있다. 컨조인트 분석가들은 각 분석 기법의 상대적인 강점과 약점들을 고려하여 상황에 적합하다고 판단되는 기법을 선택하여 사용한다. 본 연구는 컨조인트분석 기법을 선택할 때 참고할 수 있는 준거를 제공하기 위하여 두가지 기법의 예측력을 실증적으로 비교하고자 한다. 순위집합과 선택집합을 통합한 측정집합 개념을 새롭게 도입함으로써 동일한 소비자 집단에 두 가지 분석기법을 동시에 적용할 수 있는 조사를 설계하였다. 실제로 측정집합을 설계하여 RTD커피에 대한 선호도를 측정하고 순위기반과 선택기반 컨조인트분석을 적용하여 소비자 선호도를 분석하고 두 기법에 의한 시장점유율 예측치와 적중률을 비교하였다. 비교결과 두 기법의 예측력에 유의적인 차이가 없는 것으로 나타났다. 따라서 응답자의 응답결과를 사전에 점검하여 부실한 자료를 제외시킴으로써 자료의 품질을 향상시키려 하거나 컨조인트분석 결과를 바탕으로 시장세분화 작업을 하기 원하는 경우에는 순위기반 컨조인트분석을 채택하고, 선호도 측정과정에서 응답자의 부담을 덜어주고 실제 시장과 가장 유사한 상황에서 선호도를 측정하고자 하는 경우에는 선택기반 조인트분석을 채택할 것을 제안한다. Ranking-based conjoint analysis(RBCA) and choice-based conjoint analysis(CBCA) have attracted significant interest in various fields such as marketing research. When conducting research, the researcher has to select one suitable approach in consideration of strengths and weaknesses. This article performs an empirical comparison of the predictability of RBCA and CBCA in order to provide criterion for the selection. A new concept of measurement set is developed by combining the ranking set and choice set. The measurement set enables us to apply two approaches separately on the same consumer group that allows a fair comparison of predictability. RBCA and CBCA are conducted on consumer preferences for RTD-coffee; subsequently, the predicted values of market shares and hit rates are compared. The study result reveals that their predictabilities are not significantly different. Further, the result indicates that RBCA is recommended if the researcher wants to improve data quality by filtering out poor responses or to implement the market segmentation. In contrast, CBCA is recommended if the researcher wants to lessen the burden on the respondents or to measure preferences under similar conditions with the actual marketplace.

On the Robustness of L₁-estimator in Linear Regression Models

김부용(Bu Yong Kim) 한국통계학회 1995 Communications for statistical applications and me Vol.2 No.2

A Goodness-of-Fit Test for the Exponential Distribution with Unknown Parameters

Bu Yong Kim(김부용) 한국통계학회 1991 응용통계연구 Vol.4 No.2

본 논문은 척도모수와 위치모수가 알려지지 않은 상황에서의 지수분포성 적합도 검정문제를 다루고 있다. 기존의 검정방법들과는 달리 누적분포 함수와 경험분포 함수 사이의 편차의 L₁-norm에 바탕을 둔 새로운 검정방법이 제시되었으며, Monte Carlo 방법에 의하여 검정통계량의 임계치를 구하였다. 그리고 표본의 크기가 작은 경우에 한하여 제시된 검정통계량의 분포가 파악되었다. 한편 이 검정방법의 검정력을 기존의 검정방법들과 비교하기 위하여 응용분야에서 흔히 사용되는 몇가지 분포형태에 대하여 검정력을 측정하였다. 그 결과, 새로운 검정방법이 보수적인 검정임에도 불구하고 다른 검정방법에 비하여 상대적으로 검정력이 우수한 것으로 나타났다. This article is concerned with the goodness-of-fit test for exponentiality when both the scale and location parameters are unknown. A test procedure based on the L₁-norm of discrepancy between the cumulative distribution function and the empirical distribution function is proposed, and the critical values of the test statistic are obtained by Monte Carlo simulations. Also the null distributions of the proposed test statistic are presented for small sample sizes. The power of tests under certain alternative distributions is investigated to compare the proposed test statistic with the well-known EDF test statistics. Our Monte Carlo power studies reveal that the proposed test statistic has good power properties, for moderate-to-large sample sizes, in comparison to other statistics although it is a conservative test.