Systematic View on Residual Plots in Linear Regression

강명욱,김영일,안철환 한국경영과학회 2000 한국경영과학회 학술대회논문집 Vol.- No.1

We investigate some properties of commonly used residual plots in linear regression and provide some systematic insight into the relationships among the plots. We discuss three issues of linear regression in this stream of context. First of all, we introduce two graphical comparison methods to display the variance inflation factor. Secondly, we show that the role of a suppressor variable in linear regression can be checked graphically. Finally, we show that several other types of standardized regression coefficients, besides the ordinary one, can be obtained in residual plots and the correlation coefficients of one of these residual plots can be used in ranking the relative importance of variables.

Leverage and Outlier in Nonlinear Regression

강명욱 한국데이터정보과학회 2008 한국데이터정보과학회지 Vol.19 No.1

The connections between measures of leverage and outlier tests are explored in nonlinear regression models. Given the specific mean shift outlier model, the score test statistic is closely related to the Jacobian leverage.

선형회귀에서 표준화 회귀계수에 대한 소고

강명욱 한국자료분석학회 2017 Journal of the Korean Data Analysis Society Vol.19 No.1

In most social science research work there are some interests concerning the rank of relative importance of different variables in the regression model. Statistical packages such as SPSS provide the printouts on the standardized coefficient. But many people make cautionary remarks that the rankings of the standardized coefficients in terms of absolute magnitude does not necessarily reflect the importance of variables in explaining the variability of response variable. Many textbooks give warnings against the misuse of this automatic computer generated output. We consider the relationship between this standardized coefficient and the correlation coefficients of various residual plots. And this suggests that the appropriate correlation coefficients may be used in ranking the relative importance of variables. The correlation coefficient derived from added variable plot is a good measure in determining the ranks of variables according to the size of partial t-values for regression coefficient. The correlation coefficient from the additional R^2 plot compares each variable's contribution in terms of additional increase of coefficient of determination over the variability explained by other variables in the model. 대부분의 사회과학분야 연구에서는 다중선형회귀모형에 포함되는 설명변수들의 상대적 중요도에 대해 많은 관심을 가지고 있다. SPSS를 비롯한 여러 상용 통계패키지에서는 표준화 회귀계수의 추정값을 계산해 주고 있으며 표준화 회귀계수의 추정값의 절대값이 큰 설명변수가 중요하다고 해석하기도 하지만 이러한 주장에는 많은 논란이 있다. 여러 회귀분석 교과서에서도 표준화 회귀계수의 맹목적인 사용에 유의할 필요가 있다고 강조하고 있지만 대안은 제시되고 있지 않다. 본 연구에서는 설명변수의 상대적 중요도에 대한 구체적인 의미를 생각해보고 몇 가지 잔차산점도에서의 상관계수와 표준화 회귀계수의 관계를 알아보고 설명변수들의 상대적 중요도를 나타내는 적절한 척도를 제안한다. 추가변수그림의 상관계수는 추가적인 설명력을 검정하는 부분 검정통계량의 크기를 나타내는 척도로 사용될 수 있고, 추가결정계수그림의 상관계수는 설명변수의 추가를 통해서 발생하는 결정계수의 증가분을 나타내는 척도로 사용될 수 있다. 또한 보정계수를 이용하여 이러한 척도들과 표준화 회귀계수와의 관계를 구해본다. 제시된 척도들을 실제 자료에 적용시켜본다.

Accuracy of linear approximation for fitted values in nonlinear regression

강명욱 한국데이터정보과학회 2013 한국데이터정보과학회지 Vol.24 No.1

Bates and Watts (1981) have discussed the problems of reparameterizing nonlinear models in obtaining accurate linear approximation confidence regions for the parameters. A similar problem exists with computing confidence curves for fitted values or predictions. The statistical behavior of fitted values does not depend on the parameterization. Thus, as long as the intrinsic curvature is small, standard Wald intervalsfor fitted values are likely to be sufficient. Accuracy of linear approximation for fitted values is investigated using confidence curves.

모형기반 표본추출설계: 로버스트적 접근방법

강명욱,김영일 한국자료분석학회 2005 Journal of the Korean Data Analysis Society Vol.7 No.2

We discussed new approaches for the model-based sampling under the uncertainty of models. In general, it is not desirable to use all the resources on the assumption that the given model is correct. Part of the resources will be used for the estimation of the subset of parameters of the model, while the rest of resources will be used for the estimation of the whole vector of parameters of the extended model. Two new strategies are suggested for this purpose. One is named 'forward' while the other 'backward'. The principles of these two strategies are investigated using an example and the discussion concerning the independencies of observations in the spatial design follows. 본 연구는 모형기반 표본추출을 하는 과정에서 필연적으로 나타나는 모형의 불확실성을 극복하는 표본추출기준을 제시하였다. 일반적으로, 표본은 주어진 모든 자원을 한 모형에만 국한해서 모형추정을 위해 소진되는 것으로 설계되지 않는다. 주어진 자원의 일부는 모형의 부분집합의 관한 추정에 관해 사용될 것이며, 나머지 자원은 전체 모형을 위한 추정에 사용된다고 가정하였다. 본 논문에서는 두 가지 표본설계를 제시하였는데 하나는 전진적 전략, 후자는 후진적 전략이다. 이러한 전략은 예제를 통해 그 구성원칙을 알아보았으며 독립성을 가정치 못하는 공간에서의 표본추출에 관한 실질적인 대안에 대한 제안과 함께 결론을 유도하였다.

3차원 잔차산점도를 이용한 로지스틱회귀모형에서 교호작용의 탐색

강명욱,Kahng, Myung-Wook 한국데이터정보과학회 2014 한국데이터정보과학회지 Vol.25 No.1

로지스틱회귀모형에서 설명변수만으로는 충분히 설명이 되지 못하고 설명변수의 변환된 형태인 이차항 또는 교호작용항이 필요한 경우가 있다. 설명변수가 두 개이고 조건부 분포가 이변량 정규분포를 따르는 경우 로지스틱회귀모형에서는 기본적으로 이차항과 교호작용항이 모형에 포함되어야 한다. 하지만 조건부 분포의 분산과 상관계수에 따라 이차항과 교호작용항이 필요하지 않게 되는 경우도 있다. 분산이나 상관계수에 대한 정보는 산점도를 보고 대체적인 판단이 가능하지만 교호작용항의 필요성을 판단하기가 쉽지 않다. 본 논문에서는 3차원 잔차산점도를 이용한 교호작용의 탐색방법을 제시하고 이 방법을 실제 자료에 적용시켜본다. Under bivariate normal distribution assumptions, the interaction and quadratic terms are needed in the logistic regression model with two predictors. However, depending on the correlation coefficient and the variances of two conditional distributions, the interaction and quadratic terms may not be necessary. Although the need for these terms can be determined by comparing the two scatter plots, it is not as useful for interaction terms. We explore the structure and usefulness of the 3-D residual plot as a tool for dealing with interaction in logistic regression models. If predictors have an interaction effect, a 3-D residual plot can show the effect. This is illustrated by simulated and real data.

로지스틱회귀모형의 변수선택에서 로그-오즈 그래프를 통한 로그-밀도비 연구

강명욱,신은영,Kahng, Myung-Wook,Shin, Eun-Young 한국데이터정보과학회 2012 한국데이터정보과학회지 Vol.23 No.1

반응변수가 주어졌을 때 설명변수의 조건부 확률분포의 로그-밀도비는 로지스틱회귀모형에서 어떤 설명변수가 어떻게 모형에 포함되는지에 대한 변수선택문제에서 유용한 정보를 제공한다. 설명변수의 조건부 확률분포가 좌우대칭이 아닌 경우 감마분포로 가정하는 것이 적절하고 이 경우 x항과 log(x)항이 모형에 포함되어야 한다. 로그-오즈 그래프는 변수선택문제를 연구하는데 매우 중요한 도구가 된다. 이러한 그래픽적 연구에 의하면, x|y = 0과 x|y = 1의 두 분포가 겹치는 경우에서는 x항과 log(x)항 모두 필요하다. 그리고 두 분포가 분리된 경우에는 x항 또는 log(x)항 중 하나만 필요하다. The log-density ratio of the conditional densities of the predictors given the response variable provides useful information for variable selection in the logistic regression model. In this paper, we consider the predictors that are needed and how they should be included in the model. If the conditional distributions are skewed, the distributions can be considered as gamma distributions. Under this assumption, linear and log terms are generally included in the model. The log-odds graph is a very useful graphical tool in this study. A graphical study is presented which shows that if the conditional distributions of x|y for the two groups overlap significantly, we need both the linear and quadratic terms. On the contrary, if they are well separated, only the linear or log term is needed in the model.

로지스틱 회귀모형에서 이변량 정규분포에 근거한 로그-밀도비

강명욱,윤재은,Kahng, Myung Wook,Yoon, Jae Eun 한국통계학회 2013 응용통계연구 Vol.26 No.1

로지스틱회귀모형에서 두 설명변수의 조건부 분포가 모두 이변량 정규분포라고 할 수 있다면 설명변수들의 함수로 표현되는 로그-밀도비를 통해 모형에 포함시켜야하는 항을 알 수 있다. 두개의 이변량 정규분포에서 분산-공분산행렬이 같은 경우에는 이차항과 교차항 없이 일차항만으로 충분하다. 상관계수가 모두 0이면 교차항은 설명변수의 분산과 관계없이 필요하지 않다. 또한 로지스틱회귀모형에서 로그-밀도비를 통해 이차항과 교차항이 필요하지 않게 되는 다른 조건들도 알아본다. We present methods for studying the log-density ratio that enables the selection of the predictors and the form to be included in the logistic regression model. Under bivariate normal distributional assumptions, we investigate the form of the log-density ratio as a function of two predictors. If two covariance matrices are equal, then the crossproduct and quadratic terms are not needed. If the variables are uncorrelated, we do not need the crossproduct terms, but we still need the linear and quadratic terms. We also explore other conditions in which the crossproduct and quadratic terms are not needed in the logistic regression model.

모형에 기초한 표본추출방법의 알고리듬

강명욱,김영일 한국통계학회 1997 응용통계연구 Vol.10 No.2

D-최적화 최소평균제곱오차를 기준으로 모형에 기초한 표본추출에 대한 여러가지 알고리듬을 연구하였다. 이 두 기준은 서로 다른 관점에서 출발하였지만 기본적으로 같은 취지를 가지고 있어 거의 유사한 표본을 제공한다. 표본대상 개체의 추출비용이 서로 다른 경우를 포함한 간단한 예를 통해 이를 살펴보았으며 향후 연구과제에 대해 언급하였다. Various algorithms are investigated with respect to finding the best model-based samples according to criteria such as D-optimality and minimum mean square error. These two criteria are slightly different, but related to each other. Therefore, it is not surprising that these two are producing the almost identical samples. Some simple examples follow and critiques are provided along with directions for further research.

회귀분성에서의 3차원 편잔차그림

강명욱,이정아 한국통계학회 2000 응용통계연구 Vol.13 No.1

비선형성이 존재하는 두 개의 설명변수가 모형에 선형으로 포함되는 경우 두 설명변수가 연관성이 약하면 각각의 변수에 대한 2차원 편잔차 그림이 비선형성의 존재와 형태를 잘 나타낸다. 그러나 두 변수가 연관성이 강하면 3차원 편잔차 그림이 필요하며 2차원 편잔차 그림으로는 알아낼 수 없는 비선형성에 대한 탐지가 가능하다.