고유벡터 기저를 이용한 회귀방법의 비교 = Comparison of Regression Methods using Eigenvector Bases

다국어 초록 (Multilingual Abstract)

In this paper we derive a unified expression of the solutions for ordinary least squares, principal component regression, partial least squares regression, ridge regression and generalized ridge regression using the singular value decomposition and generalized inverses, and show how the solutions are formed in terms of eigenvector basis. We then explore the interrelationships and differences among those solutions and give a simple numerical example to explain the expressions.

국문 초록 (Abstract)

본 논문에서는 선형회귀모형에서 설명변수 행렬 가 완전계수 행렬이 아닌 일반적인 경우에 보통최소제곱법, 주성분회귀, 편최소제곱회귀, 능형회귀, 일반화능형회귀의 해를 비정칙분해와 일반화 역행렬을 이용하여 통합적인 식으로 유도하고 각 방법에서 고유벡터 기저를 어떠한 형태로 결합하여 해가 형성되는지를 보이고 그 해들 간의 관계를 고유벡터의 관점에서 비교하고 관련성과 차이를 규명한다. 간단한 데이터를 사용하여 수치적으로 보충 설명한다.

참고문헌 (Reference)

1 "비직교 설명변수가 사용될 때의 일반화능형회귀의 일반적 해" 2004

2 "Unified Non-iterative Algorithm for Principal Component Regression" 14 : 355-366, 2003a

3 "Projection Matrices for Partial Least Squares Regression and Principal Component Regression" 5 : 787-800, 2003b

4 "Principal Components Regression in Exploratory Statistical Research" 60 : 234-246, 1965

5 "Interrelationships of Multivariate Regression Methods using Eigenvector Basis Sets" 13 : 111-132, 1999

6 "Encyclopedia of Statistical Sciences" 581-591, 1985

7 "Biased Estimation for Nonorthogonal Problems" tech (tech): 55-67, 1970

8 "A Class of Biased Estimators in Linear Regression" tech (tech): 425-437, 1976