라플라스와 이중 파레토 벌점의 비교: LASSO와 Elastic Net

경민정,Kyung, Minjung 한국통계학회 2014 응용통계연구 Vol.27 No.6

연속적인 변수 선택과 계수 추정을 동시에 활용할 수 있다는 특성 때문에 LASSO (Tibshirani, 1996)와 Elastic Net (Zou와 Hastie, 2005)은 다양한 분야에서 활발하게 사용되고 있다. 조건부 라플라스와 이중 파레토 사전분포를 적용한 공액계층모형을 표현하였고, 각각의 사전분포에 대한 완전 조건 사후분포를 도출하였다. 제안된 사전분포를 적용한 벌점회귀모형을 비교하기 위한 모의 실험을 진행하였고, 예측정확도를 판단하기 위해 아시아 국가 실패(the collapse of governments in Asia)의 실제 데이터에 제안한 모형을 적용하였다. Lasso (Tibshirani, 1996) and Elastic Net (Zou and Hastie, 2005) have been widely used in various fields for simultaneous variable selection and coefficient estimation. Bayesian methods using a conditional Laplace and a double Pareto prior specification have been discussed in the form of hierarchical specification. Full conditional posterior distributions with each priors have been derived. We compare the performance of Bayesian lassos with Laplace prior and the performance with double Pareto prior using simulations. We also apply the proposed Bayesian hierarchical models to real data sets to predict the collapse of governments in Asia.

내재된 인자회귀모형의 베이지안 분석법

경민정 한국통계학회 2020 응용통계연구 Vol.33 No.4

We discuss latent factor regression when constructing a common structure inherent among explanatory variables to solve multicollinearity and use them as regressors to construct a linear model of a response variable. Bayesian estimation with LASSO prior of a large penalty parameter to construct a significant factor loading matrix of intrinsic interests among infinite latent structures. The estimated factor loading matrix with estimated other parameters can be inversely transformed into linear parameters of each explanatory variable and used as prediction models for new observations. We apply the proposed method to Product Service Management data of HBAT and observe that the proposed method constructs the same factors of general common factor analysis for the fixed number of factors. The calculated MSE of predicted values of Bayesian latent factor regression model is also smaller than the common factor regression model. 선형모형에서 두개 이상의 설명변수들 사이에 존재하는 다중공선성 문제를 변수들 간에 내재되어 있는 공통의 구조인 인자를 구성하고, 인자들을 회귀변수로 사용하여 해결하는 인자회귀모형에 대하여 논의한다. 무한개로 가정 가능한 내재된 인자 중 유의미한 인자적재행렬을 구성하기 위하여 벌점모수의 값이 큰 LASSO 사전분포를 적용하는 베이지안 추정법을 사용한다. 결정된 인자적재행렬과 다른 모수들의 추정값을 각 설명변수의 선형모수로 역변환 하여, 새로운 관측값에 대한 예측 모형으로도 사용한다. 제안한 방법을 제품 서비스 관리 자료에 적용하여 정해진 인자의 개수에 대한 인자가 일반적인 공통인자회귀모형과 동일한 결과를 나타냄을 확인하였고, 일반적인 공통인자회귀모형과 비교를 위해 계산한 평균 제곱 오차값이 더 작다는 것을 알 수 있었다.

내재된 인자를 활용한 분위수 회귀모형의 베이지안 분석

경민정 한국데이터정보과학회 2022 한국데이터정보과학회지 Vol.33 No.5

분위수 회귀모형은 반응변수의 분위수에 대하여 선형모형을 가정하는 모형으로 반응변수가 정규성과 등분산성을 만족하지 않는 경우에도 적용할 수 있는 회귀모형이다. 회귀모형에서 다중공선성 문제가 존재할 때 변수들 간에 내재되어 있는 공통의 구조인 인자를 구성하고, 인자들을 회귀변수로 사용하여 해결하는 내재된 인자 모형을 고려한다. 이 연구에서 내재된 인자를 고려한 분위수 회귀모형의 베이지안 분석법에 대해서 논의한다. 종속변수의 분위수에 대한 선형관계를 고려하는 베이지안 정보 기준에 근거하여 주요 인자의 개수를 선택하고, 축소 사전분포를 고려하여 추정한 내재된 인자 회귀모형의 모수를 역변환하여 일반적인 분위수 회귀모형의 모수를 추정한다. 일반적인 분위수 회귀모형과 LASSO를 적용한 분위수 회귀모형을 실제 자료들에 적용하여 제안한 베이지안 분위수 회귀모형과 비교한다.

주성분 회귀모형의 베이지안 분석

경민정 한국데이터정보과학회 2019 한국데이터정보과학회지 Vol.30 No.2

Principal component analysis (PCA) Regression has been knwon as a tool for data analysis and dimension reduction in applications throughout science and engineering. Even though there exists controversy for the interpretation and usage of PCA regression, it is still a useful tool when there exists a multicollinearity problem among explanatory variables in the regression models. We here introduce a Bayesian inference for PCA regression based on the use of general classes of shrinkage priors. We also discuss a method to choose the number of principal components considering the linear relationship with dependent variables based on the Bayesian information criteria. Based on the applications to real datasets, we observe that for the data of p > n, the proposed method selects the number of principal component for the purpose of better prediction, and for the data of variable selection, it choose variables include the variables which previous methods have proposed. 주성분회귀분석 (PCA regression)은 과학 및 공학 분야의 응용 프로그램에서 데이터 분석 및 차원 축소를 위한 도구로 사용되었다. 주성분 회귀의 해석과 사용에 대한 많은 논란이 있긴하지만, 회귀 모형에서 설명 변수 중 다중공선성 문제가 존재할 때 여전히 유용한 도구이다. 이 연구에서 일반적인 수축사전분포의 사용을 기반으로 한 PCA 회귀에 대한 베이지안 추론을 소개한다. 종속변수와의 선형관계를 고려한 베이지안 정보 기준에 근거하여 주요 주성분의 갯수를 선택하는 방법에 대해서도 논의한다. 실제 자료들에 적용한 예제에서 설명변수의 갯수가 관측갯수 보다 많은 자료의 경우 예측의 관점에서 최종모형을 선택하였고, 변수선택에 사용되었던 자료의 경우 이전의 연구결과를 포함한 변수들을 선택하는 결과를 확인할 수 있었다.

방향성 공간적 조건부 자기회귀 모형의 베이즈 분석 방법

경민정,Kyung, Minjung 한국데이터정보과학회 2016 한국데이터정보과학회지 Vol.27 No.5

공간통계 방법 중 지역에 대한 어떤 집합체 자료나 평균자료들을 분석하는데 일반적으로 공간적 자기회귀 (conditionally autoregressive) 모형을 사용한다. 공간적 자기회귀 모형에 정의되는 공간적 이웃 소지역들은 중점의 거리나 근접성으로 정의된다. Kyung과 Ghosh (2009)는 방향에 따라서 이웃간 자기상관성의 크기가 다른 확장된 공간 모형을 제시하였다. 제안된 방향적 조건부 자기회귀 (directional conditionally autoregressive) 모형은 고유 이방성을 모형화하여 기존의 CAR과정을 일반화한다. 제시한 방향적 조건부 자기회귀모형의 모수추정으로 마르코프 체인 몬테 카를로 방법을 기반으로 한 베이즈 추정법을 제시한다. 제시한 모형을 스코틀랜드 그레이터 글래스고우의 로그변환된 부동산 가격에 적용하여 조건부 자기회귀모형과 비교하였다. Counts or averages over arbitrary regions are often analyzed using conditionally autoregressive (CAR) models. The spatial neighborhoods within CAR model are generally formed using only the inter-distance or boundaries between the sub-regions. Kyung and Ghosh (2009) proposed a new class of models to accommodate spatial variations that may depend on directions, using different weights given to neighbors in different directions. The proposed model, directional conditionally autoregressive (DCAR) model, generalized the usual CAR model by accounting for spatial anisotropy. Bayesian inference method is discussed based on efficient Markov chain Monte Carlo (MCMC) sampling of the posterior distributions of the parameters. The method is illustrated using a data set of median property prices across Greater Glasgow, Scotland, in 2008.

방향성을 고려한 공간적 조건부 자기회귀 모형

경민정,Kyung, Minjung 한국통계학회 2016 응용통계연구 Vol.29 No.5

공간통계 방법 중 지역에 대한 어떤 집합체 자료나 평균자료들을 분석하는데 일반적으로 공간적 자기회귀(conditionally autoregressive) 모형을 사용한다. 공간적 자기회귀 모형에 정의되는 공간적 이웃 소지역들은 중점의 거리나 근접성으로 정의된다. Kyung과 Ghosh (2010)는 방향에 따라서 이웃간 자기상관성의 크기가 다른 공간적 확장 모형을 제시하였다. 제안된 방향적 조건부 자기회귀(directional conditionally autoregressive) 모형은 고유 이방성을 모형화하여 기존의 CAR과정을 일반화한다. 제시한 방향적 조건부 자기회귀모형의 최대우도 추정량의 특성에 대해 설명하였고, 스코틀랜드 그레이터 글래스고우의 로그변환된 부동산 가격에 적용하여 조건부 자기회귀모형과 비교하였다. To analyze lattice or areal data, a conditionally autoregressive (CAR) model has been widely used in the eld of spatial analysis. The spatial neighborhoods within CAR model are generally formed using only inter-distance or boundaries between regions. Kyung and Ghosh (2010) proposed a new class of models to accommodate spatial variations that may depend on directions. The proposed model, a directional conditionally autoregressive (DCAR) model, generalized the usual CAR model by accounting for spatial anisotropy. Properties of maximum likelihood estimators of a Gaussian DCAR are discussed. The method is illustrated using a data set of median property prices across Greater Glasgow, Scotland, in 2008.

분위수 주성분 회귀모형의 베이지안 분석

경민정(Minjung Kyung) 한국데이터정보과학회 2021 한국데이터정보과학회지 Vol.32 No.4

분위수 회귀모형은 반응변수의 분위수에 대하여 선형모형을 가정하는 모형으로 반응변수가 정규성과 등분산성을 만족하지 않는 경우에도 적용할 수 있는 회귀모형이다. 차원 축소를 위한 도구로 사용하는 주성분 분석을 특이값분해를 통해 설명변수에 구현하는 방법은 설명변수 중 다중공선성 문제가 존재할 때 유용한 도구이다. 이 연구에서 분산이 큰 직교성을 갖는 주성분의 부분집합을 선택하여 분위수 회귀모형에 적용하는 분위수 주성분 회귀모형에 대한 베이지안 추론을 소개한다. 종속변수의 분위수에 대한 선형관계를 고려하는 베이지안 정보 기준에 근거하여 주요 주성분의 개수를 선택하고, 축소 사전분포를 고려하여 추정한 주성분 회귀모형의 모수를 역변환하여 일반적인 분위수 회귀모형의 도수를 추정한다. 일반적인 분위수 회귀모형과 LASSO를 적용한 분위수 회귀모형 실제 자료들에 적용하여 제안한 베이지안 분위수 회귀모형과 비교한다. Quantile regression model has been known as a strong tool even for non-normal and non-homoscedasticity response. Principal component analysis (PCA) which has been considered as a method for dimension reduction is a useful tool when there exists a multicollinearity problem among explanatory variables. We suggest a Bayesian inference for quantile PCA regression with subset of principal components based on singular value decomposition, and we consider shrinkage priors on selected components with large variance. We choose the number of components considering the linear relationship with dependent variable based on the Bayesian information criteria and we use the least-norm inverse for the inference of original quantile regression parameters. Applications to real datasets are discussed.

Dust particles-induced intracellular Ca2+ signaling and reactive oxygen species in lung fibroblast cell line MRC5

이동운,지민정,강정윤,경선영,홍정희 대한약리학회 2017 The Korean Journal of Physiology & Pharmacology Vol.21 No.3

Epidemiologic interest in particulate matter (PM) is growing particularly because of its impact of respiratory health. It has been elucidated that PM evoked inflammatory signal in pulmonary epithelia. However, it has not been established Ca2+ signaling mechanisms involved in acute PM-derived signaling in pulmonary fibroblasts. In the present study, we explored dust particles PM modulated intracellular Ca2+ signaling and sought to provide a therapeutic strategy by antagonizing PM-induced intracellular Ca2+ signaling in human lung fibroblasts MRC5 cells. We demonstrated that PM10, less than 10 μm, induced intracellular Ca2+ signaling, which was mediated by extracellular Ca2+. The PM10-mediated intracellular Ca2+ signaling was attenuated by antioxidants, phospholipase blockers, polyADPR polymerase 1 inhibitor, and transient receptor potential melastatin 2 (TRPM2) inhibitors. In addition, PM-mediated increases in reactive oxygen species were attenuated by TRPM2 blockers, clotrimazole (CLZ) and N-(p-amylcinnamoyl) anthranilic acid (ACA). Our results showed that PM10 enhanced reactive oxygen species signal by measuring DCF fluorescence and the DCF signal attenuated by both TRPM2 blockers CLZ and ACA. Here, we suggest functional inhibition of TRPM2 channels as a potential therapeutic strategy for modulation of dust particlemediated signaling and oxidative stress accompanying lung diseases.

로지스틱 임의선형 혼합모형의 최대우도 추정법

김민아,경민정 한국통계학회 2017 응용통계연구 Vol.30 No.6

A generalized linear mixed model is an extension of a generalized linear model that allows random effect as well as provides flexibility in developing a suitable model when observations are correlated or when there are other underlying phenomena that contribute to resulting variability. We describe maximum likelihood estimation methods for logistic regression models that include random effects - the Laplace approximation, Gauss-Hermite quadrature, adaptive Gauss-Hermite quadrature, and pseudo-likelihood. Applications are provided with social science problems by analyzing the effect of mental health and life satisfaction on volunteer activities from Korean welfare panel data; in addition, we observe that the inclusion of random effects in the model leads to improved analyses with more reasonable inferences. 관측되지 않는 효과 또는 고정효과로 설명할 수 없는 분산 구조가 포함되어 정확한 모수 추정이 어려운 경우 체계적인 분석을 위해 일반화 선형 모형은 임의효과가 포함된 일반화 선형 혼합 모형으로 확장되었다. 본 연구에서는 일반화 선형 모형 중에서도 이분적인 반응변수를 다루는 로지스틱 회귀모형에 임의효과를 포함한 최대 우도 추정 방법을 설명한다. 그중에서도 라플라스 근사법, 가우스-에르미트 구적법, 적응 가우스-에르미트 구적법 그리고 유사가능도 우도에 대한 최대우도 추정법을 자세히 알아본다. 또한 제안한 방법을 사용하여 한국 복지 패널 데이터에서 정신건강과 생활만족도가 자원봉사활동에 미치는 영향에 대해 분석한다.

군집 특정 변량효과를 포함한 유한 혼합 모형의 베이지안 분석

이혜진,경민정,Lee, Hyejin,Kyung, Minjung 한국통계학회 2017 응용통계연구 Vol.30 No.1

대량의 데이터에 있어 전반적인 특성 및 구조를 파악하는데 유용하기 때문에 다양한 분야에서 군집분석을 사용하고 있다. Dempster 등 (1977)에서 정의된 expectation-maximization(EM) 알고리즘은 가장 보편적으로 사용되는 군집분석 방법이다. 선형모형의 유한혼합물(finite mixture of linear model) 기법 또한 군집분석 방법 중 많이 사용되는 방법이며 베이지안 군집방법은 Bernardo와 Giron (1988)이 군집에 대한 가중치 확률만 모를 경우 처음 적용하였다. 우리는 이 연구에서 일반적인 선형모형의 유한혼합물이 아닌 군집특정(cluster-specific) 변량효과를 모형에 포함하여 베이지안 분석방법인 깁스표집법(Gibbs sampling)을 사용한다. 제안한 모형의 특성 및 표집법에 대하여 설명하였고 모의실험 및 실제 데이터 분석을 통하여 모형의 유용성을 파악하였다. Hurn 등 (2003)의 CO2 데이터에 모형을 적용하여 변량효과가 없는 모형, 개체특정(subject-specific) 변량효과 모형과 비교하였다. Clustering algorithms attempt to find a partition of a finite set of objects in to a potentially predetermined number of nonempty subsets. Gibbs sampling of a normal mixture of linear mixed regressions with a Dirichlet prior distribution calculates posterior probabilities when the number of clusters was known. Our approach provides simultaneous partitioning and parameter estimation with the computation of classification probabilities. A Monte Carlo study of curve estimation results showed that the model was useful for function estimation. Examples are given to show how these models perform on real data.