한국의 미세먼지 시계열 분석: 장기종속 시계열 혹은 비정상 평균변화모형?

백창룡,Baek, Changryong 한국통계학회 2013 응용통계연구 Vol.26 No.6

이 논문에서는 한국의 대기질을 결정하는 중요한 수치인 미세먼지(PM10)에 대한 통계적 고찰을 한다. 2011년 매시 관찰된 자료 분석을 토대로 미세먼지가 매우 높은 시차에서도 강한 양의 상관관계를 가지는 장기 종속 시계열의 특징을 보임을 밝힌다. 또한 주변분포는 꼬리가 두터운 모형으로서 로그-정규분포보다는 일반화 파레토 분포가 훨씬 더 자료를 잘 적합함을 보인다. 하지만 이러한 높은 상관관계는 종종 단순한 평균변화 모형에 의한 그럴듯싸한 가짜 효과에 기인하기도 하여 통계모형을 세우는데 많은 혼동을 준다. 따라서 이 논문에서는 강한 종속성이 장기 종속 시계열에 의한 것인지 아니면 비정상 평균변화에 의한 것인지 근본적인 물리적 모형에 대한 논의를 통계적인 가설 검정을 통해 살펴본다. 그 결과 미세먼지의 강한 종속성은 구조변화에의한 착시 효과임을 밝힌다. This paper considers the statistical characteristics on the air quality (PM10) of Korea collected hourly in 2011. PM10 in Korea exhibits very strong correlations even for higher lags, namely, long range dependence. It is power-law tailed in marginal distribution, and generalized Pareto distribution successfully captures the thicker tail than log-normal distribution. However, slowly decaying autocorrelations may confuse practitioners since a non-stationary model (such as changes in mean) can produce spurious long term correlations for finite samples. We conduct a statistical testing procedure to distinguish two models and argue that the high persistency can be explained by non-stationary changes in mean model rather than long range dependent time series models.

A piecewise polynomial trend against long range dependence

백창룡 한국통계학회 2015 Journal of the Korean Statistical Society Vol.44 No.3

A sequential testing procedure to distinguish between a piecewise polynomial trend superimposed by short-range dependence and long range dependence is examined. The proposed procedure is based on the local Whittle estimation of long range dependence parameter from the residual series obtained by removing a piecewise polynomial trend. All results are provided with theoretical justifications, and Monte Carlo simulations show that our method achieves good size and provides reasonable power against long range dependence. The proposed method is illustrated to the historical Northern Hemisphere temperature data.

Sparse vector heterogeneous autoregressive modeling for realized volatility

백창룡,박민수 한국통계학회 2021 Journal of the Korean Statistical Society Vol.50 No.2

We propose a sparse vector heterogeneous autoregressive (VHAR) model for realized volatility forecasting. As a multivariate extension of a heterogeneous autoregressive model, a VHAR model can consider the dynamics of multinational stock volatilities in a compact manner. A sparse VHAR is estimated using adaptive lasso and some theoretical properties are provided. In practice, our sparse VHAR model can improve forecasting performance and explicitly show the connectivity between stock markets. In particular, our empirical analysis shows that the NASDAQ market had the strongest influence on stock market volatility worldwide in the 2010s.

장기간 의존 시계열에서 붓스트랩을 이용한 장기적 분산 추정

백창룡,권용,Baek, Changryong,Kwon, Yong 한국통계학회 2016 응용통계연구 Vol.29 No.3

본 논문은 시계열 분석의 추론에서 매우 중요한 역할을 하는 장기적 분산에 대해서 붓스트랩을 이용한 추정을 다룬다. 본 논문은 기존의 방법을 두가지 측면에서 확장한다. 첫째, 단기억 시계열에서의 장기적 분산 추정을 확장하여 자료의 의존성이 매우 강한 장기간 의존 시계열에서 붓스트랩을 이용한 장기적 분산의 추정에 대해서 논의한다. 또한 장기간 의존 시계열이 평균변화모형과 매우 쉽게 잘 혼동됨이 잘 알려져 있기에 이를 해결하기 위해서 쌍봉형 커널을 이용한 추세 추정 및 붓스트랩의 블럭을 결정하는 방법을 제안한다. 모의 실험결과 제안한 방법이 매우 유의하였으며 북반구 평균 온도 변화 자료 분석으로 실증 자료 예제도 아울러 제시하였다. This paper considers a long-run variance estimation using a block bootstrap method under strong dependence also known as long range dependence. We extend currently available methods in two ways. First, it extends bootstrap methods under short range dependence to long range dependence. Second, to accommodate the observation that strong dependence may come from deterministic trend plus noise models, we propose to utilize residuals obtained from the nonparametric kernel estimation with the bimodal kernel. The simulation study shows that our method works well; in addition, a data illustration is presented for practitioners.

Adaptive lasso를 이용한 희박벡터자기회귀모형에서의 변수 선택

이슬기,백창룡,Lee, Sl Gi,Baek, Changryong 한국통계학회 2016 응용통계연구 Vol.29 No.1

본 논문은 다차원의 시계열 자료 분석에서 효율적인 희박벡터자기회귀모형에서의 모수 추정에 대해서 연구한다. 희박벡터자기회귀모형은 영에 가까운 계수를 정확이 영으로 둠으로써 희박성을 확보한다. 따라서 변수 선택과 모수 추정을 한꺼번에 할 수 있는 lasso를 이용한 방법론을 희박벡터자기회귀모형의 추정에 쓸 수 있다. 하지만 Davis 등(2015)에서는 모의실험을 통해 일반적인 lasso의 경우 영이아닌 계수를 참값보다 훨씬 더 많이 찾아 희박성에 약점이 있음을 보고하였다. 이에 따라 본 연구는 희박벡터자기회귀모형에 adaptive lasso를 이용하면 일반 lasso보다 희박성을 비롯한 전반적인 모수의 추정이 매우 유의하게 개선됨을 보인다. 또한 adaptive lasso에서 쓰이는 튜닝 모수들에 대한 선택도 아울러 논의한다. This paper considers variable selection in the sparse vector autoregressive (sVAR) model where sparsity comes from setting small coefficients to exact zeros. In the estimation perspective, Davis et al. (2015) showed that the lasso type of regularization method is successful because it provides a simultaneous variable selection and parameter estimation even for time series data. However, their simulations study reports that the regular lasso overestimates the number of non-zero coefficients, hence its finite sample performance needs improvements. In this article, we show that the adaptive lasso significantly improves the performance where the adaptive lasso finds the sparsity patterns superior to the regular lasso. Some tuning parameter selections in the adaptive lasso are also discussed from the simulations study.

왜도 예측을 이용한 Lee-Carter모형의 사망률 예측

이항석,백창룡,김지현,Lee, Hangsuck,Baek, Changryong,Kim, Jihyeon 한국통계학회 2016 응용통계연구 Vol.29 No.1

지속적인 사망률 개선으로 인한 평균 수명연장은 인구 고령화의 주요인이며 연금 공급자의 재정건전성에 심각한 영향을 미치는 원인으로 지목되기에 정확한 미래 사망률의 예측은 현 시점에서 선행되어야할 중요한 과제다. 본 연구는 미래 사망률을 예측하는 대표적인 확률적 사망률 모형인 Lee-Carter 모형을 사용하여 과거 생명표로 산출한 왜도를 기반으로 미래 사망률 지수를 간접적으로 예측하는 왜도예측방식을 제시한다. 기존의 Lee-Carter 모형을 이용한 사망률 예측방식은 사망률 지수를 추정하고 미래값을 직접 예측함으로써 미래 사망률이 지나치게 개선되는 현상을 보이며, 이를 바탕으로 산출된 연금액과 지급기간 추정 등 연금 공급자의 리스크 관리에 영향을 미친다. 본 연구는 기존 예측 방식의 사망률 예측 결과와 제시한 왜도 예측 방식의 사망률 예측 결과를 비교함으로써 기존 사망률 예측 방식의 문제점을 지적한다. 분석결과 왜도 예측을 통한 Lee-Carter 모형의 사망률 예측은 기존 방식보다 사망률 개선효과를 더 적게 반영하며 장수리스크를 덜 왜곡한다는 데 의의가 있다고 할 수 있다. 하지만 기존 방식 간 차이를 감안하여 적정한 미래 사망률 수준을 찾기 위해 임의로 부여한 가중치에 대해 향후 검토가 필요할 것으로 보인다. There have been continuous improvements in human life expectancy. Life expectancy is as a key factor in an aging population and can wreak severe damage on the financial integrity of pension providers. Hence, the projection of the accurate future mortality is a critical point to prevent possible losses to pension providers. However, improvements in future mortality would be overestimated by a typical mortality projection method using the Lee-Carter model since it underestimates the mortality index ${\kappa}_t$. This paper suggests a mortality projection based on the projection of the skewness of the mortality versus the typical mortality projection of the Lee-Carter model based on the projection of the mortality index, ${\kappa}_t$. The paper shows how to indirectly estimate future t trend with the skewness of the mortality and compares the results under each estimation method of the mortality index, ${\kappa}_t$. The analysis of the results shows that mortality projection based on the skewness presents less improved mortality at an elderly ages than the original projection.

시간에 따라 변화하는 로그-정규분포와 파레토 합성 분포의 모형 추정

박소진,백창룡 한국통계학회 2018 응용통계연구 Vol.31 No.1

임계값을 기준으로 그 보다 작은 값은 로그정규분포(lognormal distribution; LN)를, 큰 값은 일반화파레토분포 (generalized Pareto distribution; GPD)를 따르는 합성 분포를 LN-GPD 합성분포라 한다. Scollnik (2007)은 LN-GPD 합성분포가 로그정규분포와 GPD를 합성 시킴으로써 자료의 손실 없이 꼬리가 두꺼운 분포에서 좋은 적합력을 가진다고 밝혔다. 본 논문에서는 시간에 따라 변하는 LN-GPD 평균모형을 다루었으며 방법론으로는 국소다항최대우도법을 기반으로 추정하는 방법에 대해서 연구하였다. 시간에 따라 변하는 분포를 추정함으로써 자료에 대한 훨씬 자세한 이해가 가능하며 이는 곧 상담원 배치나 자원배분과 같은 운영관리에 큰 도움을 줄 수 있다. 본 연구는 GPD 분포만을 고려한 Beirlant와 Goegebeur (2004)를 확장하여 절삭한 로그정규분포를 추가하여 자료의 손실 없이 자료의 특징을 살펴볼 수 있다는데도 의의가 있다. 모의실험을 통해 제안한 방법론의 적절함을 살펴 보았고 실증 자료 분석으로 이스라엘 은행의 콜센터 서비스 시간에 대해 분석하여 상담원 배치와 관련된 흥미로운 결과를 찾을 수 있었다. The composite lognormal-generalized Pareto distribution (LN-GPD) is a mixture of right-truncated lognormal and GPD for a given threshold value. Scollnik (Scandinavian Actuarial Journal, 2007, 20-33, 2007) shows that the composite LN-GPD is adequate to describe body distribution and heavy-tailedness. This paper considers time-varying modeling of the LN-GPD based on local polynomial maximum likelihood estimation. Time-varying model provides significant detailed information of time dependent data, hence it can be applied to disciplines such as service engineering for staffing and resources management. Our work also extends to Beirlant and Goegebeur (Journal of Multivariate Analysis, 89, 97-118, 2004) in the sense of losing no data by including truncated lognormal distribution. Our proposed method is shown to perform adequately in simulation. Real data application to the service time of the Israel bank call center shows interesting findings on the staffing policy.

딥러닝을 이용한 이변량 장기종속시계열 예측

김지영,백창룡 한국통계학회 2019 응용통계연구 Vol.32 No.1

We consider bivariate long range dependent (LRD) time series forecasting using a deep learning method. A long short-term memory (LSTM) network well-suited to time series data is applied to forecast bivariate time series; in addition, we compare the forecasting performance with bivariate fractional autoregressive integrated moving average (FARIMA) models. Out-of-sample forecasting errors are compared with various performance measures for functional MRI (fMRI) data and daily realized volatility data. The results show a subtle difference in the predicted values of the FIVARMA model and VARFIMA model. LSTM is computationally demanding due to hyper-parameter selection, but is more stable and the forecasting performance is competitively good to that of parametric long range dependent time series models. 본 논문에서는 딥러닝을 이용한 이변량 장기종속시계열(long-range dependent time series) 예측을 고려하였다. 시계열 데이터 예측에 적합한 LSTM(long short-term memory) 네트워크를 이용하여 이변량 장기종속시계열을 예측하고 이를 이변량 FARIMA(fractional ARIMA) 모형인 FIVARMA 모형과 VARFIMA 모형과의 예측 성능을 실증 자료 분석을 통해 비교하였다. 실증 자료로는 기능적 자기공명 영상(fMRI) 및 일일 실현 변동성(daily realized volatility) 자료를 이용하였으며 표본외 예측(out-of sample forecasting) 오차 비교를 통해 예측 성능을 측정하였다. 그 결과, FIVARMA 모형과 VARFIMA 모형의 예측값에는 미묘한 차이가 존재하며, LSTM 네트워크의 경우 초매개변수 선택으로 복잡해 보이지만 계산적으로 더 안정되면서 예측 성능도 모수적 장기종속시계열과 뒤지지 않은 좋은 예측 성능을 보였다.

로렌츠 커브를 이용한 하둡 플랫폼의 최적화 지수

김우철,백창룡,Kim, Woo-Cheol,Baek, Changryong 한국통계학회 2014 응용통계연구 Vol.27 No.2

최근 큰 관심을 받는 빅데이터는 분산처리를 통해서만 효과적으로 처리할 수 있다. 분산처리란 주어진 쿼리를 여러 대의 컴퓨터로 분할하고 각 분할된 데이터의 계산 결과를 취합하는 과정으로, 주어진 하드웨어 리소스를 효과적으로 최대한 사용하는 것이 중요하다. 하둡은 이러한 분산처리를 가능하게 하는 플랫폼 중의 하나로 분산처리에 사용된 컴퓨터의 개수만큼 성능 향상을 기대할 수 있는 확장성을 최대한 보장하는 매우 성공적인 플랫폼이다. 이 논문에서는 하둡 플랫폼이 얼마나 최적화 되어있는지에 대한 객관적이고 계량적인 지수를 제공함으로써 주어진 하둡 플랫폼의 효율성을 측정한다. 방법론적으로는 로렌츠 커브를 이용하여 하드웨어 리소스들이 얼마나 잘 균등히 배분되어 있는지 살펴보고 CPU, 디스크 일기/쓰기 및 네트워크 병목현상에 따른 비용을 감안한 최적화된 로렌츠 커브를 찾음으로써 최적화 지수를 산출한다. 바꾸어 말하면, 이러한 최적화 지수는 주어진 하둡 플랫폼이 얼마만큼의 성능 향상이 가능한지 알려주는 척도로 오랜 시간을 필요로 하는 빅테이터의 처리 속도 개선을 위한 중요한 정보를 제공한다. 실험 자료 및 모의실험을 통해 본 논문에서 제안된 방법을 검증하였다. Ever increasing "Big data" can only be effectively processed by parallel computing. Parallel computing refers to a high performance computational method that achieves effectiveness by dividing a big query into smaller subtasks and aggregating results from subtasks to provide an output. However, it is well-known that parallel computing does not achieve scalability which means that performance is improved linearly by adding more computers because it requires a very careful assignment of tasks to each node and collecting results in a timely manner. Hadoop is one of the most successful platforms to attain scalability. In this paper, we propose a measurement for Hadoop optimization by utilizing a Lorenz curve which is a proxy for the inequality of hardware resources. Our proposed index takes into account the intrinsic overhead of Hadoop systems such as CPU, disk I/O and network. Therefore, it also indicates that a given Hadoop can be improved explicitly and in what capacity. Our proposed method is illustrated with experimental data and substantiated by Monte Carlo simulations.

Block wild bootstrap for self-normalization based change-point detection

박정현,백창룡 한국데이터정보과학회 2023 한국데이터정보과학회지 Vol.34 No.5

This paper considers applying the block wild bootstrap (BWB) approach to self-normalization method in detecting mean changes on the time series. The performance of the BWB approach is compared with three existing methods: CUSUM with asymptotic $p$-value, SN with asymptotic $p$-value, and CUSUM with BWB. Furthermore, we examine the robustness of the BWB method by considering several block lengths. Our results show that the BWB alleviate size distortions observed in the SN method, in particular with small sample sizes and strong correlations, while maintaining reasonable powers. Also, contrary to CUSUM method, the block length for SN method is robust so that it almost free from block length selection.