이상점 영향력 축소를 통한 무응답 대체법

김만겸,신기일,Kim, Man-Gyeom,Shin, Key-Il 한국통계학회 2014 응용통계연구 Vol.27 No.7

이상점과 무응답이 동시에 존재하는 경우에는 무응답만 있는 경우에 비해 무응답 대체의 성능이 떨어지게 된다. 이러한 경우에는 먼저 이상점을 탐지하고, 탐지된 이상점의 영향력을 축소한 후 무응답 대체를 실시하여야 한다. 본 논문에서는 이상점의 영향력을 축소하여 무응답 대체법의 성능을 향상시키는 방법을 연구하였다. 이를 위해 She and Owen (2011)이 제안한 이상점 탐지법을 살펴보았고, 탐지된 이상점의 영향력을 줄이기 위한 방법으로 흔히 사용되는 가중치 조정법과 이상점 대체법을 살펴보았다. 또한 이상점 처리 방법을 적용한 무응답 대체법을 살펴보았으며 모의실험과 사례분석을 통하여 이상점 영향력 축소 효과를 살펴보았다. Most of sampling surveys have outliers and non-response missing values simultaneously. In that case, due to the effect of outliers, the result of imputation is not good enough to meet a given precision. To overcome this situation, outlier treatment should be conducted before imputation. In this paper in order for reducing the effect of outlier, we study outlier imputation methods and outlier weight adjustment methods. For the outlier detection, the method suggested by She and Owen (2011) is used. A small simulation study is conducted and for real data analysis, Monthly Labor Statistic and Briquette Consumption Survey Data are used.

공간통계분석에서 이상점 수정방법의 효율성비교

이진희,신기일 한국통계학회 2004 응용통계연구 Vol.17 No.2

이상점이 존재하는 공간자료(spatial data) 분석에서 이상점(outlier)의 영향력를 줄이기 위 한 방법으로 로버스트 변이도(robust variogram)를 사용한다. 최근 이상점을 먼저 수정한 후 변이도를 추정하는 방법을 사용하면 더 좋은 분석결과를 얻을 수 있다는 것이 알려졌다. 본 논문에서는 이상점이 존재하는 공간자료 분석에서 Mugglestone 등(2000)이 제안한 이상점 수정법과 본 논문에서 제안한 새로운 이상점 수정법의 효율성을 비교하였다. Many researchers have used the robust variogram to reduce the effect of outliers in spatial data analysis. Recently it is known that estimating the variogram after replacing outliers is more efficient. In this paper, we suggest a new data cleaner for geostatistic data analysis and compare the efficiency of outlier cleaners.

다중 선형 모형에서 식별된 다중 이상점과 다중 지렛점의 재확인 방법에 대한 연구

유종영,안기수 한국통계학회 2002 응용통계연구 Vol.15 No.2

다중 이상점 과 다중 지렛점의 식별은 가장효과(masking effect)와 편승효과(swamping effect)에 영향을 받으므로 어려움이 존재한다. Rousseeuw와 van Zomeren(1990)은 LMS (Least Median of Squares) 회귀방법과 MVE(Minimum Volume Ellipsoid) 통계량을 이용하여 다중 이상점과 다중 지렛점을 식별하였다. 그러나 이들의 방법은 LMS와 MVE의 강한 로버스트성으로 인하여 이상점과 지렛점이 아닌 점들도 이상점과 지렛점으로 식별하는 경향이 있다. Fung(1993)은 식별된 이상점과 지렛점들에 대하여 재확인방법을 제안하였는데 이 방법은 인근효과(adjacent effect)에 영향을 받아 이상점과 지렛점을 식별하는데 문제가 있는 것으로 분석되었다. 본 논문은 이러한 문제점을 지적하고 새로운 방법을 제안하여 식별된 이상점과 지렛점을 재확인하고자 한다. We considered the problem for confirmation of multiple outliers and leverage points. Identification of multiple outliers and leverage points is difficult because of the masking effect and swamping effect. Rousseeuw and van Zomeren(1990) identified multiple outliers and leverage points by using the Least Median of Squares and Minimum Value of Ellipsoids which are high-breakdown robust estimators. But their methods tend to declare too many observations as extremes. Atkinson(1987) suggested a method for confirming of outliers and Fung(1993) pointed out Atkinson method's limitation and proposed another method by using the add-back model. But we analyzed that Fung's method is affected by adjacent effect. In this thesis, we proposed one procedure for confirmation of outliers and leverage points and compared three example with Fung's method.

자료에 이상점들이 존재할 때 매개효과 검정 방법들의 비교

구남욱(Nam wook Koo) 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

이 모의실험 연구에서는 매개효과연구에서 OLS 회귀모형을 사용하여 이상점들의 영향력을 검토하였으며, 다섯 가지의 매개효과 검정방법을 비교하였다. 이 연구에서 이상점들(outliers)은 목표 모집단(target population)과 다른 분포를 갖는 하위 모집단(subpopulation)으로 정의되었다. 모의실험의 조건으로는 목표 모집단과 이상점들의 분포(평균과 분산), 이 상점들의 혼합비율, 매개효과의 크기가 고려되었다. 연구결과에 따르면, 모의실험의 조건들 중에서 이상점들의 분산이 증가할수록 매개효과의 검정력은 전반적으로 감소하였다. 또한, 이상점들이 존재할 때 일종오류 비율에 있어서는 비대칭신뢰한계 방법이 모든 조건에서 명목상의 일종오류 비율인 0.05에 가까운 적합한 값들을 산출하였고, 그리고 통계적 검정력 비율에 있어서도 비대칭신뢰한계 방법은 전반적으로 높은 검정력 비율을 나타내었다. 반면에 선행 매개효과 연구에서 일종오류와 통계적 검정력에 있어서 우수한 방법 중 하나로 추천되었던 편향이 수정된 붓스트랩 방법은 이상점들이 존재할 때, 이 연구의 모든 조건에서 일종오류 비율을 명목상의 일종오류 비율보다 과대 추정하였다. 따라서 이 연구의 결과에 따르면, 자료에 이상점들이 존재할 때, 붓스트랩 방법보다 비대칭 신뢰한계 방법을 사용하는 것이 보다 정확한 매개효과 검정 결과를 얻을 수 있다. This study investigated the effects of outliers in mediation analysis and compared five different methods of testing a mediated effect with OLS regression models. In this study, outliers are defined as a subpopulation which distribution has a different shape from a target population 's. The design factors of this study were the different mean and variance of a target population and outliers, the ratio of outliers, and the effect size of the medated effect. Interestingly, it was found that among design factors, an increase of variance in outliers resulted in a decrease of a statistical power rate of a mediated effect. In terms of empirical Type I error rates, the asymmetric confidence limits performed best whereas a bias corrected bootstrap performed worst in most conditions. Also, the asymmetric confidence limits resulted in the higher power rates than others in many conditions. The results of this study recommended the asymmetric confidence limits over bootstrap methods when data include outliers.

다변량 장기 종속 시계열에서의 이상점 탐지

김경희,유승연,백창룡 한국통계학회 2022 응용통계연구 Vol.35 No.3

This paper studies the outlier detection method for multivariate long memory time series. The existing outlier detection methods are based on a short memory VARMA model, so they are not suitable for multivariate long memory time series. It is because higher order of autoregressive model is necessary to account for long memory, however, it can also induce estimation instability as the number of parameter increases. To resolve this issue, we propose outlier detection methods based on the VHAR structure. We also adapt the robust estimation method to estimate VHAR coefficients more efficiently. Our simulation results show that our proposed method performs well in detecting outliers in multivariate long memory time series. Empirical analysis with stock index shows RVHAR model finds additional outliers that existing model does not detect. 본 논문에서는 장기 종속 다변량 시계열 자료에 대한 이상점 탐지 기법을 연구한다. 기존 다변량 시계열 이상점 탐지 방법은 단기 종속 시계열 모형인 VARMA에 기반한 방법으로, 장기억성을 띈 다변량 시계열 자료에는 적합하지 않다. 자기회귀 모형을 통해서 장기 종속성, 즉 장기억성을 고려하기 위해서는 높은 차수의 모형이 필요하고, 이는 곧 추정의 불안성으로 이어지기에 장기억성을 효율적으로 다룰 수 없기 때문이다. 따라서, 본 논문은 이러한 문제를 보완하고자 VHAR 구조에 기반한 이상점 탐지 방법을 제시하고자 한다. 또한 더욱 정확한 추론을 위해서 로버스트한 방법을 이용하여 VHAR 계수를 추정하였고 이를 활용하여 이상점을 탐지하였다. 모의실험 결과 우리가 제안한 방법론이 기존 VARMA에 기반한 방법론보다 이상점 탐지에 더 효과적임을 살펴볼 수 있었다. 주가지수에 대한 실증자료 분석에서도 기존의 방법론은 탐지하지 못하는 추가 이상점을 찾음을 확인할 수 있었다.

수요예측에서의 이상점 인지 휴리스틱에 관한 연구

변준현 ( Junhyun Byun ),문성암 ( Seongam Moon ) 한국로지스틱스학회 2019 로지스틱스연구 Vol.27 No.1

수요예측 과정에서 주변의 데이터들과 큰 차이를 보이는 데이터는 관리가 필요하다. 이를 이상점 관리라고 한다. 데이터가 소음이면 제거하는 것이 맞지만, 신호였다면 제거는 잘못된 것이다. 수요를 예측하는 과정에서 신호인지 소음인지에 대한 판단은 어려운 일이다. 본 연구에서는 신호와 소음의 기준을 정하는 것은 접어두고, 수요예측 과정에서의 판단(이하 ‘과정판단’이라 명함)보다 일정 기간 후의 결과적 판단(이하 ‘결과판단’이라 명함)에서 이상점을 보다 잘 인지한다는 것을 실험을 통해 검증한다. 한 명의 피실험자는 크게 두 번의 의사결정을 내린다. 한 번은 1일 단위로 수요를 예측하고, 다른 한 번은 과거 데이터를 한데 모아서 예측한다. 두 실험의 수요는 동일하며 이상점이 포함되어 있다. 실험결과는 과정판단이 결과판단에 비해 이상점을 잘 식별하지 못하는 것으로 나타났다. 즉 과정판단은 평균으로부터 멀리 떨어진 수요를 이상점으로 여겨 예측과정에서 제외시키는 비율이 결과판단보다 낮았다. 이는 과정판단이 결과판단보다 예측정확도가 높다는 것을 의미하지는 않는다. 다만 과정판단의 경우 이상점 관리가 제대로 이루어지지 않을 가능성이 높음을 보여준다고 할 수 있다. In the process of forecasting the future using past data, we can increase accuracy of forecasting by deleting strange data. This is outlier management. If we analyze past data frequently, it is not easy to distinguish specific data away from the average. It is still difficult for this process to decide that deleting such data is better. In this research, we verify through experimentation that judging after the process (hereinafter ‘consequence judgment’) is more rigorous than judging during the process (hereinafter ‘in-process judgment’). Each subject makes two major decisions. They forecast the demand on a daily basis, and then forecast once more with all previous data. The demand includes outlier. As a result, the proportion of outlier detection in in-process judgment is less than in consequence judgment. This does not mean that the forecasting accuracy of progress judgment is higher than result judgment. In case of in-process judgment, it only can be shown that there is a high possibility that outlier management is not appropriately performed.

로버스트 추정량에 바탕을 둔 편잔차그림

김부용,신사임 숙명여자대학교 자연과학연구소 2000 자연과학논문집 Vol.- No.11

회귀모형에 추가되는 설명변수의 함수형태를 파악하는데 편잔차그림이 효과적으로 이용된다.기존의 편잔차그림은 최소자승추정량에 바탕을 둔 것이므로 자료에 이상점들이 존재하는 경우에는 이상점의 영향을 받게 되어 왜곡된 형태로 나타나게 된다. 따라서 본 연구에서는 로버스트 추정량에 바탕을 둔 편잔차그림을 제안하는데, 자료에 수직이상점이나 나쁜 지렛점들이 존재하는 경우에 제안된 편잔차그림이 기존의 편잔차그림보다 매우 효과적이며, 이상점이 존재하지 않는 경우에도 최소자승추정에 바탕을 둔 그림보다 효용성이 떨어지지 않음을 확인하였다. Partial residual plots are one of the most useful tools fur the identification of unknown function of the regressors which are considered to be added to the linear regression model. Since the least squares estimator is very sensitive to the outliers, the traditional partial residual plots based on them may be distorted by the outliers. Thus, this article proposes the partial residual plots based on the robust estimators such as Ll, M, LMS, and LTS-estimator, and it is shown that the plots are more effective than the partial residual plot based on the least squares estimator when the data set has the regression outliers; vertical outliers and bad leverage points.

비 가우시안 잡음이 존재하는 무선 센서 네트워크에서 Robust Statistics를 활용하는 수신신호세기기반의 위치 추정 기법

안태준,구인수 한국인터넷방송통신학회 2011 한국인터넷방송통신학회 논문지 Vol.11 No.3

무선 센서 네트워크에서, 각 센서 노드들로부터 수집된 정보를 효율적으로 활용하기 위해 센서 노드의 정확한 위치 정보는 필수적이다. 센서 노드의 위치를 추정하는 다양한 기법들 중, 일반적으로 많이 사용되는 수신신호세기(RSS)기법은 추가적인 하드웨어 자원 없이 쉽게 구현될 수 있으나 채널 환경에 따라 다양한 표본 데이터들이 수집 될 수 있고, 특히 이상점(outlier)이 포함 될 수 있다. 이러한 이상점들은, 수집된 표본들로부터 통계적 분석(statistical analysis)에 상당한 요인을 미치며 위치 추정 오차를 발생시키는 주요한 원인이 된다. 따라서 본 논문에서는, 이상점이 포함 된 표본들로부터 정확한 위치 추정을 위해 Robust Statistics를 적용한 가우시안 필터 알고리즘을 제안한다. 제안한 알고리즘은 이상점이 포함된 표본들로부터 이상점을 제거하고, 낮은 확률값의 표본들을 배제함으로써 위치 추정의 정확도를 향상시킨다. 시뮬레이션 결과로부터, 이상점이 포함 된 표본들로부터 비 가우시안적 환경에서 제안된 방법의 위치 추정의 정확성 향상과 강인성을 확인하였다. In the wireless sensor network(WSN), the detection of precise location of sensor nodes is essential for efficiently utilizing the sensing data acquired from sensor nodes. Among various location methods, the received signal strength (RSS) based localization scheme is mostly preferable in many applications since it can be easily implemented without any additional hardware cost. Since the RSS localization method is mainly effected by radio channel between two nodes, outlier data can be included in the received signal strength measurement specially when some obstacles move around the link between nodes. The outlier data can have bad effect on estimating the distance between two nodes such that it can cause location errors. In this paper, we propose a RSS-based localization method using Robust Statistic and Gaussian filter algorithm for enhancing the accuracy of RSS-based localization. In the proposed algorithm, the outlier data can be eliminated from samples by using the Robust Statistics as well as the Gaussian filter such that the accuracy of localization can be achieved. Through simulation, it is shown that the proposed algorithm can increase the accuracy of localization and is more robust to non gaussian noise channels.

On SSVS Method with Variance Inflation Model for The Detection of Outliers

Lee, Sang Jeen 울산과학대학 2001 연구논문집 Vol.28 No.1

이 논문에서는 이상점 문제를 다룰 것이다. 이상점문제란 어떠한 관점에서 의심의 여지가 있는 관측치문제를 말하고 이 문제는 오랫동안 통계적 구조의 실험자나 자료분석자들의 많은 관심을 받아왔다. 여기서는 베이지안 방법을 사용할 때의 회귀모형에서의 이상점문제를 다루고자 한다. 이때, 이상점을 위한 대립모형으로써 분산-팽창모형을 사용할 것이며 George와 McCulloch(1993)와 Geweke's(1996)의 SSVS(stochastic search variable selection)를 사용한 자료확대계산법을 이용하여 회귀모형의 이상점검법을 제시할 것이다. 이 제시할 방법의 장점으로는 사후확률을 이용하여 이상점을 집합형태로 검출할 수 있다는 것이다. 그리고 복잡한 계산을 위하여 깁스샘플러와 같은 몇 가지 베이지안 계산법을 사용할 것이다. 마지막으로 제안한 방법을 사용하여 직접 사용 예를 들 것이다. In this article, we will consider the outlier problem. The problem of outlier, observations which look suspicious in some way, has long been one of the most concern in the statistical structure to experimenters and data analysts. We propose a model for an outlier problem and also analyze it in linear regression model using a Bayesian approach. Then we consider the variance-inflation model and then use SSVS(stochastic search variable selection) of George and McCulloch(1993)'s and Geweke's(1996) ideas which are based on the data augmentation method for detecting outliers in regression model. The advantage of proposed methods is to find a subset of data which is most suspicious in the given model by the posterior probability. Some Bayesian computational method such as the Gibbs sampler can be used to overcome the complicated Bayesian computation. Finally, proposed methods are applied to a simulated data and a real data.

DGPS 정확도 향상을 위한 PRC 이상점 제거기법 개발

김군택(Kim, Koon Tack),박관동(Park, Kwan Dong),김혜인 한국측량학회 2011 한국측량학회 학술대회자료집 Vol.2011 No.4

이 연구에서는 RTCM 메시지에 포함되어 있는 PRC의 특성을 분석하였다. 또한 불규칙적으로 발생되는 PRC의 이상점을 다항식 곡선 접합을 적용하여 검출 및 보정하는 기법을 제안하였다. 또한 보정된 PRC의 검증을 위해 PRC의 이상점이 존재하는 에폭에서 보정 전·후의 PRC를 DGPS 측위에 사용하여 측위오차를 분석하였다. 분석 결과, 다항식 곡선 접합을 적용하여 이상점을 보정한 PRC를 사용한 측위에서 이상점이 존재하는 PRC를 사용한 측위보다 오차가 감소하는 것을 확인하였다.