Bayesian Robust Analysis for Non-Normal Data Based on a Perturbed-t Model

김혜중 한국통계학회 2006 Journal of the Korean Statistical Society Vol.35 No.4

The article develops a new class of distributions by introducing a non-negative perturbing function tot distribution having location and scaleparameters. The class is obtained by using transformations and condition-ing. The class strictly includest and skew-t distributions. It provides yetother models useful for selection modeling and robustness analysis. Analyticforms of the densities are obtained and distributional properties are studied.These developments are followed by an easy method for estimating the dis-tribution by using Markov chain Monte Carlo. It is shown that the methodis straightforward to specify distributionally and to implement computation-ally, with output readily adopted for constructing required criterion. Themethod is illustrated by using a simulation study.AMS 2000 subject classications.Primary 62H10; Secondary 62F15.Keywords.Perturbedt-distribution, non-normal data, Bayesian robust analysis.1. IntroductionSuppose that the model where a random variableZ is distributed with densityg(zj) and that it is desired to make inferences about;where is aq-dimensionalvector of unknown parameters. The usual statistical analysis assumes that a ran-dom sample Z1;:;Z n fromg(zj) can be observed. There are many situations,however, in which such a random sample might not be available, for instance, if itis too dicult or too costly to obtain. Then statistical models have to be devel-oped to incorporate the non-randomness or bias in the observations. Weighteddistributions (Rao, 1985) arise when the density of the potential observationz gets distorted so that it is multiplied by some non-negative weight functionReceived February 2006; accepted October 2006.yThis research was supported by the Korea Research Foundation Grant funded by the KoreanGovernment (MOEHRD) KRF-2005-041-C00089.

한반도 연안 비조석 성분자료의 통계적 특성

조홍연(Cho, Hong-Yeon),정신택(Jeong, Shin-Taek),윤종태(Yoon, Jong-Tae),김창일(Kim, Chang-Il) 한국해안해양공학회 2006 한국해안해양공학회 논문집 Vol.18 No.2

우리나라 연안 비조석 성분자료의 확률밀도함수 형태로 쌍봉형 정규분포 함수 형태를 제안하였다. 비조석 성분 자료는 국립해양조사원에서 제공하는 인천, 군산, 목포, 제주, 여수, 마산, 가덕도, 부산, 포항, 속초 검조소의 1시간 간격 조위자료에서 64개 분조성분을 이용하여 합성된 성분을 제외한 잔차성분이다. 제안된 분포함수와 비조석 성분자료 분포함수의 RMS 오차 및 결정계수(R²) 값을 비교·분석한 결과, 비조석 성분자료의 확률밀 도함수로 본 연구에서 제안한 쌍봉형 함수가 기존에 사용하던 정규분포형 함수보다 더 적합한 함수로 파악되었다. 본 연구에서 제안된 확률밀도함수의 매개변수는 Newton 방법을 수정한 Levenberg-Marquardt 방법으로 추정 하였으며, 비조석 성분 자료의 표준편차 및 왜곡도 계수는 목포, 제주, 속초 지점을 제외하고는 분석지점 검조소 자료의 비조화 상수와 밀접한 관계가 있는 것으로 파악되었다. Double-peak normal distribution function was suggested as the probability density function of the non-tidal components (NTC) data in Korean coastal zone. Frequency distribution analysis of the NTC data was carried out using hourly tidal elevation data of the ten tidal gauging stations, i.e., Incheon, Gunsan, Mokpo, Jeju, Yeosu, Masan, Gadeokdo, Busan, Pohang, and Sokcho which were served through the Internet Homepage by the National Ocean Research Institute. NTC data is defined as the difference between the measured tidal elevation data and the astronomical tidal elevation data using 64 tidal constituents information. Based on the RMS error and R² value comparison analysis, it was found that this suggested function as the probability density function of the NTC data was found to be more appropriate than the normal distribution function. The parameters of the double-peak function were estimated optimally using Levenberg-Marquardt method which was modified from the Newton method. The standard deviation and skewness coefficient were highly correlated with the non-tidal constants of the tidal gauging stations except Mokpo, Jeju and Sokcho stations.

데이터 정규화 및 주성분 분석 기반의 인공신경망을 이용한 상수관망 내 무수율의 추정

Dong Woo Jang 위기관리 이론과 실천 2018 Crisisonomy Vol.14 No.3

상수관망 내 무수율은 관로의 파손, 운영 손실, 물리적 요소 등에 의해 발생하는 수도공급량에 대한 손실 비율을 나타낸다. 국내에서 시행하는 관망정비사업, 유수율 제고 사업에 있어서 무수율은 시ㆍ도 및 소블록에 대한 비교 지표로써 무수율에 영향을 주는 인자의 발굴 및 무수율 추정기법에 대한 연구는 수도공급시설의 경제성과 연관되어 점차 중요해지고 있다. 본 연구에서는 무수율 추정하기 위한 방법으로 통계분석 기법 중 주성분 분석(PCA), 인공신경망(ANN)을 이용하여 무수율을 추정하였다. 연구를 위하여 상수관망 주요 영향인자에 대한 데이터를 수집하였고, Z-score방법을 통하여 데이터를 정규화 한 후 PCA-ANN 모형에 적용하여 무수율을 추정하였다. 무수율 모의 결과와 실측 무수율을 비교하기 위하여 정확도 평가를 수행하였다. 연구결과 무수율 예측에 있어 PCA-ANN기법이 원데이터를 이용하여 ANN을 단독으로 모의하는 조건보다 정확도가 높은 것으로 나타났다. 또한 ANN 모형 구축시 은닉층 내의 뉴런수에 따라 추정결과가 상이하며 본 연구에서 사용된 6개의 독립 변수에 대하여, 12개의 뉴런을 이용한 조건에서 무수율 예측정확도가 높은 것으로 나타났다. The non-revenue water (NRW) ratio in water distribution systems is an index of the loss of water supply caused by pipe burst, operational loss and physical factors. NRW ratio is a comparative index for city, province and DMA (district metering area) in the domestic water supply maintenance project. An investigation of the factors affecting the NRW as well as its estimation have become increasingly important in an economic sense. In this study, PCA (principal component analysis) and ANN (artificial neural network) are used as statistical methods to estimate the NRW ratio. The normalized data were obtained through the Z-score method, and then the PCA-ANN model was constructed for the NRW ratio estimation. Accuracy assessment was performed to compare the observed NRW ratio with the estimated ratio from the ANN model. The results show that the PCA-ANN model is more accurate than the single ANN and the estimation results differ by the number of neurons in the hidden layer of ANN. As for the six independent variables used in this study, the accuracy of NRW ratio prediction was found highest when 12 neurons were used.

BAYESIAN ROBUST ANALYSIS FOR NON-NORMAL DATA BASED ON A PERTURBED-t MODEL

Kim, Hea-Jung The Korean Statistical Society 2006 Journal of the Korean Statistical Society Vol.35 No.4

The article develops a new class of distributions by introducing a nonnegative perturbing function to $t_\nu$ distribution having location and scale parameters. The class is obtained by using transformations and conditioning. The class strictly includes $t_\nu$ and $skew-t_\nu$ distributions. It provides yet other models useful for selection modeling and robustness analysis. Analytic forms of the densities are obtained and distributional properties are studied. These developments are followed by an easy method for estimating the distribution by using Markov chain Monte Carlo. It is shown that the method is straightforward to specify distribution ally and to implement computationally, with output readily adopted for constructing required criterion. The method is illustrated by using a simulation study.

자료별 분류분석(DDA)에 의한 특징추출

박명수(Myoung Soo Park),최진영(Jin Young Choi) 한국지능시스템학회 2009 한국지능시스템학회논문지 Vol.19 No.1

본 논문은 선형차원감소(Linear Dimensionality Reduction)을 위해 널리 이용되고 있는 특징추출 알고리듬인 선형판별분석(Linear Discriminant Analysis)의 문제점을 해결할 수 있는 새로운 특징추출 알고리듬을 제안한다. 선형판별분석에 포함되는 평균-자료 간 거리 및 평균-평균 간의 거리에 기반한 분산행렬은 역행렬 연산, 계수의 제한 등으로 인하여 계산상의 문제와 추출되는 특징의 수가 제한되는 한계를 가지고 있다. 또한 자료의 집단이 단일 모드의 정규 분포로부터 얻어진 것으로 가정되며 그렇지 않은 경우에 대해서는 적절한 결과를 얻을 수 없다. 본 논문에서는 자료-자료 간의 거리에 기반하고 적절하게 가중치가 추가된 새로운 행렬을 정의하였으며, 이에 기반하여 특징을 추출하는 방법을 제안하였다. 그럼으로써 앞서 선형판별분석의 여러 문제를 해결하고자 시도하였다. 제안된 방법의 성능을 실험을 통해 확인하였다. This paper presents a new feature extraction algorithm which can deal with the problems of linear discriminant analysis. widely used for linear dimensionality reduction. The scatter matrices included in linear discriminant analysis are defined by the distances between each datum and its class mean, and those between class means and mean of whole data. Use of these scatter matrices can cause computational problems and the limitation on the number of features. In addition, these definition assumes that the data distribution is unimodal and normal, for the cases not satisfying this assumption the appropriate features are not achieved. In this paper we define a new scatter matrix which is based on the differently weighted distances between individual data, and presents a feature extraction algorithm using this scatter matrix. With this new method. the mentioned problems of linear discriminant analysis can be avoided, and the features appropriate for discriminating data can be achieved. The performance of this new method is shown by experiments.

탐진강 수질측정 지점 간 동질성 검정을 위한 비모수적 자료 분석

김미아 ( Mi Ah Kim ),이수웅 ( Su Woong Lee ),이재관 ( Jae Kwan Lee ),이정섭 ( Jung Sub Lee ) 한국물환경학회 2005 한국물환경학회지 Vol.21 No.6

한반도 연안 비조석 성분자료의 통계적 특성

정신택 ( Shin Taek Jeong ),김정대 ( Jong Dae Kim ) 원광대학교 공업기술개발연구소 2006 工業技術開發硏究誌 Vol.26 No.-

비정규 데이터 분석을 위한 Regression Tree 학습 모델

유영지,임보미,박정술,백준걸 대한산업공학회 2012 대한산업공학회 춘계학술대회논문집 Vol.2012 No.5

본 연구에서는 정규분포를 따르지 않는 데이터의 Regression Tree를 구축하기 위한 분할 기준(Split Function)을 제안한다. 기존 연구에 의한 분할 기준은 ANOVA를 기반으로 하고 있어 데이터의 정규성, 독립성, 등분산성의 가정을 포함하고 있으나 분석의 대상이 되는 데이터는 일반적으로 위의 가정을 만족하지 못한다. 본 연구에서는 비정규 분포를 표현할 수 있는 피어슨 분포를 이용한 Approximated P-value를 기준으로 하는 학습 방법을 제안한다. 제안하는 방법은 비정규 데이터에 적합한 분할기준을 사용함으로써 학습 효과를 향상 시킬 수 있다.

비정규 데이터 분석을 위한 Regression Tree 학습 모델

유영지,임보미,박정술,백준걸 한국경영과학회 2012 한국경영과학회 학술대회논문집 Vol.2012 No.5

본 연구에서는 정규분포를 따르지 않는 데이터의 Regression Tree를 구축하기 위한 분할 기준(Split Function)을 제안한다. 기존 연구에 의한 분할 기준은 ANOVA를 기반으로 하고 있어 데이터의 정규성, 독립성, 등분산성의 가정을 포함하고 있으나 분석의 대상이 되는 데이터는 일반적으로 위의 가정을 만족하지 못한다. 본 연구에서는 비정규 분포를 표현할 수 있는 피어슨 분포를 이용한 Approximated P-value를 기준으로 하는 학습 방법을 제안한다. 제안하는 방법은 비정규 데이터에 적합한 분할기준을 사용함으로써 학습 효과를 향상 시킬 수 있다.

Applying a Forced Censoring Technique with Accelerated Modeling for Improving Estimation of Extremely Small Percentiles of Strengths

Chen Weiwei,Leon Ramon V.,Young Timothy M.,Guess Frank M. The Korean Reliability Society 2006 International Journal of Reliability and Applicati Vol.7 No.1

Many real world cases in material failure analysis do not follow perfectly the normal distribution. Forcing of the normality assumption may lead to inaccurate predictions and poor product quality. We examine the failure process of the internal bond (IB or tensile strength) of medium density fiberboard (MDF). We propose a forced censoring technique that closer fits the lower tails of strength distributions and better estimates extremely smaller percentiles, which may be valuable to continuous quality improvement initiatives. Further analyses are performed to build an accelerated common-shaped Weibull model for different product types using the $JMP^{(R)}$ Survival and Reliability platform. In this paper, a forced censoring technique is implemented for the first time as a software module, using $JMP^{(R)}$ Scripting Language (JSL) to expedite data processing, which is crucial for real-time manufacturing settings. Also, we use JSL to automate the task of fitting an accelerated Weibull model and testing model homogeneity in the shape parameter. Finally, a package script is written to readily provide field engineers customized reporting for model visualization, parameter estimation, and percentile forecasting. Our approach may be more accurate for product conformance evaluation, plus help reduce the cost of destructive testing and data management due to reduced frequency of testing. It may also be valuable for preventing field failure and improved product safety even when destructive testing is not reduced by yielding higher precision intervals at the same confidence level.