특정 범주에 대한 평가자간 카파 일치도의 퍼뮤테이션 p값

엄용환,Um, Yonghwan 한국데이터정보과학회 2016 한국데이터정보과학회지 Vol.27 No.4

근사검정은 종종 표본이 작은 순서척도의 범주를 갖는 분할표를 분석할 때 그 p값이 과대추정 되거나 과소추정 되기 때문에 적절하지 못한 것으로 여겨진다. 본 논문에서는 순서화된 범주를 갖는 $k{\times}k$ 분할표에서 특정 범주에 대한 가중 일치도에 대해 정확한 p값과 재표본 기법에 의해 p값을 구하는 퍼뮤테이션 방법을 제시한다. 이를 위해 두 명의 평가자가 특정의 범주에서 얼마나 일치된 평가를 하는 지를 측정하기 위해 $Kv{\dot{a}}lseth$가 제안한 특정 범주에 대한 가중 일치도 (weighted specific-category kappa)를 사용한다. 사례 데이터로서 $3{\times}3$ 분할표 형태의 실제 데이터와 가상데이터 그리고 $4{\times}4$ 분할표 형태의 가상데이터를 이용하며, 정확한 퍼뮤테이션 p값과 재표본 퍼뮤테이션 p값 그리고 근사검정의 p값을 계산하여 비교한다. Asymptotic tests are often not suitable for the analysis of sparse ordered contingency tables as asymptotic p-values may either overestimate or underestimate the true pvalues. In this pater, we describe permutation procedures in which we compute exact or resampling p-values for a weighted specific-category agreement in ordered $k{\times}k$ contingency tables. We use the weighted specific-category kappa proposed by $Kv{\dot{a}}lseth$ to measure the extent to which two independent raters agree on the specific categories. We carried out comparison studies between exact p-values, resampling p-values and asymptotic p-values using $3{\times}3$ contingency data (real and artificial data sets) and $4{\times}4$ artificial contingency data.

데이터 마이닝에서 Cohen의 kappa를 이용한 분류정확도 측정

엄용환(Yonghwan Um) 한국컴퓨터정보학회 2013 韓國컴퓨터情報學會論文誌 Vol.18 No.1

본 논문에서는 데이터 마이닝에서 분류 작업을 실시할 때 그 분류정확도을 측정하기 위해 Cohen의 kappa 계수와 weighted kappa 계수를 제안하였다. kappa 계수는 우연에 의해 생기는 분류를 보정하여 분류정확도을 측정하며 명목척도와 순서척도의 데이터에 대해 사용된다. 특히 순서척도의 데이터에서는 오분류의 크기를 가중치에 의해 정량화하여 분류정확도을 측정하는 weighted kappa 계수가 더 유용하게 사용된다. weighted kappa 계수 계산을 위해서는 2가지 가중치(일차형 가중치, 이차형 가중치)를 사용하였다.. 또한 실제 데이터인 지방간 데이터에 대해 kappa 계수와 weighted kappa 계수를 계산하여 비교하였다. In this paper, Cohen's kappa and weighted kappa are applied to measuring classification accuracy when performing classification in data minig. Cohen's kappa compensates for classifications that may be due to chance and is used for the data with nominal or ordinal scales. Especially, for the ordinal data, weighted kappa which measures the classification accuracy by quantifying the classification errors as weights is used. We used two weights (linear weight, quadratic weight) for calculations of weighted kappa. Also for the calculation and comparison of kappa and weighted kappa we used a real data set, fat-liver data.

퍼뮤테이션 방법에 의한 여러 상관계수들의 등가성 검정

엄용환(Yonghwan Um) 한국컴퓨터정보학회 2022 韓國컴퓨터情報學會論文誌 Vol.27 No.6

본 논문에서는 여러 개의 독립적인 모집단들 사이에서 상관계수들의 등가성에 대한 퍼뮤테이션 검정을 조사한다. 퍼뮤테이션 검정은 관측값들의 상호교환성에 기초하는 비모수적인 검정 방법이며 상호교환성이란 독립적이고 동일한 확률변수들의 개념을 일반화한 개념이다. 퍼뮤테이션 검정을 사용함으로써 근사적으로 정확한 검정에 가까운 검정을 실시할 수 있다. 퍼뮤테이션 검정은 근사적으로 보수적인 검정만큼의 검정력을 지니며, 표본의 크기가 작거나 정규성 가정이 충족되지 않을 때 유용한 방법이다. 본 논문에서는 먼저 상관계수들의 등가성을 검정하는 모수적인 방법들을 소개하고 이들을 퍼뮤테이션 검정과 비교한다. 끝으로 모든 검정들은 Iris 데이터를 예를 들어 비교된다. In this paper we investigate the permutation test for the equality of correlation coefficients in several independent populations. Permutation test is a non-parametric testing methodology based upon the exchangeability of observations. Exchangeability is a generalization of the concept of independent, identically distributed random variables. Using permutation method, we may construct asymptotically exact test. This method is asymptotically as powerful as standard parametric tests and is a valuable tool when the sample sizes are small and normality assumption cannot be met. We first review existing parametric approaches to test the equality of correlation coefficients and compare them with the permutation test. At the end, all the approaches are illustrated using Iris data example.

여러개의 독립 크론바흐 알파 계수들의 동일성에 대한 퍼뮤테이션 검정

엄용환(Yonghwan Um) 한국컴퓨터정보학회 2019 韓國컴퓨터情報學會論文誌 Vol.24 No.6

The statistical inference of Cronbach’s alpha measure of internal reliability is known to be inaccurate when sample size is small and the assumption of normality is violated. In this paper, we describe the permutation method in which we compute resampling p-values for testing the difference between two or more independent Cronbach’s alpha coefficients. When the over-all permutation test is significant, we also make pairwise post-hoc comparisons using permutaion method. The permutation tests for the equality of two independent Cronbach’s alpha coefficients and three independent Cronbach’s alpha coefficients are illustrated with an example analysis of survey data.

Combining Independent Permutation p Values Associated with Mann-Whitney Test Data

Yonghwan Um(엄용환) 한국컴퓨터정보학회 2018 韓國컴퓨터情報學會論文誌 Vol.23 No.7

In this paper, we compare Fisher’s continuous method with an exact discrete analog of Fisher’s continuous method from permutation tests for combining p values. The discrete analog of Fisher’s continuous method is known to be adequate for combining independent p values from discrete probability distributions. Also permutation tests are widely used as alternatives to conventional parametric tests since these tests are distribution-free, and yield discrete probability distributions and exact p values. In this paper, we obtain permutation p values from discrete probability distributions using Mann-Whitney test data sets (real data and hypothetical data) and combine p values by the exact discrete analog of Fisher’s continuous method.

이동통신 측정 데이터에 대한 회귀모형 추정에서의 자기상관제거 및 이상값 처리

엄용환(Yonghwan Um),김용규(Yongkyu Kim),김인겸(Inkyum Kim),김준철(Jun Chul Kim),정현민(Hyun Meen Jung) 한국통신학회 1998 한국통신학회 학술대회 및 강연회 Vol.1998 No.12

두 개의 선형회귀모형의 등가성검정 : Chow 검정과 퍼뮤테이션 검정간의 비교

엄용환(Yonghwan Um) 한국컴퓨터정보학회 2021 韓國컴퓨터情報學會論文誌 Vol.26 No.8

회귀분석은 반응변수와 예측변수들 간의 관련성을 설명하기 위해 사용되는 잘 알려진 통계 테크닉이다. 특히 연구자들은 두 개의 독립 모집단에서의 모형들의 회귀계수들(절편과 기울기)을 비교하는데 관심이 있다. Gregory Chow에 의해 제안된 Chow 검정은 회귀모형들을 비교하고 선형회귀모형 안에 구조적 브레이크가 존재하는지를 검정하기 위해 보통 사용되는 방법들 중의 하나이다. 본 연구에서는 두 독립 선형회귀모형들의 등가성을 검정하기 위해 퍼뮤테이션 방법을 제안하고 Chow 검정과 비교한다. 그리고 퍼뮤테이션 검정과 Chow 검정의 검정력을 조사하기 위해 시물레이션 연구를 진행하였다. Regression analysis is a well-known statistical technique useful to explain the relationship between response variable and predictor variables. In particular, Researchers are interested in comparing the regression coefficients(intercepts and slopes) of the models in two independent populations. The Chow test, proposed by Gregory Chow, is one of the most commonly used methods for comparing regression models and for testing the presence of a structural break in linear models. In this study, we propose the use of permutation method and compare it with Chow test analysis for testing the equality of two independent linear regression models. Then simulation study is conducted to examine the powers of permutation test and Chow test.

반분검사 신뢰도에 대한 퍼뮤테이션 분석

엄용환(Yonghwan Um) 한국컴퓨터정보학회 2017 韓國컴퓨터情報學會論文誌 Vol.22 No.7

In this paper, we describe a permutation procedure in which we compute a resampling probability value and empirical quantile limits for Split-Half measure of internal reliability. We use the Split-Half reliability coefficient given by two simple methods, the Spearman-Brown formula and the two-part coefficient alpha. The use of a permutation test for Split-Half reliability coefficient is highlighted as a valuable tool when the sample sizes are small and necessary assumptions cannot be met. The permutation tests for Split-Half reliability coefficient are illustrated with an example analysis of two survey data with a sample size of 15 and 35, respectively, and a hypothetical data with a sample size of 5.

A Stratified Agreement Measure among Multiple Raters for Multivariate Interval Data

엄용환(Yonghwan Um) 한국자료분석학회 2005 Journal of the Korean Data Analysis Society Vol.7 No.4

A stratified agreement measure among multiple raters for multivariate interval data is proposed. The proposed measure is based on Um s(2004) multivariate extension of Cohen s kappa. We consider assessment of inter-rater agreement with subjects grouped into strata on the basis of confounding variables. A stratified agreement measure is obtained by summing weighted individual agreement measures. Comparisons among stratified and unstratified agreement measures are made using hypothetical data set.

산포의 동질성 검정에서의 제1종 오류율과 검정력의 비교

엄용환 聖潔大學校 情報産業技術硏究所 1999 情報産業技術論叢 Vol.4 No.-

Parametric and Nonparametric procedures are compared for testing the equality of scale parameter between two groups. Estimated Type I error rates and power are reported for the Ansari-Bradley, Moses, and traditional F procedures. The effect of sample size, and the mean and the variance of the parent distribution are investigated for those tests. Normal and non-normal(exponential and t) distributions are used as the parent distributions. No test is robust and most powerful for all distributions. Ansari-Bradley test gives the most accurate estimate of Type I error rate for non-normal distributions. However, Moses test is more powerful than Ansari-Bradley test for non-normal distributions.