혼합형 검사에서 IRT문항모수와 기저 능력분포의 동시 추정이 문항모수 추정의 정확도에 미치는 영향

김성훈(Seonghoon Kim) 한국교육평가학회 2013 교육평가연구 Vol.26 No.3

본 연구는 김성훈(2012)의 후속연구로서, 혼합형 검사의 IRT 문항모수를 주변최대우도(MML)/베이지언 최빈치(BM)방법을 통해 추정할 때 사전능력분포를 ‘표준정규 N(0, 1)분포로 지정하는 방식’보다 ‘기저 능력분포의 추정치로 지정하는 방식(즉, 문항모수와 능력분포를 동시에 추정하는 방식)’이 더 우수한지를 모의실험을 통해 확인하고자 하였다. PARSCALE프로그램을 이용하여 혼합형 검사의 선다형 문항은 3모수 로지스틱(3PL)모형으로 분석하고 구성형 문항은 일반화부분점수(GPC)모형으로 분석하였다. 모의실험의 요인으로 기저 능력분포의 유형, IRT분석 모형에 의한 검사의 유형, 검사의 곤란도, 표본의 크기 등을 포함하였다. 김성훈(2012)의 연구 결과와 유사하게, 사전능력분포를 기저 능력분포의 추정치로 지정하는 방식이 디폴트 방식인 N(0, 1)분포로 지정하는 방식보다 고려된 모든 검사 조건에서 우수하거나 대등한 수행을 보였다. 즉, 선다형 검사뿐만 아니라 혼합형 검사에 대해서도 IRT 문항모수와 기저 능력분포의 동시 추정은 문항모수 추정의 정확성과 안정성을 향상시켰다. In item response theory (IRT), the use of marginal maximum likelihood (MML) and Bayesian modal (BM) methods for item parameter estimation requites the specification of a prior distribution for the ability variable. With multiple-choice (MC) tests, Kim (2012) found that in MML/BM estimation of item parameter; the way of specifying the prior ability distribution as the estimate of underlying distribution (i.e., concurrent estimation of item parameters and underlying distribution) outperformed or peformed equally to the way of specifying the prior ability distribution as a standard normal N(0, 1) distribution. As a follow-up study of Kim (2012), this paper attempted to verify through simulations that the previous findings from Me tests should be generalized to mixed-format tests consisting of MC items and constructed-response (CR) items. The PARSCALE program was used to analyze MC and CR items via the 3-paramerer logistic (3PL) and generalized partial credit (GPO models, respectively. The simulation factors considered include type of underlying ability distributions (normal, positively skewed, and negatively skewed), test type by the IRT model used OPL, GPC, and 3PL+GPC), test difficulty (easy, moderately difficult, and difficult), and sample size (500 and 2,000). As found in Kim's study, the way of concurrently estimating the underlying distribution along with item parameters outperformed or peformed equally to the way of specifying the prior distribution as a N(0, 1) in accurate estimation of item parameters with mixed-format tests.

등급반응모형을 위한 검사특성곡선 방법 및 적률 방법의 척도변환계수의 표준오차

김성훈(Seonghoon Kim) 한국교육평가학회 2008 교육평가연구 Vol.21 No.1

  본 연구의 목적은 다분 문항반응모형 중의 하나인 등급반응모형을 위해 사용되는 척도변환 방법의 선형변환계수(기울기 A와 절편 B)의 표준오차 공식을 제시하고, 그 공식의 정확성을 모의실험을 통해서 확인하는 것이다. 또한 모의실험에서 구해진 변환계수 추정치들의 경험적 표집분포의 특성을 검토함으로써, 표준오차가 기반하고 있는 표집분포의 특성을 탐색하고자 하였다. 그 표준오차 공식은 델타 방법을 사용하여 검사특성곡선 방법인 Stocking-Lord 방법과 적률 방법인 Mean-Mean 방법을 위해 제시되었다. 연구 결과, 제시된 변환계수 추정치의 표준오차의 공식은 표본의 크기와 공통 문항의 수를 달리한 여러 척도연계 상황 하에서 큰 오차 없이 추정치의 경험적 분포의 표준편차에 근사하였다. 이러한 근사는 표본이 커질수록 그리고 공통 문항의 수가 많아질수록 향상되었다. 척도변환계수 추정치들의 경험적 분포는, 척도변환계수 중의 어느 하나는 그 추정치들이 정규분포에 가까운 대칭분포를 나타내는 반면 다른 하나의 추정치들은 다소 정적으로 편포된 종-모양의 분포를 나타내는 경향을 보였다. 두 척도변환 방법을 비교했을 때, 척도변환계수 추정치의 표준오차에 있어서 Stocking-Lord 방법은 Mean-Mean 방법보다 작은 표준오차를 산출하였다. 마지막으로, 추정치들의 경험적 분포의 특성과 표준오차에 근거하여 기울기와 절편의 모수에 대한 신뢰구간을 설정하는 방법을 논의하였다.   The primary purpose of this study is to present the formulas for asymptotic standard errors (SEs) of transformation coefficients (slope A and intercept B) from the scale linking methods used for the graded response model and to confirm the accuracy of the formulas through simulations. In addition, this study examines the empirical sampling distributions of the resulting transformation coefficients with an attempt to have an idea on what the theoretical sampling distributions look like. The formulas were presented for the Stocking-Lord method (which is the test characteristic curve method) and the Mean-Mean method (which is a moment method). The simulated results indicated that the formulas for the theoretical SEs of the transformation coefficient estimates worked properly, with their values being closely approximate to the empirical standard deviations of the estimates. The approximation tended to be improved when the sample size and number of common items increased. The empirical sampling distribution of the estimates for either of the two coefficients A and B formed a unimodal shape of being slightly positively skewed or being close to normal. Across all simulation conditions, the Stocking-Lord method yielded smaller SEs of the transformation coefficient estimates than the Mean-Mean method.

랜덤집단 설계에서 IRT 동등화와 동백분위 동등화의 표준오차의 비교

김성훈(Seonghoon Kim) 한국교육평가학회 2021 교육평가연구 Vol.34 No.2

검사 동등화 연구에서 자료 수집 설계로 랜덤집단 설계가 종종 사용된다. 최근 들어, 두 검사형 간 동등점수 관계를 찾기 위해 전통적인 동백분위 동등화 방법보다는 문항반응이론(IRT) 기반 동등화 방법이 더 많이 활용되고 있다. 본 연구의 첫째 목적은 랜덤집단 설계하에서 IRT 동등화 방법에 대한 동등화 표준오차의 점근 공식을 혼합형 검사에 적용할 수 있도록 일반적으로 제시하는 데 있다. 둘째 목적은 점근 공식에 기초하여 IRT 방법과 동백분위 방법에 의해 산출되는 동등화 표준오차가 어떻게 다른지를 경험적 자료를 통해 검토하는 것이다. 둘째 목적과 관련하여, 다양한 동등화 조건들을 포함하여 실시한 비교 연구를 통해 다음의 주요 결과를 얻었다. 첫째, IRT 관찰점수 동등화 방법은 IRT 진점수 동등화 방법보다 평균적으로 더 작은 동등화 표준오차를 산출하였으며, 두 IRT 동등화 방법은 동백분위 동등화 방법보다 더 작은 동등화 표준오차를 산출하였다. 둘째, 각 동등화 방법은 검사의 길이가 증가할수록 더 큰 동등화 표준오차를 산출하였다. 셋째, 각 동등화 방법은 표본의 크기가 커질수록 더 작은 동등화 표준오차를 산출하였으며, 평균 동등화 표준오차는 대략적으로 표본 크기의 제곱근에 반비례하였다. The random groups design is often used for collecting sample data for test equating. Recently, the item response theory (IRT) based equating methods have been more widely used than the traditional equipercentile equating method. One of the two purposes of this study is to present general formulas for the asymptotic standard errors of equated scores estimated by the IRT true score and observed score equating methods under the random groups design so that they can be used for equating with mixed-format tests. The other purpose is to use empirical test data to examine how the standard errors of equating produced by the IRT equating methods differ from those by the equipercentile equating method. Concerning the second purpose, a comparative study, including various equating conditions, was conducted and the following were found. First, on the average, the IRT observed score equating method resulted in slightly smaller standard errors of equating than the IRT true score equating method, and the two IRT equating methods produced smaller standard errors than the equipercentile equating method which was based on unsmoothed score distributions. Second, the standard errors produced by the three equating methods increased as the lengths of the test forms equated increased and thus the relative frequencies for test scores were lowered. Third, the mean standard errors of equating for the three equating methods decreased as the sample size increased and the amounts of the errors were inversely proportional to the square root of the sample size.

전기기기의 진동측정을 위한 레이저 진동계의 개발

김성훈(Seonghoon Kim),김호성(Hoseong Kim) 대한전기학회 1997 대한전기학회 학술대회 논문집 Vol.1997 No.7

다수의 피험자 집단에 실시된 공통 본 검사 문항과 고유 외부가교 문항의 IRT 모수 추정 방법

김성훈(Seonghoon Kim) 한국교육평가학회 2011 교육평가연구 Vol.24 No.2

한 검사 회기에서 다수의 피험자 집단에 실시된 공통의 본 검사 문항들과 각 검사형에 고유한 외부가교 문항들의 문항반응이론(IRT) 모수를 주변최대우도(MML) 추정의 틀 안에서 안정적이고 효율적으로 추정할 수 있는 방법들을 탐색하였다. 이 추정을 위한 기본전제는 본 검사의 문항모수와 외부가교 문항의 모수를 분리하여 추정하되 동일한 능력척도(즉, 본 검사의 능력척도) 상에서 추정하는 것이었다. 피험자 집단 간의 비동등성의 수준, 검사의 길이, 표본의 크기 등을 변화시킨 다양한 검사 조건에서 본 검사 문항을 추정하는 두 가지 방법과 외부가교 문항을 추정하는 두 가지 방법의 기능을 모의실험을 통해 살펴보았다. 본 검사의 경우, 임의로 지정된 사전능력분포를 고정하여 문항모수를 추정하는 것보다 갱신하면서 추정하는 방법이 모수 복원의 정확성과 안정성에 있어서 더 우수한 경향을 보였다. 외부가교 문항모수 추정의 경우, 약간의 예외를 제외하고, “고정문항 모수 추정” 방법이 “결합 추정 후 척도변환” 방법보다 정확하고 안정적인 추정치를 산출하는 경향을 보였다. 그러나 두 방법 간의 실제적 차이는 그리 크지 않아 보였다. 대부분의 경우, 고정문항모수 추정 방법은 사전능력분포-갱신 추정 방법을 통해 산출한 본 검사의 문항모수 추정치에 기초하여 수행될 때 가장 정확하고 안정적인 수행을 보였다. In a testing program employing the external-anchor equating design and item response theory (IRT), several alternate forms are often administered to multiple groups in a testing session. The purpose of this study was to identify the proper methods for estimating IRT parameters of the operational (OP) items common to the multiple forms and the external-anchor (EA) items unique to each form, under the framework of marginal maximum likelihood estimation. It was premised that the common OP items should be separately calibrated from EA items in a form, but on a common scale (i.e., the scale for the OP items). Through computer simulations, the performances of two methods for calibrating OP items and two methods for calibrating EA items were examined under various testing conditions that differed in the degree of nonequivalence in ability distribution among examinee groups, test length, and sample size per group. As a main result for the OP items, the estimation method with updating the prior for ability tended to outperform the estimation method with the default standard normal prior. For the calibration of EA items on the scale of OP items, the fixed item parameter calibration method tended to produce more accurate and stable estimates than the joint (OP + EA) calibration method aligned with scale transformation. In most cases, the fixed item parameter calibration method performed the most as the OP item parameter estimates to be fixed were obtained by using the prior-update estimation method.

A Comparative Study on Coefficient Alpha and Congeneric-Model-Based Reliability Estimators for Tests Composed of Clusters of Items

김성훈(Seonghoon Kim),Leonard S. Feldt 한국교육평가학회 2011 교육평가연구 Vol.24 No.4

다수의 부분검사(test parts)로 구성된 전체 검사의 자료가 주어질 때, 전체 검사점수의 내적 일관성 신뢰도를 추정하기 위해 개발된 각 통계량은 부분검사들의 공분산 구조에 대해서 각각 특유의 모형에 기초한다. Cronbach 알파(alpha), Feldt 고전적 동종-모형(classical congeneric model) 계수, Feldt-Gilmer 동종-모형(congeneric model) 계수는 부분검사들 간의 유사성에 대해 제 각각의 모형에 기초하고 있으며, 이 세 추정량 모두는 부분검사의 오차 점수들 간에 무상관(uncorrelated-error)을 가정한다. 이와 달리, 구조방정식 모형(SEM)에 기초한 추정 방법의 경우, 신뢰도 추정량은 부분검사들에 대해 (Feldt-Gilmer 추정량처럼) 동종 모형을 가정하여 개발될 수 있지만 오차점수들 간에 상관이 없다는 강한 가정을 반드시 필요로 하지 않는다. 본 연구의 목적은 문항들의 군집(cluster of items)들로 구성된 검사에 대해 1) Cronbach 알파, 2) Feldt, 3) Feldt-Gilmer, 4) 오차-무상관(uncorrelated-error: UE) SEM, 그리고 5) 오차-상관(correlated-error: CE) SEM 신뢰도 추정량들의 대소 관계(inequality)와 편향성(bias)에 있어 상대적 기능을 이론적 및 경험적으로 밝히는 것이었다. 검사점수 분석의 단위(문항 혹은 군집)가 동일한 상태에서, 알파 계수 값은 Feldt, Feldt-Gilmer, UE SEM 추정량들의 값보다 일반적으로 작거나 같았다. 후자의 세 가지 추정량은 매우 유사한 신뢰도 계수 값을 산출하였다. 검사점수 분석의 단위가 문항이고 군집-내 문항들 간에 정적(양의) 오차 상관이 존재할 때, CE SEM 추정량을 제외한 다른 모든 추정량들은 신뢰도를 과대 추정하는 경향을 보였다. Given sample data from multiple test parts, each reliability estimator is developed with a specific model for the covariance structure of the parts. The alpha, Feldt, and Feldt-Gilmer reliability coefficients are based on their respective models for the parts, all assuming uncorrelated part-test errors. In the approach based on structural equation modeling (SEM), the reliability estimator may be developed with the congeneric model but without the strong assumption of uncorrelated errors. For tests composed of clusters of items, the performances of the alpha, Feldt, Feldt-Gilmer, uncorrelated-error (UE) SEM, and correlated-error (CE) SEM reliability estimators were investigated in inequality and bias theoretically and empirically. When applied to the same test data, the alpha coefficient was generally lower than or equal to the Feldt, Feldt-Gilmer, and UE SEM estimators. The latter three estimates were very close to each other. All the estimators except the CE SEM estimator tended to overestimate the reliability when items were the test parts for analysis and positive error covariances were present among within-cluster items.

비동등-다집단 개별가교검사 설계 기반 IRT 검사 동등화 방법의 기능 분석

김성훈(Seonghoon Kim) 한국교육평가학회 2021 교육평가연구 Vol.34 No.1

비동등집단 가교검사(NEAT) 설계는 가교 문항을 공유하는 두 검사형 간 검사점수 동등화를 위해 널리 사용되고 있다. 본 연구의 목적은 NEAT 설계의 다집단 확장 형태의 하나인 비동등-다집단 개별가교검사(NEMSAT) 설계하에서의 문항반응이론(IRT) 검사 동등화 방법의 원리를 제시하고 이 방법의 기능을 분석하는 데 있다. NEMSAT 설계하의 IRT 검사 동등화는 (1) 각 검사 회기 내에서 모든 검사형들의 문항 모수를 하나의 IRT 능력척도에서 추정하는 과정과 (2) 가교 문항을 활용하여 두 검사 회기 간 IRT 능력척도를 연계하는 과정 및 (3) 두 검사형 간 검사점수의 동등 관계를 찾는 과정으로 이루어진다. 모의실험을 통해 NEMSAT 설계 기반 IRT 동등화 방법의 기능이 NEAT 설계 기반 IRT 동등화 방법의 기능과 어떠한 차이를 보이는지를 분석하였다. 모의실험 요인으로 검사의 유형(선다형 검사와 혼합형 검사), 검사형별 표본의 크기, 척도연계에 사용되는 가교 문항의 수 등을 포함하였다. 주요 결과로, 표본의 크기와 가교 문항의 수가 증가함에 따라 NEMSAT 설계 기반 IRT 동등화 방법은 모집단의 검사점수 동등 관계를 더 정확하게 추정하였다. 또한 NEMSAT 설계 기반 IRT 동등화 방법은 개별 가교검사의 문항들의 40% 혹은 50%를 척도연계를 위해 사용하더라도 NEAT 설계 기반 IRT 동등화 방법보다 더 작은 동등화 오차를 산출하였다. The non-equivalent groups with anchor test (NEAT) design is widely used for test equating. This paper primarily concerns item response theory (IRT) equating procedures under the non-equivalent multiple groups with separate anchor tests (NEMSAT) design, which is a multiple-group extension of the NEAT design. The purpose of this study is to present an IRT equating procedure that can be used under the NEMSAT design and investigate the performance of the IRT equating procedure. The NEMSAT design-based IRT equating procedure consists of three steps: (1) placing all IRT item parameter estimates from several test forms on a common ability scale in each testing session, (2) linking IRT ability scales determined in each testing session using all anchor items from separate anchor tests, and (3) finding the equating relationship between the two test forms to be linked. A computer simulation study was conducted to investigate the performance of the NEMSAT design-based IRT equating procedure in comparison with the NEAT design-based IRT equating procedure. Three simulation factors were considered: (1) test type (multiple-choice test vs. mixed-format test), (2) sample size per test form, and (3) number of the anchor items used for scale linking. The NEMSAT design-based IRT equating procedure estimated more accurately the population equating relationship when larger sample sizes or more anchor items were used. Also, the NEMSAT design-based IRT equating procedure produced less equating errors than the NEAT design-based IRT equating procedure even when 40 or 50 percent of the items in each separate anchor test were used for scale linking.

IRT 공통 능력척도 개발을 위한 공통-피험자 척도연계 방법과 공통-문항 척도연계 방법의 상대적 기능 연구

김성훈(Seonghoon Kim) 한국교육평가학회 2009 교육평가연구 Vol.22 No.4

본 연구의 목적은 문항반응이론(IRT) 능력척도 연계를 위해 최대우도(ML) 능력추정치와 Bayes 사후기대(EAP) 능력추정치를 각각 이용하는 공통-피험자 Mean-Sigma 방법(CE ML & CE EAP)의 수행 기능을 공통-문항 Mean-Sigma 방법(CI MS)과 Stocking-Lord 검사특성곡선 방법(CI SL)의 수행 기능과 비교하여 분석하는 것이다. 컴퓨터 모의실험을 통해 피험자 집단 간의 비동등성의 수준이 공통-문항 설계와 공통-피험자 설계 모두에 일정하도록 통제한 다양한 척도 연계 조건 하에서 네 가지 척도연계 방법의 수행을 비교하였다. 모의실험 결과, CE ML 방법은 표준오차가 크지만 편의(bias)가 낮은 방식으로 척도연계를 수행하는 반면, CE EAP 방법은 표준오차는 작지만 편의는 큰 방식으로 수행하였다. 이와 관련하여, CE EAP 방법은 표본의 크기가 작을 때(예, 500) 상대적으로 안정적인 수행을 보인 반면, CE ML 방법은 표본의 크기가 클 때(예, 3,000) 상대적으로 우수한 수행을 보였다. 표본크기와 상관없이, 척도연계의 안정성과 정확성에 있어 10% (혹은 20%) 공통 피험자 비율을 이용하는 CE ML 방법은 40개의 문항 중 10개의 (혹은 20개의) 공통 문항을 이용하는 CI MS 방법과 유사한 수행 경향을 보였다. The purpose of this study is to investigate the performance of the mean-sigma (MS) IRT scale linking methods using maximum likelihood (ML) ability estimates versus Bayes expected a posteriori (EAP) ability estimates for common examinees (CE), in comparison to the MS and Stocking-Lord (SL) methods using common items (CI). The relative performance of the two CE (CE ML & CE EAP) methods and the two CI (CI MS & CI SL) methods was examined by using computer simulations to control the nonequivalence level between equating groups equally for both the CE and CI designs. As a main result, the CE ML method tended to yield larger standard error but lower bias in the process of scale linking than did the CE EAP method. In addition, the CE EAP method peformed more stably than the CE ML method when the sample size was as small as 500, whereas the latter outperformed in linking accuracy the former when the sample size was as large as 3,000. Regardless of sample size, in stability and accuracy of scale linking, the CE ML method using 10% (or 20%) common examinees of the total sample size tended to perform similarly to the CI MS method using 10 (or 20) common items out of the total 40 items.

레이저 도플러 진동계를 이용한 진동변위와 주파수 측정방법 연구

김성훈(Seonghoon Kim),김호성(Hoseong Kim) 대한전기학회 1998 대한전기학회 학술대회 논문집 Vol.1998 No.7

“그게 너의 본성이야”: 『크라잉 게임』에 나타난 인종, 성, 그리고 탈식민성

김성훈(Kim, Seonghoon) 한국외국어대학교 영미연구소 2017 영미연구 Vol.41 No.-

본 논문은 닐 조던 감독의 1992년 영화『크라잉 게임』에 관한 페미니즘적, 정신분석학적 비평 사이에 발생하는 간극을 탈식민주의적 읽기로 보충하려는 시도이다. 이를 위해 필자는 『크라잉 게임』이 전반적으로 재현하는 아일랜드 식민주의 역사에 얽힌 정치적 배경과 드랙퀸 딜의 몸과 남근의 재현에 집중해온 기존 비평에서 소외되었던 IRA 테러리스트 퍼거스의 인종적 정체성을 조명한다. 또한 안티구아 출신의 영국 흑인 병사 조디가 복합적으로 재현하는 성적, 인종적 정체성의 문제를 분석함으로써 이영화에 젠더 담론과 탈식민주의 담론이 교묘하게 엮여 있음을 논증한다. 예컨대 조디와 퍼거스의 대화에 등장하는 “친절한 개구리와 악한 스콜피온” 우화는 IRA뿐만 아니라 아일랜드인에 대한 오랜 인종적 편견과 식민주의 담론을 담고 있다. 한편 안티구 아와 아일랜드의 국민 스포츠인 크리켓과 헐링에 관한 대화는 제국의 문화에 대한 탈식민적 저항담론으로 읽힌다. 퍼거스와 조디의 관계가 보여주는 이러한 성적, 인종적 문제는 영화 후반부가 집중적으로 조명하는 퍼거스와 딜의 로맨스를 젠더 담론 일변 도의 분석으로부터 구해낸다. 퍼거스와 딜의 로맨스가 영화 전반부가 재현하는 퍼거 스와 조디의 관계의 연장이라면 그 역시 성적, 인종적, 역사적 관점 모두를 포함하는 복합적인 것으로 이해해야 하는 것이다. This paper seeks to foreground the intersection between gender, race and postcoloniality represented in Neil Joran’s 1992 film The Crying Game, thereby attempting to fill a critical lacuna among the discourses of feminism and psychoanalysis regarding the Irish film. This paper particularly questions the shortcomings of the previous readings that focus on Dil’s body and penis, while belittling the problematization of Fergus’s Irish identity. Jody’s parable of “the kind frog and the evil scorpion” illuminates how Irish identity is racialized, informing long-standing colonial ideas and images of the Irish people. Likewise, the conversation between Fergus and Jody on cricket and hurling references the postcoloniality that the two ethnic characters commonly share in relation to British Empire. Also, the romance between Fergus and Dil, unlike bell hooks argues, does not build up a conventional binary opposition between the colonizer and the colonized. Rather, it breaks down the cliché by subverting the Western gaze internalized by the Irish character. This is because the drag queen Dil in Neil Jordan’s film defies any racial categories and gender categories, thereby remaining ambiguous even after “her” penis is revealed.