客觀的인 學生能力比較를 위한 問項反應理論(IRT) 適應의 有用性

지은림 경희대학교 부설 교육문제연구소 1994 論文集 - 경희대학교 교육문제연구소 Vol.10 No.1

원점수가 사용될 경우, 난이도가 높은 문항들로만 구성되어 있는 검사(HIGH)에서는 능력이 낮은 학생 A와 B의 능력차이틀 측정해줄 문항들이 없기 때문에 이 두 학생간의 능력차이가 정확하게 측정될 수 없다. 전체검사에서는 학생 A와 B의 차이가 학생 B와 C의 차이와 같음에도 불구하고 검사(HIGH)에서는 낮은 수준에 위치한 학생 A와 B의 능력차이가 축소화된다. 이것은 학생들의 비교가 문항들의 난이도에 의하여 영향을 받고 있다는 것을 보여준다. 난이도가 낮은 문항들만 포함하고 있는 검사(LOW)에서도 같은 현상이 일어난다. 학생 B'와 C'의 능력 수준에 해당하는 문항들이 없기 때문에, 이 두 학생간의 능력차이는 제대로 측정될 수 없다. 검사(HIGH)에서와 마찬가지로 원점수에 의하여 학생들이 비교될 때, 학생 B'와 C'의 능력은 축소되는 경향이 있다. 결과적으로 전체검사에서의 B'와 C'의 능력차이와 검사(LOW)에서의 B'와 C'의 능력차이는 다른 것처럼 보인다. 이것 역시 원점수에 의한 학생들의 비교는 사용되는 문항들의 난이도에 의해 큰 영향을 받는다는 것을 보여준다. 대조적으로, 문항반응이론 적용에 의해 얻어진 점수들을 사용하면, 이러한 문제점이 극복되는 것을 볼 수 있다. 검사(HIGH)에서 문항들이 전혀 포함되지 않은 수준에 위치하는 학생들인 A와 B의 능력차이가 전체검사에서와 같이 정확하게 측정된다. 따라서 검사(HIGH)에서 세 학생의 능력차이는 전체검사에서와 같이 동일한 간격을 유지하고 있다. 이것은 문항반응점수들에 의한 학생비교는 문항난이도의 편포에 의하여 영향을 받지 않는다는 것을 보여준다. 즉, 문항반응이론이 적용되면 학생들의 능력비교가 검사상황에 관계없이 객관적으로 수행될 수 있다는 것을 알 수 있다. 이와 같이 객관적인 학생능력비교를 위한 문항반응이론의 유용성은 검사(LOW)에서도 마찬가지이다. 학생 B'와 C'의 능력을 비교해 줄만한 문항들이 없음에도 불구하고, 문항반응점수들은 원점수들보다 일정한 간격을 객관적으로 측정할 수 있게 한다. 문항반응 이론을 적용할 때 학생 A'와 B'의 차이와 학생 B'와 C'의 차이를 위한 비율이 전체검사결과와 거의 일치하는 것이다. 이것은 문항반응이론의 적용이 학생들간의 능력차이를 보다 객관적으로 평가할 수 있게 해준다는 것을 의미한다. 문항반응이론은 피험자모수를 사용되는 문항에 관계없이 추정해낼 수 있다는(invariance of person parameter) 특성을 가지고 있기 때문에, 학생능력을 보다 객관적으로 측정하여 그들의 능력을 비교할 수 있게 해주는 것이다. 그러므로 학생들간의 능력차이에 대한 보다 정확한 평가를 내리기 위해서는 문항반응이론의 적용이 바람직할 것이다. 이와 같이 학생들간의 능력차이를 객관적으로 평가할 수 있는 것은 교육적 차원에서 중요한 의미를 갖는다. 학생들간의 능력비교는 선발의 목적을 갖을뿐 아니라 학생들의 학습상의 문제를 진단하기 위해서도 필요하다. 그러나 학생들간의 능력차이가 제대로 발견되지 못한다면, 개개인에게 부당한 평가가 내려질 수 있을 뿐만 아니라 부적합한 처치가 주어질 수 있기 때문이다. 그러므로 교육분야에서 문항반응이론의 적용은 교육적 문제점을 보다 객관적으로나 과학적으로 해결하기 위한 의의를 갖는다. 더구나 문항반응이론의 적용가능 한 분야가 점점 다양해지고 있는 것을 고려해볼 때, 문항반응이론이 제공하는 측정의 객관성(objectivity of measurement)은 보다 큰 의미를 갖는다. 교육문제에 대한 과학적인 접근과 해결을 위하여 문항반응이론의 보다 적극적인 활용이 요구되는 것이다.

문항반응이론과 고전검사이론을 적용한 단위학교 체육 지필평가 양호도 검증 : 여학생체육활성화 측면

이태구(LEE Tae-Koo),양희원(Heewon Yang) 한국교육방법학회 2016 교육방법연구 Vol.28 No.1

The purpose of this study was to examine goodness of pencil and paper(P&P) test as a general evaluation in Physical Education(PE) applying classical test theory(CTT) and three-parameter logistic(3PL) model in item response theory(IRT). Participants completed P&P test in PE were 10th high school students(N=270). Using test scores, content validity, reliability, item difficulty, discrimination and test information function were examined. And differentially functioning item by the population difference between male and female were explored. Results showed that content validity was 80%, reliability coefficient was 0.736, and IRT's marginal reliability was 0.770. In both CTT and IRT, item number 17, 22, 24, 25 were not appropriate in terms of the discrimination power. Test information function indicated that examinees with ability level between -2 and 0 showed best score. Also, test information and Mantel-Haenszel method identified differentially functioning item (i.e., item number 5 and 11) indicating two items are in favor of male students. Generally, IRT provided a wider range of information than CTT, including test information and DIF using item characteristic curve. Discussions were provided in terms of the CTT using in schools traditionally and IRT for verification of goodness. And to conclude, this study is related with goodness applying CTT and IRT show lesson improvement and facilitating female student’s participation are helpful in PE. 이 연구는 단위학교에서 총괄평가로 진행된 체육 지필평가를 고전검사이론과 문항반응이론의 3모수 로지스틱 모형을 적용하여 검사의 앙호도 및 차별기능문항을 탐색하고, 체육수업 개선의 정보를 얻는 것이 목적이다. 문항반응이론은 검사이론으로서 고전검사이론에 비해 다양한 장점이 인정되어 왔으나, 이론의 난해함과 적용에 요구되는 엄격한 기준으로 인해 학교 현장에서는 사용되지 않았다. 그러나 최근 학교 체육분야에서 여학생체육활성화가 이슈가 되면서, 차별기능문항의 개념이 주목받으면서 동시에 문항반응이론에 관심이 늘고 있다. 따라서 본 연구는 고등학교 1학년 학생 270명을 대상으로 시행한 단위학교 체육 지필평가 검사자료를 사용하여 내용 타당도, 신뢰도, 난이도, 변별도 및 검사정보함수를 살펴보고, 성별에 따라 다르게 기능하는 차별기능문항을 탐색하였다. 그 결과, 내용 타당도는 80%, 고전검사이론에 의한 신뢰도(Cronbach'a)는 0.736, 문항반응이론에 의한 신뢰도(marginal reliability)는 0.770으로 나타나, 비교적 양호한 검사인 것으로 판단되었다. 문항분석 결과 고전검사이론과 문항반응이론 모두에서 17, 22, 24, 25번 문항은 양호하지 않은 문항인 것으로 나타났다. 검사정보함수 분석 결과 피검자의 능력수준이 -2에서 0 사이일 때 가장 높은 검사정보를 제공하며, 남녀 집단간 차이가 존재하였다. MH방법과 문항반응이론의 문항특성곡선으로 차별기능문항을 탐색한 결과, 5, 11번 문항이 성별에 차별적으로 기능하고 있음을 확인하였고, 논의에서 성차별적인 교수학습과정이 그 원인임을 질적 분석을 통해 확인하였다. 결론적으로 본 연구는 문항반응이론의 엄격한 조건을 충족하지 않는 학교현장의 자료라 할지라도, 현장 교사들에게 고전검사이론과 함께 문항반응이론에 의한 문항 양호도 검증이 한층 다양하고 유용한 정보를 제공할 수 있음을 보여주고 있으며, 특별히 차별기능문항 분석을 통한 성차별적인 교수학습과정의 확인과 반성은 여학생체육활성화를 위한 체육수업 개선에 중요한 정보가 될 수 있음을 확인하였다.

Mixture IRT model for detecting aberrant responses under low-stake testing

Yoonsun Jang(장윤선),Georgia Wood Hodges 한국교육평가학회 2018 교육평가연구 Vol.31 No.3

Item Response Theory (IRT) aids with the analysis of test items and item response patterns. One concern with test assessment is aberrant response. Aberrant responses are caused by several factors, for example, a participant’s low level of motivation or their concern with the time limit for a high stakes test. These factors can yield biased estimates for IRT models that may invalidate inferences associated with research results. Mixture IRT models have been proposed and applied for detecting aberrant responses such as random guessing, performance decline in a low-stake test, or an extreme response style in a self-report survey. This study used a mixture Rasch model on an empirical data set to search for two latent classes defined as groups: valid responders or random responders. The effects of random responses on the estimation of model parameters was investigated as well as the effects of an educational intervention. In summary, only a small portion of random responders was detected. Consequently, they had a relatively weak effect on the estimation of model parameters and the efficacy of an educational intervention. 문항반응이론(IRT) 모형은 검사 문항 및 검사 문항에 대한 반응유형 분석 등에 사용된다. 피험자의 문항반응은 검사에서 측정하고자 잠재특성 외 다른 요인들에 의해 영향 받으며 이로 인하여 비정상적인 문항반응이 발생하기도 한다. 예를 들어, 피험자가 검사에 흥미를 가지지 못한 경우 문항에 성실히 응답하지 않을 수 있으며, 고부담 검사에 참여한 피험자가 제한된 시간에 대한 불안으로 비정상적인 문항반응을 보일 수 있다. 비정상적인 문항반응은 문항반응이론 모형의 편파적인 모수 추정을 야기할 수 있으며, 이로 인해 왜곡된 연구 결과가 도출 될 수 있다. 본 연구에서는 혼합 문항반응이론(mixture IRT) 모형을 적용하여 비정상적인 문항반응을 추출하고, 추출된 비정상적인 문항반응이 문항반응이론 모형의 모수 추정에 미치는 영향을 탐색하였다. 아울러 교육적 처치의 효과 분석에 비정상적인 문항반응이 미치는 영향을 분석하였다. 분석 결과, 추출된 비정상적인 문항반응의 비율은 비교적 낮았으며, 이들이 교육적 처치 효과 분석에 미치는 영향 또한 크지 않았다.

Bifactor 다차원 문항반응이론을 적용한 단위검사 구성 검사점수의 신뢰도 추정 방법

김나나(Nana Kim):이규민(Guemin Lee):강상진(Sang-Jin Kang) 한국교육평가학회 2017 교육평가연구 Vol.30 No.1

이 연구에서는 bifactor 다차원 문항반응이론을 적용하여 단위검사 구성 검사점수의 신뢰도를 추정하였고, 이를 기존 연구에서 사용되어온 다른 신뢰도 추정 방법들과 비교하였다. 구체적으로 bifactor 모형, 일차원 이분문항반응이론 모형, 일차원 다분문항반응이론 모형을 적용하여 추정한 신뢰도를 비교하였으며, 단위검사 효과의 크기와 단위검사의 불균형 수준이 이러한 단위검사 구성 검사점수의 신뢰도 추정에 미치는 영향을 분석하였다. 연구 결과, bifactor 모형이 단위검사 구성 검사점수의 신뢰도를 가장 정확하게 추정하였고, 이분문항반응이론 모형과 다분문항반응이론 모형은 신뢰도를 각각 과대 추정하거나 과소 추정하였다. 하지만 다분문항반응이론 모형의 경우에는 신뢰도 과소 추정의 정도가 미미하여, 단위검사 구성 검사점수의 신뢰도를 추정하는 방법으로 사용할 수 있을 것으로 보인다. 또한 단위검사의 효과가 커질수록 이분문항반응이론 모형의 신뢰도 과대 추정 정도가 커지는 것으로 나타난 반면, 단위검사의 불균형 수준은 신뢰도 추정에 큰 영향을 미치지 않았다. This study aimed to investigate a bifactor MIRT approach to estimating the reliability of testlet-composed test scores. Using simulated data, the reliability estimates derived from a bifactor model were compared to those estimated via traditional IRT models: a two parameter logistic (2PL) model and a graded response model (GRM). Moreover, the effects of testlet effect size and the degree of imbalance in testlet lengths on estimating the reliability were examined. The bifactor model produced the most accurate reliability estimates of testlet-composed test scores while the 2PL model and GRM over- and under-estimated the reliability, respectively. The magnitudes of underestimation in the GRM, however, were very small; therefore, using the GRM also seemed to be quite appropriate when estimating the reliability of testlet-composed test scores. The errors of reliability estimates obtained from the 2PL model increased as the testlet effect grew larger. The degree of imbalance in testlet lengths also influenced the errors of reliability estimated from the 2PL model, but the effect was marginal

문항반응이론을 적용한 단위검사 구성 검사점수의 신뢰도 추정

양지승(Yang Ji Seung),이규민(Lee Guemin),강상진(Kang Sang-Jin) 한국교육평가학회 2007 교육평가연구 Vol.20 No.3

  단위검사로 구성된 검사 점수의 신뢰도를 산출하기 위해 전통적인 Cronbach α 방법을 적용하게 되면 검사 점수의 신뢰도는 과대 추정된다. 이 논문은 단위검사로 구성된 검사점수의 신뢰도를 문항반응 이론의 다양한 문항반응모형을 적용하여 추정하고, Cronbach α로 산출한 신뢰도의 과대 추정 규모를 확인하여 문항반응이론 이용 시 적절한 신뢰도 추정 방법을 모색하려는 목적을 갖는다. 이 연구는 문항반응이론의 관점에서 신뢰도를 제고하고, 단위검사문항반응모형을 적용하여 실제 자료를 분석한 연구로는 국내에서 처음 시도되었다는 측면에서 선행연구들과 차별성을 갖는다. 전통적인 신뢰도 추정방법인 Cronbach α와 문항반응이론을 적용한 신뢰도 추정 방법 등 총 5가지 방법을 적용하여 신뢰도 계수를 산출하였고, 이러한 분석을 통해 Cronbach α 방법이 신뢰도를 약 0.07수준으로 과대추정함을 확인할 수 있었다. 이 연구에서는 문항을 단위검사 수준으로 합산하여 단위검사 점수를 생성하고 다분문 항반응모형을 적용한 신뢰도 추정방법과 문항 및 단위검사 효과를 동시에 고려하는 단위검사문항반응 모형을 적용한 신뢰도 추정방법은 그 차이가 약 0.01수준으로 작았으며, 이는 다분문항반응모형을 적용할 때 정보의 손실 정도가 비교적 크지 않은 것으로 해석될 수 있다.   When Cronbach α is used in estimating the reliability of test scores composed of testlets, it may overestimate the reliability of test scores. This study was designed to address issues of exploring several procedures of estimating the reliability of test scores composed of testlets and examining the degree of overestimation when using Cronbach α instead of using proper methods. Item response theory approaches were adopted to investigate these research purposes and questions. This study seems the first empirical study dealing with the testlet concept under item response theory frameworks in Korea. Another academic contribution of this study can be found in using testlet item response theory model that considers items and testlets at the same time by adding one more parameter of testlet effect in the item response model. Based upon major findings of this study, following conclusions can be made. The overestimation size of using Cronbach α instead of using proper methods was about 0.07 which seemed moderate size comparing to those reported in similar previous studies. In addition, the difference between reliability coefficients produced by both polytomous item response model and testlet item response model was about 0.01, which implies the degree of information loss in this context does not seem too serious.

단위검사로 구성된 검사에서 다양한 다차원 문항반응이론 모형에 따른 동등화 결과 비교

이규민,강혜진 한국교육평가학회 2019 교육평가연구 Vol.32 No.4

This study was designed to evaluate relative performance of four multidimensional item response theory (MIRT) models (Bi-factor, Testlet-response, Simple-structure, Second-order MIRT models) which could reflect the structure of testlet-based tests, and traditional unidimensional item response theory (UIRT) models in equating with real and simulated data sets. Based upon the results of this study, the following conclusions can be made. First, four MIRT models produced very similar IRT observed-score equating relationships for the tests composed of testlets. Second, the equating results from the UIRT and MIRT models were not easily differentiated from the practical point of view for real data analyses. Third, based upon the results from simulated data analyses, the UIRT model produced significantly different equating relationships compared to those from the MIRT models and showed bigger biases when data were significantly departed from the unidimensionality assumption. In the case of significant departure from the unidimensionality assumption, it would be recommended to use the MIRT models rather than the UIRT models in equating scores from tests composed of testlets. 이 연구는 단위검사로 구성된 검사의 구조를 모형에 반영할 수 있는 4가지 다차원 문항반응이론 모형(Bi-factor, Testlet Response, Simple-structure, Second-order MIRT 모형)과 전통적으로 사용되어 온 일차원 문항반응이론 모형을 실제 자료와 모의실험 자료에 적용하여 동등화 결과를 비교하여 각 모형의 상대적인 동등화 수행능력을 평가하고자 하였다. 결론은 다음과 같이 요약될 수 있다. 첫째, 이 연구에서 검토된 4가지 MIRT 모형 관찰점수 동등화 결과는 단위검사로 구성된 검사의 동등화에서 유사한 결과를 산출하였다. 둘째, 실제 자료를 활용한 분석에서 일차원 문항반응이론 모형은 다차원 문항반응이론 모형과 거의 차이를 확인할 수 없을 정도의 유사한 동등화 결과를 산출하였다. 셋째, 가상자료를 바탕으로 한 분석에서, 일차원성 가정 이탈 수준이 높은 경우, 일차원 문항반응이론 모형에 기반한 동등화 방법은 다차원 문항반응이론 모형에 기반한 동등화 방법과 다른 동등화 결과를 산출하였고, 동등화 편의가 큰 것으로 나타났다. 문항반응이론의 일차원성 가정의 위배가 큰 경우, 단위검사로 구성된 검사의 동등화에 다차원 문항반응이론 모형을 적용한 동등화 방법을 사용하는 것이 타당할 것이다.

Estimating Domain Scores for Mixed-Format Tests under Item response theory and Generalizability theory Approaches

신민정(MinJeong Shin),이규민(Guemin Lee) 한국교육평가학회 2011 교육평가연구 Vol.24 No.2

이 연구에서는 영역점수를 추정하기 위해 문항반응이론과 일반화 가능도이론을 활용한 추정 방법을 적용해 보았다. 그리고 관찰 점수와 두 이론을 적용하여 산출한 점수를 비교해 보고, 가장 정확한 결과를 도출하는 방법이 무엇인지 알아보았다. 선행 연구와 다른 점은 이 연구에서는 혼합형 검사를 사용했다는 것과 개인 수준과 집단 수준에서의 추정치를 모두 포함하였다는 것이다. 이 연구를 위해 크게 두 가지 조건을 사용하였다. 본 연구에서 사용한 조건은 문항 수와 집단 안에 포함된 피험자 수이다. 문항 수를 13, 26, 51 문항으로 하여 각각 세 가지 검사형을 구성하였고, 집단 내 피험자 수는 25, 50, 100명으로 세 개의 다른 집단을 가정하였다. 연구 결과, 일반화 가능도이론과 문항반응이론을 적용한 방법이 관찰점수 방법보다 더 정확한 결과를 산출한다는 사실을 확인할 수 있었다. 개인 수준에서는 최대우도추정치 방법이 모든 조건에서 가장 작은 평균제곱오차를 보였다. 문항 수가 증가함에 따라 평균제곱오차는 줄어들었으나, 13 문항에서 26 문항으로 증가할 때에는 평균제곱오차의 감소폭이 크지 않았다. 집단 수준에서의 결과에서도 역시 관찰점수 방법보다는 일반화 가능도이론과 문항반응이론을 적용한 방법이 더 나은 결과를 보였다. 문항 수가 13일 때에는 최대우도추정치 방법이 가장 작은 평균 제곱오차를 보였고, 26 문항으로 이루어진 검사형에서는 집단 내 피험자수에 상관없이 문항반응이론방법이 일반화 가능도이론 방법보다 더 나은 결과를 보였다. 문항 수가 51문항으로 증가함에 따라 관찰점수를 제외한 각 방법의 추정치가 비슷한 결과를 보였다. 이 연구에서는 비록 감소되는 폭이 각 조건에 따라 다르긴 하지만, 집단 내 피험자 수와 문항수가 커짐에 따라 평균제곱오차는 점차 줄어든다는 사실을 확인할 수 있었다. This study was conducted to investigate the relative appropriateness of several estimation methods for domain scores under item response theory (IRT) and generalizability theory (G-theory) approaches. Both individual and group level domain score estimates were examined with mixed-format data. Several simulation conditions were formulated by considering and combining the number of items within a separate domain (13, 26, and 51) and the number of examinees within a specified group (25, 50, and 100). Based on the results, both G-theory and IRT-based approaches produced better estimates for domain scores than did using observed scores for all conditions. At the individual level, IRT-MLE method showed the smallest mean square error (MSE). As the number of items increased, MSE decreased as expected. When the number of items increased from 13 to 26, the decrease in MSEs did not seem to be large. At the group level, the GT-Searle method produced the largest MSEs. As the number of items within a domain and examinees within a group increased, MSEs decreased to some extent.

2018 물리 인증제 1급 문항 분석 연구

안선영,최수봉 한국물리학회 2020 New Physics: Sae Mulli Vol.70 No.11

In this study, two well-known test theories, classical examination theory and item response theory, were analyzed to confirm the goodness of the test items by using the responses of 911 subjects on 30 items of the Physics ability test, which was given in February 2018. Through this, the quality control details of the items required in the test development process could be checked. The results obtained using both test theories were compared by the discriminant, difficulty, and guessing for the items, which are characteristics the items have in common. The classical test theory, was used to evaluate the validity of the items and the correct answers by checking the internal consistency index Cronbach’s value of items and the test and the existence of a wrong answer sheet. Consequently, the analysis results for the items and parameters of both test theories, confirmed that the composition of the test was valid. 본 연구는 2018년 2월 시행된 물리 인증제 1급 시험의 총 30개 문항에 대한 911명 응답 자료의 검사문항 양호도 확인을 위해 잘 알려진 두 검사이론인 고전검사이론과 문항반응이론으로 각각 분석하였다. 두분석결과 공통으로 문항특성인 문항의 변별도, 난이도, 추측도를 분석하여 결과를 비교하였다. 연구 결과, 고전검사이론을 통한 결과 개별문항 분석에서 거의 모든 문항이 양호하였으며, 전체 검사의 Cronbach’s 값은 0.768로 높은 신뢰도를 보였다. 문항반응이론을 통한 결과에서는 일부 문항에서 내용적 검토 필요성을제시할 수 있었다. 두 검사이론의 문항 모수 분석결과를 종합해 볼 때, 검사의 구성 문항은 모두 양호하였다.

등급반응모형과 일반화부분점수모형에서 능력 분포, 문항 반응 범주 수, 검사길이에 따른 문항 적합도 지수 수행 비교

강유림(Yu Lim Kang),이규민(Gue min Lee),강상진(Sang Jin Kang) 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

본 연구는 등급반응모형과 일반화부분점수모형에서 능력 분포, 문항 반응 범주, 검사길이에 따른 전통적 접근과 대안적 접근의 문항 적합도 지수 수행을 제1종 오류 비율 통제정도를 통해 탐색하고자 하였다. θ를 기반으로 관찰 빈도를 산출하는 전통적 접근의 문항 적합도 지수로 PARSCALE G²가 사용되었으며, 전통적 접근의 단점을 극복하고자 제안된 대안적 접근의 문항 적합도 지수로서 Orlando와 Thissen(2000)이 제안한 S - X²와 S - G², Stone(2000, 2003)이 제안한 X²*와 G²*가 사용되었다. 이를 바탕으로 능력 분포, 문항 반응 범주, 검사길이에 따른 문항 적합도 지수의 수행을 살펴본 결과, G²는 짧은 검사길이에서 과대 추정된 제1종 오류 비율을 보인 반면 대안적 접근의 문항 적합도 지수들의 경우 정규 분포에서는 검사길이와 문항 반응 범주의 영향을 크게 받지 않고 안정적인 수행을 보였다. 비정규 분포일 때 대안적 접근의 문항 적합도 지수들은 검사길이와 문항 반응 범주에서 과대 추정된 제1종 오류 비율을 보였으나 검사길이와 문항 반응 범주가 증가함에 따라 향상된 수행을 보였다. 대안적 접근 중 X²*와 G²*의 제1종 오류 비율 과대 추정정도가 더 높게 나타났으며, S - X²와 S - G²가 가장 안정적인 수행을 보였다. This study was conducted to explore the performance of item-fit indices based on ability distributions, the number of response categories and test lengths under the graded response model and the generalized partial credit model. As a traditional item fit statistics, G²from PARSCALE, was used because it is commonly reported item fit index. For alternative approaches, S-X² and S-G² proposed by Orlando and Thissen(2000) and X²* and G²* proposed by Stone(2000, 2003) were considered. The traditional index, G² did not appear to have a consistent pattern by ability, but showed sensitivity across test lengths as expected. In normal ability distribution, the alternative item fit indices controlled the Type I error rates properly regardless of the number of response categories and test lengths. In nonnormal ability distributions, X²* and G²* showed inflated Type I error rates because of the violation of normality assumption imbedded in the methods. The S-X² and S-G² indices showed the most stable performance of controlling Type I error rates.

고전검사이론과 문항반응이론으로 살펴본 경제이해도 평가 문항 분석

박상은 ( Sangeun Park ),김선미 ( Seonmi Kim ),오영수 ( Youngsoo Oh ) 한국경제교육학회 2016 경제교육연구 Vol.23 No.3

본 연구는 2012년에 전국적인 고등학생 경제이해도에 사용되었던 한국경제교육협회(KAEE) 문항과 미국 경제교육협회(CEE)의 TEL문항을 고전검사이론과 문항반응이론에 의한 방법으로 문항의 적정성을 비교 분석한 것이다. 총점을 주 분석대상으로 하는 고전검사이론과는 달리 문항반응이론은 개별 문항마다 학생들의 능력수준별로 변별도 정보를 제공해주는 장점을 가지고 있다. 분석 결과, 양국 문항의 난이도에서는 큰 차이가 없었으나 변별도 분석에서는 문항특성곡선을 통해 난이도가 높은 일부 문항에서는 고전검사이론에서는 얻을 수 없었던 새로운 정보가 발견되었다. 특히 검사정보곡선을 통한 전체 문항에 대한 비교분석 결과, 한국 학생들에게 적용했던 TEL 20문항은 KAEE 문항에 비해 피험자의 능력에 대해 보다 많은 정보를 제공해주는 우수한 평가도구로 나타났다. This study compares characteristics of two test items for high school student`s economic literacy developed by KAEE and CEE, which was administered in 2012 Korea. We focus to compare the results of item analysis by Classical Test Theory and Item Response Theory. Indexes derived from Item Response Theory have relative advantages in a sense that they suggest more detailed characteristics of each items through item characteristics curve and item information curve. Main results are as follows: First, item discrimination indexes from Item Response analysis show new information on the discrimination ability according to the student`s ability level. However, there are few differences in item difficulty analysis results between two theories. Second, comparative analysis between KAEE and TEL test through test information curve shows that TEL turns out to provide more information on student`s ability than KAEE test items.