An Investigation of the Effect of Anchor Test Length and Non-equivalency of Equating Groups on Equating|RISS 상세보기

국문 초록 (Abstract)

이 연구에서는 가교검사의 길이와 집단간 비동등성이 공통문항 비동등집단 설계 동등화 결과에 미치는 영향력을 알아보았고, 동일한 상황에서 세 가지 동등화 방법의 결과를 비교하였다. 이 연구에서는 실험설계를 통해 자료를 수집하였고, 세 가지 가교 검사 길이, 동등집단 설계와 비동등집단 설계, 세 가지 동등화 방법을 고려한 총 18개 조건을 고려하였다. 연구결과, 능력수준이 비슷한 집단이 동등화에 사용된 경우에 가교 검사의 길이는 동등화 관계에 큰 영향을 미치지 않는 것으로 나타났다. 서로 다른 가교검사의 길이는 모두 비슷한 동등화 관계를 도출하였다. 반면 능력수준이 서로 다른 비동등 집단이 동등화에 사용될 경우 가교검사의 길이는 동등화 관계에 큰 영향을 미치는 것으로 나타났다. 가교검사 길이의 영향력이 집단간 비동등성정도에 따라 달라졌기 때문에, 가교검사 길이와 집단간 비동등성간의 상호작용이 있는 것으로 분석되었다. 능력에서 동등한 집단을 동등화에 사용할 경우 Tucker 선형 방법, Levine 관찰점수 선형 방법, 그리고 빈도추정동백분위 방법은 유사한 동등화 관계를 도출하였다. 가교검사의 길이가 증가할수록 세 방법의 동등화 관계 추정치는 더욱 유사하였다. 하지만 능력이 동등하지 않은 집단을 동등화에 사용할 경우 세 가지 동등화 방법은 유사하지 않은 동등화 관계를 도출하였고, 가교검사의 길이가 감소할 때 비유사성의 정도가 증가하였다. 현장에서 공통문항 비동등집단 설계를 활용하여 동등화를 시행할 경우, 동등화에 사용되는 집단의 비동등성이 어느정도 예상될 때 동등화 결과 활용에 주의할 필요가 있다. 특히 상대적으로 가교검사의 길이가 짧을 때 더욱 주의가 요구된다. SEE와 WMSEE의 양상은 집단의 비동등성에 크게 영향받지 않는 것으로 나타났는데, 가교검사의 길이를 증가하는 것은 동등화 오차를 크게 감소시켰지만, 약 30% 이상으로 증가시키는 것은 큰 영향력이 없는 것으로 나타났다.

번역하기

이 연구에서는 가교검사의 길이와 집단간 비동등성이 공통문항 비동등집단 설계 동등화 결과에 미치는 영향력을 알아보았고, 동일한 상황에서 세 가지 동등화 방법의 결과를 비교하였다. ...

다국어 초록 (Multilingual Abstract)

The present study investigated the effect of anchor test length, non-equivalency of equating groups, and equating methods on equating. The English test scores collected from the experiment design employed in this study were analyzed to compare equating relationships and standard errors of equating under the design. The design included 18 conditions: 1) equivalent groups vs. non-equivalent groups, 2) three anchor test lengths, and 3) three equating methods. When equivalent groups were used, lengthening the anchor test had little effect in equating relationships. The length of the anchor test, however, became an important factor when non-equivalent groups were used in equating. That is, there was an interaction effect between the anchor test length and non-equivalency of groups on equating. All of the equating methods yielded similar equating relationships when the equating groups were equivalent. Non-equivalent equating groups, by contrast, produced dissimilar equating relationships. It could be recommended for practitioners to be cautious in equating with NEAT design when some non-equivalency between equating groups would be expected. It was revealed that the shorter the anchor test length, the more dissimilar were the equating relationships. This recommendation could be more viable especially for the relatively short anchor test lengths. With respect to the SEEs and WMSEEs, lengthening the anchor test reduced the equating errors.

번역하기

참고문헌 (Reference)

1 김재철, "개인별 변화점수 산출을 위한 동등화 방법 비교" 한국교육평가학회 18 (18): 1-26, 2005

2 Petersen, N. S, "test of adequacy of linear score equating method" Academic Press 71-135, 1982

3 Linvingston, S. A, "What combination of sampling and equating methods works best?" Applied Measurement in Education 3 : 73-95, 1990

4 Skaggs,G, "To match or not to match samples on ability for euating: a discussion of five articles" Applied Measuerment in Eudcation 3 : 105-113, 1990

5 Klein, L. W, "The importance of content representation for common-item equating with nonrandom groups" Journal of Educational Measurement 22 : 197-26, 1985

6 Cook, L. L, "The effects of IRT and conventional achievement test equating results of using equating samples matched on ability" Educational Testing Service 1988

7 Norcini, J, "The effect of number of experts and common items on cutting score equivalent based on expert judgement" Journal of Educational Measurement 15 : 241-246, 1991

8 Kaskowitz, G. S, "The effect of error in item parameter estimates on the test response function method of linking" Applied Psychological Measurement 25 : 39-52, 2001

9 Raju, N. S, "The effect of anchor test size in vertical equating with the Rasch and three-parameter models" 1983

10 Kolen, M. J, "Test equating, scaling, and linking: Methods and practices. (2nd ed.)" Spinger 2004