Effects of Non-random Choices of Test Items on IRT-based Parameter Estimation and Examinee Scores

국문 초록 (Abstract)

  현행 검사 프로그램 중에는 피험자가 지정된 영역들 중 일부만을 선택하여 응답하도록 하는 경우가 종종 있다. 이러한 검사 설계는 피험자들에게 보다 다양한 주제의 문항들을 제공하여 자신이 강점을 가진 분야를 선택하도록 함으로써 특정 주제에 의해 피험자의 능력 추정치가 영향 받게 되는 오류를 줄일 수 있다는 점에서 장점을 가지고 있다. 그러나 이러한 검사 설계의 타당성은 선택 영역간의 측정학적 혹은 내용적 특성이 동등하다고 간주할 수 있을 경우에만 인정된다. 문항반응이론을 이용한 선택 영역간 점수 조정방법이 몇몇 연구자들에 의해 제안되어 왔으나, 이 방법은 피험자의 영역 선택이 완전히 무선적이라는 가정하에서만 이용 가능하다. 본 연구에서는 피험자의 영역 선택이 비무선적으로 이루어졌을 경우 문항 모수 및 능력 모수의 추정, 그리고 피험자의 점수에 미치는 영향을 고찰하고자 모의 연구를 수행하였다. 이를 위해 각 선택 영역을 구성하는 다양한 주제의 문항들은 단일 차원의 특성을 가지고 있으나 난이도에 있어 차이를 보이는 것으로 가정하고, 능력이 높은 피험자가 쉬운 내용으로 구성된 영역을 선택하는 경우와 능력이 낮은 피험자가 쉬운 영역을 선택하는 경우, 그리고 선택이 완전히 무선적으로 이루어지는 경우로 구분하여 모의 자료를 생성하여 분석하였다. 그 결과, 피험자의 영역 선택을 허용하는 검사는 가급적 피하는 것이 바람직하나, 이러한 검사 설계가 불가피한 경우, 검사 개발자는 피험자들이 선택 영역 중 특별히 쉽거나 어려운 영역을 분별하여 선택하지 못하도록 검사 내용 및 측정학적 특성들을 구성해야 함을 제안하고 있다.

다국어 초록 (Multilingual Abstract)

  In educational testing, examinees are sometimes instructed to select and respond to a subset of items from a designated list, because such test designs are perceived to be more realistic, authentic, and valid. A crucial issue of using choice items, however, is whether scores on choice items are comparable. IRT framework has been proposed for a method for adjusting scores across choice sections to enhance score comparability, based on the assumption that examinee choices are made in a completely random manner, which is likely to be violated in practice. In this study, the effects of non-random choices on the item and ability parameter estimation as well as examinee scores were examined. The findings from this study suggest that it would be best if test designs allowing examinee choices could be avoided. However, if allowing examinee choices is inevitable for practical or political reasons, test developers should make cautious efforts to make the content and psychometric properties of the choice sections as similar as possible, so that examinees cannot identify or be attracted to broadly easier or difficult sections, which, ironically, could eliminate one of the intended purposes of using such test designs.

목차 (Table of Contents)

• Ⅰ. Introduction
  Ⅱ. Methods
  Ⅲ. Results
  Ⅳ. Conclusions and Discussions
  References
  저자소개
  〈요약〉
  

참고문헌 (Reference)

1 "Using Livingston's hypothesis in the optional essay problem Paper presented at the Annual Meeting of the National Council on Measurement in Education" 1993

2 "The psychometric characteristics of choice items" 32 (32): 243-259, 1995

3 "Test equating, scaling, and linking: Methods and practices (2nd Ed.)" New York: Springer-Verlag 2004

4 "Statistical Analysis with Missing Data" 1987

5 "PIE: A Computer Program for IRT Equating, Version 1.0" Iowa City, IA: ACT 1995

6 "On the viability of some untestable assumptions in equating exams that allow examinee choice" 8 (8): 211-225, 1995

7 "Item Response Theory Models Applied to Data Allowing Examinee Choice" 23 (23): 236-243, 1998

8 "How well can we equate test forms constructed by examinees?" Princeton 91-55, 1991

9 "BILOG-MG: Multi-group IRT analysis and test maintenance for binary items" Chicago: IL: Scientific Software International 1996

10 "Assessing equating results on different equating criteria" 29 : 418-432, 2005

11 "Adjusting scores on examinations offering a choice of essay questions" Princeton 88-64, 1988