Linking a Short Test with Only Selected - Response Items to a Longer Test with Mixed-Type Items and Evaluating the Linking Procedures

국문 초록 (Abstract)

이 연구는 선택형 문항으로 구성되고 상대적으로 길이가 짧은 검사의 점수와 선택형 문항과 서답형 문항으로 구성된 상대적으로 길이가 긴 검사 점수 사이의 연계화 방안과 관련된 이슈를 다루고 있다. 이 연구에서는 4가지 연계화 절차가 제시되었는데, (a) 문항반응이론 모형을 적용한 진점수 연계화, (b) 문항반응이론 모형을 적용한 관찰 점수 연계화, (c) 동백분위 연계화, 그리고 (d) 선형 관찰 점수 연계화 방안이다. 이러한 4가지 연계화 절차는 점수 척도의 중간 영역에서는 유사한 연계화 결과를 산출하였고 비슷한 일차-승수 동등성(first-order equity) 차이를 보였다. 그러나 능력 점수의 극단 부분에서는 연계화 절차들 사이에 작지 않은 차이와 간격을 나타냈다. 문항반응이론을 적용한 진점수 연계화 방법이 가장 작은 수준의 일차-승수 동등성 차이를 산출했다. 4가지 연계화 방법 중에 어떤 특정 방법이 다른 방법에 비해 유의미하게 작은 이차-승수 동등성 관련 지수를 산출하지는 않았지만, 일반적으로 문항반응이론을 적용한 관찰 점수 연계화 방안이나 동백분위 연계화 방안이 문항반응이론을 적용한 진점수 연계화 방안 보다는 이차-승수 동등성 요구를 잘 만족시키는 것으로 나타났다. 동백분위 연계화 방안은 동백분위 동등화 특성을 다른 방법보다 잘 만족시키는 것으로 나타났는데, 이것은 동백분위 방법이 점수 분포의 승수 보존특성(moment preservation property)을 만족시키기 때문인 것으로 판단된다.

다국어 초록 (Multilingual Abstract)

This study was designed to address the issue of linking scores on a relatively short test with only selected-response items to scores on a test with both selected-response and constructed-response items. Four linking procedures were considered: (a) true score linking with IRT model (TIRT), (b) observed score linking with IRT model (OIRT), (c) equipercentile linking (EQ), and (d) linear observed-score linking (LE). The four linking procedures produced similar linking relationships and similar first-order equity deviations in the middle of the ability scale. There were some non-negligible first-order equity deviations and discrepancies among linking procedures at the extreme ends of the ability scale. TIRT met the first-order equity property more frequently than did the other linking methods. No single linking procedure was better than the other linking procedures with respect to second-order equity indices. However, in general, OIRT and EQ procedures met second-order equity property better than did TIRT. EQ procedure usually meets the equipercentile equating property more closely than other linking procedures since it satisfy the moment preservation property.

목차 (Table of Contents)

• ABSTRACT
• Ⅰ. Introduction
• Ⅱ. Linking Procedures
• Ⅲ. Method
• Ⅳ. Results
• Ⅴ. Discussion
• References
• 초 록

참고문헌 (Reference)

1 a, "이 연구는 선택형 문항으로 구성되고 상대적으로 길이가 짧은 검사의 점수와 선택형 문항과 서답형 문항으로 구성된 상대적으로 길이가 긴 검사 점수 사이의 연계화 방안과 관련된 이슈를 다루고 있다 이 연구에서는 4가지 연계화 절차가 제시되었는데 문항반응이론 모형을 적용한 진점수 연계화 문항반응이론 모형을 적용한 관찰 점수 연계화 이러한 4가지 연계화 절차는 점수 척도의 중간 영역에서는 유사한 연계화 결과를 산출하였고 비슷한 일차-승수 동등성 차이를 보였다 그러나 능력 점수의 극단 부분에서는 연계화 절차들 사이에 작지 않은 차이와 간격을 나타냈다 문항반응이론을 적용한 진점수 연계화 방법이 가장 작은 수준의 일차-승수 동등성 차이를 산출했다 4가지 연계화 방법 중에 어떤 특정 방법이 다른 방법에 비해 유의미하게 작은 이차-승수 동등성 관련 지수를 산출하지는 않았지만 일반적으로 문항반응이론을 적용한 관찰 점수 연계화 방안이나 동백분위 연계화 방안이 문항반응이론을 적용한 진점수 연계화 방안 보다는 이차-승수 동등성 요구를 잘 만족시키"

2 "선택형 문항으로 구성된 검사와 다양한 형태의 문항으로 구성된 검사의 연계화 방안 및 연계화 방안의 상대적 적합성 평가"

3 "measurement for scale scores Journal of Educational Measurement" 285-307,

4 Thomasson,G.L, "The asymptotic equating methodology and other test equation evaluation procedure" Unpublished doctoral dissertation University of Illinois at Urbana-Champaign 1993

5 "Test equating: Methods and practices" Springer- Verlag 1995

6 "TerraNova" CTB/McGraw-Hill 2001

7 Lord, "Statistical theories of mental test score" 1968

8 Yen,W.M, "Scaling performance assessments:Strategies for managing local item dependence" 30 : 187-213, 1993

9 Baxter, "Sampling variability of performance assessments Journal of Educational Measurement" 215-232, 1993

10 Morris, "On the foundations of test equating" Academic Press 169-191, 1982

11 Linn,R.L, "Linking results of distinct assessments" 6 : 83-102, 1993

12 Thissen, D, "Item response theory for scores on tests including polytomous items with ordered responses" 19 : 39-49, 1995

13 "Generalizability of large-scale performance assessments in science Applied Measurement in Education" 323-342, 1994

14 "Generalizability analysis for performance assessments of student achievement or school effectiveness" 57 : 373-399, 1997

15 "Conditional standard errors of measurement for scale scores using IRT" 33 : 129-140, 1996

16 Lord, "Comparisons of IRT true score and equipercentile observed- score" 453-461, 1984

17 "Calibration of ITBS survey test battery to the complete test battery: A comparison of five linking methods" University of Iowa at Iowa City 2001

18 Lord,F.M, "Applications of item response theory to practical testing problems" Lawrence 1980

19 "An extension of the Lord-Wingersky algorithm to the polytomous items" 1994

20 Kolen, "American Council on Educational and Macmillan" (rming) : 221-261, 1989

21 "American Council on Education" (rms and equivalent scores) : 580-600, 1971

22 "A note on Levine's formula for equating unequally reliable tests using data from the common item nonequivalent groups design" 16 : 93-100, 1991

23 Muraki,E, "A generalized partial credit model:application of an EM algorithm" 16 : 159-176, 1992

24 "A generalizability theory approach to investigating item context effects" 2003

25 Lee, G, "A comparison of scoring modalities for performance assessment: A case of constructed response items" 2000

26 "A comparison of composite scaled scores from long and short versions of the same test battery Paper presented at the Annual Meeting of the National Council on Measurement in Education" 1992

27 "A comparison of IRT equating and beta 4 equating" 2002