Item Treatments on National Assessment of US History = 국가수준 평가 미국역사 과목의 공통문항 처리

다국어 초록 (Multilingual Abstract)

In order to study the trends in educational progress and to measure the changes in performance, existing assessment instrument, administration procedures, and analysis techniques had to be retained over time. Such instruments as the NAEP in the US and the NAEA in Korea use the IRT to analyze data and to calibrate items by a subscale. During the process of estimating item parameters, checks are performed to make sure that the IRT models fit the data. However, there is no clear criterion to assist psychometric practitioners at treating items in scaling for national assessment of students' achievement, such as the NAEP and the NAEA. The objective of the current study is to investigate the impact of item treatments, specifically splitting trend items by assessment years, in scaling on the NAEP trend reporting scores. Specifically, this study investigates how item treatments, in scaling, change other item estimates in US history tests. By splitting items, the proficiency level of some students had little impact on US history subscales. In addition, this study examines how splitting items by assessment years affect reporting trend scores.

국문 초록 (Abstract)

본 연구는 대규모 학업성취도 평가에서 연도에 따른 다른 문항 특성을 보이는 공통문항을 어떻게 처리하는지를 살펴보았다. 특히, 공통문항을 시행한 해당 연도에 따라 새로운 문항으로 처리하여 분리하였을 때에 학생들의 점수에 어떠한 영향을 주는지를 살펴보았다. 이 연구에서는 공통 추이문항에 대한 처리를 파악하기 위하여 NAEP 2001 미국 역사 자료를 사용하였다. 공통문항을 연도별로 분리한 경우, 처리하는 문항의 수에 따라 성취도 점수의 차이가 약간 나타남을 알 수 있다. 연도별로 다른 특성을 보이는 공통문항을 어떻게 처리하는지에 따라 학생들의 성취도에 영향을 주는지를 살펴보고, 알맞은 처리법으로 성취도에 주는 영향력을 최소화하는 것이 필요하겠다.

목차 (Table of Contents)

• I. Introduction
• II. Methodology
• III. Result
• IV. Discussion
• 참고문헌
• 요 약