증거기반 평가 설계와 타당도의 통합적 관점에서의 문항 특성 분석 활용 = Feature Analysis from the Perspective of an Integrated Approach to Validity and Evidence-centered Design

국문 초록 (Abstract)

본 연구는 학생 평가의 타당화를 위해 증거기반 평가 설계와 타당도의 통합적 관점에서 문항 특성 분석을 활용하는 방안을 탐색하는 데 목적이 있다. 이를 위해 타당도의 고전적 개념을 확장한 통합적 접근을 살펴보고, 문항 특성 분석 기법을 활용하여 평가 계획에서부터 평가 도구 개발, 평가 결과의 분석 및 활용에 이르기까지 학생 평가의 전반적인 운영 과정에서 타당도를 제고하는 방안을 제안하였다. 구체적으로 타당도의 증거 유형별 문항 특성 분석 적용 방안을 제시한 후, 이를 경험적 자료에 적용하여 방법론적 적합성과 유용성을 검증하였다. 이어 학생 평가의 타당도 제고를 위해 증거기반 평가 설계 모형과 문항 특성 분석을 연계하여 활용하는 방안을 탐색하였다. 실제 교육과정 기반의 대규모 평가 자료에 문항 특성 분석을 적용한 결과, 이러한 접근 방법이 문항 특성에 대한 포괄적이고 심층적인 정보를 제공함으로써 학생 평가의 타당도 증거를 강화하기 위한 유용한 분석틀이 될 수 있음을 시사하였다. 이를 통해 문항 특성 분석이 국가 수준 및 시도교육청 단위의 대규모 평가뿐 아니라 단위 학교 평가 맥락에서의 학생 평가 타당화 과정에서 다양하고 종합적인 증거를 수집하는 데 확장성이 큰 방법론으로 활용될 수 있음을 확인하였으며, 이에 따른 교육적 시사점을 논의하고 후속 연구를 제안하였다.

다국어 초록 (Multilingual Abstract)

This study explored feature analysis (FA) from the perspective of an integrated approach to validity and evidence-centered design. To this end, this study aimed to demonstrate how FA provides validity evidence in the overall operation process of student assessments based on an integrated approach that extends the classical concept of validity. Specifically, the methodological suitability and usefulness of FA were verified by applying the approach to empirical assessment data and presenting data collection procedures for each type of evidence of validity. Next, from the perspective of enhancing the validity of student assessment, ways of linking evidence-centered design with FA were suggested, and methods for applying FA to each stage of the evidence-centered design were explored. The results of applying FA to the 2019 National Assessment of Educational Achievement indicated that FA can be a functional analytic framework for enhancing validity evidence of student assessments by providing comprehensive and in-depth information on item features. Hence, the results of this study suggest that FA can be extended to a highly elaborate approach to collect various and comprehensive evidence in the process of validating student assessments in the context of individual school assessment as well as large-scale assessment at the national and provincial level. Based on such results, educational implications and suggestions for follow-up studies were discussed.

목차 (Table of Contents)

• Ⅰ. 서론
• Ⅱ. 이론적 배경
• Ⅲ. 학생 평가 운영 맥락에서의 문항 특성 분석
• Ⅳ. 문항 특성 분석을 활용한 학생 평가의 타당화
• Ⅴ. 결론 및 논의
• 참고문헌
• ABSTRACT