검사의 일차원성 가정 위배와 IRT 수직척도 추정방법이 학년 간 성장, 척도변동성, 효과크기 추정치에 미치는 영향

국문 초록 (Abstract)

이 연구의 목적은 IRT를 이용한 수직척도에서 검사의 일차원성 가정 위배 정도와 추정방법들이 수직척도의 학년 간 성장, 척도변동성, 효과크기 추정치에 어떠한 차이와 특성을 보이는지 탐색하는 것이다. 이를 위해 학생들의 능력점수 분포를 동일변동성, 변동성확대, 변동성축소의 세 가지 경우로 상정하였으며 검사의 일차원성 위배는 가정을 충족한 경우를 포함하여 네 가지 수준으로 나누어 모의자료를 생성하였다. 총 6개 학년의 수직척도 생성을 위해서는 동시추정, 분리추정, 짝별동시추정, 준동시추정, 고정문항추정의 다섯 가지 방법을 이용하였다. 각 조건들을 반복하여 산출된 추정치들은 양호도, 정확성, 안정성 측면에서 모수와의 결과 차이를 비교하였다.
연구결과 학년 간 성장은 검사의 일차원성 가정 위배로 인해 학년 간 성장이 과대 추정되었다. 하지만 일차원성 가정을 만족할수록 학년 간 성장의 양호하고 정확한 추정치를 산출하였다. 또한, 학년 간 성장의 양호한 추정치 산출에 있어 추정방법들 간의 차이가 나타났으며 전반적으로 동시추정방법이 다른 추정방법들에 비해 양호한 추정치를 산출하였다. 변동성축소와 같이 학년이 올라감에 따라 표준편차가 감소하는 경우는 고정문항추정방법이 학년 간 성장의 양호한 추정치를 산출하였다.
척도변동성은 검사의 일차원성 가정 위배 시 양호한 추정치를 산출하지 못하였다. 특히, 변동성확대와 같은 학년이 올라감에 따라 능력점수 분포의 표준편차가 증가하는 상황에서 검사의 일차원성 가정 위배가 심한 경우 척도변동성의 과소추정을 발생시켜 척도수축이 일어났다. 또한, 변동성확대에서 검사의 일차원성 가정의 위배가 있는 경우 준동시추정, 짝별동시추정과 같은 혼합추정방법이 다른 추정방법들에 비해 척도변동성의 정확한 추정치를 산출하였다. 변동성축소에서는 검사의 일차원성 가정 위배 정도가 심한 경우에는 분리추정방법이 척도변동성의 정확한 추정치를 산출하였다. 이처럼 검사의 일차원성 가정이 위배된 상황에서 학년에 따른 표준편차가 동일하지 않는 경우 한 번의 척도변환을 이용하는 동시추정방법 외의 분리추정이나 또는 분리추정과 동시추정 방법의 혼합인 혼합추정방법이 정확한 추정치를 산출하였다.
효과크기는 학년 간 성장과 유사한 패턴으로 나타났다. 즉, 검사의 일차원성 가정 위배로 인해 효과크기는 과대 추정되었으며 검사의 일차원성 가정을 만족할수록 효과크기의 양호한 추정치를 산출하였다. 또한, 동일변동성과 변동성축소에서 검사의 일차원성이 충족된 경우와 위배된 경우 모두 동시추정방법이 다른 방법들에 비해 양호한 추정치를 산출하였다. 변동성확대에서는 검사의 일차원성 가정이 만족된 경우에는 분리추정이나 고정문항추정방법이 양호한 결과를 산출하였지만 검사의 일차원성 가정이 위배된 경우는 동시추정방법이 양호한 결과를 보였다.
즉, 수직척도에서 검사의 일차원성 가정 위배는 학년 간 성장, 척도변동성, 효과크기의 양호하고 정확한 추정치 산출에 영향을 주었다. 따라서 여러 학년의 수준검사들을 연계하는 수직척도에서 검사의 일차원성 가정의 충족이 선행될 필요가 있다. 또한, 척도수축은 학년에 따른 학생들의 능력점수 분포의 변화와 검사의 일차원성 가정, 특정한 추정방법의 선택 등 복합적인 상황에서 발생하는 현상으로 볼 수 있으므로 실제 수직척도 개발에서 이러한 점들을 유의할 필요가 있다. 이와 더불어 IRT 추정방법들은 학년 간 성장이나 효과크기보다 척도변동성에 더 많은 차이를 보였으며, 추정방법에 따른 척도변동성의 차이는 이 연구에서 상정한 학생들의 능력점수 분포의 변화에 더 민감한 차이를 보였다. 학년이 올라감에 따라 표준편차가 일정한 경우에는 동시추정방법이 다른 추정방법들에 비해 척도변동성의 양호한 추정치를 산출하였지만 학년에 따라 표준편차가 달라지는 경우 혼합추정방법이 더 양호하고 정확한 추정치를 보였다. 특히, 검사의 일차원성 가정이 위배된 상황에서 혼합추정방법들의 정확성은 높아졌다. 실제 교육 현장에서 학생들의 성장은 능력수준에 따라 차이가 나타나므로 학년에 따른 능력점수 분포의 표준편차는 변하게 된다. 따라서 6개 학년과 같이 여러 학년을 하나의 공통된 척도로 연계하는 수직척도에서는 척도변동성의 정확한 추정치 산출을 위해 혼합추정방법을 제안한다.

참고문헌 (Reference)

1 한국교육평가학회, ",『교육평가용어사전』", 서울: 학지사, 2004

2 김연정, 임현정, 이규민, 박인용, "『한국교육종단연구2005』", 의 수직척도 타당성 검토. 교육평가연구, 23(3). 617-640, 2010

3 구경호, 원효헌, 김석우, "성취도 평가 수직척도 점수 개발", 부산광역시교육연구 정보원 연구보고 2017-69, 2017

4 민경석, 서순식, "초등학생용 ICT 리터러시 검사의 수직척도화", 교육정보미디어 연구, 15(3), 1-19, 2009

5 민경석, "문항반응이론에 기반한 하위점수 산출방법 비교", 교육평가연구, 24(3), 671-691, 2011

6 강태훈, 송미영, "초6-중3 학업성취도 검사의 IRT 수직척도 개발을 위한 탐색 연 구", 교육평가연구, 25(2), 287-315, 2012

7 이규민, "제8차년도 서울교육종단연구 학업성취도검사 척도점수 개발 연구", 서울특별시교육청교육연구정보원 연구보고 서교연 2017-90, 2017

8 강상진, 이규민, 유제명, 류희찬, 노명완, "국가수준의 종단적 교육조사 연구를 위한 성취도 검사 및 척도개발", 한국교육개발원 연구보고 RR 2006-1, 2006

9 박소연, 지은림, "학년 간 내용 연계성을 고려한 검사구성이 수직척도에 미치는 영향", 교육평가연구, 27(2), p.381-409, 2014

10 강호수, 최인회, 이규민, 박경호, 남궁지영, 김양분, 김미숙, "2016 한국교육종단 연구 한국교육종단연구(KELS)2013(IV): 조사개요보고서", 한국교육개발원 기술보고 TR 2016-55-01, 2016

11 강상진, 이주연, 이규민, "A Comparison of IRT Calibration Methods in Growth Pattern and Scale Variability in Vertical Scaling", 교육평가연구, 28(2), 623-645, 2015

12 김성훈, "가교문항-고정 다집단 IRT 추정을 위한 BILOG-MG 프로그램의 적용 가능성 진단", 교육평가연구, 28(4), 1021-1048, 2015

13 김성훈, "유한혼합분포에 대한 EM 알고리듬을 사용한 다집단 IRT 추정 방법의 원리와 기능", 교육평가연구, 26(4), 801-822, 2013

14 강상진, 차인숙, 김성연, "학교교육의 책무성 제고를 위한 학교평가지수 산출모형 비교: 학업성취도를 중심으로", 교육평가연구, 22(1), 79-106, 2009

15 남가영, 박선화, "초, 중, 고 학업성취도 평가틀의 수직연계성 분석: 국어, 수학 교과의 성취기준을 중심으로", 한국교육과정평가원 연구자료 ORM-2012-109-3, 2012

16 강상진, 이규민, 박인용, "IRT 수직척도의 자료수집방법과 추정방법에 따른 피험 자 능력점수의 성장패턴과 척도변동성", 교육평가연구, 25(2). 263-286, 2012

17 김성훈, "동등집단 설계를 사용하는 수직척도화에서 공통 능력척도의 개발을 위 한 IRT 추정 방법의 비교", 교육평가연구, 27(4), 925-944, 2014

18 신혜성, "IRT 수직척도 개발에서 공통문항군에 포함된 차별기능문항이 수직 척도의 양호도에 미치는 영향", 연세대학교 석사학위 논문, 2018

19 김성훈, "BILOG-MG를 사용한 IRT 모형 모수의 추정에서 기저 능력분포의 경 험적 추정이 문항모수 추정에 미치는 영향", 교육평가연구, 25(2), 317-336, 2012

20 박인용, "단위검사로 이루어진 검사의 지역독립성 위배 정도가 IRT 수직척도 의 성장패턴, 척도변동성, 효과크기에 미치는 영향", 연세대학교 박사학위 논문, 2012