초등학교 3학년 국가수준 기초학력 진단평가 동등화 방안 = A Study on Equating Methods for Grade 3 National Diagnostic Test of Basic Competency

국문 초록 (Abstract)

이 연구는 초3 기초학력 진단평가의 다년간 결과를 비교 가능하도록 만들어 주는 동등화 방안을 탐색하고, 그 상대적 적절성을 평가하여 현장에서 적용될 수 있는 구체적인 방안을 검토하는 것이다. 연구 결과를 요약하면 다음과 같다. 첫째, 2002년과 2003년 검사의 동등화를 위한 검사 구인의 동질성 분석 결과 기초 수학 검사가 동등화를 위한 조건들을 상대적으로 잘 만족시켰고, 결과적으로 양호한 동등화 결과를 산출하였다. 읽기와 쓰기는 검사 구성에 변화가 있었고, 이러한 변화가 검사 점수의 동등화에도 영향을 준 것으로 판단된다. 둘째, 동등화 표본의 사례 수가 적어 문항반응이론을 이용한 동등화 방법을 적용하지 못하는 상황에서 평균, 선형, 동백분위 동등화 방안이 제안되었다. 세 방법 모두 낮은 점수대와 높은 점수대에서 동등화 방법 간 차이가 발견되었고, 중간 점수대에서는 상대적으로 그 차이가 적었다. 검사 점수의 동등화를 위한 조건들을 잘 만족시켰던 기초 수학 검사의 경우, 적용된 모든 방법에서 유사한 동등화 결과를 산출하였다. 셋째, 기초학력 도달/미도달 여부의 일치 정도 분석과 Bootstrap 방법을 이용한 동등화 오차 분석은 동등화 방법의 상대적 적절성을 평가하는데 한계가 있었다. 반면 2003년 이루어진 Bookmark 기초학력 도달 기준선 설정 작업 결과를 준거로 사용하여 동등화 방법 간 적절성 평가에서는 동백분위 방법이 다른 방법 보다 상대적으로 우수한 것으로 나타났다.

다국어 초록 (Multilingual Abstract)

The grade 3 National Diagnostic Test of Basic Competency (NDTBC), which was first developed and administered in 2002, has its main mission to diagnose performance levels of students with respect to their basic competencies (language literacy and numeracy). The NDTBC is a kind of national evaluation system of monitoring progress of student achievement levels and providing information for decision-making processes to increase educational accountability. This study was designed to address issues related equating test results across multiple years to obtain score comparability. Main conclusions based upon results of this study can be summarized as follows. First, the Mathematics test satisfied equating conditions relatively better than did the Reading and Writing tests. Test structures of the Reading and Writing tests were changed in numbers of items and in content balances. These changes could influence on equating relationships to some extent. Second, under a circumstance that it is not possible to apply equating methods based up item response theory due to sample size restrictions, this study proposed mean, linear, and equipercentile equating methods for collected data with a single-group design. Three proposed equating methods provided non-negligible differences in equating results in low and high ability score ranges, but those provided similar equating relationships in the middle range of the score scale. The Mathematics test that satisfied equating conditions more closely produced more similar results among three equating methods than did other content areas. Third, the decision consistency analysis between 2002 and 2003 test results, and equating error estimates from Bootstrap re-sampling techniques could not provide relevant information regarding relative appropriateness of proposed equating methods. Based upon the results form a analysis using 2003 Bookmark standard setting outputs as criteria, the equipercentile equating method produced equating results relatively better than did other equating methods.

목차 (Table of Contents)

• 요약
• Ⅰ. 서론
• Ⅱ. 검사 점수의 동등화
• Ⅲ. 연구 방법
• Ⅳ. 연구 결과
• Ⅴ. 논의 및 결론
• 참고문헌
• ABSTRACT

참고문헌 (Reference)

1 "초등학교 국가수준 학업 성취도 평가의 이론적 발전 방향" 2003

2 "성인용 직업적성검사 연계화." 17 (17): 93-105, 2003

3 "성인용 직업적성검사 동등화 연구" 한국산업인력공단 중앙교용안정원 2003

4 "미국 교육평가 분야의 연구 동향과 전망 교육과정연구" [한국교원대학교 한국학교교육과정학회] 10 : 21-27, 2003

5 "국가수준 학업성취도 평가 연구" 2002

6 "국가수준 기초학력 진단평가의 교육평가학적 의의" 2004년 한국교육과정평가원 2004

7 "검사 동등화 방법" 교육과학사 2001

8 "Test equating, scaling, and linking: Methods and practices. (2nd ed.)" Springer-Verlag 2004

9 "Test equating" Springer-Verlag 1995

10 "Statistical theories of mental test scores" 1968

11 American Educational Research Association, American Psychological Association, & National Council on Measurement in Education, "Standards for educational and psychological testing" Author 1999

12 "RAGE. [Computer Program]" University of Iowa. 1995

13 "Principles and selected applications of item response theory" Oryz Press 1989

14 "Linking a short test with only selected-response items to a longer test with mixed-type items and evaluating the linking procedures" 17 (17): 283-304, 2004

15 "Fundamentals of item response theory" Kluwer-Nijhoff Publishing 1991

16 "Developing a common metric in item response theory" 7 : 201-210, 1983

17 "Application of item response theory to practical testing problems" Lawrence Erlbaum 1980

18 "An NCME instructional module on traditional equating methodology" 29-36, 1988

19 Cook, "An NCME instructional module on IRT equating methods" 37-45, 1991

20 "A comparison of the performance of dichotomous and polytomous IRT models in equating scores from tests composed of testlets" 25 : 357-172, 2001

21 채선희 외, "2002년도 초등학교 3학년 국가수준 기초학력 진단평가 연구" 동명인쇄소 2003