비교교육학과 교육평가학 = Comparative Education and Educational Evaluation

다국어 초록 (Multilingual Abstract)

This study was conducted to help establish the status of comparative education as an academic discipline by investigating its relationship with educational evaluation. Comparative education as a subfield of education covers other areas of study in education, while educational evaluation is a study of methodology. First, international comparative study was investigated, and recent methodologies in educational evaluation were introduced. International comparative study started in 1960's, and is being expanded. The participating countries hope for better education by comparing their educational curricula and practices with others. For international comparative studies, a differential item functioning analysis as a multigroup analysis can provide information on what sociocultural factors other than the construct are affecting the measurement results. The study dataset has a hierarchical structure so that multilevel item response theory is suitable to obtain multidimensional national profiles. Although there have been methodological advances in educational evaluation, the methods are not available in comparative education. In order to reduce the gap, scholars in educational evaluation should try to make the methods easily available, while those in comparative education should try to use the exact and precise methods in their studies.

국문 초록 (Abstract)

이 논문은 교육평가학과의 관계를 점검함으로써 비교교육학의 학문적 위상을 정립하는 데 도움을 주려는 목적으로 작성되었다. 비교교육학은 교육학의 분과 학문이면서 교육학의 다른 분과 학문들을 포괄할 수도 있다는 점에서 독특한 성격을 지닌다. 그리고 교육평가학은 평가의 내용을 다루기도 하지만 평가 방법론이 연구 영역에 포함된다는 특징을 지닌다. 교육평가학과 비교교육학 간 접점으로는 먼저 점차 확대되고 있는 국제비교평가를 들 수 있다. 국제비교평가는 1960년대 12개국의 수학교육을 비교하기 위해 실시된 국제수학연구를 필두로 대상 과목과 참여국가가 점점 확대되고 있다. 국제비교평가는 단지 참여국의 순위 경쟁이 목적이 아니라 각국의 교육과정 및 교육실천을 다각도로 비교함으로써 교육 개선을 위한 시사점을 제공하기 위해 실시되고 있다. 국제비교평가에는 다집단 분석을 실시할 수 있으며, 특히 국가 간 사회문화적 차이 등 측정구인 외의 요소가 어떻게 작용하고 있는지 밝히는 차별적 문항기능 분석이 가능하다. 또한 국제비교평가 자료는 다른 교육 자료들과 마찬가지로 위계적 구조를 지니고 있어 다층모형 또는 위계적선형모형이 적절하다. 따라서 문항반응이론을 확장시킨 다층문항반응이론을 적용할 수 있으며, 이를 통해 국가 간 차이에 대한 다차원적 진단이 가능하다. 교육평가학의 방법론적 진보에도 불구하고 비교교육학과의 간극으로 인해 그 도구들은 적절히 사용되지 못하고 있다. 이를 해결함으로써 비교교육학은 학문으로서 진일보할 수 있을 것이다. 결론적으로 방법론을 쉽게 풀어 널리 알림으로써 연구자가 도구를 손쉽게 사용할 수 있도록 하는 교육평가 학계의 노력과 함께 이러한 도구들을 사용함으로써 보다 정밀하고 정확한 분석을 통해 정책적 시사점을 도출하고자 하는 비교교육 연구자들의 노력이 함께 요구된다.

참고문헌 (Reference)

1 박찬호, "집단수준 진단평가를 활용한 학교 향상도 상승 및 하락 학교 프로파일 분석" 한국교육평가학회 27 (27): 1243-1264, 2014

2 정영근, "세계화시대 비교교육학 연구의 문제와 과제 - 국제교육정책 비교연구의 문제점을 중심으로 -" 한독교육학회 15 (15): 123-142, 2010

3 박찬호, "다층문항반응이론 기반의TIMSS 수학 평가 결과 분석" 한국열린교육학회 25 (25): 177-198, 2017

4 박찬호, "다층문항반응이론 기반의 학교 간 차이 및 연도 간 변화 추이 분석 방안" 한국교육평가학회 28 (28): 1401-1422, 2015

5 박찬호, "다층 구조를 이루는 이분문항 자료의 급내상관계수 추정 방안 비교" 한국교육평가학회 26 (26): 459-476, 2013

6 심재호, "국내외 학업성취도 평가의 서답형 문항 특성과 채점 체제 고찰" 한국열린교육학회 20 (20): 159-185, 2012

7 Baker, F. B., "response theory: Parameter estimation techniques" CRC Press 2004

8 de Ayala, R. J., "The theory and practice of item response theory" Guilford 2009

9 Raju, N. S., "The area between two item characteristic curves" 53 : 495-502, 1988

10 Thissen, D., "Test validity" Lawrence Erlbaum Associates 147-170, 1988

11 Mullis, I. V. S., "TIMSS 2019 assessment frameworks"

12 Stone, C. A., "Providing subscale scores for diagnostic information: A case study when the test is essentially unidimensional" 23 : 63-86, 2010

13 Gonzalez, E., "Principles of multiple matrix booklet designs and parameter recovery in large-scale assessments" 3 : 125-156, 2010

14 Tatsuoka, K. K., "Patterns of diagnosed mathematical content and process skills in TIMSS-R across a sample of 20 countries" 41 : 901-926, 2004

15 신기현, "PISA 의 학습 평가틀에 대한 비판적 분석" 한국열린교육학회 14 (14): 165-183, 2006

16 Thorndike, E. L., "National society for the study of educational products: Seventeenth yearbook" Public School Publishing 16-24, 1918

17 Fox, J. -P., "Multilevel item response theory: A Bayesian perspective on estimating parameters and testing statistical hypotheses" University of Twente 2001

18 Adams, R. J., "Multilevel item response models : An approach to errors in variables regression" 22 : 47-76, 1997

19 Snijders, T., "Multilevel analysis: An introduction to basic and advanced multilevel modeling" Sage 1999

20 Bock, R. D., "Multilevel analysis of educational data" Academic Press 1989

21 Fox, J. -P., "Multilevel IRT modeling in practice with the package mlirt" 20 : 1-16, 2007

22 Reckase, M. D., "Multidimensional item response theory" Springer 2009

23 Porter, A. C., "Methodological advances in cross-national surveys of educational achievement" National Research Council 2002

24 Shultz, K. S., "Measurement theory in action: Case studies and exercises" Sage 2005

25 Kamata, A., "Item analysis by the hierarchical generalized linear model" 38 : 79-93, 2001

26 Raudenbush, S. W., "Hierarchical linear models: Applications and data analysis methods" Sage 2002

27 von Davier, M., "Handbook of statistics (Vol. 26): Psychometrics" Elsevier 2006

28 Stapleton, L. M., "Handbook of international large-scale assessment: Background, technical issues, and methods of data analysis" CRC 363-388, 2014

29 Wagemaker, H., "Handbook of international large-scale assessment: Background, technical issues, and methods of data analysis" CRC 11-36, 2014

30 Glas, C., "Handbook of international large-scale assessment: Background, technical issues, and methods of data analysis" CRC 97-115, 2014

31 Heyneman, S. P., "Handbook of international large-scale assessment: Background, technical issues, and methods of data analysis" CRC 37-72, 2014

32 Rutkowski, D., "Handbook of international large-scale assessment: Background, technical issues, and methods of data analysis" CRC 3-9, 2014

33 Foshay, A. W., "Educational achievements of thirteen-year-olds in twelve countries: Results of an international research project, 1959–1961" UNESCO Institute for Education 1962

34 Holland, P. W., "Differential item performance and the Mantel-Haenszel procedure" Lawrence Erlbaum Associates 129-145, 1988

35 Holland, P. W., "Differential item functioning" Lawrence Erlbaum 1993

36 Swaminathan, H., "Detecting differential item functioning using logistic regression procedures" 27 : 361-370, 1990

37 Lord, F. M., "Applications of item response theory to practical testing problems" Lawrence Erlbaum 1980

38 Park, C., "Application of multilevel IRT to investigate cross-national skill profiles on TIMSS 2003" 1 : 71-96, 2008

39 Camilli, G., "An aggregate IRT procedure for exploratory factor analysis" 40 : 377-401, 2015

40 Angoff, W. H., "A technique for the investigation of cultural differences" 1972

41 Shealy, R. T., "A model based standardization approach that separates true bias/DIF from group ability differences and detects test bias/DIF as well as item bias/DIF" 58 : 159-194, 1993

42 박찬호, "A Comparative Study on TIMSS Mathematics Assessment of Korea, Japan, and the USA : A Differential Item Functioning Approach" 한국비교교육학회 27 (27): 1-21, 2017