다시점 학교수준 종단자료를 이용한 학업수행지표 산출모형 탐색 = Exploring the Calculation Model of Academic Performance Index based on School Level Longitudinal Data

국문 초록 (Abstract)

이 연구는 다시점 학교수준 종단자료를 이용하여 학교수준의 학업성취 자료에 대한 종단적 분석틀을 제시하고, 학교 책무성 평가를 위한 학업수행지표의 산출모형을 탐색하는데 그 목적이 있다. 이를 위하여 1,013개 일반고등학교 재학생이 응시한 최근 5년간 대학수학능력시험 외국어 영역 결과의 표준점수와 중간수준이상 비율 및 최하위수준 비율 자료에 3수준 다층모형을 적용하여 분석하였고, 단순향상지표, 초기수준교정지표, 학교배경 교정지표, 초기수준.학교배경교정지표를 산출하였다. 분석결과, 학업수행지표에 따른 학교순위는 학교의 초기 성취수준과 학교배경에 따라 차이가 나타날 수 있음을 확인하였으며, 최하위수준 비율 자료는 학교별 분포와 변화가 불규칙한 경우 학업수행지표로 활용하기에 부적절한 것으로 나타났다. 따라서 학교수준 종단자료를 이용한 학업수행지표는 책무성 평가 계획, 평가 목적, 평가 절차 등의 요소를 고려하여 신중하게 산출.선택되어야 할 것이다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to propose and explore calculation model of Academic Performance Index based on many time point cohort data for evaluation of school accountability. For this, this study analyzed standard score data and the above-basic level rate and the below-basic level rate data of 1,013 schools' the College Scholastic Ability Test’s (CSAT) English section over the past 5 years applying 3-level multilevel model and 3-level multilevel logistic model. Also this study calculated four Academic Performance Index; the rate of simple improvements, the rate of improvement in controlling the initial year’s status, the school variable, and both. In conclusion, the API presents different results according to the calculation model. This means that there may be a difference in the school’s rating or evaluation when using the API to evaluate performance on academic achievement. Especially below-basic level rate data may be inappropriate for school's erratic distribution and change. Therefore, the API based on school level longitudinal data should be carefully selected for school evaluations, considering many other factors, such as accountability an evaluation plan, a purpose, and a process.

목차 (Table of Contents)

• Ⅰ. 서 론
• Ⅱ. 다시점 학교수준 종단자료 분석 모형
• Ⅲ. 연구방법
• Ⅳ. 연구결과
• Ⅴ. 요약 및 논의

참고문헌 (Reference)

1 임현정, "한국교육종단연구 2005(Ⅴ)" 한국교육개발원 2009

2 김양분, "한국 교육 현황 분석-지역 간 학교 간 교육 격차를 중심으로" 한국교육개발원 2009

3 신진아, "학교수준 종단자료를 이용한 학업수행지표 산출 및 활용방안" 이화여자대학교 2011

4 강상진, "학교교육의 책무성 제고를 위한 학교평가지수 산출모형 비교: 학업성취도를 중심으로" 한국교육평가학회 22 (22): 79-106, 2009

5 김양분, "학교 교육 실태 및 수준 분석(Ⅱ): 일반계 고등학교 연구" 한국교육개발원 2006

6 김기석, "평준화 정책이 학업성취에 미치는 영향에 대한 종단적 분석" 한국교육개발원 2005

7 최길찬, "유사종단자료를 이용한 학교효과 추정 위계적 모형 : 척도점수와 NCE 점수와의 비교" 교육연구소 6 (6): 59-81, 2005

8 김준엽, "연간 성취수준 변화에 기초한 학교효과 분석" 2010

9 최길찬, "두 시점 유사종단자료를 이용한 학교수행 성장모형" 교육연구소 11 (11): 163-177, 2010

10 임시혁, "다층모형에 의한 학교효과의 시간적 변화와 안정성의 모형화" 10 (10): 81-110, 1997

11 양길석, "국가수준 학업성취도 평가 결과 추이(2003년~2007년) - 고등학교 1학년" 한국교육과정평가원 2008

12 이인효, "국가 수준의 초중등 학교 평가제도 도입 및 평가 모형 개발에 관한 연구" 한국교육개발원 1998

13 황정원, "교육 책무성 제고를 위한 학업성취도 기반 학교성과지표의 타당성 연구" 연세대학교 2010

14 Bryk, A. S, "Toward a more appropriate conceptualisation of research on school effects: A three level hierarchical linear model. In Multilevel Analysis Methods" Sage 1988

15 Linn, R. L, "The design and evaluation of educational assessment and accountability systems" Los Angeles: University of California, Center for the Study of Evaluation 2001

16 Sicoly, F, "Stability of school-level scores from large-scale student assessment" 15 (15): 173-185, 2002

17 Teddlie, C, "School effectiveness research and the social and behavioural sciences. In International Handbook of School Effectiveness Research" Falmer Press 2000

18 이미경, "PISA 2003 결과 심층 분석 연구-문제 해결 소양과 수학 성취도에 미치는 학교 효과를 중심으로" 한국교육과정평가원 2005

19 Thorpe, G, "Multilevel analysis of PISA 2000 reading results for the United Kingdom using pupil scale variables" 17 (17): 33-62, 2006

20 Willms, D, "Mornitoring school performance: A guide for educators" Falmer Press 1992

21 Klein, A. G, "Modeling heterogeneity of latent growth depending on initial status" 31 (31): 357-375, 2006

22 Choi, K, "Modeling heterogeneity in relationships between initial status and rates of change: Treating latent variable regression coefficients as random coefficients in a three-level hierarchical model" 35 (35): 54-91, 2010

23 Goldstein, J, "Growth models in action: Selected case studies" 10 (10): 2005

24 Chiu, M. M, "Family and motivation effects on mathematics achievement: Analyses of students in 41 countries" 18 : 321-336, 2008

25 Seltzer, M, "Examining relationships between where students start and how rapidly they progress: Using new developments in growth modeling to gain insight into the distribution of achievement within schools" 25 (25): 263-286, 2003

26 Ballou, D, "Controlling for student background in value-added assessment of teachers" 29 (29): 37-65, 2004

27 Bryk, A. S, "Application of Hierarchical Linear Models to Assessing Change" 101 (101): 147-158, 1987

28 Tekwe, C. D, "An empirical comparison of statistical models for value-added assessment of school performance" 29 (29): 11-36, 2004

29 Harring, J, "A nonlinear mixed effects model for latent variables" 34 (34): 293-318, 2009

30 Willms, D, "A longitudinal hierarchical model for estimating school effects and their stability" 26 (26): 209-232, 1989

31 Evans, K. A, "A comparison of academic achievement and value-added grades on the state report cards in Tennessee, 2001-2003" East Tennessee State University 2005

32 김성숙, "2009년 국가수준 학업성취도 평가 분석 현황: 지역별 학력차이와 학교특성 탐색" 2010

33 임현정, "2000~2005년 수리영역 성취도 변화와 학교효과의 종단적 분석" 이화여자대학교 2006