미국의 수업관찰평가 분석을 통한 우리나라 교원능력개발평가에서의 다변량 일반화가능도 이론 활용성 탐색 = Exploring the Application of Multivariate Generalizability Theory to Teacher Evaluation for Professional Development in Korea Based on the Analysis of Classroom Observations in the U.S.

다국어 초록 (Multilingual Abstract)

The purpose of this study was to suggest methods of professional development by providing an illustrative example of applying the multivariate generalizability theory to teacher evaluation. This study determined the effects of each error source and also investigated optimal measuring conditions in classroom observations. Data included 3,847 apprentice teachers rated by qualified raters during classroom observations from one southern state in the United States in 2012. These included kindergartens teachers, elementary schools teachers, middle schools teachers, high schools teachers, foreign languages professionals, special education specialists, and career and technical education practitioners. These eight teacher types were chosen from 15 teacher types, since they were suitable for comparison to Korean teacher types. The results of this study were as follows. First, the variance of teachers was relatively large, and the variance of observation times was relatively small regardless of teacher types. Second, to set optimal measuring conditions (except for art teacher positions), the number of items was fixed to be the same as in the raw data; it was possible to decrease the number of observations from three to two in the area of instruction, to two in the area of the environment, and from two to one in the area of planning. These conditions were necessary to obtain above 0.8 in both generalizability coefficients and dependability coefficients. The methodology applied in this study can be utilized to find optimal measurement conditions for teacher evaluation for professional development in Korea. Finally, the limitations of this study were discussed and goals for future research were suggested.

국문 초록 (Abstract)

이 연구는 이미 교원평가가 정착된 미국 남부의 한 주(state)에서 실시한 수업관찰평가 결과 중 채점 인증시험에 합격한 관찰자들에 의해 평정 점수가 부여된 총 3847명의 초임교원 자료를 활용하여 다변량 일반화가능도 분석을 통한 우리나라 교원능력개발평가의 현장 적용 가능성을 모색하였다. 구체적으로 수업관찰평가에서 발생하는 오차요인들의 상대적 영향력을 살펴보고, 최적의 측정 조건을 탐색하였다. 실제 초임교원의 유형은 15개로 분류되지만, 이 연구에서는 우리나라 현장에 적용 가능한 8개의 유형으로 한정하였다. 연구결과는 다음과 같다. 첫째, 측정의 대상인 교원 분산이 대부분 크게 나타났으며, 수업관찰 횟수 분산은 작게 나타났다. 둘째, 최적의 측정 조건을 탐색하기 위하여, 채점영역 내 세부영역을 나타내는 문항수를 원자료와 같게 하고, 수업관찰 횟수를 조절하였다. 그 결과 예체능 교원을 제외한 나머지 교원 유형에서 적정 수준이라고 설정한 일반화가능도 계수와 의존도 계수가 모두 0.8 이상을 얻기 위해서는 기존에 3번 관찰하였던 교수 영역은 2번, 수업환경 영역은 동일하게 2번, 계획 영역은 2번에서 1번으로 감소시킬 수 있었다. 이러한 방법론적 틀은 평가의 측정학적 특성을 바탕으로 우리나라 교원능력개발평가의 최적의 측정 조건을 탐구하는데 적용 가능할 것이다. 마지막으로 이 연구의 제한점과 후속연구를 제안하였다.

참고문헌 (Reference)

1 이현숙, "혼합형 검사의 문항 유형별 가중치에 따른 신뢰도 및 다변량 일반화가능도 분석" 한국교육평가학회 25 (25): 95-116, 2012

2 유지영, "한국과 미국, 독일의 초임교사 교육에 관한 비교연구" 교육연구소 31 (31): 103-122, 2010

3 남기윤, "초임교사의 초기 경력개발을 위한 기초연구" 25 (25): 105-128, 2005

4 홍원표, "초임교사 멘토링에 필요한 초등 수석교사의 역량요소 탐색 : 중요도와 실행준비도를 중심으로" 한국교원교육학회 29 (29): 295-319, 2012

5 김성숙, "채점의 변동요인 분석방법에 대한 고찰-일반화가능도 이론과 다국면 라쉬모형의 적용과 재해석" 14 (14): 303-325, 2001

6 김성숙, "일반화가능도 이론을 이용한 교사행위 관찰에 있어서 오차원 분석" 3 (3): 211-219, 1989

7 김성숙, "일반화가능도 이론" 교육과학사 2001

8 김종숙, "미국과 영국의 교사평가제도의 특성 분석" 강원대학교 교육대학원 2009

9 한혜정, "미국 뉴욕 주 교원임용 중등 교수역량 지필평가가 우리나라 교원임용시험에 주는 시사점 탐색" 한국교육개발원 39 (39): 129-155, 2012

10 곽노의, "멘토링을 통한 초임 남자유아교사의 교직적응과정 탐색: 관계형성을 중심으로" 한국영유아교원교육학회 16 (16): 31-60, 2012

11 송인섭, "다변량 일반화가능도 이론을 통한 인식론적 신념 검사 타당화 연구" 한국교육방법학회 24 (24): 107-130, 2012

12 김성숙, "다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색" 한국교육평가학회 25 (25): 679-700, 2012

13 이영식, "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구" 한국외국어교육학회 11 (11): 249-265, 2004

14 교육과학기술부, "내실 있는 운영을 위한 2013년 교원능력개발평가제 개선 방안" 2013

15 이경호, "교원능력개발평가 정책분석 및 발전방향 탐색" 한국교원교육학회 27 (27): 43-68, 2010

16 신붕섭, "교사자격과 연계한 표준 중심의 초임교사 멘토링사례와 시사-코네티컷 주의 교수 표준과 TEAM 프로그램" 한국직업교육학회 30 (30): 469-494, 2011

17 성숙, "관찰체계에 있어 측정의 변동요인 분석-관찰자 합치도, 안정도, 일반화가능도 비교" 5 (5): 37-56, 1992

18 Brennan, R. L., "mGENOVA, A computer program for computing variance-covarinace component" Iowa Testing Program, University of Iowa 1999

19 Heather, C. H., "When rater reliability is not enough : Teacher observation systems and a case for the generalizability study" 41 (41): 56-64, 2012

20 Ho, A. D., "The reliability of classroom observations by school personnel" 2013

21 Cronbach, L. J., "The dependability of behavioral measurements : Theory of generalizability for scores and profiles" Wiley 1972

22 Lottie, D. C., "School Teacher" University of Chicago Press 1975

23 Vallevand, A. L. C., "Reliability, validity and sources of errors in assessing physician performance in an objective structured clinical examination : A generalizability theory analysis" University of Calgary 2008

24 Veenman, S., "Perceived problems of beginning teachers" 54 (54): 143-174, 1984

25 Nuβbaum, A., "Multivariate generalizability theory in educational measurement : An empirical study" 8 (8): 219-230, 1984

26 Park, T., "Investigating the construct validity of the community language program English writing test" Columbia University 2007

27 Webb, N. M., "Handbook of statistics (Vol, 26)" Elsevier 81-124, 2006

28 Webb, N. M., "Generalizability theory: Inferences and practical applications" Jossey-Bass 67-81, 1983

29 Shavelson, R. J., "Generalizability theory : A primer" Sage 1991

30 Briesch, A. M., "Generalizability theory : A practical guide to study design, implementation, and interpretation" 52 : 13-35, 2014

31 Cronbach, L. J., "Generalizability analysis for performance assessments of student achievement and psychological measurement" 57 (57): 373-399, 1997

32 Brennan, R. L., "Generalizability Theory" Springer-Verlag 2001

33 Kane, T. J., "Gathering feedback for teaching: Combining High-Quality observations with student surveys and achievement Gains" Bill & Melinda Gates Foundation 2012

34 Choi, K. S., "An analysis of sources of variation in teacher behaviors using generalizability theory" University of Virginia 1989

35 Chio, S. K., "An analysis of sources of variance in an observational system. Paper presented at the annual meeting of the American Educational Research Association" 1988

36 Li, D., "A multi-group generalizability analysis of a large-scale reading comprehension test" Center for Advanced Studies in Measurement and Assessment, University of Iowa 2007