일반화가능도 이론을 적용한 초등학교 쓰기 수행평가의 총체적 채점과 분석적 채점 방식 비교 = A Comparison of Holistic and Analytic Scoring Methods for Elementary School Writing Assessment by Applying Generalizability Theory

다국어 초록 (Multilingual Abstract)

This study applies holistic and analytic scoring methods for elementary school students' writing assessment and investigates relative influence of each error source in both methods which affects writing scores. It shows the inter-rater reliability and the optimal measurement condition with various tasks, raters, and criteria to improve reliability in writing assessment. 43 elementary school students' writing papers were analyzed by generalizability theory. The results of this study are as follows; First, the component which has the largest influence to writing score was the student's ability. Second, the major source of error was the interaction between person and task in holistic method and the interaction among person, task, and criteria in analytic method. Third, there was high correlation between holistic and analytic methods and consequently students were similarly ranked in both scoring methods. The inter-rater reliability of analytic method was slightly higher than the holistic method, but the difference was not significantly big. Fourth, increasing the number of tasks or criteria seemed to make generalizability coefficient higher and measurement error lower than did increasing the number of raters. The reasonable level of reliability can be gained through well designed scoring rubric, and well trained raters in elementary writing assessment.

국문 초록 (Abstract)

본 연구는 초등학교 쓰기 수행평가를 총체적 채점 방식과 분석적 채점 방식을 적용하고, 평가하여 각각의 채점 방식에서 점수에 영향을 미치는 요인들의 상대적 영향력을 산출하였다. 또한 두 채점 방식의 채점자간 신뢰도를 파악하였으며, 각 채점 방식에서 신뢰도 향상에 도움을 줄 수 있는 쓰기 수행평가의 채점 구조 즉, 적정 수준의 과제 수와 채점자 수를 제시하고자 하였다. 이를 위해 초등학교 4학년 43명 학생들의 쓰기 수행평가물을 일반화가능도 이론을 이용하여 분석하였다. 연구 결과 첫째, 초등학교 쓰기 수행평가의 총체적 채점 방식과 분석적 채점 방식 모두 쓰기 점수에 가장 큰 영향을 미치는 요인은 피험자의 능력이었다. 둘째, 쓰기 수행평가 점수의 주된 변산원은 총체적 채점 방식에서는 피험자×과제의 상호작용이고, 분석적 채점 방식에서는 피험자×과제×채점 기준의 상호작용이었다. 셋째, 두 채점 방식 간에는 높은 상관관계가 존재하여 두 채점 방식으로 학생들의 쓰기 능력을 평가하여 산출된 점수는 유사한 순위로 배열됨을 알 수 있었다. 분석적 채점 방식이 총체적 채점 방식보다 채점자간 신뢰도가 다소 높았지만, 차이는 미미한 것으로 보인다. 넷째, 채점자 수를 늘리는 것보다 과제 수나 채점 기준 수를 늘리는 것이 측정 오차를 낮추고 신뢰도 계수를 높이는 데 더 효과적인 것으로 나타났다. 잘 정의된 채점 기준 및 절차가 사용되고 채점자들이 훈련을 철저히 받아 초등학교 쓰기 수행평가를 채점하면 목표로 하는 수준의 신뢰도 계수를 확보할 수 있을 것으로 보인다.

참고문헌 (Reference)

1 민현식, "한국인의 국어 능력 실태" 12 (12): 15-31, 2002

2 김정숙, "한국어 쓰기 능력 평가 방안- 종합적 채점과 분석적 채점 결과를 중심으로" 이중언어학회 43 (43): 81-99, 2010

3 성태제, "타당도와 신뢰도" 학지사 2002

4 이규민, "초등학교 과학과 수행평가의 총체적 채점과 분석적 채점 방식에 대한 일반화가능도 분석" 한국아동교육학회 16 (16): 169-184, 2007

5 류성기, "제7차 교육과정에 따른 국어과 읽기.쓰기 수행평가 연구(Ⅱ)" 한국초등국어교육학회 (21) : 171-204, 2002

6 박영목, "작문 능력 평가 방법과 절차" 99 : 1-29, 1999

7 김경선, "일반화가능도 이론을 적용한 한국어 말하기 성취도 평가의 신뢰도와 오차요인 분석" 국제한국어교육학회 21 (21): 51-75, 2010

8 조재윤, "일반화가능도 이론을 이용한 쓰기 평가의 오차원 분석 및 신뢰도 추정 연구" 한국어교육학회 128 (128): 325-358, 2009

9 김봉순, "쓰기 영역의 수행평가 방안" 100 : 173-199, 1999

10 임천택, "쓰기 기초학력의 재 개념화와 평가 틀의 개선 방향" 학습자중심교과교육학회 9 (9): 1-21, 2009

11 유선희, "수행평가의 일반화가능도, 채점결과의 신뢰도 및 지필 검사와의 상호관계에 관한 연구" 11 (11): 23-41, 1998

12 남명호, "수행평가에 있어서 일반화가능도 이론의 활용" 9 (9): 73-93, 1996

13 남명호, "수행평가-이해와 적용-" 문음사 2000

14 지은림, "사회과 보고서 수행평가를 위한 총체적 채점과 분석적 채점의 비교" 12 (12): 11-24, 1999

15 김성숙, "논술과제 채점의 변동요인 분석과 일반화가능도 계수의 최적화 조건" 8 (8): 35-57, 1995

16 Huang Jinyan, "Using Generalizability theory to examine the accuracy and validity of large-scale ESL writing assessment" 17 : 123-139, 2012

17 Shavelson, R. J., "Sampling variability of performance assessments" 30 : 215-232, 1993

18 Dunbar, S. B., "Quality control in the development and use of performance assessments" 4 : 289-303, 1991

19 Brennan, R. L., "Performance Assessments From the Perspective of Gerneralizability Theory" 24 (24): 339-353, 2000

20 Diederich, P., "Measuring growth in English" NCTE 1974

21 Brown, H. D., "Language Assessment-Principles and Classroom Practices-" Longman 2004

22 Shavel, R., "Generalizability theory : A Primer. Newbury Park" Sage 1991

23 Lehmann, R. H., "Evaluation Studies : Reliability and Generalizability of ratings of compositions" 18 (18): 197-206, 1990

24 최연희, "Effect of Writing Test Tasks on Learner Performance and Rating" 56 (56): 217-245, 2000

25 East, M., "Dictionary use in foreign language writing exams: Impact and implications" John Benjamins 2008

26 Gebril, A., "Bringing reading-to-write and writing-only assessment tasks together : A generalizability analysis" 15 : 100-117, 2010

27 Klein, S. P., "Analytic versus holistic scoring of science performance tasks" 11 (11): 121-137, 1998

28 Crehan, K. D., "A discussion of analytic scoring for writing performance assessments" Arizona Educational Research Association 1997

29 교육과학기술부, "2007년 개정 국어과 교육과정 교사용 지도서"