일반화가능도 이론을 이용한 말하기 평가의 과제와 채점자 요인 최적화 조건에 관한 연구 = (A)Study on the Optimal Conditions of Tasks and Raters Facet in Speaking Assessment using Generalizability Theory|RISS 상세보기

다국어 초록 (Multilingual Abstract)

The purpose of this study is to analyze the error facets in speaking assessment and explore optimal conditions to use the assessment in classroom.
This study explores reliability and error facet of the performance assessment for speaking. Also, it suggest practical optimal conditions which are needed to conduct performance assessment. Practical optimal conditions are closely related with practicality of assessment. If reliability and practicality were added to speaking assessment which already equip with validity, it would be an ideal assessment for classroom.
Generalizability theory is a method to estimate reliability which can reveal error facet in assessment. In classical test theories, we can not find the error facet in assessment. Generalizability theory provides us information on what kinds of error facets exist through analysis of variance on real situations and conditions of assessment. Also, D study in generalizability theory provides optimal conditions on how to measure to get reliable results(genralizability coefficient is .7～.8 or dependability(Φ) coefficient is .6～.8).
After assessing speaking performance of Korean elementary school students' 5th graders directly and half-directly assessment method, this research found optimal conditions based on tasks of speaking assessment and the facet of raters with using GENOVA analysis of generalizability theory.
According to the result of G study in generalizability theory, the error facets which affects performance-based speaking assessment of fifth graders are tasks and raters. Among them, the weight of error in tasks(6.36%) and interaction of tasks and persons(8.69%) were high, but the weight of error in raters(0.88%) were low. It was not explained what the interaction among subjects, tasks, and raters(73.67%).
Next, accords exist result of D study in generalizability theory, to raise generalizability coefficient over .7, we should increase the number of tasks to 14 when there are 2 raters. If we want to fix the number of tasks into 7, at least 5 raters are needed. Also, to raise dependability coefficient over .6, the number of tasks should be at least 11 when there are 2 raters. In this case of 7 tasks, we need more than 4 raters. In the classroom where only 1 class teacher scores the performance assessment for speaking, more than more than 25 tasks are needed for generalizability coefficient over .7, and 19 tasks for over .6. The optimal assessment conditions can be changed according to the results of D study.
To get appropriate genralizability coefficient(0.7), the number of tasks should be 25 when 1 rater scores them, the number of tasks should be 14 when 2 raters scores them, the number of tasks should be 10 when 3 raters scores them, or the number of tasks should be 8 when 4 raters scores them. The numbers of tasks stated above are optimal conditions for practicing speaking assessments. The result of this research shows that speaking assessment should be conducted in the constant processes assessment or portfolio assessment. However, the result of this research which requires large number raters has relatively low realistic possibility. This is why it is needed to reconsider the design of GENOVA analysis for this research.
Also, to get appropriate dependability coefficients(0.6) the number of tasks should be 19 when 1 rater scores them, the number of tasks should be 10 when 2 raters scores them, the number of tasks should be 8 when 3 raters scores them, or the number of tasks should be 6 when 4 raters scores them. The numbers of tasks stated above are optimal conditions for practicing speaking assessments. This result shows that it is necessary for speaking assessment to be performed continually.
Other studies should be conducted on the appropriate methods for speaking assessment, solving the problems of reliability and practicality, and being helpful for practicing authentic speaking assessments.

번역하기

국문 초록 (Abstract)

이 연구의 목적은 일반화가능도 이론을 이용하여 말하기 평가의 오차 요인을 분석하고 평가를 실시하기 위한 최적화된 조건을 탐색하는 것이다. 이를 위하여 이 연구는 초등학교 5학년 학생들의 말하기 수행에 대하여 직접 평가와 반직접 평가를 함께 실시한 후, 일반화가능도 이론의 GENOVA 프로그램을 활용하여 평가의 오차 요인과 최적화된 조건을 탐색하였다.
일반화가능도 이론은 고전검사 이론의 신뢰도 추정 방법으로 구하지 못하는 평가의 오차 요인을 찾을 수 있다. 이 이론은 실제 평가 조건에 대한 분산분석을 통하여 어떠한 오차 요인이 있는지를 밝혀준다. 그리고 일반화가능도 이론의 결정 연구를 통하여 신뢰가 있는 값(일반화가능도 계수는 .7 ～ .8 또는 의존도 계수는 .6 ～ .8)을 얻기 위하여 어떻게 측정해야 하는지 최적화된 조건을 제시해 준다. 이 최적화된 측정 조건을 파악하면 의사 결정자가 평가를 실시할 때 과제는 몇 회, 채점자는 몇 명으로 해야 하는지 등을 결정할 수 있기 때문에 평가의 실용도면에서 유용하다.
일반화가능도 이론의 일반화 연구(G study) 결과, 초등학교 5학년 학생들의 말하기 수행평가에 영향을 미치는 오차의 요인은 과제와 채점자였다. 오차의 요인 중에서 과제의 오차 비중(6.36%)과 과제와 피험자의 상호 작용 오차 비중(8.69%)은 높았으나, 채점자 요인의 비중(0.88%)은 낮았다. 그리고 잔차인 피험자와 과제, 채점자의 상호 작용은 오차 요인이 무엇인지 설명되지 않았고, 그 비중이 매우 컸다(73.67%).
일반화가능도 이론의 결정 연구(D study) 결과, 말하기 평가의 일반화가능도 계수를 .7 이상으로 높이려면 채점자를 2명으로 할 경우에는 과제 수를 14개로 늘려야 하거나, 과제 수를 7개로 할 경우에는 채점자가 적어도 5명으로 해야 한다. 또한 의존도 계수를 .6 이상으로 높이려면 채점자를 2명으로 할 경우에는 과제의 수를 11개로 늘려야 하거나, 과제의 수를 7개로 할 경우에는 채점자는 적어도 4명 이상이어야 함을 알 수 있었다.
말하기 평가에서 적정한(0.7) 일반화가능도 계수를 얻기 위해서는 채점자를 1명으로 할 때는 과제 수를 25개로 하거나, 채점자를 2명으로 할 때는 과제 수를 14개로 하거나, 채점자를 3명으로 할 때는 과제 수를 10개로 하거나, 채점자를 4명으로 할 때는 과제 수를 8개로 하는 것이 평가 실행의 최적화된 조건이라 할 수 있다. 이 결과는 말하기 평가를 한두 번 만에 끝내는 것이 아니라 지속적이 과정 평가나 포트폴리오 평가와 같은 방식으로 실시해야 함을 제시해 준다고 할 수 있다. 그런데 이 연구 결과의 측정 조건은 현실적으로 실현 가능성이 높지 않은 측면이 있으므로 이 연구의 GENOVA 분석 설계에 대하여 재검토가 필요하다.
그리고 말하기 평가에서 적정한(0.6) 의존도 계수를 얻기 위해서는 채점자가 1명인 경우에 과제 수는 19개로 하거나, 채점자가 2명인 경우에는 과제 수를 10개로 하거나, 채점자가 3명인 경우에는 과제 수를 8개로 하거나, 채점자가 4명인 경우에 과제 수는 6개로 하면 최적화된 조건으로 평가를 실행하게 된다. 이 결과는 말하기 평가를 지속적으로 실시해야만 한다는 것을 제시해준다. 그런데 이 연구 결과의 측정 조건은 실제적으로 교육 현장에서 적용하기 매우 어려운 측면이 있으므로 이 연구의 GENOVA 분석 설계에 대하여 재검토를 실시해야 한다.
앞으로 이 연구의 내용을 바탕으로 수행평가의 신뢰도와 실용도를 개선하기 위한 탐색이 지속되어야 할 것이다.

번역하기

이 연구의 목적은 일반화가능도 이론을 이용하여 말하기 평가의 오차 요인을 분석하고 평가를 실시하기 위한 최적화된 조건을 탐색하는 것이다. 이를 위하여 이 연구는 초등학교 5학년 학생...

목차 (Table of Contents)