기술과 교육 평가에서 학습자 중심 루브릭이 학습과정 및 학업성취에 미치는 영향 = (The)influence of student-generated rubrics on learning process and academic achievement in technology education assessment

국문 초록 (Abstract)

이 연구의 목적은 중학교 기술과 교육의 과제 수행평가에 있어 학습자 중심 루브릭이 학습과정 및 학업성취에 영향을 미치는지를 구명하는 것이다. 연구의 독립변인은 루브릭 제시 방식과 학업능력 수준, 그리고 성별이었으며, 학습동기, 학습몰입, 그리고 학업성취를 종속변인으로 설정하였다. 연구의 목적을 달성하기 위하여 서울 소재 중학교 2학년 3개 학급을 대상으로 실험집단과 통제집단을 구성하였으며, 집단의 동질성 여부를 확인하기 위하여 사전검사를 실시하였는데 그 결과 학습동기, 학습몰입, 학업성취에 있어 모두 동질한 집단으로 가정할 수 있었다.
실험설계는 준실험설계(quasi-experimental design)의 일종인 이질통제집단설계(the nonequivalent control group design) 모형을 이용하였고, 실험집단1은 교사-학생간 협상의 과정을 거쳐 개발한 학습자 중심 루브릭을 과제 수행평가에 이용하였고, 실험집단2는 실험집단1에서 개발된 루브릭을 교사가 일방적으로 제시하였으며, 통제집단은 루브릭을 제시받지 않고 과제 수행평가를 실시하였다. 이 연구는 총 7차시에 걸쳐 진행되었고 학습자 중심 루브릭을 개발하는 실험처치는 1차시 동안 실시하였으며 로봇팔 만들기 과제 수행평가는 4차시 동안 이루어졌다.
이 연구의 가설 검증을 위하여 유의수준은 p＜.05로 하였고, 모든 통계처리는 SPSS 11.5 for Windows 통계 프로그램을 이용하였다.
자료는 집단의 경향을 알아보기 위해 기술통계를 사용하였으며, 집단간 유의차를 검증하기 위하여 일원변량분석을 사용하였으며, 학업능력수준과 성별에 따른 집단간 차이를 통해 주효과와 상호작용효과를 알아보기 위해 사전검사 점수와 학업능력원점수를 공변인으로 한 이원변량분석을 실시하였다.
이 연구를 통하여 다음과 같은 결론을 얻을 수 있었다.
첫째, 기술과 교육에서 교사-학생간 협상의 과정을 거쳐 개발한 학습자 중심 루브릭이 학생들의 학습동기에 유의한 영향을 주었다. 특히, 학습동기의 하위변인별로 살펴보았을 때 주의집중, 만족감에는 유의한 영향을 주지만 관련성, 자신감에는 유의한 영향을 주지 못하였다.
둘째, 학업능력수준에 따른 루브릭 제시 방식은 학습동기에 유의한 영향을 주었다. 특히 학습자 중심 루브릭을 기술과 교육 평가에 이용한 경우 하위 집단 학생들의 학습동기에 가장 많은 영향을 받았으나 학업능력수준과 루브릭 제시 방식의 상호작용효과는 없었다. 또한, 학습동기의 각 하위변인별로 보았을 때 하위 집단 학생들은 학습자 중심 루브릭을 이용할 경우 주의집중, 자신감, 만족감에서 높은 수준의 학습동기가 유발되는 경향이 있었다.
셋째, 성별에 따른 루브릭 제시 방식은 학습동기에 있어 유의한 영향을 주지 못하였고 성별과 루브릭 제시 방식의 상호작용효과도 없었다. 학습동기의 4가지 하위요소별로 보면 루브릭을 제시하는 경우에는 주의집중, 자신감, 만족감의 하위변인에 대해 남학생들이 여학생에 비해 높은 수준이었다. 또한 각 하위요소에 대해 성별과 루브릭 제시 방식의 상호작용효과는 없었다.
넷째, 루브릭 제시 방식과 성별 모두 기술과 교육 평가에서 학습몰입에 영향을 주지 않았고, 상호작용효과도 없었다. 그러나 학습자 중심 루브릭을 이용한 하위 집단 학생들은 과제수행에 가장 잘 몰두하였다.
다섯째, 과제 수행평가 학업성취에 있어 루브릭 제시 방식은 유의한 영향을 주었다. 특히, 과제 수행평가의 하위 영역 중 만들기 영역에 대해서는 학습자 중심 루브릭이 긍정적인 영향을 주었지만 구상 및 스케치 영역에 대해서는 유의한 영향을 주지 못하였다.
여섯째, 학습자 중심 루브릭을 이용한 경우 중위 집단과 하위 집단 학생들이 전체 학업성취와 만들기 영역, 그리고 구상하기 영역 모두에서 더 높은 학업성취 수준을 보였는데 특히 하위 집단 학생들에게 효과적이었다. 루브릭 제시 방식과 학업능력수준간의 상호작용효과는 없었으나, 만들기 영역에 대해 루브릭 제시 방식과 학업능력수준간에 상호작용효과는 있었다. 한편, 성별은 기술과 교육 평가에서 학업성취와 만들기와 구상하기의 하위영역 모두에 영향을 주었는데, 여학생들에게 학업성취 수준을 향상시키는데 매우 유리하게 작용하였다. 그러나 루브릭 제시 방식과 성별간에 상호작용효과는 없었다.
이 연구 결과를 기초로 하여 다음과 같이 제언한다.
첫째, 기술과 수업을 효과적으로 실시하기 위해서는 평가 전에 수행 준거 및 준거수준에 대해 교사와 학생간의 협상의 과정을 거쳐 루브릭을 개발하는 과정이 필요하다.
둘째, 중·하위 집단 학생들의 학습동기와 학업성취에 긍정적인 영향을 미친 학습자 중심 루브릭을 이용한 수업 전략을 개발하는 것이 필요할 것이다.
셋째, 응용작품 구상 및 스케치와 같은 과제 수행평가 과제 영역에 대한 루브릭 개발시 좀 더 구체적이고 정교하게 제시할 방안을 마련할 필요가 있다. 또한, 다양한 예시를 통해 학생들이 루브릭을 명확히 이해할 수 있도록 하는 것이 필요하다.
넷째, 루브릭의 제시 방식이 남학생들의 학습동기에 더 긍정적인 영향을 미쳤음에도 불구하고 학업성취 결과는 그 반대로 나타났다. 따라서 루브릭 제시 방식과 관련하여 남학생들의 학업성취 향상을 위한 후속 연구와 왜 이와 같은 연구결과가 나왔는지에 대해 심층적인 분석이 필요할 것이다.

다국어 초록 (Multilingual Abstract)

The purpose of the study was to verify the influence of student-generated rubrics on learning process and academic achievement in technology education assessment of middle school. The independent variables were method of rubrics presentation, the level of learning ability and sex of students. The dependent variables were learning motivation, learning flow and academic achievement. 3 classess of 2nd grade of middle school in Seoul were divided into two experimental groups and control group in order to reach the goal of this study.
The nonequivarent control group design model of quasi-experimental design was utilized for this experimental study. Performance of the experimental group 1 was evaluated using student-generated rubrics developed through negotiation between teacher and students. The experimental group 2 was lopisidedly presented the rubrics developed by experimental group 1 by their teacher to be evaluated. Performance of the control group was evaluated without any rubrics. This experiment was executed for 7 classes, the first class included the development of student-generated rubrics. Making the arm of a robot, including designing a new thing and sketching, was executed for 4 classes.
Descriptive statistics was used to know the trend of each group. The one-way analysis of variance(ANOVA) was used to verify significant difference between each group. The analysis of covariance(ANCOVA) was used to get the main effect and the interaction effect among groups due to learning ability level and sex difference.
Results of this study were as follows:
First, the student-generated rubrics through negotiation between teacher and students had a significant effect on learning motivation in technology education. Especially, this rubrics had positive effects on sub-elements; attention(A) and satisfaction(S), but it didn't have positive effect on sub-elements; relevance(R), confidence(C).
Second, method of rubrics presentation depending on learning ability level had a significant effect on learning motivation. Especially, student-generated rubrics had a effect on learning motivation of students with lower learning ability. The result showed that learning ability and method of rubrics presentation had no interaction effect. Also, students with lower learning ability in using student-generated rubrics had a tendency for increasing learning motivation in the respect of attention(A), confidence(C), satisfaction(S).
Third, there was no a significant effect of rubrics presentation method depending on sex, no interaction effect between them. In the case of presenting rubrics, the learning motivation of male students was higher than that of female students with regard to attention(A), confidence(C), satisfaction(S). In addition to, there was no interaction effect between sex and method of rubrics presentation for sub-elements of learning motivation.
Fourth, method of rubrics presentation and sex had a significant effect on learning flow. And there was no interaction effect between them. However, student with lower learning ability in using student-generated rubrics paid well attention to the task performance.
Fifth, method of rubrics presentation had a significant effect on academic achievement of task performance assessment. Especially, the method of rubrics presentation had significant effects on making area of task performance assessment, it didn't have significant effects on design and sketching area.
Sixth, this study showed that middle and lower level students who used student-generated rubrics had higher academic achievement grades with regard to total academic achievement area, making area, and designing area, especially on lower level students. There was no interaction effect between method of rubrics presentation and academic ability, but there was interaction effect between them with making area. Meanwhile, sex influenced on academic achievement and sub-area, making and designing, in technology education assessment, especially on girls. However, there was no interaction effect between method of rubrics presentation and sex.
Based on the result of this study, the following recommendations were suggested for future research:
First, teacher and students need to develop a rubrics through negotiation on performance criteria and its level before performance assessment in order to operate technology education class effectively.
Second, it is necessary to develop instructional strategy in using student-generated rubrics because it had a positive effect on learning motivation and academic achievement.
Third, rubrics need to be more detailed for performance task such as designing applied products and sketching that requires problem solving ability or high level of mental ability. Unless detailed rubrics can be presented, providing good or bad examples to students can help students to understand.
Fourth, in spite of giving a positive influence on male students with rubrics, results on academic achievement were contrary. It is also necessary to analysis the way how well his academic achievement increase with regard to method of rubrics presentation through the following study.