학습자 참여 분석적 루브릭(rubric) 개발 수업이 중학생의 학습동기에 미치는 영향 : 주생활 단원을 중심으로 = Impact of Instruction for the learner-involved development of analytical Rubrics on the learning motivation of middle schoolers:the case of the housing segment

다국어 초록 (Multilingual Abstract)

The purpose of this study was to examine the impact of instruction for the development of analytical rubrics based on teacher-student compromise, which would be applied to performance assessment about the ninth-grade housing segment of the 7th national curriculum and the eighth-grade housing segment of the revised 2007 national curriculum. Two different performance tasks were selected from the housing segments of middle school technology & home economics. One was to describe a house students would want to live in, and the other was making a life-sharing environment-friendly village model. The former was an individual performance task that required writing a research paper, and the latter was a group performance task that needed practice. This study planned to provide instruction on the learner-involved development of analytic rubric regarding the selected tasks, and then to look for any possible improvement in the learning motivation of learners.
This study was implemented in the following procedure:
Rubric development instruction was designed in three different stages: defining, developing and evaluating. In the definition stage, the 7th national curriculum, the revised 2007 curriculum, the 7th technology & home economics textbooks and teacher's guides were analyzed to select performance tasks, and how to fulfill the selected performance tasks, materials required for that and special instructions were presented. And a rubric development schedule and compromise process were determined. In the development stage, achievement criteria for the selected performance tasks were checked to select what to evaluate, scoring criteria and rating scales. After negotiating with every class member in two sessions, this researcher had a final negotiation with group leaders after school about the development of analytical rubrics. In the final evaluation stage, the content validity of the primary rubrics was checked by a home education expert and two fellow teachers to finalize it. After this researcher and another home economics teacher scored the task performance of learners by utilizing the finalized rubrics to assess the goodness of the rubrics, each grader's scoring reliability was investigated.
The findings of the study were as follows:
As for the analytic rubric for the individual task performance in the housing segment, three evaluation items were selected: the conceptual accuracy of the basic conditions of a residential space, the adequacy of the application method, and whether to meet the deadline for the submission of research paper. And two different scoring scales were prepared. One consisted of A, B and C, and the other was constituted by A, B, C and D. In the event of the analytic rubric for the group task performance about making a life-sharing environment-friendly village model, four evaluation items were selected: the validity of life-sharing residence and environment-friendly residence, making a village model, the possibility of resources recycling, and self-evaluation/group evaluation. And a scale designed to rate task performance as good, fair or poor was selected. As a result of analyzing each grader's scoring reliability to determine the goodness of the analytical rubrics, each grader's scoring turned out highly reliable, which indicated the strong reliability of the rubrics that were prepared in an objective manner.
In order to find out the influence of the rubric development instruction on learning motivation, two different third-year classes in a middle school located in Gyeonggi province were selected respectively as an experimental group and a control group. A static group pretest-posttest design was adopted, and the way of presenting the rubrics and learning motivation were respectively selected as independent and dependent variables. Both groups took four lessons. The experimental group was divided into six groups according to their seats, and developed the rubric for the individual performance task that was given in advance. In the second session, they developed the other rubric for the group performance task in the same way as the first session. After handouts about the finalized rubrics were provided to each class, they were asked to fulfill the individual task at home and to submit the output before the deadline, and they made a preparation for the group performance task in advance before they did it in class.
In the third session, they were once again informed about the rubrics to confirm their awareness of the scoring criteria, and each of the students came forward according to their class number when their task performance was scored by using individual scoring cards. Feedback was provided to them by telling them what's good and bad about their task performance. In the fourth session, they were informed about the rubrics again, and then made a model in group. Each group's task performance was scored when they got it done. They wrote down their individual performance scores on the group scoring cards, and this researcher evaluated them and calculated their final scores. Each group got feedback by explaining them what's good and bad about their performance.
The control group members were explained about the individual performance task and divided into several groups in the first session. In the second session, they were explained about the group performance task and had a discussion on their future group activities. They took the third and fourth lessons in the same way as the experimental group. After every activity was completed, both groups took a posttest on learning motivation.
The instrument used to assess their learning motivation was Keller(1993)'s Instructional Materials Motivation Survey, which was converted into 14 items. And the questionnaire was added by open-ended questions to let the students give an answer without any restraints.
The collected data were analyzed with SPSS 10.1 for Windows program. Independent-samples t-test was utilized to confirm the equivalency of the experimental and control groups, and paired-samples t-test was employed to look for any possible changes between the pretest and posttest. In the case of the open-ended questions, every answer was transcribed by using a Hangul program and then analyzed in terms of attention, relevance, confidence and satisfaction, which were subfactors of learning motivation.
As a result, the instruction for the learner-involved development of analytical rubrics for the housing segment had a positive impact on the confidence(C) and satisfaction(S) of the middle schoolers, which were two subfactors of learning motivation.
When their answers to the open-ended questions were analyzed to find out what they thought was good about the instruction, they got to build confidence in the course of being aware of the evaluation criteria and fulfilling the given tasks. They were contented with their scores and found the instruction to be interesting and applicable to real life. They came to become more cooperative while being engaged in group activities, and the instruction provided an opportunity for them to take lessons in a new way.
As to what difficulties they faced, the given tasks were elusive and time-consuming, and the given materials were insufficient. They found a common ground when they were in conflicts with one another, and that instruction was strange since they weren't familiar with that.
In relation to what improvements should be made, they preferred easier performance tasks, and some failed to find the groups they belonged to. The scoring criteria were appropriate, but they asked for easy-to- understand criteria. Some called for easier and more specific criteria on the ground that vague scoring criteria might make graders too subjective. And the addition of more pictures and additional explanation was asked to improve their understanding. All the opinions showed that the time-consuming and demanding performance tasks put pressure on the students.

국문 초록 (Abstract)

본 연구의 목적은 7차 교육과정 중학교 3학년과 2007 개정교육과정 중학교 2학년의 주생활 단원의 수행평가를 위해 교사와 학생 간의 협상을 거친 루브릭, 즉 학습자 참여 분석적 루브릭 개발 수업을 하였을 경우 학습동기에 미치는 영향을 알아보는데 있다. 이러한 목적을 달성하기 위한 연구내용은 다음과 같다. 첫째, 중학교 기술·가정교과 주생활 단원에서 연구보고서법을 활용하여 개별 수행과제로 ‘내가 살고 싶은 집과 실습법을 활용하여 모둠별 수행과제로 ‘이웃과 함께 더불어 살아가는 친환경 마을 모형 만들기’내용의 학습자 참여 분석적 루브릭 개발 수업을 한다. 둘째, 학습자 참여 분석적 루브릭 개발 수업을 실행하였을 경우, 학습자의 학습동기가 향상되는지 알아본다.
이러한 연구의 목적을 달성하기 위한 과정은 다음과 같다.
루브릭 개발 수업 과정은 정의, 개발, 평가 단계를 거쳐서 개발되었다. 정의단계에서는 7차 교육과정과 2007 개정교육과정, 7차 기술·가정 교과서 및 지도서를 분석하여 수행과제를 선정하였고, 수행과제를 위한 방법 및 절차, 준비물, 유의사항 등을 구체적으로 제시하였으며, 루브릭 개발일정과 협상과정을 선정하였다. 개발단계에서는 루브릭 개발 요소와 내용 선정을 위해 수행과제의 성취기준을 확인하고 평가내용을 추출하여 채점 준거 및 척도를 설정하고 평가기준을 설정하였다. 그리고 본 수업 2차시 동안 전체 학급원과 협상하고 방과 후 모둠별 리더들과 최종 협상을 하여 구체적 채점기준표인 분석적 루브릭을 개발하였다. 마지막 평가단계에서는 1차로 개발된 루브릭의 내용타당도를 가정교육학 전문가 1인과 가정과 동료교사 2인의 검토를 통해 검증받아 최종 루브릭을 개발하였으며, 최종 루브릭의 적합성을 살펴보기 위해 가정과 동료교사 1인이 함께 채점을 한 후 채점자간의 신뢰도를 분석하였다.
이렇게 하여 개발된 루브릭 결과는 다음과 같다. 주생활 단원의 개별 수행과제인 ‘내가 살고 싶은 집’의 루브릭은 ‘주거공간의 기본 조건에 대한 개념의 정확성’, ‘적용방법의 적합성’, ‘보고서 제출 마감일 준수’의 3가지 평가항목에 따라 채점기준이 A, B, C 또는 A, B, C, D 척도에 따라 정해졌으며, 모둠별 수행과제 ‘이웃과 함께 더불어 살아가는 친환경 마을 모형 만들기’의 분석적 루브릭은 ‘이웃과 함께 더불어 살아가기 위한 주거 및 친환경 주거방법의 타당성’, ‘마을 모형 제작’, ‘자원의 재활용 여부’, ‘자기평가 및 모둠활동 평가’로 총 4가지의 평가항목과 상·중·하 척도에 의해 채점기준을 기술하였다. 이처럼 교사-학습자 간 협상을 통해 개발된 분석적 루브릭의 적합성을 평가하기 위해 채점자 간 신뢰도를 분석한 결과 모두 높은 수치의 신뢰도가 나타나 객관적으로 잘 만들어진 루브릭은 채점에 있어 높은 신뢰도를 지님을 알 수 있다.
다음으로 루브릭 개발 수업이 학습동기에 미치는 영향을 살펴보기 위한 과정은 다음과 같다. 먼저 이 연구를 위해 경기도 소재 중학교 3학년 2개 학급을 각각 실험집단과 통제집단으로 선정하여 준 실험 설계인 정적집단 사전-사후 검사(The Static Group Pretest-Posttest Design)를 사용하여 독립변인을 루브릭 제시방식으로, 종속변인은 학습동기로 하였다. 수업은 총 4차시 동안에 실험집단과 통제집단에서 이루어졌다. 실험집단은 1차시에 앉은 자리별로 6모둠을 구성하여 사전에 과제로 제시해 준 개별과제인 ‘내가 살고 싶은 집’ 에 관한 루브릭을 개발하였다. 2차시에는 1차시와 같은 과정으로 ‘이웃과 함께 더불어 살아가는 친환경마을 모형 만들기’에 관한 루브릭을 개발하였다. 최종적으로 개발된 루브릭은 3학년 각 반에 유인물로 나누어 주고 개별과제는 집에서 작성하여 제출기한 내에 제출하도록 하였으며, 모둠별 과제는 수업시간에 하게 되므로 미리 준비하도록 하였다.
3차시에는 우선 최종 루브릭을 한 번 더 안내하여 채점기준을 학습자들에게 명확히 인식시킨 후 개별적으로 제출한 연구보고서를 번호대로 나오게 하여 개인별 채점카드를 통해 채점하면서 잘된 점과 잘못된 점을 말해주어 피드백을 제공하였다. 4차시에도 마찬가지로 최종 루브릭을 한 번 더 안내한 후 모둠별로 모형을 제작하게 하고 먼저 끝낸 모둠대로 나와서 채점을 받도록 하였다. 이 때 모둠별 채점카드에 개별평가를 기재하도록 하였고, 나머지 교사평가를 하여 최종 점수를 산출하였고, 모둠별로 잘된 점과 잘못된 점을 설명하여 피드백을 해주었다.
통제집단의 경우는 1차시에는 개별 수행과제인 ‘내가 살고 싶은 집’을, 2차시에는 모둠별 과제인 ‘이웃과 함께 더불어 살아가는 친환경 마을모형 만들기’의 과제에 대해 자세히 설명해주었다. 그리고 남는 시간에는 1차시에는 모둠을 편성하도록 하였고, 2차시에는 앞으로 할 모둠활동에 관한 조별 토론 시간을 주었다. 3차시와 4차시는 실험집단과 같은 방법으로 진행하였다. 모든 활동을 마친 후 실험 집단과 통제 집단에 사후 학습동기 검사를 실시하였다.
학습동기 수준을 측정하기 위해 Keller(1993)가 개발한 ‘수업교재 동기조사(Instructional Materials Motivation Survey) 도구’의 문항을 14개 문항으로 재구성하여 사용하였다. 그리고 설문지에 개방형 질문을 추가하여 자유롭게 응답하도록 하였다.
자료 분석은 Window 용 SPSS 10.1 한글 버전 프로그램을 사용하여 분석하였으며, 사전 실험집단과 통제집단의 동질성 검사는 독립표본 t 검정을 사용하였고, 사전-사후 학습동기의 차이를 분석할 때는 대응표본 t 검정을 이용하였다. 개방형 질문은 한글프로그램을 이용하여 모든 답변을 한글 프로그램에 전사한 후 학습동기의 하위요소인 주의집중, 관련성, 자신감, 만족감으로 내용을 유목화하여 내용분석법으로 분석하였다.
연구 결과, 주생활 단원의 학습자 참여 분석적 루브릭 개발 수업은 중학생의 학습동기 중 자신감(C)과 만족감(S)에 긍정적인 영향을 미쳤다.
개방형 질문에 대한 내용분석법 결과, 학습자가 참여하여 루브릭을 개발하면서 학생들이 느낀 좋은 점은 ‘평가기준을 알고 과제를 수행하여 자신감을 획득하였다’, ‘점수에 대한 만족감이 든다’, ‘수업이 재미있었다’, ‘실생활에 적용할 수 있는 내용이었다’, ‘모둠활동을 통해 협동심이 향상되었다’, ‘새로운 방식으로 학습하였다’이었다.
다음으로 어려웠던 점으로는 ‘과제가 어려웠다’, ‘시간이 많이 소요 된다’, ‘자료가 부족하다’, ‘모둠원간의 의견충돌이 생겼으나 타협점을 찾아 잘 극복했다’, ‘처음 접해보는 방식이라 낯설었다’ 이었다.
끝으로 개선해야 할 점으로는 ‘좀 쉬운 것을 했으면 좋겠다’, ‘조를 찾지 못한 학생들이 있었다’, ‘점수분배 기준은 적당했지만 좀 더 학생들이 이해하기 쉬운 기준이 필요하다’, ‘채점이 애매할 경우 채점자의 주관에 의해 점수가 매겨질 수 있는 것에 대비해 어렵고 까다로운 것이 아니라 보다 구체적인 채점기준을 세웠으면 한다’, ‘더 쉽게 이해할 수 있도록 그림이나 부가 설명을 더 많이 해주면 좋겠다‘이었다. 개선할 점의 의견을 통해 이번 수행과제가 학생들에게 시간이나 내용의 난이도에 있어 부담이 되었던 것으로 확인되었다.

목차 (Table of Contents)

• 논문요약 = ⅵ
• Ⅰ. 서론 = 1
• 1. 연구의 필요성 및 목적 = 1
• 2. 연구 내용 = 5
• Ⅱ. 관련 문헌 고찰 = 6
• 1. 루브릭(rubric) = 6
• 1) 루브릭의 개념과 역할 = 6
• 2) 루브릭의 요소와 장점 = 8
• 3) 루브릭의 종류 = 12
• 4) 루브릭의 개발 절차 = 15
• 2. 선행 연구 = 17
• 1) 루브릭의 선행연구 = 17
• 2) 수행평가의 평가준거 개발에 관한 선행 연구 = 20
• 3) 가정교과에서의 수행평가 선행연구 = 21
• 4) 평가와 학습 동기 = 24
• Ⅲ. 연구 방법 및 절차 = 25
• 1. 루브릭 개발 방법 = 25
• 1) 정의단계 = 27
• 2) 개발단계 = 29
• 3) 평가단계 = 32
• 2. 루브릭 개발 수업 = 33
• 1) 연구 대상 및 실험 설계 = 33
• 2) 실험 처치와 과정 = 35
• 3) 조사 도구 개발 및 자료 수집 = 37
• 4) 자료 분석 = 40
• 3. 연구의 절차 = 40
• Ⅳ. 연구결과 = 45
• 1. 중학교 기술 가정 교과 주생활 단원의 분석적 루브릭 개발 = 45
• 1) 연구보고서법을 활용한 개별 수행과제 ‘내가 살고 싶은 집’ = 45
• 2) 실습법을 활용한 모둠별 수행과제 ‘이웃과 함께 더불어 살아가는 친환경 마을 모형 만들기’ = 53
• 2. 학습자 참여 분석적 루브릭 개발 수업 = 63
• 1) 주의집중(A)에 대한 결과 = 64
• 2) 관련성(R)에 대한 결과 = 64
• 3) 자신감(C)에 대한 결과 = 65
• 4) 만족감(S)에 대한 결과 = 65
• 5) 개방형 질문에 대한 결과 = 66
• Ⅴ. 결론 및 제언 = 70
• 참고문헌 = 75
• ABSTRACT 82
• 부록1 주생활 단원 지도안 87
• 부록2 학습 동기 검사 = 106
• 부록3 루브릭 개발요소와 작성양식 = 108
• 부록4 연구자가 개발한 루브릭 = 112
• 부록5 개인별 채점카드 = 114
• 부록6 모둠별 채점카드 = 115
• 부록7 1차 루브릭 = 116