PISA 2006 서술형 문항에서 온실효과에 대한 학생들의 응답 유형 분석

동효관(Dong, Hyokwan),심재호(Sim, Jaeho) 한국열린교육학회 2013 열린교육연구 Vol.21 No.2

이 연구의 목적은 PISA 2006 과학 서술형 공개 문항의 심층 분석을 통해 과학 교육의 개선점을 찾는데 있다. 본 연구를 위해 과학 개념과 탐구 능력 형성 정도를 평가하기 위해 평가틀을 개발하였다. 학생들의 과학 개념 형성 정도는 개념의 정교화와 개념망의 형성 정도에 따라 인과적 의미 형성, 부분적 의미 형성, 피상적 용어 제시로 구분하였으며, 탐구 능력 형성 정도는 PISA 2006 과학 평가틀에 제시된 내용을 변형하여 사용하였다. 개발된 개념과 탐구 능력 평가틀에 따라 PISA 2006의 과학 서술형 문항 중 온실효과에 대한 학생 응답을 분석한 결과 온실 효과에 대해 인과적 의미 형성이 부분적 의미 형성과 피상적 용어 제시에 비해 응답 비율이 높았지만 반증 사례 제시하기와 현상에 대한 과학적 설명 능력은 미흡한 것으로 나타났다. 또한 인과적 의미를 형성하고 있는 학생들도 증거에 기반하여 과학적인 개념을 설명하기는 미흡한 경우가 나타났다. 이와 같은 결과를 참고로 할 때 증거에 기초하여 결론이나 가설을 지지하는 합리적인 주장하기와 반증 사례를 제시할 수 있는 수업 전략을 개발하고 이를 적용하며 과학에 대한 본성을 인식시킬 수 있는 기회를 제공할 필요가 있다. The purpose of this study was to identify educational implications through an in-depth analysis of students’ response types to constructed items concerning the ‘green effect’ in PISA 2006. A framework was developed to assess the conceptional types and scientific inquiry skills of the students. The students’ conceptional types were classified as causal meaning-making, partial meaning-making, and superficial term-using by the degrees of organization and elaboration of conceptual networks. The framework of the scientific inquiry skills that was used in this study was modified from the scientific framework in PISA 2006. The results of the study were as follows. The response ratio of causal meaning-making on the ‘green-effect’ concept was very high compared to that of the partial meaning-making and superficial term-using, but the proper presentation of counterevidence examples and logical explanations of scientific phenomena were low. Some of the students who formed the causal meaning-making failed to explain the scientific concept based on the evidence. Therefore, it is necessary to develop an instructional strategy to give students opportunities to express their opinions based on evidence and counterevidence, which can lead them to be aware of the nature of science.

TIMSS 2011과 NAEA 2011 에 나타난 우리나라 학생들의 과학 학업 성취 특성

동효관(Dong, Hyokwan),이인호(Lee, lnho),신진아(Shin, jinah) 한국교육평가학회 2013 교육평가연구 Vol.26 No.5

본 연구의 목적은 TIMSS 2011 과학과 NAEA 2011의 과학 성취도 결과를 연계하고 평가틀과 평가 결과를 비교 분석하여 우리나라 학생들의 과학 성취 특성을 파악하고 과학 교육 개선 및 과학 평가 개선에 필요한 기초 자료를 제공하는 것이다. 본 연구의 결과는 다음과 같다. 첫째, TIMSS 2011과 NAEA 2011은 2차원 평가틀을 사용하고 있으며, 두 평가의 내 용 영역 구성과 인지/행동 영역의 구성은 유사하였다. 둘째, 성취 수준을 비교할 때 TIMSS 2011의 수월 수준과 우수수준은 각각 NAEA 2011의 우수와 보통에 해당되며, TIMSS 2011의 보통수준 일부와 기초수준이 NAEA 2011의 기초 수준에 해당된다. 셋째, TIMSS 2011의 수월수준 학생들은 NAEA 2011의 우수학력과 보통학력, 우수수준 학생들은 우수학력과 보통학력, 보통수준 학생들은 보통학력과 기초학력, 기초수준 학생들은 기초학력을 중심으로 분포되어 있는 것으로 나타났다. 넷째, TIMSS 2011과 NAEA 2011의 내용 영역 점수간에는 대체로 정적인 상관이 나타났지만 하위 영역별로 차이가 있었다. 다섯째, 두 평가 결과의 연계를 바탕으로 구분된 집단별 성취 수준 변화에서 TIMSS 2011에서 내용 영역 성취 수준은 모든 집단에서 물리, 생물, 화학 영역 순으로 높았고, 인지 영역 성취 수준은 추론하기 영역이 전체 집단에서 가장 높았다. NAEA 2011의 내용 영역에서 평균정답률은 모든 집단에서 물질 영역에서 높았고 운동과 에너지 영역에서 가장 낮았으며, 행동영역에 서 평균정답률은 네 집단 모두 탐구 영역이 지식 영역보다 낮았다. This study aims to make connections between the resul ts from TIMSS 2011 and NAEA 2011 science achievement assessments, and compare their frameworks and results so as to understand Korean students' science achievement characteristics and establish foundations for improving science education and evaluation in Korea. The results are summarized as follows. First, both TIMSS 2011 and NAEA 2011 use two-dimensional frameworks, and they have similar structures for content and cognitive/behavioral domains. Second, in terms of achievement levels, Advanced and High International Benchmarks of TIMSS 2011 each correspond to Advanced and Proficient Performance Levels of NAEA 2011. Some part of Intermediate International Benchmark and Low International Benchmark of TIMSS 2011 correspond to Basic Proficiency Level of NAEA 2011. Third, students of Advanced International Benchmark of TIMSS 2011 are distributed in Advanced and Proficient Proficiency Levels of NAEA 2011, those of Intermediate International Benchmark in Proficient and Basic Proficiency Levels, and those of Low International Benchmark in Basic Proficiency Level. Fourth, scores from each content domain of TIMSS 2011 and NAEA 2011 were shown to be positively correlated, with differences in each sub-domain. Fifth, achievement progress of each group based on the results of the two assessments indicated that among the content domains of TIMSS 2011, Physics showed the highest International Benchmark in all groups, followed by Biology and Chemistry. Among the cognitive domains, Reasoning showed the highest International Benchmark in all groups. Among the content domains of NAEA 2011, Materials showed the highest average percentage of correct answers in all groups, while Motion and Energy showed the lowest number. Among the behavioral domains, Investigating showed lower average percentage of correct answers than Knowing in all of the four groups.

자기주도학습능력 향상을 위한 생물 수업모델 적용

김미경 ( Mikyung Kim ),동효관 ( Hyokwan Dong ),홍준의 ( Juneuy Hong ) 韓國生物敎育學會 2016 생물교육 Vol.44 No.4

The purpose of this study is to explore the effects of the biology instructional model for improvement of self-directed learning ability. Participants in this study were 10th graders in Seoul (n=144). The Students were divided into two groups for implementation. In the experimental group (n=74) the instructional model for development of self-directed learning were used, while the typical teaching methods were used in the control group (n=70). Seven focus students were intentionally selected, and interviewed. The results showed that the instructional model was effective on the improvement of students` self-directed learning ability (p<0.05). And with the results of interview, the finding suggested that the instructional model was effective on learning motivation, learning strategies, and learning environment relation to self-directed learning, and on core competency like communication, problem solving, collaboration. Also meta-cognition was related to develop of digital literacy. Finally, the students` self-directed learning characteristics rather than learning motivation maybe influence on students` learning in student-centered learning.

인지진단이론에 근거한 TIMSS 2011의 과학 결과 분석을 통한 인지 속성의 국제비교

김지영 ( Jiyoung Kim ),김수진 ( Soojin Kim ),동효관 ( Hyokwan Dong ) 한국과학교육학회 2015 한국과학교육학회지 Vol.35 No.2

본 연구의 목적은 우리나라 학생들의 인지적 속성의 특징을 인지진단이론에 근거하여 국제적인 수준에서 비교 분석하고 우리나라 교육에 주는 시사점을 찾는 것이다. TIMSS 2011의 평가틀에 근거하여 9개의 인지 속성을 추출하였고 TIMSS 2011의 과학 문항 216개에 대해 각 문항이 어떠한 인지 속성들을 요구하는지 판단하여 Q행렬을 작성하였다. 총 5차례의 검토와 수정을 반복하여 타당도를 점검하고 최종적인 Q행렬을 작성한 후, 다층 IRT 분석을 실시하여 인지 속성에 따른 국가별 특성을 파악하였다. 분석을 통해 나타난 우리나라의 인지적 속성을 TIMSS 2011의 과학성취도 상위 15개국과 비교한 결과 우리나라 학생들에게 모형사용하기, 자료분석하기, 결론도출하기, 평가 및 정당화하기는 쉬운 속성에 해당하였고 회상/인식하기, 설명하기, 분류하기, 통합하기, 가설설정 및 실험설계하기는 어려운 속성에 해당하였다. 우리나라 학생들이 가장 쉬워하는 인지 속성은 자료해석하기였고 가장 어려워하는 인지 속성은 설명하기였다. 우리나라의 경우 쉬운 인지 속성의 대부분은 비교국 중에서 가장 쉽게 여기고 어려운 인지 속성은 가장 어렵게 여기는 것으로 나타나 극단적인 특성을 보였다. 따라서 특정한 인지 속성이 많이 활용되도록 하기 보다는 여러가지 인지 속성이 골고루 활용되도록 과학 교육과정과 과학 교과서를 구성할 필요가 있겠다. This research purports to find out the characteristics of Korean students cognitive attributes and compare it with that of high-achieving countries who took TIMSS 2011 based on the Cognitive Diagnostic Theory. Based on TIMSS 2011 Science framework, nine cognitive attributes were extracted and the researcher analyzed that 216 of the TIMSS 2011 science items require these attributes. This analysis was conducted to come up with a Q-matrix. After producing the Q-matrix, multi-level IRT was used to figure out each countries` characteristics for each of the cognitive attribute. According to the study results, four attributes, such as ‘Use Models,’ ‘Interpret Information,’ ‘Draw Conclusions,’ and ‘Evaluate and justify’ were easier attributes for Korean middle school students. However, the other five attributes such as ‘Recall/Recognize’, ‘Explain’, ‘Classify’, ‘Integrate’, ‘Hypothesize and Design’ were considered as harder attributes compared to other countries. Korean students also considered ‘Interpret Information’ as the easiest attributes, and ‘Explain’ as the hardest attributes of all. For Korean students, those attributes considered to be easy were the easiest and hard attributes as the hardest compared to other countries, showing very extreme cases. Therefore, to give students more meaningful learning experience, it is better to use all the attributes altogether rather than use specific attributes while constructing Science curriculum or textbooks.