http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
천해주 ( Cheon Hae-ju ),김영서 ( Kim Young-seo ),박소희 ( Park Sohee ),김주환 ( Kim Joo-hwan ) 한국작문학회 2020 작문연구 Vol.0 No.47
본 연구는 한국과 미국의 작문 능력 비교 평가를 위해 도출된 작문 평가 준거의 평가자 간 해석 차이에 대해 탐구하는 것을 목적으로 한다. 이를 위하여 평가자 3인이 동일한 평가 준거를 사용하여 중학교 2학년 학생 29명의 글(설명글 15편, 설득글 14편)을 독립적으로 평가하였다. 평가자 간 일치도 확인 결과, 평가자 3인 사이의 의견 일치도는 설명하는 글이 77.86%, 설득하는 글이 76.45%였다. 준거별 일치도의 경우 ‘문체의 적절성’ 준거를 제외한 모든 준거가 신뢰할 수 있는 수준인 70%를 넘었다. 이후 평가자 간의 논의를 통해 다음과 같은 평가 범주 해석상의 쟁점들을 도출할 수 있었다. 첫째로, ‘내용’ 범주에서는 주제와 소재, 세부 내용 등 평가 준거의 표현에 대한 평가자의 이해 차이로 인해 준거의 일관된 적용에 어려움이 있었다. 둘째로 ‘조직’ 범주의 평가에 있어 글의 내용이나 분량의 개입이 불가피했다. 이는 ‘내용’과 ‘조직’ 범주의 독립적인 평가의 어려움을 보여준다. 셋째로 ‘표현’ 범주 중 ‘문체의 적절성’ 준거에 있어 쓰기 목적별 어조 및 문체의 예시를 포함한 준거 상세화 작업의 필요성을 확인했다. 마지막으로 ‘표기’ 범주에서 표기상 오류, 언어 관습의 적용을 평가하는 데 있어 척도 적용의 일관성 문제가 있었다. 본 연구는 학생 글 표본의 수가 한정되어 있고 쓰기 평가 준거의 타당성을 통계적으로 검증한 것은 아니라는 점에서 한계가 있다. 그러나 기존 작문 교육 연구 영역에서 평가 준거에 대한 해석의 차이를 바탕으로 평가 준거를 더욱 타당한 쓰기 평가 도구로 발전시켜 나가기 위한 단계적 연구라는 점에서 의의가 있다. The purpose of this study is to examine how three raters interpretate writing evaluative criteria differently when they apply them to assess writing ability of secondary school students in Korea and the United States. Three raters independently evaluated a total of 29 (15 explanatory and 14 persuasive) essays written by 8th-grade students. As a result of the interrater agreement, an exact agreement rate among the three raters on the total criteria was 77.86% for explanatory essay and 76.45%for persuasive essay. All criteria except the ‘appropriateness of style’ criterion exceeded the acceptable rate of the exact agreement (70%). The following issues about interpreting the categories of the rubric were drawn during the rater discussion. First, in the ‘Ideas’ category, there was a high possibility of interference of several criteria due to different interpretations of some terms between the raters, such as theme, topic, and details. Secondly, the content or amount of the article influenced the raters’ evaluation of the ‘Organization’ category. Third, in the ‘Presentation’ category, interpreting the ‘appropriateness of style’ required further information on tone and style in eachwriting purpose. Finally, in the ‘Conventions’ category, the raters applied the evaluative criterion less consistently when assessing conventional errors. This study has limitations in terms of its small sample size and no statistical testing on the validity of the rubric. Nonetheless, this study is meaningful as it examines differences of raters’ interpretation systematically in order to move forward to the large-scale study on rubric validation.
미국의 초·중등 작문 평가의 특징과 시사점 탐색 - 국가 및 주 수준 표준화 작문 평가를 중심으로 -
박혜영 ( Park Hye-young ),천해주 ( Cheon Hae-ju ),김영서 ( Kim Young-seo ),김주환 ( Kim Joo-hwan ) 한국작문학회 2020 작문연구 Vol.0 No.44
이 연구의 목적은 미국의 NAEP 작문 평가와 뉴욕 주·버지니아 주의 작문 평가의 평가틀, 평가도구와 평가준거 등을 살펴보고, 이를 통해 향후 우리나라의 국가수준 작문 평가가 개발되고 현실화하기 위한 시사점을 얻는 데 있다. 분석 결과, 작문 평가의 목적과 목표, 작문에 대한 정의, 평가 문항 및 채점기준, 평가 매체와 관련하여 여러 흥미로운 특징이 발견되었다. 그리고 미국 초·중등 작문 평가의 사례는 다음과 같은 점에서 우리나라의 국가수준 표준화 작문 평가 개발에 참고할 수 있는 시사점을 얻을 수 있다. 첫째, 체계화된 평가틀을 구축하고 작문 평가도구(문항/과제, 채점기준) 개발의 근거로 삼아야 한다. 둘째, 국가수준 작문 평가의 방향을 결정하는 평가의 목적, 즉 재고자 하는 바가 무엇인지를 분명히 해야 한다. 셋째, 작문 목적에 따른 한 편의 글을 써 보고, 쓴 글을 토대로 작문의 실제적 능력을 평가할 수 있는 논술형 작문 문항의 개발과 시행이 필요하다. 넷째, 논술형 작문 문항의 도입이 현실화되기 위해서는 채점의 신뢰도를 확보하는 방안이 연구되어야 하고 규준이 될 수 있는 채점기준을 마련해야 한다. 다섯째, 채점의 일반 준거 및 세부 하위 준거 요소에 관한 국가수준의 규준을 개발해야 한다. This study aimed at investigating national and state level writing assessments: NAEP, New York state, Virginia state. Especially, this study focused on writing assessment framework, tasks, criteria. Based on analysis of those, we vision future national level writing assessment in Korea and draw out implications. In the results, interesting issues are discovered in light of writing assessment purpose, definition of writing, writing prompts and criteria. Finally, implications are as follows: 1) Research based writing assessment framework should be developed to gain validity of writing assessment; 2) What purpose of writing assessment should be clear to set directions; 3) Essay type writing tasks were operated in writing assessment so to reveal students’ abilities that a student is able to write or not; 4) Reliability of rating in essay writing should be confirmed; 5) General rubric should be developed and detailed.