중학생들의 작문 평가 준거 설정 연구

천해주,김영서,박소희,김주환 한국리터러시학회 2020 한국리터러시학회 학술대회자료집 Vol.2020 No.1-1

고등학생의 독자 유형에 따른 내용지식의 영향 연구 : 정보 텍스트 읽기를 중심으로

천해주 한국독서학회 2022 독서연구 Vol.- No.64

본 연구는 정보 텍스트 읽기 맥락에서 나타나는 고등학생의 독자 유형을 확인하고, 내용지식이 정보 텍스트 독해 성취에 미치는 영향력을 독자 유형에 따라 비교하였다. 이를 위하여 고등학교 1학년 학생 156명을 대상으로 인지·정의·행동적 차원과 관련된 독자 요인과 정보 텍스트 독해 성취를 확인하였다. 수집한 자료들을 토대로 K-평균 군집분석을 수행한 결과, 정보 텍스트 읽기에 대한 고등학생 독자의 유형은 총 네 가지(① 높은 행동적 몰입; ② 능숙한 독자; ③ 소극적 독자; ④ 고군분투하는 독자)로 분류되었다. 전체 표본을 대상으로 내용지식은 정보 텍스트 독해 성취를 12.1% 설명하였다. 그러나 독자 유형별로 효과 크기를 비교한 결과, 오직 ‘소극적 독자(전체 중 23.7%)’ 유형에 속한 학생에게만 내용지식의 영향력이 확인되었다. 이들은 읽기에 대한 평소 태도, 텍스트 흥미, 읽기 중 전략 사용 빈도, 행동적 몰입이 상대적으로 낮았음에도 불구하고 높은 정보 텍스트 독해 성취를 보였다. 이는 결과는 정보 텍스트에 대한 소극적인 읽기 수행을 내용지식이 보완하고 있음을 의미한다. 이러한 제한적인 내용지식의 영향력은 내용지식의 활성화를 넘어, 독자의 특성을 고려한 정보 텍스트 독해에 대한 다양한 교수학습 지원 방법의 모색 필요성을 보여준다.

계층화분석(AHP)을 통한 전문대학교에서의 직업문식성교육 우선순위 분석 - 전문대의 공학계열 졸업생을 중심으로

천해주 한국 리터러시 학회 2019 리터러시 연구 Vol.10 No.3

This study analyzes and compares the priorities of the vocational literacy education of engineering workers who received vocational higher education. The analytic hierarchy process was used to identify job literacy tasks that are shown in the actual job site and to analyze the educational needs of job literacy. This process was also used to analyze the subjects who were grouped according to the tenure. As a result, the demand for literacy education in engineering field has shown complicated level compared with that of the existing literacy education contents in NCS(National Competency Standards). The demand for multimodal literacy, writing based on multiple texts, and critical reading education were high. However, these are not included in the NCS. Furthermore, there were differences in priority of job literacy education between groups especially in writing education. 본 연구는 전문대학교의 공학계열 학과를 졸업한 후 관련 직군에서 근무하고 있는 재직자 17명을 대상으로 전문대학교에서 필요한 직업문식성교육의 우선순위를 분석하고 비교하였다. 이는 직업 현장에서 실제로 수행되는 문식성 과제를 확인하고, 직업문식성교육에 대한 구체적인 요구를 분석하기 위함이다. 이를 위해 계층화분석을 수행하여 직업문식성교육 내용에 대한 우선순위를 확인하고, 근속연수에 따른 우선순위 차이를 확인하였다. 설문 결과 복합양식 문서의 작성, 다양한 문서를 종합한 쓰기, 비판적 읽기 등 기존 NCS 기초직업능력 중 의사소통능력에서 포함하고 있지 않고 있는 문식성교육 내용에 대한 높은 요구가 나타났다. 또한 근속연수에 따른 직업문식성교육의 우선순위 차이가 쓰기교육을 중심으로 드러났다. 위와 같은 연구 결과는 전문대학교 재학생들이 취업 후 겪을 수 있는 읽기․쓰기 과제 상황과 문식성 능력 사이의 간극을 최소화할 수 있도록 전문대학교에서 직업문식성 교육과정 및 교육내용을 설정하는 데 근거가 될 수 있다는 점에서 의의가 있다.

Unveiling Pre-Service Teachers’ Epistemological Beliefs in the Planning of Korean Language Assessment

천해주,유성령 국어교육학회 2023 國語敎育學硏究 Vol.58 No.5

This study explores the epistemological beliefs of pre-service elementary teachers in Korean language education and their impact on performance assessment task planning. Grounded in the correlation between teachers’ beliefs and instructional approaches, the research aims to redefine Schommer’s (1990) epistemological dimensions in tasks designed by pre-service teachers. Data from 150 participants were analyzed quantitatively and qualitatively, revealing three belief-based clusters: Naive (24.7%), Mixed (51.3%), and Sophisticated (24.0%). Task planning patterns in all groups focus on individual perspective analysis and selfreflection. The Mixed group emphasizes related readings, exposing participants to various perspectives. In contrast, the Naive group employs diverse tasks in multiple sessions, emphasizing critical interpretation and real-life situations. The Sophisticated group chooses perspectives from given texts, relying on textbooks or worksheets. Understanding how these beliefs are shaped or regulated during the assessment task planning informs the intersection of educational philosophy and practical application, laying the groundwork for well-informed educational practices and a nuanced understanding of epistemological beliefs.

초등학교 교사의 읽기 유창성 인식 및 지도 유형 탐구

천해주 ( Cheon¸ Haeju ) 한국독서학회 2021 독서연구 Vol.- No.61

본 연구는 국내 초등학교 교사 176명을 대상으로 한 설문 응답을 기반으로 읽기 유창성에 대한 인식과 지도 유형을 탐구하였다. 읽기 유창성에 대한 인식 확인을 위해 빈도 분석과 상관 분석을 수행한 결과, 초등학교 교사들은 읽기 유창성의 하위 요소 중 표현성을 강조하는 양상을 보였다. 또한 상대적으로 고학년 대상의 읽기 유창성 지도 필요성을 높게 인식하였다. 국내 초등학교 읽기 유창성 지도는 주로 글자, 단어 수준보다 문장, 문단, 글 수준에서 이루어지고 있었으며 무의미 단어에 대한 지도 경험은 매우 낮은 편으로 나타났다. 지도 및 평가에 활용하는 자료로 주로 교과서를 꼽았으며, 시도교육청 자료 및 전문 평가 도구의 경우 상대적으로 낮은 빈도로 활용하였다. 그러나 읽기 유창성에 대한 교사 교육을 많이 받은 교사일수록 활용 빈도가 상대적으로 낮았던 비단어, 시도교육청 자료, 전문 평가 도구를 읽기 유창성 지도에 적극적으로 활용하였다. PAM 군집 분석 결과, 초등학교 교사들의 읽기 유창성 지도 유형은 ‘소극적 실천형’, ‘임의 실천형’, ‘적극적 실천형’의 세 가지로 나뉘었다. 이에 읽기 유창성에 대한 다양한 교수학습 자원을 활용하는 ‘적극적 실천형’으로 교사들을 견인하기 위해 교사 교육의 지원 방안을 모색할 필요를 확인하였다. This study explored teachers’ perceptions and teaching profiles of reading fluency based on the survey results of 176 primary school teachers in Korea. Results showed that the teachers were notably aware of prosody in three components (automaticity, accuracy, and prosody) of reading fluency. Furthermore, they emphasized the need for fluency instruction for students in higher grades rather than lower grades. The fluency instruction was mainly conducted at the sentence, paragraph, or text level rather than with letters and nonwords. The most preferred material to teach reading fluency was a textbook unlike an official diagnostic tool such as BASA-R. However, teachers with more preparation experience utilized nonwords or diagnostic tests more often. Based on PAM Cluster Analysis, the teaching profiles were categorized into three groups according to their perception and teaching experience: passive novice, active intermediate, and active expert. Therefore, it is necessary to support meaningful teacher education to motivate teachers to become an “active expert type” that utilizes various teaching and learning resources for reading fluency instruction.

작문 평가 준거의 평가자 간 해석 차이에 대한 연구

천해주 ( Cheon Hae-ju ),김영서 ( Kim Young-seo ),박소희 ( Park Sohee ),김주환 ( Kim Joo-hwan ) 한국작문학회 2020 작문연구 Vol.0 No.47

본 연구는 한국과 미국의 작문 능력 비교 평가를 위해 도출된 작문 평가 준거의 평가자 간 해석 차이에 대해 탐구하는 것을 목적으로 한다. 이를 위하여 평가자 3인이 동일한 평가 준거를 사용하여 중학교 2학년 학생 29명의 글(설명글 15편, 설득글 14편)을 독립적으로 평가하였다. 평가자 간 일치도 확인 결과, 평가자 3인 사이의 의견 일치도는 설명하는 글이 77.86%, 설득하는 글이 76.45%였다. 준거별 일치도의 경우 ‘문체의 적절성’ 준거를 제외한 모든 준거가 신뢰할 수 있는 수준인 70%를 넘었다. 이후 평가자 간의 논의를 통해 다음과 같은 평가 범주 해석상의 쟁점들을 도출할 수 있었다. 첫째로, ‘내용’ 범주에서는 주제와 소재, 세부 내용 등 평가 준거의 표현에 대한 평가자의 이해 차이로 인해 준거의 일관된 적용에 어려움이 있었다. 둘째로 ‘조직’ 범주의 평가에 있어 글의 내용이나 분량의 개입이 불가피했다. 이는 ‘내용’과 ‘조직’ 범주의 독립적인 평가의 어려움을 보여준다. 셋째로 ‘표현’ 범주 중 ‘문체의 적절성’ 준거에 있어 쓰기 목적별 어조 및 문체의 예시를 포함한 준거 상세화 작업의 필요성을 확인했다. 마지막으로 ‘표기’ 범주에서 표기상 오류, 언어 관습의 적용을 평가하는 데 있어 척도 적용의 일관성 문제가 있었다. 본 연구는 학생 글 표본의 수가 한정되어 있고 쓰기 평가 준거의 타당성을 통계적으로 검증한 것은 아니라는 점에서 한계가 있다. 그러나 기존 작문 교육 연구 영역에서 평가 준거에 대한 해석의 차이를 바탕으로 평가 준거를 더욱 타당한 쓰기 평가 도구로 발전시켜 나가기 위한 단계적 연구라는 점에서 의의가 있다. The purpose of this study is to examine how three raters interpretate writing evaluative criteria differently when they apply them to assess writing ability of secondary school students in Korea and the United States. Three raters independently evaluated a total of 29 (15 explanatory and 14 persuasive) essays written by 8th-grade students. As a result of the interrater agreement, an exact agreement rate among the three raters on the total criteria was 77.86% for explanatory essay and 76.45%for persuasive essay. All criteria except the ‘appropriateness of style’ criterion exceeded the acceptable rate of the exact agreement (70%). The following issues about interpreting the categories of the rubric were drawn during the rater discussion. First, in the ‘Ideas’ category, there was a high possibility of interference of several criteria due to different interpretations of some terms between the raters, such as theme, topic, and details. Secondly, the content or amount of the article influenced the raters’ evaluation of the ‘Organization’ category. Third, in the ‘Presentation’ category, interpreting the ‘appropriateness of style’ required further information on tone and style in eachwriting purpose. Finally, in the ‘Conventions’ category, the raters applied the evaluative criterion less consistently when assessing conventional errors. This study has limitations in terms of its small sample size and no statistical testing on the validity of the rubric. Nonetheless, this study is meaningful as it examines differences of raters’ interpretation systematically in order to move forward to the large-scale study on rubric validation.

작문 능력의 국제 비교를 위한 평가 준거 탐색

박소희,김주환,천해주,김영서 한국 리터러시 학회 2020 리터러시 연구 Vol.11 No.6

The purpose of this study is to identify writing evaluative criteria from existing literature to be used in a large-scale international comparative study of middle school students’ writing performances between students in Korea and their counterparts in the United States. To search relevant literature, contexts related to the evaluative criteria (determined using the analytic writing rubric for the assessment of eighth-grade Korean and U.S. students who wrote both expository and persuasive essays in response to writing prompts) were considered. After reviewing 10 different types of writing assessment literature, four assessment domains (content, organization, expression, and conventions) were established. Each purpose of writing(to explain or to persuade) was related to 11 criteria. This study identified the following. First, the content domain included three criteria: clarity of topics, complexity of content, and relevance of content. Among them, only the clarity of topics criterion was revised as the clarity of claims for the persuasive writing assessment. Second, the organization domain comprised three criteria: text structure, content organization, and coherence. Third, sentence fluency, tone and style, the selection of appropriate words, and audience consideration criteria were considered in the expression domain. Finally, the conventions domain considered command over language conventions. The criteria showing the difference between the two countries’ writing performances were text structure and tone and style 본 연구는 한국과 미국 중학생들의 작문 능력을 비교하는 연구에서 사용할 평가 도구의 개발을 위한 첫 단계로,한국과 미국의 작문 평가 준거 관련 문헌들을 검토하여양국의 작문 특성을 모두 반영할 수 있는 평가 준거를 설정하는 것을 목적으로 하였다.중학교 2학년 학생들에게 설명하는 글과 설득하는 글쓰기 관련 지시문을 제시하여 글을 쓰게 한 뒤,분석적 평가 도구를 이용해 양국 학생들의 작문 수행을 범주별, 준거별로 비교하는 것이 최종 목적이기 때문에 이와 관련된 문헌들을 체계적으로 검색해 검토의 대상으로 삼았다.총 10개 유형에 해당하는 문헌들을 검토한 결과,총 네개의 평가 범주(내용,조직,표현,표기)가 도출되었다.각 작문 목적별로 11개의 준거를포함시켰다.먼저 내용 범주에는 ‘내용의 명확성’에 대한 준거에 더하여 ‘내용의 구체성’과 내용의 적절성’이라는 세 준거가 포함되었는데,내용의 명확성에 대한 준거만작문의 목적에 따라 ‘주제 및 대상의 명확성(설명글)’과 ‘주장의 명확성(설득글)’으로 명칭과 내용을 달리하였다.조직 범주에는 ‘글 전체 구조’,‘내용 조직 방식’,‘내용 연결의 긴밀성’이라는 준거들이 포함되었다.표현 영역에는 ‘문장의 유창성’,‘문체의 적절성’,‘어휘의 적절성’,‘독자에 대한 고려’ 준거가,마지막으로 표기 영역에는 ‘언어관습 및 규범’ 준거가 포함되었다.한국과 미국의 작문 특성의 차이를 보여주는 준거는 조직 범주의 ‘글 전체 구조’와 표현 범주의 ‘문체의 적절성’ 준거로 나타났다.

중학생의 설명글 쓰기 능력 평가 연구

이순영,김주환,천해주 고려대학교 한국어문교육연구소 2022 한국어문교육 Vol.40 No.-

This study analyzed 279 expository texts that 8th graders wrote in 30 minutes using computers. The study assigned them two tasks randomly, and three evaluators refined evaluation criteria, and verified the interpretation and application of criteria. The results are as follows: First, in terms of the quantity of writing measured in words, 187.8 words were written, which was about 1.6 times more than those written with paper. The total score of the writing was about 7.4 out of 12 with the scores in the content area was the highest and lower toward the expression and organization areas. Second, the study identified five writing ability groups and all the evaluation criteria used in the study significantly predicted the writing groups. In particular, three criteria (content/formal structure of the text, content connection, diversity and fluency of sentences) were useful when discriminating each group. Third, gender and school differences were identified. Finally, four topics, such as the influence of writing media and tasks, interpretation of writing levels by writing ability group, and weighting factors and scoring issues of evaluation criteria, were presented to deepen the research. 이 연구에서는 국내 6개 중학교의 2학년생 279명이 두 개의 쓰기 과제 중 무작위로 할당된 하나에 대해 30분간 컴퓨터로 작성한 설명글의 정량적 특성을 분석하였다. 선행 연구와의 차별성을 위해 연구 방법을 정교화(두 개의 설명글 쓰기 과제 개발 및 무작위 할당, 평가 준거의 체계적 개발, 사전에 평가자 간 준거 해석 및 적용 결과 검토)하였다. 연구 결과, 설명글의 분량은 단어 187.8개(문장 16.1개)였고, 이는 종이 글쓰기 환경에서 생성된 선행 연구의 결과보다 1.6배 이상의 길이였다. 글의 총점은 12점 만점에 약 7.4점이었고, 내용 영역 점수가 가장 높고 표현, 조직 영역으로 갈수록 점수가 낮았다. 또한 설명글의 총점 구간에 따라 5개의 쓰기 능력 집단이 확인되었다. 본 연구의 평가 준거는 모두 쓰기 능력 집단을 유의하게 예측하였고(평가 준거로서의 타당성 확인), 향후 이들을 분석적 채점 기준의 세부 요인으로 사용할 수 있음을 확인하였다. 특히 준거 중 3개(글의 내용·형식적 구조, 내용 연결의 긴밀성, 문장의 다양성과 유창성)는 모든 집단의 변별에 유용하였다. 이외에 남녀 성차(여학생의 설명글 점수가 더 높음, 1·2·3집단에는 남학생의 비율이 더 높고, 상위 수준인 4·5집단에는 여학생 비율이 높음)와 학교별 차이가 확인되었다. 마지막으로 향후 중학생의 설명글 연구를 심화할 수 있는 네 가지 논의점(쓰기 매체의 영향, 쓰기 능력 집단별 쓰기 수준 해석, 평가 준거에 따른 가중치와 배점 문제, 쓰기 과제 및 내용 지식의 영향 검증)을 제시하였다.

중등 작문교육에 대한 국제비교 연구 (Ⅰ) - 한국과 미국의 작문 교육과정을 중심으로 -

김주환,박혜영,장은섭,천해주 한국작문학회 2019 작문연구 Vol.0 No.41

The purpose of this study is to compare secondary school writing curriculum in Korea to those of U.S. Especially this study focuses on State of Virginia, Michigan and New York. The results discovered are as follows : 1) Domains of English and Language arts as subjects in U.S. are classified from the communication-centered viewpoint. For Korea, however, domains of Language arts are classified from the academic-centered viewpoint, so to barely combine with communication domains. 2) In Korea, writing curriculum is mainly composed of nature, principle and attitude of writing. However, those of U.S. were more systemized in the sequence of teaching and learning contents by text genre and research/writing. 4) Scope and sequence of writing curriculum in U.S. are systematically intertwined 5) And the curriculum in U.S. is more adequate to integrate contents and standards in each domains. For U.S., the goals that students should achieve in graduation year are very clear and systematically organized. Korean writing curriculum needs to clarify standards on focusing writing abilities students should be acquired at graduation year. 이 연구에서는 미국의 버지니아주, 미시간주, 뉴욕주의 작문 교육과정과 우리나라 작문 교육과정을 비교해 보았다. 그 결과 다음과 같은 차이를 확인할 수 있었다. 첫째, 미국은 의사소통 중심으로 하위 영역이 구분되어 있으나 한국은 학문 중심으로 영역이 구분되어 의사소통 영역과 문학, 문법이 분리되어 있다. 둘째, 미국은 교육내용이 텍스트의 유형과 목적, 지식 구성과 표현을 위한 연구 등 실제적 내용으로 체계화되어 있으나 우리나라는 본질-원리-태도라는 체계에다 텍스트 유형, 쓰기 전략 등이 배치되어 혼란스럽다. 셋째, 미국은 지식 습득을 위한 연구 활동이 쓰기 영역의 중요한 성취기준으로 반영되어 있으나 한국에는 해당 성취기준이 없다. 넷째, 미국은 핵심 성취기준을 반복·심화하는 방식으로 교육내용을 위계화하고 있으나 한국은 작문에 대한 지식, 기능, 태도를 학년별로 나열하는 방식을 취하고 있어 성취기준 간의 연속성이 확보되지 못하고 있다. 다섯째, 미국은 영역 간, 영역 내 성취기준 간의 통합을 강조하여 서로 잘 통합할 수 있도록 편성되어 있으나 한국은 영역별 성취기준들이 독립되어 있어 통합이 어렵게 되어 있다. 미국의 경우 최종 학년도에 학생들이 도달해야 할 작문능력을 중심으로 교육과정을 상세화하는 방식으로 교육과정을 편성하였다. 이처럼 한국의 작문 교육과정 또한 학생들이 습득해야 할 작문능력이 무엇인지를 명확히 하고 이를 바탕으로 학년별 성취기준을 상세화할 필요가 있다.

미국의 초·중등 작문 평가의 특징과 시사점 탐색 - 국가 및 주 수준 표준화 작문 평가를 중심으로 -

박혜영 ( Park Hye-young ),천해주 ( Cheon Hae-ju ),김영서 ( Kim Young-seo ),김주환 ( Kim Joo-hwan ) 한국작문학회 2020 작문연구 Vol.0 No.44

이 연구의 목적은 미국의 NAEP 작문 평가와 뉴욕 주·버지니아 주의 작문 평가의 평가틀, 평가도구와 평가준거 등을 살펴보고, 이를 통해 향후 우리나라의 국가수준 작문 평가가 개발되고 현실화하기 위한 시사점을 얻는 데 있다. 분석 결과, 작문 평가의 목적과 목표, 작문에 대한 정의, 평가 문항 및 채점기준, 평가 매체와 관련하여 여러 흥미로운 특징이 발견되었다. 그리고 미국 초·중등 작문 평가의 사례는 다음과 같은 점에서 우리나라의 국가수준 표준화 작문 평가 개발에 참고할 수 있는 시사점을 얻을 수 있다. 첫째, 체계화된 평가틀을 구축하고 작문 평가도구(문항/과제, 채점기준) 개발의 근거로 삼아야 한다. 둘째, 국가수준 작문 평가의 방향을 결정하는 평가의 목적, 즉 재고자 하는 바가 무엇인지를 분명히 해야 한다. 셋째, 작문 목적에 따른 한 편의 글을 써 보고, 쓴 글을 토대로 작문의 실제적 능력을 평가할 수 있는 논술형 작문 문항의 개발과 시행이 필요하다. 넷째, 논술형 작문 문항의 도입이 현실화되기 위해서는 채점의 신뢰도를 확보하는 방안이 연구되어야 하고 규준이 될 수 있는 채점기준을 마련해야 한다. 다섯째, 채점의 일반 준거 및 세부 하위 준거 요소에 관한 국가수준의 규준을 개발해야 한다. This study aimed at investigating national and state level writing assessments: NAEP, New York state, Virginia state. Especially, this study focused on writing assessment framework, tasks, criteria. Based on analysis of those, we vision future national level writing assessment in Korea and draw out implications. In the results, interesting issues are discovered in light of writing assessment purpose, definition of writing, writing prompts and criteria. Finally, implications are as follows: 1) Research based writing assessment framework should be developed to gain validity of writing assessment; 2) What purpose of writing assessment should be clear to set directions; 3) Essay type writing tasks were operated in writing assessment so to reveal students’ abilities that a student is able to write or not; 4) Reliability of rating in essay writing should be confirmed; 5) General rubric should be developed and detailed.