계층화분석(AHP)을 통한 전문대학교에서의 직업문식성교육 우선순위 분석 - 공학계열 재직자를 중심으로

천해주 한국리터러시학회 2019 대학작문학회 전국학술대회 자료집 Vol.2019 No.5

중학생들의 작문 평가 준거 설정 연구 - 설명하는 글 준거에 대한 평가자 협의 과정을 중심으로 -

천해주,김영서,박소희,김주환 한국리터러시학회 2020 대학작문학회 전국학술대회 자료집 Vol.2020 No.5

‘대학원생들의 온라인 학술 세미나 상황에서 나타나는 댓글 쓰기 양상’에 대한 토론문

천해주 한국리터러시학회 2021 대학작문학회 전국학술대회 자료집 Vol.2021 No.4

고등학생의 독자 유형에 따른 내용지식의 영향 연구 : 정보 텍스트 읽기를 중심으로

천해주 한국독서학회 2022 독서연구 Vol.- No.64

This study identified reader profiles of high school students in the context of an informational text comprehension task and compared the influence of content knowledge based on their profiles. We collected data from 156 high school students representing the cognitive, affective, and behavioral factors related to their informational text comprehension. After executing the K-mean analysis, four reader profiles were established: ‘High behavioral engagement’, ‘proficient reader’, ‘passive reader’, and ‘struggling reader’. The content knowledge showcased 12.1% of the informational text comprehension of all participants. However, its effect size was found only for the ‘passive reader’ profile, comprising of 23.7% of participants, despite a low level of reading attitude, text interest, reading strategies use, and behavioral engagement. These findings necessitate various teaching strategies which can support informational text comprehension of students who display a wide range of characteristics when they read. 본 연구는 정보 텍스트 읽기 맥락에서 나타나는 고등학생의 독자 유형을 확인하고, 내용지식이 정보 텍스트 독해 성취에 미치는 영향력을 독자 유형에 따라 비교하였다. 이를 위하여 고등학교 1학년 학생 156명을 대상으로 인지·정의·행동적 차원과 관련된 독자 요인과 정보 텍스트 독해 성취를 확인하였다. 수집한 자료들을 토대로 K-평균 군집분석을 수행한 결과, 정보 텍스트 읽기에 대한 고등학생 독자의 유형은 총 네 가지(① 높은 행동적 몰입; ② 능숙한 독자; ③ 소극적 독자; ④ 고군분투하는 독자)로 분류되었다. 전체 표본을 대상으로 내용지식은 정보 텍스트 독해 성취를 12.1% 설명하였다. 그러나 독자 유형별로 효과 크기를 비교한 결과, 오직 ‘소극적 독자(전체 중 23.7%)’ 유형에 속한 학생에게만 내용지식의 영향력이 확인되었다. 이들은 읽기에 대한 평소 태도, 텍스트 흥미, 읽기 중 전략 사용 빈도, 행동적 몰입이 상대적으로 낮았음에도 불구하고 높은 정보 텍스트 독해 성취를 보였다. 이는 결과는 정보 텍스트에 대한 소극적인 읽기 수행을 내용지식이 보완하고 있음을 의미한다. 이러한 제한적인 내용지식의 영향력은 내용지식의 활성화를 넘어, 독자의 특성을 고려한 정보 텍스트 독해에 대한 다양한 교수학습 지원 방법의 모색 필요성을 보여준다.

초등학교 교사의 읽기 유창성 인식 및 지도 유형 탐구

천해주 한국독서학회 2021 독서연구 Vol.- No.61

This study explored teachers’ perceptions and teaching profiles of reading fluency based on the survey results of 176 primary school teachers in Korea. Results showed that the teachers were notably aware of prosody in three components (automaticity, accuracy, and prosody) of reading fluency. Furthermore, they emphasized the need for fluency instruction for students in higher grades rather than lower grades. The fluency instruction was mainly conducted at the sentence, paragraph, or text level rather than with letters and nonwords. The most preferred material to teach reading fluency was a textbook unlike an official diagnostic tool such as BASA-R. However, teachers with more preparation experience utilized nonwords or diagnostic tests more often. Based on PAM Cluster Analysis, the teaching profiles were categorized into three groups according to their perception and teaching experience: passive novice, active intermediate, and active expert. Therefore, it is necessary to support meaningful teacher education to motivate teachers to become an “active expert type” that utilizes various teaching and learning resources for reading fluency instruction. 본 연구는 국내 초등학교 교사 176명을 대상으로 한 설문 응답을 기반으로 읽기 유창성에 대한 인식과 지도 유형을 탐구하였다. 읽기 유창성에 대한 인식 확인을 위해 빈도 분석과 상관 분석을 수행한 결과, 초등학교 교사들은 읽기 유창성의 하위 요소 중 표현성을 강조하는 양상을 보였다. 또한 상대적으로 고학년 대상의 읽기 유창성 지도 필요성을 높게 인식하였다. 국내 초등학교 읽기 유창성 지도는 주로 글자, 단어 수준보다 문장, 문단, 글 수준에서 이루어지고 있었으며 무의미 단어에 대한 지도 경험은 매우 낮은 편으로 나타났다. 지도 및 평가에 활용하는 자료로 주로 교과서를 꼽았으며, 시도교육청 자료 및 전문 평가 도구의 경우 상대적으로 낮은 빈도로 활용하였다. 그러나 읽기 유창성에 대한 교사 교육을 많이 받은 교사일수록 활용 빈도가 상대적으로 낮았던 비단어, 시도교육청 자료, 전문 평가 도구를 읽기 유창성 지도에 적극적으로 활용하였다. PAM 군집 분석 결과, 초등학교 교사들의 읽기 유창성 지도 유형은 ‘소극적 실천형’, ‘임의 실천형’, ‘적극적 실천형’의 세 가지로 나뉘었다. 이에 읽기 유창성에 대한 다양한 교수학습 자원을 활용하는 ‘적극적 실천형’으로 교사들을 견인하기 위해 교사 교육의 지원 방안을 모색할 필요를 확인하였다.

계층화분석(AHP)을 통한 전문대학교에서의 직업문식성교육 우선순위 분석 - 전문대의 공학계열 졸업생을 중심으로

천해주 한국 리터러시 학회 2019 리터러시 연구 Vol.10 No.3

'스콜라' 이용 시 소속기관이 구독 중이 아닌 경우, 오후 4시부터 익일 오전 9시까지 원문보기가 가능합니다.

This study analyzes and compares the priorities of the vocational literacy education of engineering workers who received vocational higher education. The analytic hierarchy process was used to identify job literacy tasks that are shown in the actual job site and to analyze the educational needs of job literacy. This process was also used to analyze the subjects who were grouped according to the tenure. As a result, the demand for literacy education in engineering field has shown complicated level compared with that of the existing literacy education contents in NCS(National Competency Standards). The demand for multimodal literacy, writing based on multiple texts, and critical reading education were high. However, these are not included in the NCS. Furthermore, there were differences in priority of job literacy education between groups especially in writing education. 본 연구는 전문대학교의 공학계열 학과를 졸업한 후 관련 직군에서 근무하고 있는 재직자 17명을 대상으로 전문대학교에서 필요한 직업문식성교육의 우선순위를 분석하고 비교하였다. 이는 직업 현장에서 실제로 수행되는 문식성 과제를 확인하고, 직업문식성교육에 대한 구체적인 요구를 분석하기 위함이다. 이를 위해 계층화분석을 수행하여 직업문식성교육 내용에 대한 우선순위를 확인하고, 근속연수에 따른 우선순위 차이를 확인하였다. 설문 결과 복합양식 문서의 작성, 다양한 문서를 종합한 쓰기, 비판적 읽기 등 기존 NCS 기초직업능력 중 의사소통능력에서 포함하고 있지 않고 있는 문식성교육 내용에 대한 높은 요구가 나타났다. 또한 근속연수에 따른 직업문식성교육의 우선순위 차이가 쓰기교육을 중심으로 드러났다. 위와 같은 연구 결과는 전문대학교 재학생들이 취업 후 겪을 수 있는 읽기․쓰기 과제 상황과 문식성 능력 사이의 간극을 최소화할 수 있도록 전문대학교에서 직업문식성 교육과정 및 교육내용을 설정하는 데 근거가 될 수 있다는 점에서 의의가 있다.

작문 평가 준거의 평가자 간 해석 차이에 대한 연구

천해주 ( Cheon Hae-ju ),김영서 ( Kim Young-seo ),박소희 ( Park Sohee ),김주환 ( Kim Joo-hwan ) 한국작문학회 2020 작문연구 Vol.0 No.47

본 연구는 한국과 미국의 작문 능력 비교 평가를 위해 도출된 작문 평가 준거의 평가자 간 해석 차이에 대해 탐구하는 것을 목적으로 한다. 이를 위하여 평가자 3인이 동일한 평가 준거를 사용하여 중학교 2학년 학생 29명의 글(설명글 15편, 설득글 14편)을 독립적으로 평가하였다. 평가자 간 일치도 확인 결과, 평가자 3인 사이의 의견 일치도는 설명하는 글이 77.86%, 설득하는 글이 76.45%였다. 준거별 일치도의 경우 ‘문체의 적절성’ 준거를 제외한 모든 준거가 신뢰할 수 있는 수준인 70%를 넘었다. 이후 평가자 간의 논의를 통해 다음과 같은 평가 범주 해석상의 쟁점들을 도출할 수 있었다. 첫째로, ‘내용’ 범주에서는 주제와 소재, 세부 내용 등 평가 준거의 표현에 대한 평가자의 이해 차이로 인해 준거의 일관된 적용에 어려움이 있었다. 둘째로 ‘조직’ 범주의 평가에 있어 글의 내용이나 분량의 개입이 불가피했다. 이는 ‘내용’과 ‘조직’ 범주의 독립적인 평가의 어려움을 보여준다. 셋째로 ‘표현’ 범주 중 ‘문체의 적절성’ 준거에 있어 쓰기 목적별 어조 및 문체의 예시를 포함한 준거 상세화 작업의 필요성을 확인했다. 마지막으로 ‘표기’ 범주에서 표기상 오류, 언어 관습의 적용을 평가하는 데 있어 척도 적용의 일관성 문제가 있었다. 본 연구는 학생 글 표본의 수가 한정되어 있고 쓰기 평가 준거의 타당성을 통계적으로 검증한 것은 아니라는 점에서 한계가 있다. 그러나 기존 작문 교육 연구 영역에서 평가 준거에 대한 해석의 차이를 바탕으로 평가 준거를 더욱 타당한 쓰기 평가 도구로 발전시켜 나가기 위한 단계적 연구라는 점에서 의의가 있다. The purpose of this study is to examine how three raters interpretate writing evaluative criteria differently when they apply them to assess writing ability of secondary school students in Korea and the United States. Three raters independently evaluated a total of 29 (15 explanatory and 14 persuasive) essays written by 8th-grade students. As a result of the interrater agreement, an exact agreement rate among the three raters on the total criteria was 77.86% for explanatory essay and 76.45%for persuasive essay. All criteria except the ‘appropriateness of style’ criterion exceeded the acceptable rate of the exact agreement (70%). The following issues about interpreting the categories of the rubric were drawn during the rater discussion. First, in the ‘Ideas’ category, there was a high possibility of interference of several criteria due to different interpretations of some terms between the raters, such as theme, topic, and details. Secondly, the content or amount of the article influenced the raters’ evaluation of the ‘Organization’ category. Third, in the ‘Presentation’ category, interpreting the ‘appropriateness of style’ required further information on tone and style in eachwriting purpose. Finally, in the ‘Conventions’ category, the raters applied the evaluative criterion less consistently when assessing conventional errors. This study has limitations in terms of its small sample size and no statistical testing on the validity of the rubric. Nonetheless, this study is meaningful as it examines differences of raters’ interpretation systematically in order to move forward to the large-scale study on rubric validation.

중학생의 설명글 쓰기 능력 평가 연구

이순영,김주환,천해주 고려대학교 한국어문교육연구소 2022 한국어문교육 Vol.40 No.-

This study analyzed 279 expository texts that 8th graders wrote in 30 minutes using computers. The study assigned them two tasks randomly, and three evaluators refined evaluation criteria, and verified the interpretation and application of criteria. The results are as follows: First, in terms of the quantity of writing measured in words, 187.8 words were written, which was about 1.6 times more than those written with paper. The total score of the writing was about 7.4 out of 12 with the scores in the content area was the highest and lower toward the expression and organization areas. Second, the study identified five writing ability groups and all the evaluation criteria used in the study significantly predicted the writing groups. In particular, three criteria (content/formal structure of the text, content connection, diversity and fluency of sentences) were useful when discriminating each group. Third, gender and school differences were identified. Finally, four topics, such as the influence of writing media and tasks, interpretation of writing levels by writing ability group, and weighting factors and scoring issues of evaluation criteria, were presented to deepen the research. 이 연구에서는 국내 6개 중학교의 2학년생 279명이 두 개의 쓰기 과제 중 무작위로 할당된 하나에 대해 30분간 컴퓨터로 작성한 설명글의 정량적 특성을 분석하였다. 선행 연구와의 차별성을 위해 연구 방법을 정교화(두 개의 설명글 쓰기 과제 개발 및 무작위 할당, 평가 준거의 체계적 개발, 사전에 평가자 간 준거 해석 및 적용 결과 검토)하였다. 연구 결과, 설명글의 분량은 단어 187.8개(문장 16.1개)였고, 이는 종이 글쓰기 환경에서 생성된 선행 연구의 결과보다 1.6배 이상의 길이였다. 글의 총점은 12점 만점에 약 7.4점이었고, 내용 영역 점수가 가장 높고 표현, 조직 영역으로 갈수록 점수가 낮았다. 또한 설명글의 총점 구간에 따라 5개의 쓰기 능력 집단이 확인되었다. 본 연구의 평가 준거는 모두 쓰기 능력 집단을 유의하게 예측하였고(평가 준거로서의 타당성 확인), 향후 이들을 분석적 채점 기준의 세부 요인으로 사용할 수 있음을 확인하였다. 특히 준거 중 3개(글의 내용·형식적 구조, 내용 연결의 긴밀성, 문장의 다양성과 유창성)는 모든 집단의 변별에 유용하였다. 이외에 남녀 성차(여학생의 설명글 점수가 더 높음, 1·2·3집단에는 남학생의 비율이 더 높고, 상위 수준인 4·5집단에는 여학생 비율이 높음)와 학교별 차이가 확인되었다. 마지막으로 향후 중학생의 설명글 연구를 심화할 수 있는 네 가지 논의점(쓰기 매체의 영향, 쓰기 능력 집단별 쓰기 수준 해석, 평가 준거에 따른 가중치와 배점 문제, 쓰기 과제 및 내용 지식의 영향 검증)을 제시하였다.

쓰기 능력의 국제 비교 평가를 위한 쓰기 평가 준거의 탐색

박소희,김주환,천해주,김영서 한국리터러시학회 2020 대학작문학회 전국학술대회 자료집 Vol.2020 No.10

작문 능력의 국제 비교를 위한 평가 준거 탐색

박소희,김주환,천해주,김영서 한국 리터러시 학회 2020 리터러시 연구 Vol.11 No.6

The purpose of this study is to identify writing evaluative criteria from existing literature to be used in a large-scale international comparative study of middle school students’ writing performances between students in Korea and their counterparts in the United States. To search relevant literature, contexts related to the evaluative criteria (determined using the analytic writing rubric for the assessment of eighth-grade Korean and U.S. students who wrote both expository and persuasive essays in response to writing prompts) were considered. After reviewing 10 different types of writing assessment literature, four assessment domains (content, organization, expression, and conventions) were established. Each purpose of writing(to explain or to persuade) was related to 11 criteria. This study identified the following. First, the content domain included three criteria: clarity of topics, complexity of content, and relevance of content. Among them, only the clarity of topics criterion was revised as the clarity of claims for the persuasive writing assessment. Second, the organization domain comprised three criteria: text structure, content organization, and coherence. Third, sentence fluency, tone and style, the selection of appropriate words, and audience consideration criteria were considered in the expression domain. Finally, the conventions domain considered command over language conventions. The criteria showing the difference between the two countries’ writing performances were text structure and tone and style 본 연구는 한국과 미국 중학생들의 작문 능력을 비교하는 연구에서 사용할 평가 도구의 개발을 위한 첫 단계로,한국과 미국의 작문 평가 준거 관련 문헌들을 검토하여양국의 작문 특성을 모두 반영할 수 있는 평가 준거를 설정하는 것을 목적으로 하였다.중학교 2학년 학생들에게 설명하는 글과 설득하는 글쓰기 관련 지시문을 제시하여 글을 쓰게 한 뒤,분석적 평가 도구를 이용해 양국 학생들의 작문 수행을 범주별, 준거별로 비교하는 것이 최종 목적이기 때문에 이와 관련된 문헌들을 체계적으로 검색해 검토의 대상으로 삼았다.총 10개 유형에 해당하는 문헌들을 검토한 결과,총 네개의 평가 범주(내용,조직,표현,표기)가 도출되었다.각 작문 목적별로 11개의 준거를포함시켰다.먼저 내용 범주에는 ‘내용의 명확성’에 대한 준거에 더하여 ‘내용의 구체성’과 내용의 적절성’이라는 세 준거가 포함되었는데,내용의 명확성에 대한 준거만작문의 목적에 따라 ‘주제 및 대상의 명확성(설명글)’과 ‘주장의 명확성(설득글)’으로 명칭과 내용을 달리하였다.조직 범주에는 ‘글 전체 구조’,‘내용 조직 방식’,‘내용 연결의 긴밀성’이라는 준거들이 포함되었다.표현 영역에는 ‘문장의 유창성’,‘문체의 적절성’,‘어휘의 적절성’,‘독자에 대한 고려’ 준거가,마지막으로 표기 영역에는 ‘언어관습 및 규범’ 준거가 포함되었다.한국과 미국의 작문 특성의 차이를 보여주는 준거는 조직 범주의 ‘글 전체 구조’와 표현 범주의 ‘문체의 적절성’ 준거로 나타났다.