생성형 AI를 활용한 현직 국어교사의 서‧논술형 평가 문항 개발 양상 분석

최숙기,박종임 청람어문교육학회 2024 청람어문교육 Vol.- No.97

In this study, we proposed the potential and utilization methods for developing constructive assessment items using generative AI based on 10 Korean language teachers' cases of developing assessment using ChatGPT. Firstly, it is crucial to effectively compose prompts when generating constructive assessment items.In particular, it is essential to provide explicit and specific information(such as roles, target grade, achievement criteria, etc.) for constructive assessment items. Additionally, prompts should explicitly specify what elements should be included in the generated items. Secondly, the process of iteratively refining and specifying the prompts entered into ChatGPT is crucial. Even if the desired responses are not obtained initially, it is necessary to approach the improvement of prompts step by step, gradually modifying them to achieve the desired outcomes. Thirdly, it is more effective to provide existing text to AI and have it generate assessment items by reprocessing the text, rather than relying on AI to directly generate passages. Fourthly, while ChatGPT facilitates the rapid and efficient generation and utilization of scoring materials, it is important to critically reconstruct and adapt these materials rather than accepting them as they are.

한국과 중국 중학생의 읽기 동기 비교 연구

최숙기 한국교육과정평가원 2010 교육과정평가연구 Vol.13 No.1

This study was comparative analysis of reading motivation between Korean and Chinese middle school students. For this study, 4 middle schools in China were selected and 599 middle school students participated in search. Korean students selected by Young-Min Park(2006) were compared with the Chinese students. They responded reading motivation scale developed by Young-Min Park(2006). The results are following. First, the developmental aspects of chinese students' reading motivation were similar to the Korean students' reading motivation. In gender difference, Chinese students reading motivation orientation are very similar to Korean students'. females showed higher reading motivation level than that of males and the higher grade level, the decrease reading motivation level in Chinese students. Second, first grade students gain more scores than grade 2 and grade 3. It means that the first grade students have more positive reading motivation than others grades. Therefore, as secondary student reader move up, reading motivation goes down again replicating results with Korean students. Third, when the reading motivation difference between Korean students and Chinese students was analyzed by effect size, it was founded that chinese students showed higher reading motivation level than Korean students. This orientation were founded in all factors of reading motivation except for reading importance. In gender difference and grade difference, it was founded that the Chinese students showed higher reading motivation than Korean students'. Especially, social interaction and reading interest were factors showing the largest difference by effect size analyzation. 이 연구는 한국과 중국 중학생들의 읽기 동기를 비교·분석하는 데 목적이 있다. 연구에 참여한학생들은 중국의 북경시 및 사천성에 위치한 4개 중학교에서 선정된 599명의 중학생들이며, 이들은박영민(2008b)에서 개발한 중학생 읽기 동기 검사지에 응답하였다. 응답 결과를 바탕으로 하여 중학생의 읽기 동기를 분석하였고, 이를 한국 중학생의 읽기 동기 수준과 비교하였다. 이 연구에서얻은 결과는 다음과 같다. 첫째, 한국 중학생과 중국 중학생들의 읽기 동기의 발달은 유사한 양상을 보였다. 성별 차이에서 한국과 중국 중학생들은 동일하게 여학생들의 읽기 동기 수준이 남학생들에게 비해 더 유의하게높은 것으로 나타났다. 둘째, 학년별 차이에서 중국 중학생들은 학년이 올라가면서 점차 읽기 동기 전체 평균과 하위요인의 점수가 감소하는 현상을 보였다. 학년이 올라감에 따라 읽기 동기가 감소하는 현상은 한국중학생들에서도 동일하게 나타났다. 셋째, 한국 중학생과 중국 중학생 두 집단 간 차이에 대한 효과크기 검증 결과, 전체적으로 중국 중학생들의 읽기 동기가 한국 중학생들보다 더 높은 수준을 보였다. 성별, 학년별 차이에서도한국 중학생들에 비해 중국 중학생들의 읽기 동기 수준이 통계적으로 유의하게 높았다. 특히 읽기동기 하위 요인 중 상호작용 요인과 읽기 흥미 요인은 그 차이가 훨씬 크게 나타났다. 단, 예외적으로 중요성 요인에 있어 한국 학생들의 수준이 더 높은 것으로 나타났지만, 이들 차이는 통계적으로 유의하지 않았다. 이러한 결과는 읽기 동기에서 남녀의 성별 차이 및 발달 단계에 따른 학년 차이가 보편적으로나타는 현상임을 알려 준다. 한국이나 중국이나 읽기 동기의 변화가 동일한 궤적으로 보이고 있기때문이다. 그러나 한국과 중국 중학생들 사이에 존재하는 읽기 동기의 차이는 사회․문화․교육의차이에 의한 것으로 해석된다. 그러나 한국 중학생들의 읽기 동기가 상대적으로 낮은 수준이므로이를 높이기 위한 교육적 방안이 여러 각도로 모색되어야 할 것이다. 읽기 동기는 읽기 활동을 이끌고 유지시키는 심리적인 동인이기 때문이다.

읽기 성취에 대한 남학생과 여학생 간 성별 차이 분석 및 교육적 방안 탐색 -PISA 2009 읽기 관련 변인을 중심으로-

최숙기,박기범 한국교육과정평가원 2012 교육과정평가연구 Vol.15 No.1

The purpose of the study is to analyse reading literacy performance on PISA 2009 and to compare a gender difference of motivational and behavioral factor affecting reading literacy. Participants of this study consist of 4,990 people from the age of 15 in Korea. SPSS 15.0 for window statistics package and AMOS 7.0 for window statistics package were used for data analysis. It was examined Through latent mean analysis(LMA), gender differences were examined. Females appeared to have higher levels of reading motivation(interest in reading, perceived autonomy, social interaction), reading behavior(reading behavioural engagement referring to the amount and types of reading activities) and metacognition in reading than males. But female student didn't show significantly higher latent mean values of perceived teachers classroom engagement than male students. In the gender comparison of effect size, females appeared to have higher levels of reading attitude and reading time. 본 연구의 목적은 PISA 2009 읽기 영역 자료를 분석하여 학생들의 읽기 성취에 미치는 읽기 동기 및 행동 관련 변인에 나타난 성별 차이를 분석하고 이와 관련한 읽기 교육 방안을 탐색하는 것이다. 읽기 관련 변인에 따른 성별 차이 분석을 위하여, 읽기의 동기 요인과 독서량, 읽기 전략 운용 및 유용성 평가 등의 읽기 상위인지 관련 활동으로 설명되는 읽기 행동 요인, 학생들이 지각하는 교사의 읽기 교수 요인이 읽기 성취에 미치는 영향 관계에 대한 모형을 수립하였다. 이에 따르면, 독서 태도와 독서량, 읽기 전략 활용과 전략 유용성에 대한 학생들의 상위인지 수준, 지각된 교사의 읽기 교수 활동 변인 간에 통계적으로 유의미한 상호 관련성이 존재하는 것으로 나타났다. 또한 잠재평균 분석(LMA)을 통해 구인된 요인 간의 남녀 간의 유의한 차이를 분석하였다. 사전 검증에서, 모형에 관한 각 단계별 동일성 검증 결과 모두 만족스러운 결과를 확인하였고, 남학생과 여학생에 대한 읽기 관련 변인들이 동일하게 측정되었음을 알 수 있었다. 남학생과 여학생 간에 동일성 검증 결과에 따른 잠재평균 분석 결과, 지각된 교사의 수업 참여를 제외한 모든 변인에서 여학생이 남학생들보다 더 높은 수준을 보였다. 특히, 독서 태도, 독서 시간에 대한 남학생과 여학생 간의 평균 차이가 매우 큰 것으로 나타났으며, 통제 전략의 경우 중간 정도의 차이를 보였다. 그 외 변인에서 남학생과 여학생 간의 효과 크기에 의한 차이는 뚜렷하지 않은 것으로 나타났다.

과정 중심 평가를 위한 작문 평가 도구 개발 방안

최숙기 한국작문학회 2018 작문연구 Vol.0 No.39

이 연구의 목적은 2015 개정 교육과정에서 제안하고 있는 과정 중심 평가를 위한 작문 평가 도구 개발의 주요 원리와 방안을 제안하는 데 있다. 과정 중심 평가란 학생들의 ‘학습의 과정’을 평가함으로써 학생들이 스스로 학습을 성찰하도록 하고, 교사는 이를 바탕으로 교수‧학습의 질을 개선하도록 하는 데 중점을 둔 평가로 2015 개정 교육과정(교육부 고시 제2015-80호)의 총론에서는 과정 중심 평가의 방향을 명시하고 있고, 현재 학교 현장에서는 학교 단위 평가 체제로 실제 운용되고 있다. 국어 교과의 쓰기나 작문 영역에서 과정 중심 평가를 위한 작문 평가의 실행을 위한 주요 원리는 (1)작문 교육과정 성취기준 기반으로 하되 교수 학습과 연계할 수 있도록 개발할 것, (2) 작문과 관련된 인지, 행동, 정의적 측면이 균형 있게 평가될 수 있도록 도구를 개발할 것, (3) 작문 수행이 이루어지는 과정을 결과와 함께 평가할 수 있도록 도구를 개발할 것, (4) 자신의 작문 과정에 대하여 상위인지 평가를 수시로 실시할 수 있도록 도구를 개발할 것 등이 도출된다. 각 원리는 과정 중심 평가를 위한 작문 평가 도구 개발의 주요 원리로 연계된다. The purpose of this study is to suggest the main principles and methods of development of writing assessment tool for process–focused assessment proposed in the 2015 revised curriculum. The process–focused assessment is an evaluation that focuses on students' self-reflection by self-evaluation of the 'process of learning' and the improvement of the quality of teaching and learning. In the 2015 revised curriculum, it is suggested the direction of process–focused assessment is specified and currently the school-based evaluation system is actually being operated as a school-based evaluation system. The main principles for the implementation of the writing evaluation for the writing of the Korean language curriculum and the process–focused assessment in the writing area are as follows: (1) Developing to be linked with teaching learning, based on achievement standards of writing curriculum, (2) Developing tools to ensure that behavioral and positive aspects can be balanced assessed, (3) developing a tool to evaluate the process of writing performance with the results, (4) developing a tool to evaluate the writing process, and to implemented from time to time.

대학생 학업 역량 지원을 위한 CTL 글쓰기 프로그램의 운영 방안

최숙기 한국작문학회 2019 작문연구 Vol.0 No.40

본 연구는 대학의 학업적 질 관리를 담당하는 주요 기관인 CTL(Center for Teaching and Learning)의 중점 업무 중 하나인 대학생 학업 역량 지원을 위한 CTL 글쓰기 프로그램 운영의 주요 방안을 탐색하고자 하였다. 이에 앞서 본 연구에서는 서울대학교를 포함한 4년제 종합대 8개교와 교원양성대학인 서울교대, 광주교대 2개교를 대상으로 대학생 학업 역량 지원을 위한 CTL 글쓰기 프로그램 운영 현황을 분석하였다. 그런 다음 CTL 주도로 실시되고 있지만, 대학생의 학업 역량과 학업적 문식성을 향상시키기 위한 구체적이고 상세한 글쓰기 교육 프로그램의 세부 방안을 1), 전공 교과 텍스트 학습 전략으로서의 요약하기와 학습 전략인 QEG 기반의 QER(Question Exploration Routine) 전략을 연계한 학습 글쓰기 지도 방안, 2) 바람직한 자료 차용(text borrwing)에 기반한 글쓰기 윤리 지도 방안, 3) 보호 교육(sheltered instruction) 기반의 외국인 유학생을 위한 학습 한국어 쓰기 지도 방안을 제안하였다. The purpose of this study was to investigate the main strategies of the CTL writing program for university students' academic ability, which is one of the core tasks of CTL (Center for Teaching and Learning). In this study, we analyzed the current status of CTL writing program to support the academic ability of undergraduate students at 8 universities including Seoul National University, and 2 universities including Seoul National University of Education. In order to improve the academic capacity and academic literacy of college students, the details of CTL writing education program are summarized as 1) a summary writing and writing to QEG-based QER as textbook learning strategy (2) teaching writing ethics guidance based on text borrowing, (3) writing proficiency assessment and teaching for foreign students who are based on sheltered instruction, and Respectively.

공통핵심교육과정(CCSS)의 읽기 텍스트 위계화 방안에 관한 연구

최숙기 한국교육과정평가원 2011 교육과정평가연구 Vol.14 No.2

The purpose of the study is to analyse the text leveling methods of the Common Core State Standards(CCSS) for English Language Arts & Literacy in History/Social Studies,Science, and Technical Subjects and to find proper text leveling process for reading education in the Korean reading learning and teaching context. Text leveling have been the topic of a substantial body of reading instruction including reading teaching and learning. For example, if a text is too difficult for readers, they may struggle, quickly become frustrated, and give up. On the other hand, if the text is too easy,readers may not be challenged, and become easily distracted or bored. so, we need to find the methods allowing them to track student progress and assign each student appropriate reading materials. But in our reading instruction context, readers have relied on teacher's judge or researcher's judge to find text difficulty of reading material or age appropriateness. However, those judges were often subjective or based on formulas that failed to reflect changes in the Korean language. Text complexity model suggested by CCSS for reading standards is very useful tool. Text complexity provide a common scale for measuring text difficulty and student reading ability. As the most widely adopted reading measure in use today, text complexity offer a scientific approach that facilitates learning and instruction by improving interpretability and informing educational decisions and instructional strategies. Using text complexity it is possible to match students with appropriate texts and track student reading ability. 2007년 국가수준의 읽기 교육과정이 개정된 이래, 읽기 텍스트 위계화의 필요성은 지속적으로 제기되었다. 이는 텍스트를 중심으로 재편된 읽기 교육과정이 학년별 성취기준과 텍스트가 일대일로 긴밀하게 결합되는 양상을 보이면서 제시된 텍스트가 학생들의 학년별 읽기 발달을 반영하는 정도나 텍스트간의 연계성이 실제적인가에 대한 문제의식이 도출되었기 때문이다. 특히, 2011년 새 읽기 교육과정에 대한 개정 논의가 진행되고 있는 현재의 맥락에서 텍스트 위계화의 문제는 가장 중요하면서도 동시에 본질적인 논의로 부각되었다. 현재까지 학생들의 읽기 발달 수준을 고려한 실제적이고 객관적인 읽기 텍스트 위계화 방안에 대한 논의는 거의 이루어지지 않았다. 일반적으로 읽기 교육에서 대상이 되는 읽기 텍스트의 평가와 선정의 과정은 그간 부분적인 양적 이독성(readability)에 바탕을 두거나, 교사나 연구자들의 가설적 준거에 따른 판단에 의존하여 왔다. 이는 학생들의 읽기 발달에 근거한 이해 수준과 텍스트 수준을 고려한 학년별 텍스트 위계화의 방안이 구체화되지 않았기 때문이다. 이러한 가운데 2010년 6월에 발표된 미국의 공통핵심교육과정(The Common Core State Standards, 이하 CCSS)의 읽기 교육과정은 읽기 텍스트 위계화에 새로운 방안을 제시하였다. CCSS에서 제안한 ‘텍스트 복잡도 모형’(text complexity model)은 텍스트의 양적 차원과 질적 차원, 독자의 인지와 정의적 차원의 요소를 접목하여 학년 수준에 적정한 텍스트를 선정하고 위계화 하는 실증적 원리를 제공하여 주었다. 이처럼 CCSS의 텍스트 복잡도를 활용한 읽기 텍스트의 선정 및 평가 절차와 텍스트 위계화의 방안은 현행 읽기 교육과정 개발 뿐 아니라, 읽기 교재 및 읽기 능력 평가를 위한 지문 선정에 유의미한 정보를 제공하여 줄 수 있을 것으로 기대된다. 이에 본 연구에서는 우리나라 읽기 교육 맥락에 적정한 텍스트 복잡도 지수를 개발하고, 읽기 텍스트의 선정과 활용의 방안을 모색하는 방안을 구체화하기 위하여 공통핵심교육과정(CCSS)의 읽기 텍스트 위계화 원리 및 방안을 분석하였다.

[토론문] 읽기 부진 학생을 위한 교육 방향 탐색에 대한 토론문

최숙기 한국학습장애학회 2021 한국학습장애학회 학술대회지 Vol.2021 No.-

논설문 평가에 나타난 국어교사의 평가 특성 및 편향 분석

최숙기,박영민 한국교육과정평가원 2011 교육과정평가연구 Vol.14 No.1

The aims of this paper is to analyze the features of Korean language teacher's writing assessment based on Many-Facets Rasch model. For that, the 68 Korean language teachers assessed 35 persuasive writing of middle school students randomly. the rating data was analyzed by the computer program FACETS (ver 3.66.1, Linacre, 2004), with FACETS analyses run on the persuasive writing. The results are following. (1) the 14 teachers(20.58%) out of 68 were founded as overfiting raters. (2) the 10 teachers(14.70%) out of 68 were founded as underfiting or misfiting raters. (3) In the rater's gender, male and female teachers showed acceptable fit that means stable rating. But the female teachers had higher severity than that of the male teacher. (4) In the rater's career, teachers who above 20 years of teaching career reported the lowest severity level, and teachers who 1∼5 years of teaching career reported the highest severity level within teacher groups. (5) MFRM revealed several recurring bias patterns among rater subgroups. In rater–category and rater-examinee bias interactions, Some raters also rated more severely and more leniently than expected.

융복합적 문식 환경 속 국어 교육의 실천적 지식 탐색에 대한 토론문

최숙기 한국어교육학회 2020 한국어교육학회 학술발표논문집 Vol.2020 No.-

토픽 모델링을 활용한 페미니즘 텍스트 읽기에 나타난 독자 담론 분석 : 소설 82년생 김지영을 중심으로

최숙기 한국독서학회 2019 독서연구 Vol.0 No.52

The purpose of this study is to analyze the discourse produced by the readers participating in the feminist reading group, which functions as the main public sphere of the feminist issue, in the feminist book - post - reading process. After reading feminist books and reading discussions, we applied the Latent Dirichlet allocation (LDA) analysis, one of the topic modeling methods, to 48 essay essays from adult readers. The results of the analysis are as follows. First, according to the results of the word frequency (TF) analysis, Kim Ji-young novel in 1982 was a female representative of Kim Ji-young, who was born in 1982, to describe the sexual discrimination problems experienced by Korean women in the process of reading feminism appear. Secondly, according to the TF-IDF analysis, all readers discussed feminist reading discussions. Women readers used the word 'sex discrimination' more clearly, discussed the military addiction system related to 'army' 'Was frequently used. Male readers frequently use the terms' statistics', 'facts',' fractional ',' part ', and' bias' to discuss the factuality of Kim Ji Young '. Third, ten topic topics such as female employment inequality, femininity discrimination experience, fiction reality existence, feminism debate, gender conflict deepening and dissolution were derived from topic modeling based on LDA. 본 연구에서는 페미니즘 이슈에 관한 주요 공론장으로 기능하는 페미니즘 독서 모임에 참여한 독자들이 페미니즘 서적-이후적 독서 과정에서 생산한 담론 분석을 실시하고자 하였다. 이에 페미니즘 서적을 읽고 독서 토론을 수행한 이후 성인 독자 48명이 산출한 독후 에세이를 대상으로 토픽 모델링방법 중 하나인 LDA (Latent Dirichlet allocation) 분석을 적용하였다. 분석 결과는 다음과 같다. 첫째, 단어 빈도(TF) 분석 결과에 따르면 <82년 김지영> 소설이 1982년 출생한 30대 ‘김지영’이라는 여성 인물을 통해 한국 여성들이 경험한 성차별 문제를 페미니즘 독서 토론의 과정에서 일반적으로 표상하는 것으로 나타났다. 둘째, TF-IDF 분석 결과에 따르면 모든 독자 집단에서 페미니즘 독서 토론에 대한 논의가 이루어졌고, 여성 독자는 ‘성차별’이란 단어를 더 명확히 사용하였고 ‘군대’와 관련한 군가산점 제도 논의를 하였고 ‘약자’라는 단어를 빈번하게 사용하였다. 남성 독자는 ‘통계’, ‘사실’, ‘단편적’, ‘부분’, ‘편향’이라는 용어를 빈번히 사용하여 82년생 김지영 소설의 사실성 문제를 주되게 논의하는 것으로 나타났다. 셋째, LDA 기반 토픽 모델링 결과 여성 취업 불평등, 여성 성차별 경험, 소설 사실성 유무, 페미니즘 토론,젠더 갈등의 심화나 해소 등의 10개의 토픽(주제)들이 도출되었다.