감점제와 단답형을 도입한 컴퓨터화 변형 선다형 시험 방식이 역행풀이 감소에 미치는 영향

송민해(Min Hae Song),박주용(Jooyong Park) 한국교육평가학회 2020 교육평가연구 Vol.33 No.3

본 연구는 우리나라 교육 현장에서 광범위하게 사용되는 선다형의 단점인 역행풀이를 완화시키기 위한 노력의 일환으로 수행되었다. 역행풀이란 답지를 이용하여 답을 추측해내는 전략이다. 이를 막기 위해 문제만 먼저 제시하고, 학습자가 요청하는 경우에 선지를 짧게 제시하는 컴퓨터화 변형 선다형 시험 방식(CMMT)을 고려했다. CMMT는 선지가 짧은 시간만 제시되어 역행풀이를 일부 줄일 수 있지만 학습자가 선지가 보이는 짧은 시간을 이용하여 답을 추론할 가능성이 여전히 남아있다. 본 연구에서는 이 가능성을 방지하기 위해 CMMT 방식에 감점제와 선다형으로 풀기 전에 단답형으로 답을 쓰는 절차를 도입하였다. 대학생을 대상으로 두 실험을 진행한 결과 CMMT 방식에 감점 비율이 높을 때 역행풀이가 유의하게 줄어듦을 발견하였다. 전체 논의에서는 본 연구 결과를 토대로 실제 교육 현장에서의 적용 가능성과 함께 이와 관련된 후속 연구 방향을 다루었다. This study was conducted to find out a way of reducing the problem of multiple-choice test, which is widely used in current Korean educational setting. The problem of multiple-choice test is that students could find the correct answer from the options by guessing when they do not know the answer. In order to prevent the problem, we considered the modified multiple-choice testing system (CMMT). CMMT could lessen the possibility of guessing by showing options briefly upon their request. However, even with the CMMT system, some students tried to select options during short time when they do not know the correct answer. The aim of this study was finding out if penalizing wrong answers and combining short answer could lower the possibility of guessing. Two experiments were conducted by students who were tested with the directions that they will be penalized for wrong answers, but not for no response. In experiment 1, two factors were manipulated: levels of penalizing (high and low) and formats of testing (traditional multiple-choice format and CMMT forma)t. The number of no response and probability of guessing were compared. Results showed that the number of no response was significantly higher and probability of guessing were significantly lower when using the CMMT with high penalizing percentage. In Experiment 2, we replicated the results of Experiment 1 using higher penalizing percentages than those of Experiment 1. Implications of these results and directions for future research in educational psychology were speculated in General discussion.

대학수학에서 바람직한 선다형문제 만들기

김병무 ( Byung Moo Kim ) 한국수학교육학회 2008 수학교육논문집 Vol.22 No.4

산문자료 학습에서 인출 연습과 문제 유형이 파지에 미치는 효과

박영각 경북대학교 사범대학부속중등교육연구소 2017 중등교육연구 Vol.65 No.4

학습자들이 이전에 학습한 자료에 대하여 인출 연습(시험)을 해 보는 것은 학습 파지를 증진시킬 수 있다. 본 연구에서는 인출 연습 실험을 위해 한국어 산문자료를 개발하였으며, 중학생을 대상으로 하여 인출 연습 및 추가 인출 연습, 문제 유형이 학습 파지에 미치는 효과에 대하여 살펴보았다. 그 결과, 학습 파지를 위해서는 인출 및 추가 인출 연습을 해 보는 것이 매우 효과적이며, 단답형 문항이 선택형 문항보다 더 효과적인 것으로 나타났다. 학습자들의 자기 보고 형식의 추정 응답률에서 선택형 문항에서는 학습자들이 학습 내용을 정확히 파지했다고 보기 어려운 것을 확인할 수 있었다. 그리고 인출 연습과 문제 유형은 매우 상관관계가 높은 것으로 나타났다. 그러므로 교실 수업에서 학습 후 인출 연습의 중요성과, 단답형 문항의 비율을 높임으로써 학습 파지를 증진시킬 수 있으며, 형성평가 등을 적극 활용한 교수․학습을 설계할 것을 제안한다.

국가수준 학업성취도 평가의 서답형 학생 답안 분석 및 발전 과제

장의선 한국사회교과교육학회 2018 사회과교육연구 Vol.25 No.4

The purpose of this study is to derive directions for improvement and development of descriptive evaluation items. To this end, the researchers analyzed the students' answer sheets to geography related items of the National Assessment of Educational Achievement. As a result of the analysis, the students' answers varied and different than expected, including the ways of combinations of content elements that constitute the correct answers and unexpected answers. The wrong answers are affected by the unclear understanding of concepts, inaccurate memory of concepts, and the complexity of evaluation elements. Based on these results, the implications for future improvements and developments in descriptive evaluation items are as follows: First, in terms of essay items, the elements of the assessment should be clarified. In addition, the structure of the question should be refined to measure the overall thinking power. Second, in terms of short-answer item, specific examples of real life should be presented as questionnaires, not as a prior definition of concepts. Third, the information for analyzing student answers can be useful for teaching learning strategies by achievement level. Therefore, the data should be processed and provided for easy use by teachers. 본 연구는 국가수준 학업성취도 평가의 사회과 지리 영역 서답형 문항에 대한 학생 답안을 분석하고 향후 서답형 문항의 개선 및 발전을 위한 시사점과 과제를 도출한 것이다. 연구 결과, 학생들의 답안 진술 양상은 정답을 구성하는 내용 요소 조합에 대한 경우의 수와 예상 밖의 답안 등으로 인해 문항별로 차이는 있지만 출제자의 예상보다 다양하게 나타났다. 오답군의 경우에는 개념의 명확한 이해와 개념어 또는 용어의 정확한 인출, 그리고 평가 요소의 복합성 등이 영향을 미친 것으로 나타났다. 이러한 분석 결과를 토대로 한 향후 서답형 문항의 개선 및 발전에 대한 시사점은 다음과 같다. 첫째, 서술형 문항 출제의 측면에서는 평가 요소의 명료화와 함께 종합적인 사고력 측정에 적합하도록 문항 구조의 정교화 작업이 출제 과정에서 지속적으로 견지되어야 한다. 둘째, 단답형 문항 출제의 측면에서는 개념이나 용어의 사전적 정의보다는 실생활의 구체적 사례를 문항 자료로 제시해야 함에 유의해야 한다. 셋째, 향후 문항별 통계 정보와 분석 자료는 성취수준별 교수학습 전략에 유용하게 활용될 수 있는 정보이므로 수업 활용에 용이하도록 다양한 형태의 가공 작업과 적극적인 홍보를 통하여 학교 현장에 제공될 필요가 있다.

교실 영어시험의 컴퓨터 채점 프로그램 제작을 위한 조사 연구

이영식 ( Young Shik Lee ),백지원 ( Ji Won Paek ) 글로벌영어교육학회 2007 Studies in English education Vol.12 No.1

러시아의 국가통합시험에서 수학교과의 서술형 평가 연구

한인기,신블라디미르 경북대학교 과학교육연구소 2022 科學敎育硏究誌 Vol.46 No.1

Descriptive assessment is a meaningful assessment method in relation to problem solving ability, reasoning ability, and communication ability as emphasized in mathematics curriculum. In Korea, as performance assessment has been emphasized since the 7th mathematics curriculum, descriptive assessment is being conducted as a method of performance assessment in schools. However, descriptive assessment has not been introduced in the university scholastic ability test for various reasons. Considering that descriptive assessment is emphasized in the mathematics classroom and has sufficient educational value, a serious discussion on the implementation of descriptive assessment in the university scholastic ability test will be necessary. In this study, we analyzed the descriptive assessment of Russia's unified state examination (USE) in the mathematics, which corresponds to Korea's university scholastic ability test. Through a literature review, we investigated how mathematics examination problems were structured in the USE and which mathematical abilities were required for the examination. In particular, the outer structure of the problems was analyzed focusing on the mathematics problems of the USE 2021, and the scoring method of the descriptive problems was also analyzed. The results of this study are expected to provide a variety of information on the possibility of introducing descriptive assessment in the Korean university scholastic ability tests. 서술형 평가는 수학과 교육과정에서 강조하는 문제해결 능력 신장, 추론 능력, 의사소통 능력과 관련하여 의미있는 평가 방법이라 할 수 있다. 우리나라에서는 제7차 수학과 교육과정 이후로 수행평가가 강조되면서 중등학교에서 수행평가의 한 방법으로 서술형 평가가 이루어지고 있다. 그렇지만, 대학수학능력시험에서는 여러 가지 이유로 서술형 평가가 도입되지 못하고 있다. 수학교실에서 서술형 평가가 강조되고 교육적으로 충분히 가치가 있다는 것을 감안하면, 대학수학능력시험에서 서술형 평가의 실시에 대한 진지한 논의가 필요할 것이다. 본 연구에서는 우리나라의 대학수학능력시험에 해당하는 러시아의 국가통합시험의 수학 교과에서 실시중인 서술형 평가를 분석하였다. 문헌 연구를 통해, 국가통합시험에서 수학 시험 문제들이 어떻게 구성되었는지, 시험에서 요구되는 수학적 능력은 무엇인지 고찰하였다. 특히, 국가통합시험의 수학 2021년 출제 문제를 중심으로 문제들의 외적 구조를 분석하였고, 서술형 문제들의 채점 방법을 분석하였다. 본 연구의 결과는 우리나라의 대학수학능력시험에서 서술형 문제의 도입 가능성에 대한 다양한 정보를 제공할 수 있을 것으로 기대된다.

웹에서의 저가 음성인식 시스템의 구현

박용범(Park Young Bom),박종일(Park Jong II) 한국정보처리학회 1999 정보처리학회논문지 Vol.6 No.4

Isolated word recognition using the Dynamic Time Warping algorithm has shown good recognition rate on speaker dependent environment. But, practically, since the searching time of the Dynamic Time Warping algorithm is rapidly increased as searching data is increased, it is hard to implement. In the context-dependent-short-query system such as educational children's workbook on the Web, the number of responses to the specific questions is limited. Therefore, the searching space for the answers can be reduced depending on the questions. In this paper, low cost implementation method using DTW for the Web has been proposed. To cover the weakness of DTW, the searching space is reduced by the context. The searching space, depends on the specific questions, is chosen from interest searchable candidates. In the real implementation, the proposed method show better performance of both time and recognition rate.

국가수준 학업성취도 평가 서답형 문항에 대한 자동채점의 실용성 분석

이상하,노은희,성경희 한국교육과정평가원 2015 교육과정평가연구 Vol.18 No.1

서답형 문항은 선택형 문항에 비하여 고차원적인 사고를 측정하기 용이하다는 교육적인 장점이 있음에도 불구하고, 채점에 소요되는 시간과 비용으로 인해 대규모 지필평가에서는 선택형 문항의 비중이 오히려 높은 편이다. 대규모 교육평가의 제한된 예산 범위 내에서 서답형 문항의 다양성과 비중을 확대하기 위해서는 컴퓨터 기반 평가와 자동채점을 적극적으로 도입할 필요가 있다. 이 연구의 목적은 단어 · 구 수준의 한국어 서답형 답안을 처리할 수 있는 자동채점 프로그램을 활용하여 지필평가의 서답형 문항을 채점하는 방법의 실용성을 분석하는 것이다. 이를 위하여 2014년 국가수준 학업성취도 평가의 사회 교과에 응시한 중학교 3학년 표집학생 7,442명의 서답형 답안을 합숙채점과 자동채점의 두 가지 방법으로 채점하였다. 서답형 문항에 대한 자동채점의 실용성 평가는 채점 비용의 효율성과 채점 결과의 정확성 측면에서 기존의 합숙채점과 비교하는 방법으로 이루어졌다. 자동채점은 합숙채점에 비하여 채점 비용의 60% 이상을 절감할 수 있고, 자동채점에 최적화된 채점 방식을 사용할 경우 채점 비용의 80% 이상을 절감할 수 있는 것으로 분석되었다. 또한, 합숙채점 최종점수와 자동채점 점수 간의 상관계수는 0.97~1, 완전일치도는 97.76%~99.99%, 근사일치도는 98.15%~100%, 카파계수는 0.94~1, 일차가중카파계수와 이차가중카파계수는 0.96~1인 것으로 나타났다. 이와 같은 상관계수와 일치도 수준은 자동채점과 채점 전문가의 점수가 매우 유사하다는 것을 의미한다. 결론적으로, 이 연구는 채점 비용의 효율성과 채점 결과의 정확성 측면에서 지필평가의 서답형 답안에 대한 자동채점의 실용성을 확인하였다. 또한, 단어 · 구 수준 한국어 자동채점 프로그램이 인간 채점자의 일부 또는 전부를 대체하거나 인간 채점자의 채점 오류를 관리할 수 있는 수준까지 도달했다는 것을 확인하였다. This study aims to evaluate the costs and accuracy of automated scoring for short-answer questions of National Assessment of Educational Achievement (NAEA). To contrast automated and human scoring, both scoring methods were used to grade 14 short-answer questions of the NAEA Social Studies subtest that was taken by 7,442 ninth-grade students in 2014. We analyzed the effects of automated scoring on the costs and accuracy of scoring short-answer questions. We found that more than 60% of the human scoring costs can be saved by only using the automated scoring program. In addition, more than 80% of the human scoring costs can be saved if the current scoring method of NAEA becomes optimized for automated scoring. Correlation coefficients between human and machine scores for 14 questions ranged from 0.97 to 1, exact agreement ranged from 97.76% to 99.9%, and kappa coefficients ranged from 0.94 to 1. Exact and adjacent agreement for 5 questions ranged from 98.15% to 100%, and linear kappa coefficients and quadratic kappa coefficients ranged from 0.96 to 1. Moreover, results showed that correlations and agreement rates between human and machine scores are as high as the ones between human scores. We concluded that automated scoring can reduce the costs of scoring short-answer NAEA questions without sacrificing the accuracy of scoring. It is suggested that the automated scoring system can be used to replace one or two human raters when scoring the short answer NAEA questions, to monitor human scoring, or to train human raters.

함수 영역 문제해결 협력학습 과정에서 문제 유형에 따른 중학생의 인지부하 분석

김성경 ( Kim Seong-kyeong ),김지연 ( Kim Ji Youn ),이선지 ( Lee Sun Ji ),이봉주 ( Lee Bongju ) 한국수학교육학회 2018 수학교육 Vol.57 No.2

From the assumption that an individual’s working memory capacity is limited, the cognitive load theory is concerned with providing adequate instructional design so as to avoid overloading the learner’s working memory. Based on the cognitive load theory, this study aimed to provide implications for effective problem-based collaborative teaching and learning design by analyzing the level of middle school students’ cognitive load which is perceived according to the problem types(short answer type, narrative type, project) in the process of collaborative problem solving in middle school function part. To do this, this study analyzed whether there is a relevant difference in the level of cognitive load for the problem type according to the math achievement level and gender in the process of cooperative problem solving. As a result, there was a relevant difference in the task burden and task difficulty perceived according to the types of problems in both first and second graders in middle schools students. and there was no significant difference in the cognitive effort. In addition, the efficacy of task performance differed between first and second graders. The significance of this study is as follows: in the process of collaborative problem solving learning, which is most frequently used in school classrooms, it examined students' cognitive load according to problem types in various aspects of grade, achievement level, and gender.