수학 구성형 문항의 자동화 채점 프로그램개발 방안 탐색

다국어 초록 (Multilingual Abstract)

This study was to search the possible usage of the Constructive-Item in the large scale test to enhance the educational efficiency of the test. To achieve this goal, the research developed the Computer Automated Scoring(CAS) program and validated the program. While developing the program, prior research was analyzed and revised through a preliminary inspection and with the consultation of experts, created this program by using Mathematical Markup Language (MathML).
Math experts and computer experts verified the propriety of the program, and on the whole, the experts acknowledged the evaluation as valid. As compared with the agreement between the average scored by four human raters (two teachers and two math experts) and those of the computer, the range of the agreement ratio of the true scores and the scores by computers was .70∼.90.
Generally, the agreement ratio between the true scores and the scores by the computer was perfect agreement frequency, 736 of total 1070 (68.79%), and included one score difference, of which the frequency was 855 (79.91%). In comparison with the prior research, the agreement ratio was a little low, but it was improved many times through the inspection of propriety. This research obtained excellent results in view of the first tryout.
In inspection of the scoring errors and subjective degree between the human raters, first, the coefficient of correlation between raters had a significance statistically second, in inspection of the confidence of the raters' reliability were different in accordance with propensity of them; third, in inspection of score error items there were 216.
Computers occasionally happen to correct the errors caused by human raters during manual operations, but the computer automated scoring may have several problems. First of all, it may not be able to recognize the answers that examiners made, using different method to solve the problems. Secondly, it may not be able to recognize the answers presented through the same formula or different forms. The third thing is that it may not be able to check the answer that included some wrong elements or missed some essential parts of the solution. Finally, it may not be able to check the letter answers, as it is not the computer language.
The limit of computer automated scoring is that it is difficult to evaluate the grades, especially the questions with higher points, due to the variety of content of answer sheets. According to the confirmation result of X2, X2=6. = 2(df = 2), it doesn't matter statistically at the level of .01, which means the accuracy of computer automated scoring was insufficient, according to the variety of solution types.
Post-research will need to study the ways that can support environmental weak points and invest in them continuously.

목차 (Table of Contents)

• 목차 = i
• Ⅰ. 서론 = 1
• 1. 연구의 필요성 = 1
• 2. 연구의 목적 및 연구 과제 = 3
• 가. 연구 목적 = 3
• 나. 연구 과제 = 4
• 3. 용어의 정의 = 5
• Ⅱ. 선행연구 분석 및 이론적 배경 = 6
• 1. 구성형 평가의 정의와 특징 = 6
• 가. 구성형 평가의 정의 = 6
• 나. 구성형 평가의 특징 = 9
• 2. 컴퓨터 자동화 채점(Computer Automated Scoring:CAS) = 12
• 가. 컴퓨터 자동화 채점(CAS)의 종류 = 12
• 1) PEG(Project Essay Grader) = 13
• 2) IEA(Intelligent Essay Assessor) = 13
• 3) E-rater = 13
• 4) Intellimetric = 14
• 나. 컴퓨터 자동화 채점(CAS)의 타당성 검사 = 14
• 1) 같은 도구로 측정한 점수들 간의 관계와 일관성에 초점을 맞춘 접근 = 15
• 2) 평가 점수와 외적 측정간의 관계에 초점을 둔 접근 = 16
• 3) 채점과 과정에 초점을 둔 접근 = 17
• 다. 컴퓨터 자동화 채점(CAS)의 장점 = 18
• 라. 컴퓨터 자동화 채점(CAS)의 적용사례 = 19
• Ⅲ. 수학 구성형 문항 자동화 채점 프로그램 개발 = 20
• 1. 프로그램 개발의 전제 = 20
• 2. 개발절차 = 21
• 가. 수학 구성형 문항 제작절차 = 21
• 나. 컴퓨터 프로그램 언어 = 22
• 다. 프로그램의 구성 = 25
• 1) 시험문제 출제 = 25
• 2) 시험응시 = 27
• 3) 채점하기 = 28
• Ⅳ. 프로그램의 타당화 = 30
• 1. 프로그램에 대한 전문가 평가 = 30
• 2. 프로그램의 정확도 검증 = 31
• 가. 피험자 = 31
• 나. 분석도구 = 32
• 다. 실험절차 = 33
• 3. 분석방법 = 34
• Ⅴ. 컴퓨터 프로그램의 정확도 검증 및 해석 = 35
• 1. 인간채점자와 컴퓨터 채점의 정확도 = 35
• 2. 인간채점자간의 주관성의 정도와 채점오류 = 40
• 가. 채점자간 신뢰도 검증 = 40
• 나. 채점자내 신뢰도 검증 = 42
• 다. 채점의 오류내용 검증 = 43
• 3. 컴퓨터 채점과정에서 발생하는 오류 = 45
• 4. 답안 작성의 다양성의 정도에 따른 채점의 정확성 = 47
• Ⅵ. 결론 = 49
• 1. 결론 = 49
• 2. 연구의 제한점 및 제언 = 51
• 참고문헌 = 53
• abstract = 63
• 부록 1 수학 구성형(주관식) 평가 자동화 채점 테스트 = 65
• 부록 2 채점 기준표 = 71
• 부록 3 수학 구성형 문항의 컴퓨터 자동화 채점(CAS) 프로그램 = 120
• 부록 4 수식 편집 방법 = 129
• 부록 5 [구성형 평가(수학 주관식) 채점 프로그램 평가서] = 131