통합적 접근에 기반한 학생 평가 문항의 특성 분석 방안 탐색

박지현 한국교육과정평가원 2021 교육과정평가연구 Vol.24 No.1

최근 학생 평가 문항에 대한 새로운 분석 방법으로 문항 특성 분석(FA) 기법이 제안되었다. 이 기법은 평가 문항의 다양한 특성에 대한 질적 평정 및 평정한 특성과 평가 자료에 대한 양적 분석이 결합된 방법론이라 할 수 있으며, 문항 특성은 무엇을 어떻게 평가하는가에 대한 내용적ㆍ형식적 정보를 반영하고 있다. 본 연구는 문항 특성 분석(FA) 기법에 따라 2019년 국가수준 학업성취도 평가(NAEA) 중학교 국어, 수학 평가도구의 문항 특성을 교과 전문가들이 정성적으로 평정한 결과를 살펴봄으로써 당초의 평가 계획대로 평가도구 개발이 이루어졌는지 점검할 수 있음을 밝혔다. 또한 문항 특성별로 난이도와 변별도에 미치는 영향에 대한 정량적 분석을 통해 문항 특성 차원에서 학생 성취 결과에 대한 해석과 활용도 가능함을 확인하였다. 이러한 결과를 바탕으로 평가의 타당도 측면과 평가 결과의 환류 측면에서 갖는 문항 특성 분석(FA) 기법의 유용성이 학교 현장에서 심화되는 기반이 될 수 있는 후속 연구를 제안하였다. This study explored how to apply the item feature analysis for ensuring the validity of student assessments. The item feature analysis provides evidences of ‘how and what to be assessed’. We considered item features for curriculum-based assessments, focusing on Korean and Math in middle schools. The results of implementing item feature analysis in Korean/Math tests from 2019 NAEA indicated that both Korean and Math tests consisted of valid items based on the national curriculum. Students’ strength and weakness were observed from analyzing the relationships between students’ achievement and features of Korean and Math test items. Item features based on the curriculum and test mode have been proved as critical applications for ensuring the validity of curriculum-based assessment as well as building a tool for student assessment. Follow-up study for more broadened use of the results of study was proposed to imply item feature analysis in schools and to widen the application across the feature categories for each subject. The results of this study would contribute to extend researches on the validity of student assessment and provide the theoretical basis for selecting item features for computer-based assessments.

응급처치 지식검사 문항의 적절성 검증

이옥진(Ok Jin Lee),김미예(Mi Ye Kim) 한국체육측정평가학회 2014 한국체육측정평가학회지 Vol.16 No.2

이 연구는 응급처치 및 심폐소생술 자격부여 검사에서 사용하고 있는 지식검사 문항을 대상으로 문항의 난이도와 변별도를 분석하여 검사 문항의 적절성을 검증하는 것이 목적이다. 서울, 경기, 인천, 충청, 전라, 경상, 제주 소재의 4 년제 대학교 체육관련학과 재학생 총 976명에게 응급처치 지식검사를 실시하여 최종적으로 927명의 자료를 분석하였다. 응급처치 지식검사 도구는 대한적십자사(2008)와 대한심폐소생협회에서 사용되고 있는 응급처치 관련 지식 검사 문항 235개 중 이론관련 20문항, 실기관련 20문항을 발췌하여 총 40개의 문항으로 구성하였다. 40개 문항에 대한 전 문가들의 내용타당도 검증을 거쳐 문항의 난이도와 변별도 지수(%)를 산출하였고, 문항반응이론 중 다국면 Rasch 모 형을 적용하여 자료를 분석하였다. 자료분석은 SAS ver 9.3을 이용하여 기술통계 및 난이도와 변별도 지수(%)를 산 출하였고, 다국면 Rasch 모형은 FACETS 3.71(Linacre, 1994)을 이용하여 분석하였다. 문항분석결과, 난이도 지수의 범위는 10.6~85.6(%)로 나타났고, Rasch 모형에 의해 추정된 난이도 범위는 -2.57~2.11(logit)로 나타났다. 가장 어려운 문항은 7번 문항, 가장 쉬운 문항은 8번 문항으로 나타났다. 변별도 지수의 범위는 -4.4~57.6(%)로 나타났는데 변별도 지수가 20% 이하로 나타나 재검토가 필요한 문항이 7개(문항 1, 4, 7, 9, 19, 28, 30) 발견되었다. 또한 점이 연 상관이 음수값을 보인 문항이 2개(문항 7, 9) 발견되었다. 응급처치 교육유무에 대한 Rasch 모형 분석결과는 교육 경험이 있는 학생의 지식수준(.12)이 교육경험이 없는 학생(-0.12)보다 더 높게 나타났다. 다국면 Rasch 분석에 의해 산출된 예상에서 벗어난 응답은 전체 37,080개의 응답 중 100건(0.27%)이 보고되었다. 전반적으로 응급처치 지식검사 문항의 난이도 분포가 학생의 지식수준 전반에 걸쳐 고르게 분포하고 있지만 일부 문항에서 낮은 변별도가 발견되었다. 특히 7번 문항은 난이도가 가장 높고, 변별도에 문제가 있으며, 예상에서 벗어난 응답 중 가장 많은 부분을 차지했고, 9번 문항도 변별도에 문제가 있는 것으로 나타나 이 문항들의 수정이나 삭제를 고려해야 할 것이다. 또한 가 장 쉬운 문항으로 나타난 8번 문항과 변별도 지수가 20%이하로 나타나고 예상에서 벗어난 응답으로 나타났던 문항들 에 대한 재검토도 이루어져야 할 것이다. The purpose of this study was to verify the appropriateness of the items in Fist Aid knowledge test by calculating index of difficulty, index of discrimination, and applying the analysis of item response theory, especially the Rasch model. The participants of this study were 927 Korean undergraduate students major in sport science and physical education. The Fist Aid knowledge test consist of 40 items extracted from the First aid certification program in Korean Red Cross and Korean Association of Cardio-Pulmonary Resuscitation. The collected data were analyzed using SAS version 9.3 for descriptive statistics, index of difficulty, and index of discrimination. Many-faceted Rasch model were also applied using FACETS version 3.91. In results, the range of difficulty index were between 10.6~85.6(%), and the range of difficulty measures from the Rasch analysis were between 2.57~2.11(logit). The most difficult item was item 7, and the most easier item was item 8. The range of discrimination index were between.4.4~57.6(%), and seven items were located under the discrimination index of 20%. Negative point biserial correlation coefficient were founded in item 7 and 9 from the Rasch analysis. There is significant difference(t=11.27, p=0.001) between the experienced and unexperienced group for the education of First Aid. In conclusion, item 7, 8, 9 and other items(item 1, 4, 19, 28, 30) should be reexamined and corrected for the quality of Fist Aid certification program.

고전검사이론에 의한 적성전형 시험의 문항 분석

조장식,조길호 한국자료분석학회 2010 Journal of the Korean Data Analysis Society Vol.12 No.1

In this paper, we obtain the results of item analysis for an aptitude screening test by classical test theory. Item difficulty index, item discrimination index, and effectiveness of distractors et. al. are used for item analysis for all items. Here item difficulty index refers to how difficult a question is for the examinations and indicates the percentage of students tested who chose the correct response in the group. And item discrimination index refers to the ability of an item to differentiate among students on the basis of how well they know the material being tested. And the effectiveness of distractors is the percentage of examinees who get wrong answers in multiple choices. In this paper, we compute item difficulty, item discrimination, effectiveness of distractors for all items which has been tested at 2009 in K university using item analysis based on classical test theory. Finally, we provide a basic information who examiners of aptitude screening test can make good questions. 본 논문에서는 2009년도 K 대학에서 실시한 적성전형에서 적성검사 문항들을 고전검사이론에 의한 문항분석을 하였다. 적성전형은 언어영역 20문항, 수리영역 15문항, 그리고 사고영역 25문항 등 총 60문항을 출제되며, 각 영역별로 출제된 개개의 문항에 대한 난이도, 변별도, 추측도 및 오답매력도를 얻었다. 또한 이러한 결과를 기초로 각 영역별로 출제된 문항들에 대한 문항 양호도를 분석하였다. 또한 영역별로 출제된 각각의 문항들이 적절하게 분류된 난이도, 변별도, 오답매력도의 범주들과 관련성의 정도를 알아보기 위해 다중대응분석을 실시하였다. 그 결과 영역별로 약간의 차이는 있었지만 모든 영역의 대부분 문항들이 난이도, 변별도 및 오답 매력도 지수가 낮게 나타났으며, 다중대응분석 결과에서도 대부분의 문항들이 '낮음'으로 분류된 범주와 관련성이 높게 나타났다. 또한 난이도와 변별도의 결과를 기초로 각 문항별 문항 양호도를 분석한 결과 대부분의 문항들이 양호도가 낮은 것으로 나타났다.

표준화 시험 FLEX 러시아어 문항의 변별도 분석

추석훈(Choo Suk Hoon) 한국노어노문학회 2009 노어노문학 Vol.21 No.4

본 논문은 표준화 시험 FLEX 러시아어 문항을 개별 분석하여 본 시험의 변별도에 영향을 주는 요인을 연구하는 논문으로 문항분석의 기제로 고전문항분석과 문항반응이론을 도입하였으며, 각 이론에 근거한 문항분석에 따른 변별도 결과의 상관관계를 파악하고 있다. 분석결과 듣기와 읽기, 각 영역에서 매력적인 오답, 특별한 문법 규칙과 익숙하지 않은 어휘들을 포함한 문항 등이 변별도에 상당히 영향을 주는 것으로 나타났다. 두 가지 분석 결과에 따른 변별도 상관관계 평균은 높은 수치인 .47로 산출되었다. 예상했던 바대로 몇 몇 개별문항에 있어서는 변별도 결과의 차이가 있었다. 본 논문은 분석의 결과와 함께 문항 출제자가 유의하여야 하는 주요한 사항들을 재확인 하고, 평가도구에 대한 후속 연구, 즉 검사지 동등화와 같은 분석을 통한 후속 연구에 대해서 제안하고 있다. The present article focuses on the study of identifying the variables that may affect the level of discrimination on the items of a standardized test between the results from classical item analysis and those from analysis based on IRT(item response theory). The data for the analysis were brought from FLEX(Foreign Language EXamination) Russian. The results indicate that attractive distracters, grammar with exceptional rules and unfamiliar words were noticeable variables that may have influenced the level of discrimination in the Listening and Reading Sections. The average correlations of the results between the two analyses were estimated as .47, which indicates a high level of correlation. As expected, there were discrepancies in case of some test items. This article also suggests that the examiners should have in mind when they crete testing items. More studies on FLEX are also suggested.

답지 반응률 분포 곡선을 활용한 학업성취도 평가 국어과 문항 분석 연구 : 중학교급 선다형 문항을 중심으로

이상일,김승현 한국교육과정평가원 2016 교육과정평가연구 Vol.19 No.2

본 연구에서는 국가수준 학업성취도 평가 중학교 국어 선다형 문항을 대상으로 답지 반응률 분포 곡선을 활용한 문항 분석 방법으로 학생들의 학업성취 특성을 분석하고, 이를 통해 국어과 교수·학습, 교육과정, 평가에서의 시사점을 도출하였다. 영역별 분석 예시 문항은 2014년 학업성취도 평가 중학교 국어 문항 중 듣기, 읽기, 문법, 문학 영역에서 각각 1개씩 총 4개 문항을 선정하였다. 본 연구에서 분석한 4개 문항과 2010∼2014년 문항 분석 결과를 토대로 중학교 3학년 국어과 교수·학습 및 평가에 대한 시사점을 제시하면 다음과 같다. 듣기 영역에서는 학생들로 하여금 담화를 들으며 핵심적인 정보가 무엇인지, 화자가 어떠한 의도로 이러한 정보들을 사용하고 있는지,화자가 사용한 근거들이 화자의 주장을 적절히 뒷받침하고 있는지 등을 파악하면서 듣는 활동을 연습시킬 필요가 있음을 알 수 있었다. 읽기 영역에서는 기초학력 이하 학생들의 추론적 사고력을 길러주기 위한 읽기 영역의 교수·학습을 강조할 필요가 있었다. 문법 영역에서는 보통학력 이하 학생들의 담화 표지 이해 및 활용 능력이 부족함을 알 수 있었다. 문법 지식의 기초를 다지고 이를 바탕으로 실제 읽기 과정에서 문법 지식을 정확하게 활용하는 능력을 기르도록 할 필요가 있음을 알 수 있었다. 또한 문학 영역에서는 기초학력 이하 학생들에게 작품을 감상하고 수용하는 데 사회문화적 상황을 고려하여 심도 있는 이해를 할 수 있도록 지도할 필요가 있음을 알 수 있었다. 향후 학습자 심층 면담 등의 질적 연구 방법을 강화하여 교수·학습이나 교육과정 개선에 대한 기여도를 높일 수 있을 것이다. The study aims to examine the characteristics of educational achievement through an in-depth item analysis using the distribution curves of the response rates by scores. All multiple-choice test items of the middle school National Assessment of Educational Achievement(NAEA) from 2010 to 2014 were analyzed and the distribution curves of the percentages of students responding to the correct and incorrect answers were produced for a close investigation. Also, an analysis of the respective response characteristics with visualized data was made and the features of educational achievement and implications were suggested through the conferences of experts. In Korean subject, a total of 140 multiple-choice test items were carefully selected, and 4 items, 1 for each 4 assessment area (listening, speaking, reading, grammar, literature), were chosen to make an item analysis. The implications from the results were concluded as follows: first, additional qualitative analysis on students’ responses to each option is required to verify the findings derived from the current study. Second, in grammar, usual and middle-long term teaching-learning is necessary in order to enhance the language recognition, norms, and new items which altogether make students’ level distinguishable based on their ability. Third, in literature, teaching and learning strategies for improving students’ abilities to interpret and understand studies in Korean literature should be provided, especially for students below the Proficient level. Teaching-learning measures may help gradually learners to develop the level of appreciation in literature, and also understand works in literature by using an individual (or a group of) work where same contents and structures should be introduced. These findings can lead implications on how to improve the national curriculum as well as teaching and learning methods in Korean subject.

스포츠 열정 척도의 양호도 분석과 문항 재구성

김우진,민왕식,서명근,김성희 한국스포츠학회 2017 한국스포츠학회지 Vol.15 No.3

본 연구는 스포츠 열정 척도의 양호도 분석과 이에 따른 문항을 재구성하는데 그 목적이 있다. 이원론적 열정이론 에서 파생된 스포츠 열정은 조화열정과 강박열정으로 구성되어 있으며, 스포츠 참여자를 중심으로 적용되는 척도이다. 이러한 스포츠 열정 척도는 현재 타당화를 위한 분석이나 적합도 검증이 이루어지고 있지 않는 실정이다. 따라서 본 연 구는 문항반응이론을 적용하여 스포츠 열정 척도의 응답자 신뢰도, 문항 신뢰도, 척도의 곤란도, 적합도 및 응답범주의 적절성 등을 평가하였다. 구성타당도(탐색적・확인적 요인분석)를 분석하기 위하여 SPSS 18.0, Amos 20.0을 사용하 였으며, 다국면 Rasch 모형을 분석하기 위하여 Facet 3.61 프로그램을 사용하였다. 마지막으로 연구결과를 요약하면 다음과 같다. 첫째, 탐색적 요인분석과 확인적 요인분석을 실시하여 3문항을 삭제한 결과 구성타당도를 입증하였다. 둘 째, 응답자 신뢰도와 문항 신뢰도의 Infit·Outfit 지수는 기준치를 만족하였으나, 더 많은 문항이 필요한 것으로 나타났 다. 셋째, 곤란도와 적합도 검증 결과 3개 문항의 Infit・Outfit 지수가 기준치를 만족하지 못하였다. 넷째, 성별, 연령, 학 력에 따른 문항 곤란도 차이는 존재하지 않았으나 50대와 60대의 Infit·Outfit 지수가 낮게 나타났다. 다섯째, 응답범 주 분석 결과 4점 척도 범주가 적절한 것으로 분석되었다. The purpose of this study was to analyze the fitness of the sports passion scale and reconstruct the items. The sport passion scale derived from the dualistic passion theory consists of harmonious passion and obsessive passion, and is applied to sports participants. But such a sports passion scale has not currently validated or tested for goodness of fit. Therefore, this study evaluated respondent reliability, item reliability, difficulty level, goodness of fit and appropriateness of response category of sports passion scale by item response theory. SPSS 18.0 and Amos 20.0 were used to analyze construct validity (exploratory and confirmatory factor analysis), and Facet 3.61 program was used to analyze the many facet Rasch model. Finally, the results of the study are summarized as follows. First, the results of deleting 3 items by exploratory factor analysis and confirmatory factor analysis were conducted to confirm the construct validity after. Second, Infit・Outfit Index of respondent’s reliability and item reliability meets standard value, but more items were needed. Third, the results of verifying difficulty level and goodness of fit of scale revealed the Infit・Outfit index of three items did not meet the standard value. Fourth, there was no difference in the difficulty level according to gender, age, education, but Infit・Outfit index of 50s and 60s showed low. Fifth, the response category analysis showed that the 4 - point scale was appropriate.

중등 기술교사 임용시험의 교과교육학 관련 기출문항 분석: 2014학년도 ~ 2024학년도를 중심으로

김성애 한국기술교육학회 2023 한국기술교육학회지 Vol.23 No.3

이 연구의 목적은 중등 기술교사 임용시험 기출문항 중 교과교육학과 관련된 문항을 분석함으로써 개선방안을 도출하는 데 있다. 이를 위해 객관식 시험이 폐지된 2014학년도부터 2024학년도까지 시행된 기술 과목의 임용시험 기출문항 중 교과교육학과 관련된 문항을 수집하여 분석하였다. 이 연구에서의 교과교육학 관련 문항은 임용시험의 출제 범위에 포함된 「기술교육론」의 전체 평가영역과 「공학기술공통」의 ‘발명과 지식재산’ 평가영역과 관련된 문항으로 정의하였으며 연구 결과는 다음과 같다. 첫째, 문항 수를 분석한 결과 논술형 시험이 폐지되기 전에는 4~5문항이, 논술형 시험이 폐지된 이후에는6~7개의 문항이 출제되었다. 문항 배점을 분석한 결과 교과교육학 관련 기출문항 배점 비율은 전체 배점의 26.93%이었으며, 논술형 시험이 폐지된 이후에는 전체 배점의 27.50%가 유지되고 있다. 둘째, 평가영역의 구성을 분석한 결과 가장 출제 빈도가 높은 영역은 ‘기술 교과교육 과정’이었으며, 평가내용요소의 구성을 분석한 결과 가장 출제 빈도가 높은 내용요소는 ‘현행기술교과교육과정’(15.60%)과 ‘기술 교과 교수⋅학습 방법론’(15.06%)이었다. 2014학년도 이후 출제 빈도가 0인 평가영역은 2개였으며, 평가내용요소는 10개였다. 셋째, 교과교육학 관련 문항에 등장하는 교수⋅학습 활동 주제를 분석한 결과 가장많이 포함된 교과내용학은 「공학기술공통」의 ‘발명 문제해결’ 평가내용요소로였다. ‘생명기술’과 ‘정보통신기술’은 2014학년도 이후 각 1회씩만 포함되었다. 이를 토대로 문항수 및 문항 배점의 재구성, 평가영역 및 평가내용요소의 균형적 출제, 현장 기술교육을 기반으로 한 평가영역 및 평가내용요소 재편 등개선 방안을 제안하였다. The purpose of this study is to analyze previous questions related to the employment exam for technology teachers in secondary schools. To achieve this, we collected and analyzed subject pedagogy-related questions from employment exams conducted from the 2014 to 2024 school years, after the multiple-choice test was abolished. The results of the study are as follows: First, in analyzing the number of questions, there were 4 to 5 questions related to subject pedagogy before the essay-type test was abolished and 6 to 7 questions after its abolition. In terms of item distribution, 26.93% of the total distribution of subject pedagogy-related questions occurred before the essay-type test was abolished, and 27.50% occurred after its abolition. Second, in analyzing the composition of the evaluation area and contet elements, the area with the highest frequency of questions was the ‘technology curriculum.’ and the content elements with the highest frequency of questions were the ‘current technology curriculum’ (15.60%) and ‘technology subject teaching and learning methodology’ (15.06%). Since 2014, two evaluation areas and ten evaluation content elements have had zero frequency of questions. Third, in analyzing the topics of teaching and learning activities appearing in questions related to subject pedagogy, the most frequently included subject content studies were the elements of evaluation for solving common invention problems with engineering technology. Since 2014, only once each of life technology and information and communication technology has been included. Based on these findings, improvement measures were proposed, such as reorganizing the number and allocation of questions, balancing questions across evaluation areas and content elements, and reorganizing evaluation areas and content elements based on field technical education.

교과내용학 : 대학생 인성 검사도구 타당화 연구

이윤선 ( Yoon Sun Lee ),강혜영 ( Hye Young Kang ),김소정 ( So Jung Kim ) 한국윤리교육학회 2013 윤리교육연구 Vol.0 No.31

본 연구의 목적은 신뢰도와 타당도가 검증된 한국 대학생을 위한 인성 검사도구를 개발하는 것이다. 첫 번째 단계는 문헌 및 현장연구와 전문가 간담회 등을 통해 구인모델을 확정하여 예비조사를 위한 97개의 문항을 개발한 것이다. 예비조사는 대학생 682명을 대상으로 훈련받은 검사진행자가 검사에 대해 안내를 한 후 진행하였다. 예비조사 분석결과를 바탕으로 연구자 회의 및 전문가의 의견을 반영하여 본 조사를 위한 최종 75개 문항을 결정하였다. 본 조사는 2060명의 대학생을 대상으로 선발된 75개의 문항을 온라인 검사 방법으로 시행하였다. 수집된 2060부 가운데 결측치를 가진 응답지 90부를 제외하고 1970명의 데이터를 분석하였다. 본조사의 75문항은 고전검사이론과 문항반응이론에 근거한 문항분석과 구인타당도 및 신뢰도 검증을 통해 분석되었고 이 결과를 토대로 최종 60문항이 선정되었다. 최종 선정된 60문항에 대해 문항분석과 구인타당도 및 신뢰도를 검증하였다. 문항분석 결과 고전검사이론에 의거한 난이도 및 변별도, 문항반응이론에 근거한 문항모수추정치 및 적합도 통계치(fit statistics)가 모두 적절한 것으로 나타났다. 탐색적 요인분석과 확인적 요인분석 결과 개발된 문항은 검사의 구인을 타당하게 측정하는 것으로 나타났고, 신뢰도의 경우 검사 전체는 .96이고 인지영역은 .91, 정의영역은 .93, 행동영역은 .87로 높게 나타났다. 60문항으로 이루어진 대학생 인성 검사도구의 구인모델은 인지영역, 정의영역, 행동영역의 세가지 상위요인과 각각의 하위요인을 갖는 것으로 확인되었다. 마지막으로 검사개발 과정에서 나타난 인성에 대한 개념을 논의하고, 대학생 인성 프로그램과의 연계가능성을 탐색하였다. The purpose of this study is to develop the character index instrument for college students and conduct a validation study. Throughout the literature review of the previous studies in character education, the observation of the character education programs in college, and interviews with character educators, the first 97 items in three subfactors( knowing, feeling, behaving) were developed. After assuring the content validity by the content experts, the pilot test was administered to 682 college students. Based on the results of the item analysis, reliability, and validity, 75 items were selected for the operational character test. The operational test was administered to 2060 college students and the data were analyzed using Classical Test Theory(CTT) and Item Response Theory(IRT) for item analyses and factor analyses for the validity study. After checking all statistics, the final 60 items were determined for college students` character test. Reliability of the final test and the three sub-factors showed high alpha coefficient in the range of .87-.97. The results of both exploratory factor analysis(EFA) and confirmatory factor analysis(CFA) concluded that the newly developed instrument measure the character level for college student as planned. This character test not only provides useful information and resources in developing character education programs but also it evaluates the effect of the character education programs by comparing the differences before and after the program administration. Finally, this instrument will enable to understand students` trends on the character level in the four years of the college life.

대학수학능력시험 직업탐구영역 공업계열 출제 문항에 관한 고찰

함승연 대한공업교육학회 2007 대한공업교육학회지 Vol.32 No.2

The purpose of this study was to present improvement directions of college scholastic ability test on industry department. Industry department test were classify and abstracted sampling test on contents and movement domain, analyzed example items of college scholastic ability test on industry department. Research methods used in this study were review of related literature, the item analysis and item pattern analysis between college scholastic ability test on introduction to industry and curriculum, contents of textbook. After finding a problem of developing items, trying to find a solution to the problem and developing an up-to-date method of items was to present improvement. Based on the result of the study, some recommendations for future researches were made as follows: First, a phenomenon of making same contents items over again and no making items not on made the items ever have to cut. Second, Time to read and make sense of items have to reduce because depend on the degree of difficulty related on time to understand of items. Third, the depth of textbook contents has to develop on curriculum this year. Fourth, the succeeding study on linkage between college scholastic ability test and simulation of college scholastic ability test. Fifth, verification validity on contents of new movement domain is developed new and striking test items. 이 연구는 지금까지 출제된 공업계열 과목의 수능 문항을 대상으로 하여, 내용 영역 및 행동 영역 별로 문항을 분류추출하고 각 영역 별로 고루 출제되고 있는지를 분석하여, 출제 경향 및 문제점을 파악하고 참신한 문항 개발 사례를 분석하여 공업계열 문항 개발에의 시사점을 제시하는데 그 목적이 있다.이 연구의 목적을 달성하기 위하여 내용 영역 별로 문항을 분류하여 분석하고, 행동 영역 별로 예시 문항을 추출하여 분석하였으며, 참신한 문항 개발 사례를 선정하였다. 이를 통하여 얻은 주요 결론은 다음과 같다. 첫째, 내용 영역별 문항 분류를 통하여 출제 경향을 분석한 결과 비교적 중영역 별로 고르게 출제되었다. 둘째, 공업 입문은 입문적 성격이 강한 이론 과목의 특성이 있고 공업의 전반적인 내용을 포괄하고 있어 다른 과목에 비하여 비교적 시사적인 내용이 많이 출제되었는데, 교육과정과 관련된 시사적인 문항을 출제하였어도 당초 의도와는 전혀 다르게 문항에 제시된 정보만으로도 문제를 해결할 수 있는 문항이 많이 출제되었다. 셋째, 행동 영역의 하위 영역별로 예시 문항을 추출하여 분석한 결과 다양한 소재를 활용한 타당하고 참신한 문항이 많이 출제되었다. 이 연구를 수행하면서 나타난 문제점과 연구 결과를 토대로 앞으로 공업계열 수능 문항을 개발하는데 있어서 몇 가지 제언을 하면 다음과 같다. 첫째, 이 연구에서는 공업계열 모든 과목을 대상으로 하지 않고 공업 입문 과목에 한정하여 분석하였기 때문에, 기초 제도, 정보 기술 기초, 프로그래밍 등의 과목에 대한 후속 분석이 필요하다. 둘째, 행동 영역 별로 하위 영역을 통합하여 새로운 하위 영역을 지속적으로 개발하고, 하위 영역 분류 및 내용에 대한 타당성 검증 연구가 수행된다면 보다 참신하고 좋은 문항을 개발하는데 도움이 될 것이다.

베이지안 네트워크를 활용한 교육 및 심리검사의 문항분석

강태훈(Tae hoon Kang) 한국교육평가학회 2014 교육평가연구 Vol.27 No.4

본 연구에서는 심리측정학 분야에서 활용 가능한 인지진단 도구의 하나로서 관심을 받고 있는 베이지안 네트워크를 통하여 교육 및 심리검사 실시 결과에 대한 양적 문항분석 작업을 수행하는 방법을 제시하고자 하였다. 이를 위하여 우선 베이지안 네트워크를 검사 자료에 적용할 때 추정되는 조건부 확률표의 수치들을 활용하여 문항곤란도와 문항변별도를 정의하였다. 그리고 측정하고자 하는 피험자 능력 측면에서 각각 일차원성과 다차원성을 가정하는 두 종류의 실제 검사 자료에, 베이지안 네트워크를 이용한 문항분석을 실시한 뒤, 고전검사이론과 문항반응이론을 적용하여 산출된 문항분석 결과와 비교하였다. 그 결과, 문항분석 차원에서 세 가지 접근 방법 간에 상당한 수준으로 일치하는 결과를 얻을 수 있었다. 이러한 결과를 통하여, 베이지안 네트워크를 활용한 문항분석이 주어진 검사 자료에 대한 문항분석을 실시함에 있어서 실제적으로 적용 가능한 방법이라고 말할 수 있었다. 추가로, 베이지안 네트워크 문항분석이 보다 풍부한 정보를 제공하면서 더 다양한 맥락에서 활용되기 위하여 앞으로 심층적으로 연구되어야 할 부분에 대하여 논의하였다. This study is to propose a quantitative item analysis method using the Bayesian network approach which is receiving attention as one of many possible cognitive diagnostic tools. To this end, the figures in conditional probability tables which are estimated through the Bayesian network are used to define item parameters such as item difficulty and item discrimination. Then, after performing the item analysis jobs for two kinds of actual data sets with the Bayesian network, the results were compared to those produced by the applications of classical test theory and item response theory. As a result, in terms of quantitative item analysis, similar results among the three approaches could be obtained. Through these results, it can be seen that the Bayesian network could be another applicable method for the purpose of item analysis. Finally, the future study issues to make this item analysis method provide richer information and be utilized in more complicated contexts were further discussed.