고전검사이론에 의한 적성전형 시험의 문항 분석

조장식,조길호 한국자료분석학회 2010 Journal of the Korean Data Analysis Society Vol.12 No.1

In this paper, we obtain the results of item analysis for an aptitude screening test by classical test theory. Item difficulty index, item discrimination index, and effectiveness of distractors et. al. are used for item analysis for all items. Here item difficulty index refers to how difficult a question is for the examinations and indicates the percentage of students tested who chose the correct response in the group. And item discrimination index refers to the ability of an item to differentiate among students on the basis of how well they know the material being tested. And the effectiveness of distractors is the percentage of examinees who get wrong answers in multiple choices. In this paper, we compute item difficulty, item discrimination, effectiveness of distractors for all items which has been tested at 2009 in K university using item analysis based on classical test theory. Finally, we provide a basic information who examiners of aptitude screening test can make good questions. 본 논문에서는 2009년도 K 대학에서 실시한 적성전형에서 적성검사 문항들을 고전검사이론에 의한 문항분석을 하였다. 적성전형은 언어영역 20문항, 수리영역 15문항, 그리고 사고영역 25문항 등 총 60문항을 출제되며, 각 영역별로 출제된 개개의 문항에 대한 난이도, 변별도, 추측도 및 오답매력도를 얻었다. 또한 이러한 결과를 기초로 각 영역별로 출제된 문항들에 대한 문항 양호도를 분석하였다. 또한 영역별로 출제된 각각의 문항들이 적절하게 분류된 난이도, 변별도, 오답매력도의 범주들과 관련성의 정도를 알아보기 위해 다중대응분석을 실시하였다. 그 결과 영역별로 약간의 차이는 있었지만 모든 영역의 대부분 문항들이 난이도, 변별도 및 오답 매력도 지수가 낮게 나타났으며, 다중대응분석 결과에서도 대부분의 문항들이 '낮음'으로 분류된 범주와 관련성이 높게 나타났다. 또한 난이도와 변별도의 결과를 기초로 각 문항별 문항 양호도를 분석한 결과 대부분의 문항들이 양호도가 낮은 것으로 나타났다.

Predicting the Item Difficulty of a Simulated CSAT English Test Based on Corpus Analysis

엄혜랑 한국영어평가학회 2021 영어평가 Vol.16 No.1

This study investigates the relationship between linguistic features and item difficulty of a simulated College Scholastic Ability Test (CSAT) English test, based on a corpus analysis. The test used for the present study was a simulated CSAT English test administered in June 2020. Item difficulty data was collected from 101,386 students who took the test. For the corpus analysis, lexical and syntactic variables were measured by the Lexical Complexity Analyzer (LCA) and the L2 Syntactic Complexity Analyzer (L2SCA), the computational tool and were correlated with item difficulty (dependent variable) for 41 test items. According to the correlation analysis, one lexical variable and all syntactic variables were found to be significantly correlated with item difficulty. Also, the results of the multiple regression indicate that lexical sophistication and particular structures are related to item difficulty, explaining for approximately 55.1% of the variance in item difficulty. The results showed that the variables identified in the current study were explanatory in terms of predicting item difficulty of the CSAT English test. Therefore, the findings of this study have pedagogical implications for test developers and education policy makers in Korea, with regard to text characteristics and test difficulty. This study investigates the relationship between linguistic features and item difficulty of a simulated CSAT English test, based on a corpus analysis. The test used for the present study was a simulated College Scholastic Ability Test (CSAT) English test administered in June 2020. Item difficulty data was collected from 101,386 students who took the test. For the corpus analysis, lexical and syntactic variables were measured by the Lexical Complexity Analyzer (LCA) and the L2 Syntactic Complexity Analyzer (L2SCA). The computational tool and were correlated with item difficulty (dependent variable) for 41 test items. According to the correlation analysis, one lexical variable and all syntactic variables were found to be significantly correlated with item difficulty. Also, the results of the multiple regression indicate that lexical sophistication and particular structures are related to item difficulty, explaining for approximately 55.1% of the variance in item difficulty. The results showed that the variables identified in the current study were explanatory in terms of predicting item difficulty of the CSAT English test. Therefore, the findings of this study have pedagogical implications for test developers and education policy makers in Korea, with regard to text characteristics and test difficulty.

베이지안 네트워크를 활용한 교육 및 심리검사의 문항분석

강태훈(Tae hoon Kang) 한국교육평가학회 2014 교육평가연구 Vol.27 No.4

본 연구에서는 심리측정학 분야에서 활용 가능한 인지진단 도구의 하나로서 관심을 받고 있는 베이지안 네트워크를 통하여 교육 및 심리검사 실시 결과에 대한 양적 문항분석 작업을 수행하는 방법을 제시하고자 하였다. 이를 위하여 우선 베이지안 네트워크를 검사 자료에 적용할 때 추정되는 조건부 확률표의 수치들을 활용하여 문항곤란도와 문항변별도를 정의하였다. 그리고 측정하고자 하는 피험자 능력 측면에서 각각 일차원성과 다차원성을 가정하는 두 종류의 실제 검사 자료에, 베이지안 네트워크를 이용한 문항분석을 실시한 뒤, 고전검사이론과 문항반응이론을 적용하여 산출된 문항분석 결과와 비교하였다. 그 결과, 문항분석 차원에서 세 가지 접근 방법 간에 상당한 수준으로 일치하는 결과를 얻을 수 있었다. 이러한 결과를 통하여, 베이지안 네트워크를 활용한 문항분석이 주어진 검사 자료에 대한 문항분석을 실시함에 있어서 실제적으로 적용 가능한 방법이라고 말할 수 있었다. 추가로, 베이지안 네트워크 문항분석이 보다 풍부한 정보를 제공하면서 더 다양한 맥락에서 활용되기 위하여 앞으로 심층적으로 연구되어야 할 부분에 대하여 논의하였다. This study is to propose a quantitative item analysis method using the Bayesian network approach which is receiving attention as one of many possible cognitive diagnostic tools. To this end, the figures in conditional probability tables which are estimated through the Bayesian network are used to define item parameters such as item difficulty and item discrimination. Then, after performing the item analysis jobs for two kinds of actual data sets with the Bayesian network, the results were compared to those produced by the applications of classical test theory and item response theory. As a result, in terms of quantitative item analysis, similar results among the three approaches could be obtained. Through these results, it can be seen that the Bayesian network could be another applicable method for the purpose of item analysis. Finally, the future study issues to make this item analysis method provide richer information and be utilized in more complicated contexts were further discussed.

한국어능력시험 읽기 영역 난이도 설정에 대한 비판적 검토 -제25회∼제27회 중급 읽기 영역을 중심으로-

함정식 ( Jeong Sik Hahm ),김명광 ( Myoung Kwang Kim ) 한민족어문학회 2014 韓民族語文學 Vol.0 No.66

이 글은 제25회∼제27회 한국어능력시험 중급 읽기 영역의 문항 양호도 분석과 오답 매력도가 높은 문항에 대한 내용 분석을 통해 시험의 안정성을 평가하고 평가틀 개선을 위한 방향을 탐색하기 위하여 수행되었다. 이 연구에서 사용된 자료는 제25회∼제27회 한국어능력시험 국내 지역 응시자의 중급 읽기 영역 문항 반응 결과였으며 회차별로 사례수는 제25회 8,461건, 제26회 9,029건, 제27회 10,106건이었다. 이들 자료에 대해 고전검사이론에 의한 문항 분석을 실시하기 위해 TestAn 1.0을 사용하였다. 제25회∼제27회 한국어능력시험 중급 읽기 영역의 문항 분석 결과를 요약하면 3회 시험 모두 안정적인 평균 난이도와 변별도를 보이며 검사 신뢰도 역시 양호한 것으로 파악되었다. 그러나 문항 단위 분석 결과, 4급 합격자와 불합격자로 상하위 집단을 구분하였을 때, 동 시험이 가진 문항 난이도의 문제가 분명히 드러났다. 또 오답 매력도가 높은 문항에 대한 내용분석 결과 동 시험의 평가 기능 중 일부는 난이도를 높이기 위해 해당 수준에 맞지 않거나 지나치게 작위적인 방법으로 문항을 출제하는 것으로 드러났다. 이상의 분석 결과를 바탕으로 해당 수준에 맞지 않는 너무 쉽거나 어려운 문항을 배제해야 하며, 출제진의 전문성과 출제 체제의 개선을 위해 노력할 필요가 있고, 회차 간 동등화 방안의 마련이 필요하다는 점 등을 차후 평가틀 개선을 위한 시사점을 제시하였다. This study aims to evaluate test stability of TOPIK(Test of Proficiency in Korean) and explore ways to improve its evaluation frame through the quality analysis of test items and content analysis of highly attractive distractors in the area of reading test of TOPIK between 25th and 27th in the intermediate level. The results of item reactions were collected from the area of reading tests of TOPIK between 25th and 27th in the intermediate level and the sample size were 8,461, 9,029, and 10,106 cases for each test from 25th to 27th. TestAn 1.0 was used to implement item analysis by the classical test theory about these sample items. To summarize the results of item analysis of these materials, the all three tests from 25th to 27th showed the item difficulty, item discrimination and test reliability are overally stable and adequate as a whole. When dividing test takers in the fourth level into two groups between successful ones(the high rank group) and unsuccessful ones(the low rank group), however, this test of this range(the fourth level) indicated an error in terms of item difficulty in the light of item-based analysis. Moreover, it was revealed that the test items were made irrelevant in terms of test takers` level or excessively artificial to increase the item difficulty when the highly attractive distractors were analyzed. The results of analyzing the test, therefore suggest that level-irrelevant test items should be avoided, professional qualified test item makers should be trained, test making systems should be improved and the each case of tests should be equated to improve the overall evaluation frame hereafter.

분별도 지표로서 문항․총점 상관계수의 활용

황인홍(In Hong Hwang) 한국의학교육학회 2000 Korean journal of medical education Vol.12 No.1

시험에 사용된 문항이 잘 제작 되었는지를 평가하는 과정인 문항분석에는 대개 난이도와 분별도,그리고 오답분석의 3가지가 이용된다. 이들 중 분별도는 주로 양극집단법에 의한 분별도 지수(D)를 이용하여 왔으나, 양극 집단 내에 속한 수험생을 동일하게 처리한다는 점과 결과로 제시된 수치의 해석이 모호하다는 문제점이 있다. 문항․총점 상관계수(ITC)는 계산이 복잡하다는 단점이 있지만, 이러한 문제점을 해결하는 것으로 알려져 왔다. 이러한 배경에서 문항․총점 상관계수의 활용성을 평가해보기 위하여 실제 시험에 적용한 후 이를 양극집단법에 의한 분별도 지수와 비교 분석하였다. 1996년 1월에 시행된 의사전문의 자격시험 중 내과, 일반외과, 소아과, 산부인과의 4개 전문과목 시험을 대상으로 하였으며, 시험 문제 수와 응시자 수는 각 전문과목별로 각각 120문항/428명, 140문항/219명, 140문항/229명, 140문항/226명 이었다. 대상 문항 전체의 분별도 지수는 평균 0.170, 표준편차 0.12였고, 문항·총점 상관계수는 평균 0.210, 표준편차 0.117 로 나타나, 문항․총점 상관계수가 분별도 지수보다 다소 높은 값을 보였다. 그리고 이들 사이에는 양의 상관관계가 있었다 (r=0.677). 문항․총점 상관계수는 범위가 0.880으로 분별도지수의 0.713보다 컸다. 특히 난이도가 0.9 이상으로 높은 값을 갖는 문항만을 대상으로 비교하면(n=140), 범위가 문항․총점 상관계수에서는 0.542, 분별도 지수에서는 0.273으로 그 차이가 더욱 두드러졌다. 이와 같은 결과로부터 문항․총점 상관계수 (ITC)를, 문항의 분별도를 나타내는데 있어서 분별도 지수 (D)를 대치할 수 있는 지표로 사용할 수 있음을 확인할 수 있었다. 또 문항․총점 상관계수는 그 자체로 통계적 의미를 가지고 있으므로 해석이 쉽다는 이론적인 장점 외에도 극단적인 난이도를 보이는 문항의 경우 난이도에 의한 오차 없이 분별도를 계산할 수 있다는 실용적인 장점도 확인하였다 Item analysis is the evaluating process of items used for tests. Item difficulty, discrimination, and distractor analysis are the main components of the analysis. Discrimination index(D) by the method of extreme groups had been used for the item discrimination, but it had been known to have some disadvantages compared to item-total correlation(ITC). This study was conducted to evaluated the feasibility and the advantages of the ITC. Medical specialist qualifying examination carried out in Jan. 1999 was selected for the study material and the items of tests for the 4 major disciplines(internal medicine, general surgery, pediatrics, and obstetrics & gynecology) were analysed. The numbers of the items and examinee are 120 items/428 persons, 140/219, 140/229, and 140/226 (in the order of IM, GS, Ped, OB & Gyn) respectively. The average discrimination index(D) of all items is 0.170 and the standard deviation is 0.120. For the ITC, average is 0.210 and standard deviation is 0.117. There is positive correlation between D and ITC(r=0.677). The variation of the ITC is 0.880, which is wider than that of discrimination index(D), 0.713. Especially on the items with item s p-value greater than 0.9(n=140), the variations are 0.542 and 0.273 respectively. The difference is much distinct. These results imply that ITC can be used as the index of the item discrimination, and has some advantages compared to discrimination index(D). The advantages are the significance of the number itself and rather independence from the item difficulty.

융합형 "과학" 평가에 사용된 선다형 문항의 특성 분석: 4개 고등학교의 사례

이기영 ( Ki Young Lee ),조희형 ( Hee Hyung Cho ),권석민 ( Suk Min Kwon ),김희경 ( Hee Kyong Kim ),윤희숙 ( Hee Sook Yoon ) 경북대학교 과학교육연구소 2013 科學敎育硏究誌 Vol.37 No.2

이 연구에서는 2009 개정 교육과정에 따른 고등학교 융합형 ‘과학’ 교과에서 사용된 선다형 평가문항의 특성을 분석하였다. 문항의 출제 경향을 분석하기 위해 융합형 교과에 특이적인 분석틀을 구안하여 분석하였으며, 문항 반응 이론을 적용하여 문항의 특성을 양적으로 분석하였다. 문항의 출제경향 분석 결과, 문항 출처, 융합 범위, 인지 수준측면에서 융합형 ‘과학’ 교과의 취지를 제대로 반영하고 있지 못하는 것으로 나타났으며, 기존 교육과정의 과학 교과와 같은 분과적 교수-학습 및 평가가 이루어지고 있음을 알 수 있었다. 문항 반응 이론을 적용한 분석 결과, 대체로 문항의 난이도는 적절하며, 변별도는 높은 수준인 것으로 나타났다. 하지만 분석틀을 구성하는 3개 범주와의 연관성은 나타나지 않았다. 이와 같은 연구 결과를 토대로 융합형 ‘과학’ 교과의 취지를 반영한 교수-학습과 평가를 위한 개선점을 논의하였다. The purpose of this study was to analyze the characteristics of multiple-choice test items used in assessment of high school integrated science according to 2009 revised curriculum. For the analysis of the tendency of item setting, we devised an analytic framework specific to integrated science, and analyzed the characteristics of items by applying the devised framework and item response theory. The results of the tendency of item setting revealed that most of items run counter to the intent of integrated science in terms of item resource, integration extent, and cognitive level, which means teachers are stick to separative method in teaching-learning and assessment of integrated science. The results of the analysis applying item response theory showed that item difficulty was appropriate and item discrimination was considerably high. However, there was no relevance between the tendency of item setting and qualitative characteristics of the items. We also discussed some agendas to improve the teaching-learning and assessment of integrated science based on the results of this study.

고등학교 생명 과학 1의 지필평가 문항 분석

이동훈 ( Dong Hoon Lee ),정은영 ( Eun Young Jeong ) 경북대학교 과학교육연구소 2014 科學敎育硏究誌 Vol.38 No.3

이 연구는 고등학교 생명 과학 I의 지필평가 실태를 조사하기 위하여 일반계 고등학교 10개교를 임의로 선정하여 2013학년도 생명 과학 I의 문제지 33부(선택형 문항 690개, 서답형 문항 162개)를 분석하였다. 문항에 대해서는 Bloom의 신 교육목표 분류체계의 틀과 국가수준 학업성취도 평가의 과학과 평가틀에 근거하여 분류하였다. 선택형 문항의 경우 실제 정답률과 이원목적분류표에 제시된 난이도를 비교하였고, 서답형 문항의 경우 문항 유형에 따른 문항 수와 배점을 비교하였다. 서답형 문항 중 서술형 문항에 대해서는 반응의 허용 정도, 자료 제시 여부, 출제 형식에 따라 구분하였다. 지필평가 문항 분석 결과, 서답형 문항의 비율이 19.0%로 선택형 문항의 비율(81.0%)보다 낮았다. Bloom의 신 교육목표 분류체계에 의한 분석 결과, 지식 차원에서 ‘개념적 지식’에 해당되는 문항이, 인지과정 차원에서 ‘이해하다’에 해당되는 문항이 많았다. 국가수준 학업성취도 평가의 과학과 평가틀에 의한 분석에서 ‘지식’ 영역에 해당되는 문항이 ‘탐구’ 영역에 해당되는 문항보다 약 9배 많았다. 선택형 문항에서 이원목적분류표에 제시된 난이도와 실제 정답률을 비교한 결과, 일치하는 비율은 41.5%였다. 서답형 문항의 유형에 따른 문항 수의 비율을 비교한 결과, 단답형 문항의 비율이 34.0%였고, 그리기 문항은 ‘세포와 생명의 연속성’ 단원에서 주로 출제가 되었다. 서술형 문항에서 반응의 허용 정도에 따라 분류한 결과, 모두 ‘응답 제한형’에 해당되었고, 그 중 ‘내용범위 제한형’(67.3%)에 해당되는 문항이 가장 많았다. 그리고 자료 제시 여부에 따라 분류한 결과 ‘자료 제시형’(65.4%)에 해당되는 문항이, 출제 형식에 따라 분류한 결과 ‘지식 서술형’(80.4%)에 해당되는 문항이 가장 많았다. 이 연구 결과를 통하여 학교 현장에서 ‘탐구’ 영역에 해당되는 문항을 더 많이 출제할 필요가 있으며, 서술형 문항의 실제적 비중을 높이면서, 다양한 유형으로 출제할 필요가 있다고 생각된다. The purpose of this study was to analyze paper and pencil test items of life science I in high school to diagnose problems of the test items developed by teachers, and to provide some implication for better assessment. 690 selection-type items and 162 supply-type items in life science I were collected from 10 general high schools. In the analysis of test items, the ratio of the selection-type item and the supply-type item was 81:19 in the number of items based on item type, while the ratio was 74.4:25.6 in the distribution of marks, indicating that the distribution of marks compared to the number of items was higher in the supply-type items. In the analysis by the Bloom’s revised taxonomy of educational objectives, the items of ‘conceptual knowledge’ in the knowledge and those of ‘understanding’ in the cognition process were shown most in both the selection-type item and the supply-type item. In the analysis by the science assessment frameworks of NAEA, the items of ‘knowledge’ were shown 9 times more than those of ‘inquiry’. When compared to the level of difficulty presented in the two-way specification table and the percentage of correct answers in the selection-type item, the concurrence was 41.5%. When compared to the atio of number of items based on the item type of the supply-type items, the short-answer items were 34.0%, the descriptive items were 61.1%, and the drawing items were 4.9%. The drawing items were mainly developed in the unit of ‘Cells and Continuity of Life’. When the descriptive items were classified by the acceptance of response, all the items were ‘response restricted’ type, and the items of ‘restricted in content range’ type among them were highest. When the items were classified by presentation of data, the items of ‘presentation of data’ type were highest(65.4%), and when classified by type of question, the items of ‘knowledge description’ type were highest(80.4%). In conclusion, it is needed to develop items belonging to ‘inquiry’ area more in the school, and to increase the ratio of the descriptive items, presenting various types of items.

An Item Analysis of the English Mock CSAT

박준희 한국외국어대학교 외국어교육연구소 2018 외국어교육연구 Vol.32 No.4

Because the College Scholastic Ability Test (CSAT) is such a high-stakes national examination, it influences not only high school students, parents, and educators, but also English teaching and learning in Korean EFL classrooms in high schools. Many studies analyzed the English-language section of the CSAT. In the same vein, regularly conducted mock CSATs are also valuable data points for test-takers and test-developers. However, little research examined whether Mock CSATs measure what they are supposed to measure. This study aims to report the item analysis results for the English section of the Mock CSAT administered by the Seoul Metropolitan Office of Education in March 2018. It consists of listening and reading sections with five option multiple-choice items. Two hundred forty-nine Korean first grade high school students participated in this study. Their responses to each test item were reported as the result of item analysis with respect to three indices: item facility, item discrimination and distractor analysis. The results identified that the average of item facility was 64.8%, which means that the difficulty level was suitable for the test-takers. Item discrimination was 0.42, which indicates the test had a high discrimination power. Therefore, this study suggests that providing more plausible distractors enhance the overall test validity and reliability for future CSAT administrations.

한국어능력시험의 난이도 분석 연구

김유정 국제한국어교육학회 2006 한국어 교육 Vol.17 No.1

By analyzing the item difficulty of the sixth, seventh, and eighth Test of Proficiency in Korean (TOPIK), this study will attempt to improve the test format. In order to improve the test format, this study will analyze the item difficulty of the sixth, seventh, and eighth Test of Proficiency in Korean (TOPIK). With an analysis of the item difficulty by level and by section, the following conclusions can be drawn. First, from an item analysis by level, we can see that (1) the reading section is difficult in the lower levels, (2) the vocabulary/grammar section increases in difficulty from the lower levels to the higher levels, and (3) the listening section is relatively easy for all levels. Second, from an item analysis by level, we can see that the exam passing rate follows the item difficulty for the lower levels. Third, from an item analysis by section, we detect a great imbalance in the ratio of low-difficulty items and high-diffulty items. Specifically, there are only a few high-difficulty items while the number of low-difficulty items nearly equals the number of medium-difficulty items. It should be noted that these results provide only a limtied picture of the TOPIK. As with all such analyses, this item difficulty could be due to the nature of the test takers, the test itself, or both. Therefore, we should continue our search for the cause and, moreover, strive to develop more suitable test items.

FLEX 스페인어 능력평가 시험 문항의 변별도 변인 분석: 듣기, 문법, 어휘 문항을 중심으로

이강국 ( Kang Guk Lee ),최지영 ( Ji Young Choi ) 한국외국어대학교 외국어교육연구소 2010 외국어교육연구 Vol.24 No.1

What are some of the challenges faced by students taking the FLEX (Foreign Language Examination) of Spanish? This study attempted to determine what variables influence the answering of testing items of high discrimination on the FLEX of Spanish. The methods used in this study included an analysis of the FLEX of Spanish examination and testing items. Three examinations of the FLEX of Spanish given in 2009 were analyzed based on Classic Item Analysis and Item Response Theory. In addition, eight testing items were administered which examined the differences between the results obtained by the Classic Item Analysis and Item Response Theory analysis of the FLEX of Spanish. The results of these analysis showed significant differences between these theories. The study concluded that the variables which influence at the discrimination level are: unfamiliar vocabulary and expressions, the extension of test items or answers, exceptional grammar. Finally, the study recommended that testing items that showed a cultural bias should be discarded. Este trabajo tiene por objeto determinar que variables actuan al elaborar los cuestionarios de alta discriminacion del FLEX (Foreign Language EXamination) de Espanol. Con el proposito de recolectar los datos necesarios se han analizado tres examenes del FLEX de Espanol realizados en el ano 2009 teniendo como base analitica la Teoria Clasica de Prueba y la Teoria de Respuesta por Item. Asimismo, se han tomado como muestra ocho cuestionarios en los que se ha destacado la diferencia entre los resultados de las dos teorias mencionadas. Como consecuencia del analisis se ha llegado a la conclusion de que las variables que influyen al nivel de discriminacion son: los vocabularios y las expresiones no familiares a los alumnos, la extension de los cuestionarios o de las respuestas, la gramatica excepcional, etc. En particular se ha revelado el hecho de que el cuestionario inclinado a la cultura determinada debe ser descartado.