PPT, CFT, CAT에서 검사매체와 검사시행 모형에 따른 피험자 응답 적합도의 비교

시기자(Si Ki-Ja),성태제(Seong Tae-Je) 한국교육평가학회 2006 교육평가연구 Vol.19 No.3

  이 연구에서는 PPT, CFT, CAT에서의 피험자 응답 적합도에 대한 비교를 통해 검사매체와 검사시행 모형이 피험자의 검사수행에 미치는 영향을 탐색하였다. 피험자 응답 적합도 분석을 위해 Rasch 모형의 잔차에 기초한 내ㆍ외 적합도 제곱평균 지수(INFITMS/OUTFITMS)를 사용하였으며, CAT의 경우 누적합산(cumulative sum: CUSUM) 절차에 기초한 적합도 지수를 함께 적용하였다. 분석 결과, 동일한 검사 길이일 때 PPT나 CFT에서는 전체 피험자의 약 29%가 부적합한 응답을 한 것으로 분류된 반면, CAT에서는 약 10%의 피험자들만 부적합한 응답을 한 것으로 분류되어 피험자들의 능력이 CAT에서 더 정확하게 추정되고 있음을 확인하였다. 또한, 각 검사방식에서 산출된 적합도 지수들 간의 상관계수, 부적합하게 분류된 피험자들의 일치도 및 검사방식에 따른 적합 여부의 변화 등을 통해 각 검사방식에서 나타나는 부적합 응답의 원인이 다름을 시사받을 수 있었다. 한편, 피험자들에게 제공되는 문항 난이도의 분포가 다양하지 않은 CAT에서는 CUSUM 절차에 의한 적합도 지수가 부적합 피험자의 분류에 더 효과적으로 기능하고 있음을 확인하였다.   The objective of person-fit measurement is to detect item-score patterns that are improbable given an IRT model or given the other patterns in a sample. The purpose of the this study is to examine the effect of test delivery mode and testing model on test performance by means of a comparison of person-fit statistics according to testing formats in PPT, CFT, and CAT. Rasch person-fit statistics based on residual(Infit Mean square and Outfit Mean square) applied in linearly administered test such as PPT were used to detect misfitting item score patterns. Additionally, person-fit statistics based on cumulative sum(CUSUM) procedure were used in CAT. Overall, the results showed that misfitting item score patterns detected in PPT, CFT, and CAT were dissimilar.<BR>  Several implications from research results are concluded. First, CAT can produce more precise and accurate estimate of each examinee"s ability level. Second, it is more effective to use a CUSUM procedure in CAT environment because of the idiosyncrasies of CAT compared to PPT. Finally, person-fit measurement can provide diagnostic information which can enhance the instructional process and improve quality of the test.

PPT, CFT, CAT에서 검사매체와 검사시행 모형에 따른 피험자 능력모수의 비교

시기자(Si Ki-Ja) 한국교육평가학회 2004 교육평가연구 Vol.17 No.1

이 연구에서는 PPT, CFT, CAT에서 검사매체와 검사시행 모형이 피험자들의 검사수행에 어떠한 영향을 미치는지 알아봄으로써 각 검사방식간의 상호교환 가능성을 탐색하였다. 이를 위해 서울시에 소재하고 있는 중학교 2학년 학생 325명을 대상으로 수학 교과에 대한 검사를 시행하였다. 미리보기, 무응답, 재검토 및 응답수정을 허용하지 않는 CAT의 제한사항들이 피험자들의 검사수행에 어떠한 영향을 미치는지 알아보기 위하여 CFT는 이를 허용하는 방식(CFT_1)과 허용하지 않는 방식(CFT_2)으로 구분하고, 동일 피험자에게 세 가지 검사방식(PPT, CFT, CAT)을 모두 시행하였다. 순서효과가 미치는 영향을 배제하기 위하여 집단별로 처치순서를 달리한 균형화 설계를 적용하였으며 반복시행에 따른 기억효과의 영향을 최소화하기 위해 PPT와 CFT는 동형으로 제작하였다. CAT의 시행을 위해 총 184개의 문항으로 구성된 문제은행을 개발하였으며 검사 알고리즘은 중간 난이도 시작기준과 최대우도추정에 의한 능력추정방법, 최대정보 문항선택방법, 시간 제한(25분)과 검사길이 제한(16문항) 종료기준을 적용하였다. 분석결과, 검사매체에 의한 요인과 검사시행 모형에 따른 요인들이 피험자들의 검사수행에 영향을 미치고 있었으며 특히, 미리보기, 무응답, 재검토 및 응답수정을 허용하지 않을 때 더 낮은 검사수행을 나타내었다. The purpose of this study is to examine comparability between PPT and CBT by investigating the effect of test delivery mode and testing model on a test performance. This study compared the ability estimates among PPT, CFT, and CAT. This study especially compared them under two conditions of CFT to investigate how examinees response on test items when we allow items to be previewed, skipped, reviewed, and changed(CFT_1) and when we don't allow them(CFT_2). This study targeted 2nd grade students of middle school in Seoul. PPT and CFT were constructed as a parallel form to avoid carrier of effect, and a single group design with counterbalancing was used to avoid the ordering effect. Item pool was constructed with 184 items in CAT. The first item is randomly selected among items with mean difficulty level and maximum information item selection was used. The maximum likelihood estimation procedure was used for scoring. CAT is terminated if a examinee respond all 16 items or if 25 minutes(the limited time) goes on after test starts. Overall, the results showed a lack of comparability between CAT and PPT. The lack of comparability was reflected in differences in test delivery mode and testing model. Among them, the administration condition like forbidding to preview, omit, review and change was the most important factor.

국가수준 학업성취도 평가 종단자료에 기반한 학업성취 변화 유형의 판별요인 탐색

임현정(Im Hyunjung),시기자(Si Ki Ja),김성은(Kim Sung Eun) 한국교육평가학회 2017 교육평가연구 Vol.30 No.1

본 연구는 국가수준 학업성취도 평가의 전수 체제 전환 이후, 2014년에 최초로 구축된 초-중-고등학교의 세 시점(초6-중3-고2) 연계자료를 분석하여 개별학생의 학업성취 변화의 유형을 파악하고 유형화 결과에 영향을 미치는 판별요인을 탐색하고자 수행되었다. 이를 위해 다층성장모형을 적용하여 학생의 성장 궤적을 나타내는 평균 성취도와 변화율을 기준으로 학업성취 변화 유형을 상위-향상, 상위-하락, 하위-향상, 하위-하락의 4개 집단으로 유형화하였으며, 변화 유형의 판별에 영향을 미친 요인을 탐색하기 위하여 단계적 판별분석을 실시하였다. 분석 결과, 교과에 따라 주요 판별요인에 다소 차이가 있었으나, 하위-향상 집단이 상위-하락 집단에 비해 수업태도, 방과후학교 참여율이 더 많이 향상 되었으며, 채팅/SNS시간이 유의하게 낮은 것으로 확인되었다. 이와 같은 분석 결과를 바탕으로 주요 학업성취 향상 요인의 긍정적 변화를 촉진하기 위한 교육개선 방향을 제언하였다. The purpose of this study is to identify the type of student achievement trend by analyzing the linkage data at the three time points (6th grade in elementary school, 3rd grade in middle school, and 2nd grade in high school) that were first established in 2014. And to investigate the discriminant factors influencing the type of achievement trend. For this purpose, we applied the multilevel growth model to estimate the average achievement level(intercept) and change rate(slope) of the student s growth trajectory. Based on this results, the type of trend of academic achievement was classified into four groups of high-higher, high-lower, low-higher and low-lower. In addition, we conducted a stepwise discriminant analysis to investigate the factors influencing achievement trend type decision. As a results of these analysis, even though there were some differences in the main discriminant factors according to the subject, the low-higher group s attitude of class, self-directed learning time and after-school participation rate were improved more than the high-lower. Whereas, low-higher group spent less time to online chat/SNS than high-lower group. This study suggested the direction to promote the positive change of major factors influencing the improvement of academic achievement.

Holland와 Prediger의 직업흥미이론에 근거한 고등학생용 직업선호도 검사 개발과 양호도 검증

성태제(Tae Je Seong),시기자(Ki Ja Si) 한국교육심리학회 2001 敎育心理硏究 Vol.15 No.4

학생 학업성취 변화의 영향요인 탐색

임현정(Im Hyunjung),시기자(Si Ki Ja),김성은(Kim Sung Eun) 한국교육평가학회 2016 교육평가연구 Vol.29 No.1

본 연구에서는 2014년 최초로 구축된 국가수준 학업성취도 평가 전수학생의 초-중-고 연계자료를 분석하여 개별학생의 학업성취 변화 추이 및 학업성취 변화에 영향을 미치는 교육맥락변인을 탐색하였다. 이를 위해 우선 전수자료에서 학생의 배경요인에 따른 학업성취의 변화 양상을 살펴보았으며, 교육맥락변인의 변화와 학업성취 변화 간의 관계 분석을 위하여 패널회귀분석의 고정효과모형과 하우스만-테일러 도구변수모형을 활용하였다. 분석 결과, 첫째, 개별학생 학업성취의 종단적 변화에 있어서 성별, 지역규모, 가정환경에 따른 학력격차가 유지 또는 심화되는 경향이 있었다. 둘째, 학업적 효능감, 교과태도, 수업태도, 학교생활 행복도가 향상된 학생의 학업성취 역시 향상되었으나, 이와 같은 정의적 특성들은 고등학교에 진학하면서 평균적으로 감소되는 추세였다. 셋째, 부모와의 관계가 좋아질수록, 자기주도학습시간, 독서시간이 증가하는 학생의 학업성취가 향상되었으며, 방과후학교나 EBS에 참여하지 않던 학생이 이후 참여하게 되면서 학업성취가 향상되는 관계가 있었다. 이상의 분석 결과를 토대로 학력격차 해소 및 학업성취 향상을 위한 시사점을 제언하였다. This study explored individual student achievement trends and educational context variables and typed the achievement trends of individual students using longitudinal data (6th grade - 9th grade – 11th grade) first constructed in 2014. For this analysis, fixed effect model and Hausman-Taylor instrumental variable model: HT-IV of Panel Regression analysis was used. The main results and implications are as follows. First, it was found that the trend in individual academic achievementvaried according to gender, type of region, and home background. The difference of achievement causing from gender, type of region, and home background were maintained or got worse as time passed by. Second, as growing the level of academic efficacy, attitude toward class and subjects, and school life happiness, the achievement was improved. However these affective factors were tended to decrease after entering high school. Third, participation in class after school, viewing degree of EBS programs relationship with parents, self-directed learning time and reading time had positive effects on academic achievement. For improvement of individual achievement and reduction of achievement differential, this study proposed meaningful alternatives from the results above.

대입전형에서의 대학수학능력시험 수리, 탐구 영역의 점수 활용 실태 분석

조용기(Yonggi Cho),이명애(Myungae Lee),시기자(Ki-Ja Si),양승호(Seungho Yang) 연세대학교 교육연구소 2009 미래교육학연구 Vol.22 No.1

7차 교육과정이 반영된 2005학년도 이후의 수능 체제의 특징은 ‘선택제 수능’으로 모든 영역이 임의 선택영역이 되고, 영역 내에서도 일정 수의 과목을 선택하여 응시할 수 있도록 하였다. 이 연구에서는 수리와 탐구 영역을 중심으로 대입 전형에서의 수능 점수 활용 실태를 분석하고, 고등학교 교사들의 의견을 수렴하여 수능 점수활용에서의 문제점을 파악하고 개선 방안을 모색하고자 하였다. 분석 결과, 수리 ‘가’ 형/ ‘나’ 형에 대한 지정여부에 대해서는 전체 대학의 경우 의약학계열을 제외하고는 특정 유형을 지정하는 대학의 비율은 낮은 편이었으나, 주요 대학의 경우 인문계열에서는 특정 유형을 지정하지 않는 대학이 대부분이었으며, 그 외 계열에서는 ‘가’ 형을 지정하는 대학이 많았다. 탐구 영역에 있어서는 전체 대학의 경우 모집계열의 특성을 고려하여 학생을 선발하는 대학의 비율은 높지 않았으나, 주요 대학의 경우 특정 영역을 지정하거나 특정 영역을 선택하였을 때 가감점함으로써 모집계열의 특성을 어느 정도 교려하는 경항을 찾아볼 수 있었다. 학생들의 적성, 진로 등을 고려하여 영역/과목을 선택하고 학습 부담을 줄이고자 하였던 선택 영역/과목 도입의 기본 취지는 대입 전형에서 적극 반영되지 않으므로 고등학교 교육의 정상적인 운영을 저해하는 요인으로 작용하게 되었으며, 수리 영역과 탐구 영역의 선택과목 문제는 교육과정의 변화와 수능 시험 체제의 변화를 통해 해결책이 모색되어야 한다. This study analyzed the utilization of the scores of College Scholastic Ability Test(CSAT) in Math and Social/Science/Vocational Studies since 2005 academic year. The results were followed. First, most of the colleges did not assign math 'Ga'/'Na' type except medicine/dentistry fields, but major colleges required math 'Ga' score in natural sciences, engineering, and medicine/dentistry fields except humanities. Second, over 70% of the colleges did not require the scores of particular areas among Social/Science/Vocational Studies except medicine/dentistry fields, but major colleges had a tendency to require scores of particular areas or particular subjects. Third, teachers desired that colleges require the scores of particular areas or subjects based on the characteristics of the field of study. Also, they thought it is desirable that math 'Ga' score is required or given a weight in natural sciences and engineering fields. Based on the results, this study suggested that a change in the selective system of Math and Social/Science/Vocational Studies is needed for a normal management of high school Curriculum and an appropriate utilization of the scores of CSAT.

개별 학생 학업성취 변화 측정 방안 탐색

구남욱(Nam Wook Koo),박인용(In Yong Park),신진아(Jin ah Shin),시기자(Ki ja Si) 한국교육평가학회 2015 교육평가연구 Vol.28 No.1

본 연구에서는 국가수준 학업성취도 평가 결과에 기반한 개별 학생의 학업성취 향상 지표를 산출하는 방안과 통계모형을 탐색하였다. 개별 학생의 학업성취 향상 지표의 산출방안으로 시간에 따른 향상률을 고려하는 방안과 초기수준에 따른 향상률을 고려하는 두 가지 방안을 제안하고, 방안별로 세 가지 통계모형, 즉, 학생 및 학교 변인을 통제하지 않은(기초) 모형, 학생 변인을 통제한 모형, 학생 및 학교변인을 모두 통제한 모형을 제안하였다. 연구 결과에 따르면, 학업성취 향상 지표를 산출하는 방안에 따라 산출값에 큰 차이가 나타났지만, 통계모형에 따라서는 산출값의 차이가 크지 않았다. 또한 학업성취 향상 지표를 통하여 교과별 향상 특성도 파악할 수 있었다. 본 연구에서 제안한 학업성취 향상 지표는 개별 학생에게 학업성취에 대한 정보를 제공할 뿐만 아니라, 교수ㆍ학습 활동, 교육과정 개선, 교육정책의 수립 등에도 활용될 수 있을 것으로 기대된다. In Korea, recent studies have been conducted on capturing students' academic growth. This study first explored the methods and statistical models to produce an individual student's academic progress index based on the results of National Assessment of Educational Achievement, and then the implications of the different student's academic progress indexes were discussed. To produce an individual student's academic progress index, two methods were suggested; one is using a student's growth rate and the other is using a student growth rate conditional on a student's initial academic status. Also, for each method, three different statistical models of the unconditional model, model containing a student variable, and model with student and school variables were suggested and then compared. This study found that the different methods had a great effect on a student's academic progress index rather than different statistical models. Futhermore, it was found that students' academic progress was varied across different subjects. The student's academic progress indexes suggested in this study can be applied to teaching and learning activities, curriculum improvement, and policy development as well as providing students and teachers with customized information.

공통문항유형과 검사 차원성에 따른 혼합형 검사의 IRT 동등화

황소림(So-Rim Hwang),임현정(Hyun-Jeong Im),시기자(Ki-Ja Si),성태제(Tae-Je Seong),김경희(Kyung-Hee Kim) 한국교육평가학회 2005 교육평가연구 Vol.18 No.1

In scale linking of mixed-format test, if an item type has more information than the other and the common items are made up with only a single format, the common items may not represent the entire test in terms of item format. Considering that they should be a miniature of the whole test, common items should still have representativeness in item format. In multidimensional situation, scale linking through only single item type takes no account of multidimensionality and can affect the linking results. The major purpose of present study is to examine scale linking results under the conditions of different combination of common item format and test dimensionality using IRT linking methods. Three factors were investigated for the simulation study. 3 types of test dimension, 3 types of mixed-format test and 4 types of common item set and the combination of the these factors led to 39 conditions which were compared under the four linking methods. As a results, under the unidimensional situation, the test where one item type has more information than the other led to lower MSE when linking through relatively more informative common items. On the other hands, when there was the presence of high multidimensionality, the balanced test type in the amount of the information showed lower MSE when linking through mixed-format common items. Moreover when mixed common item sets represented the item format composition of the entire test, MSE values tended to decrease. This means that if a mixed format test is multidimensional with respect to item format the accuracy of unidimensional scale linking through single-format common items could not be guaranteed. And balanced test type where item formats are equivalent in the amount of the information leads to lower linking error and it is desirable for the common item sets to be mixed format rather than a single format and to represent the item formats of entire test. 혼합형 검사가 다차원성을 지닐 때 동등화에 있어서 단일 문항유형으로 구성된 공통문항은 문항유형에 대한 대표성을 갖기 어려우며 동등화 결과에도 부정적인 영향을 미칠 수 있다. 본 연구는 혼합검사유형, 공통문항유형과 검사 차원을 탐색요인으로 하여 문항반응이론 동등화 방법에 의한 결과를 비교하였다. 다분문항과 이분문항이 제공할 수 있는 정보(문항반응이론의 기대정보함수)의 양에 근거하여 혼합형 검사와 공통문항을 각각 세 유형과 네 유형으로 구분하고 각 문항유형이 측정하는 구인의 유사성에 따라 검사차원을 세 조건으로 분류하였다. 네 가지 문항반응이론의 동등화 방법으로 39개 조건에서의 혼합형 동등화를 각각 실행하였고 두 가지 준거에 근거하여 동등화 결과를 평가, 비교하였다. 연구결과, 검사 차원성에 따라 혼합형 검사유형과 공통문항유형은 다른 양상을 보였다. 일차원의 경우, 특정문항유형이 상대적으로 많은 정보를 제공하는 검사에서는 공통문항유형도 정보를 많이 제공하는 문항유형으로 구성될 때 동등화 오차가 감소하였다. 반면 다차원의 경우 차원 간 상관이 낮을수록 각 문항유형별로 제공하는 정보의 양이 유사한 검사유형에서 안정적인 동등화 결과를 보였으며 공통문항유형은 혼합유형일 때, 특히 전체 검사의 문항유형 구성을 대표할 때 동등화 오차가 감소하는 경향을 보였다.

‘잘 모르겠음’ 답지와 추측에 대한 차별점수화가 차별기능검사와 피험자 응답 적합도에 미치는 영향

시기자,이유미,성태제 이화여자대학교 교육과학연구소 2007 교육과학연구 Vol.38 No.3

선택형 검사는 피험자가 추측에 의하여 응답할 수 있는 단점을 지니고 있으며, 추측에 의한 응답은 피험자 능력추정의 오차를 증가시킬 뿐 아니라 검사의 양호도에도 영향을 미친다. 이 연구에서는 추측에 의한 응답을 줄이기 위해 ‘잘 모르겠음’이라는 답지를 포함하는 것과 오답과 ‘잘 모르겠음’이라는 응답에 대해 차별적으로 점수를 적용하는 방안이 검사의 측정학적 특성에 어떠한 영향을 미치는지 차별기능검사와 피험자응답 적합도 측면에서 살펴보고자 하였다. 이를 위해 아무런 처치도 가하지 않은 집단과 ‘잘 모르겠음’이라는 답지를 포함한집단, 추측한 응답에 대해 차별점수를 적용한다고 공지한 집단으로 구분하여 검사를시행하였다. 추측에 대한 차별점수화의 영향을 알아보기 위하여 오답과 ‘잘 모르겠음’답지에 대한 차별점수화를 공지한 집단의 경우 자료처리에 있어서는 차별점수를 적용하는 조건과 적용하지 않는 조건으로 구분하였다. 분석결과, 4가지 조건 중 ‘잘 모르겠음’이라는 답지를 포함하고 있는 조건에서 피험자 응답 적합도가 보다 양호한 것으로나타났으며, 동일한 내용을 측정하는 검사라 할지라도 추측에 의한 응답을 고려하지않는 검사 유형과 비교할 때 ‘잘 모르겠음’이라는 답지를 포함하거나 ‘잘 모르겠음’이라는 답지를 포함하면서 추측에 대한 차별점수화를 예고할 경우 검사가 달리 기능하는것으로 분석되었다. The primary purpose of this study is to investigate the effects of ‘don't know’response option and differential scoring for ‘don't know’ response on DTF andperson fit, and to detect the methods to reduce the effect of guessing inmultiple-choice test. Three forms of each test unit were prepared. The group 1 took forms containingitems with five responses and the group 2 took forms which had an additionalresponse of I don't know, while the group 3 took forms with ‘don't know’ responseoption and information of weight on the choice of ‘don't know’ option. The group3 data is processed to study the effect on weight by two methods to weight of‘1/number of alternative’ for ‘don't know’ response and not to. Person fit shows good result in the case of addition of a ‘don't know’ option. Also, even though tests are constructed by the same items, there are the effectsof ‘don't know’ response option and the information of differential scoring for‘don't know’ response and tests differently function.