선다형과 구성형 문항의 구인 동등성

손원숙(Sohn Wonsook) 한국교육평가학회 2005 교육평가연구 Vol.18 No.3

대규모 검사 장면에서 활용되고 있는 수학 성취도 검사의 선다형과 구성형 문항 간 구인 동등성을 평가하기 위하여 DIMTEST(Stout, 1987, 1990)와 확인적 요인 분석 방법을 실시하였다. 분석 결과, 한 검사에 포함된 두 문항 유형 간 구인 동등성은 지지되지 않았고, 각 문항이 측정하는 내용 영역이 두 문항 유형간 관계에 영향을 주는 것으로 나타났다. 또한, 문항 유형간 구인 동등성은 혼합형 문항 유형을 포함하고 있는 검사 상황에서 검사 점수의 산출 및 결과 활용 면에서 시사점을 제공하며, 부분적으로는 문항 설계 방법 및 검사의 성격에 따라서 영향을 받는다. DIMTEST(Stout, 1987, 1990) and confirmatory factor analyses(CFA) were used to explore relationships of multiple-choice(MC) and constructed-response (CR) items contained on a mathematics achievement. DIMTEST suggested that the MC items had three distinct dimensions, and the CR items were dimensionally distinct from the MC items, and also from each other. Similarly, the results of CFA showed a five-factor solution to provide the most parsimonious fit, where each item format and content area made its own factor. It was concluded that both the item format and content do affect the construct measured by the test and there was weak evidence of a specific factor to CR items.

중등교사의 형성평가 유형에 대한 국제비교분석:PISA 2015 자료의 활용

손원숙(Wonsook Sohn) 한국교육평가학회 2017 교육평가연구 Vol.30 No.2

본 연구의 주요 목적은 중등교사의 형성평가 유형에 대한 국제비교분석을 토대로 국가 간 형성평가의 실제와 인지 및 비인지적 성취와의 관련성을 비교하는 것이다. 이를 위하여 PISA 2015 과학 자료를 활용하였고, 학생이 지각한 과학교사의 피드백 및 수업조정 (instruction adjustment)으로 형성평가 실제를 정의하였다. 연구대상으로는 한국과 PISA 성취도 상위국에 해당하는 6개의 비교 국가가 포함되었다. 형성평가의 하위 구성요소 간 독립성을 고려하여 이에 기반한 잠재프로파일 분석을 시행하였다. 분석 결과, 3개의 형성 평가 유형이 도출되었는데, 과학수업에서 피드백 및 수업조정이 평균이상으로 시행되는 ‘활성화(29.8%)’, 평균 이하 수준으로 형성평가 활동이 지각되는 ‘비활성화(60.0%)’, 전반적으로 평균적인 수준이긴 하나 모니터링 보다는 스캐폴딩 피드백에 집중된 ‘제한적(10.2%)’ 유형이었다. 또한 이러한 형성평가 유형은 학생들의 인지 및 비인지적 과학 성취를 발달 시키는데 차별적인 관련성을 보였다. 한편 7개국별 형성평가 유형의 분포는 차이를 보였지만 유형별 인지 및 비인지적 성취 경향은 비교적 일관적이었다. 마지막으로 본 연구결과를 토대로 교실수업에서 형성평가의 기능 및 국내 교실평가 개선을 위한 교육적 시사 점을 논의하였다. The main purpose of this study is to identify the patterns of formative assessment in science lessons using PISA 2015 data. The formative assessment was defined as teachers feedback and instruction adjustment and its relationships with students cognitive and non-cognitive variables such as scientific literacy, science enjoyment, and epistemological beliefs were also explored. Samples are a total of 53,751 students(50.45% females) sampled from seven countries(Australia, Canada, Ireland, Korea, New Zealand, Singapore, & U.S.). The latent profile analyses were conducted based on eight facets of formative assessment practice and it was found that three different patterns of formative assessment in science teaching were differentiated. In the activated(29.8%) group students reported that all of formative assessment occurred frequently in their science lessons. The second pattern of formative assessment was labelled as the limited(10.2%) group since only some of the facets of formative assessment were implemented in science lessons to a limited degree. The last pattern was labelled as the inactivated(60.0%) group since it hardly provided students with opportunities to experience teachers feedback and instruction adjustment. Also it was found that these patterns provided different opportunities for students to develop science literacy, enjoyment and epistemological beliefs. Finally implications of these results for both international comparisons of formative assessment and research into formative assessments were discussed.

다분 DIF의 사후분석을 위한 비모수적 차별기능단계 기법의 적용

손원숙(Wonsook Sohn) 한국교육평가학회 2010 교육평가연구 Vol.23 No.4

본 연구에서는 다분 문항에서 발생하는 집단 간 차별기능을 보다 종합적으로 이해하기 위하여 응답 범주 수준에서의 동등성 평가를 위한 ‘차별기능단계(Differential Step Functioning: DSF)’ 기법을 소개하고자 한다. 전통적인 다분 차별기능문항(Differential Item Functioning: DIF)기법은 문항 수준의 통합 추정치를 산출할 뿐, 구체적으로 어떠한 응답 범주 수준에서 차별기능이 나타나고 있는지에 대한 정보는 제공해 주지 못한다. 최근 증가되고 있는 DIF의 원인에 대한 연구에서는 주로 문항의 내용에 대한 질적 분석을 시도하고 있으나, DSF 기법을 통한 집단 간 응답 범주 수준에서의 차별기능의 정보를 활용한다면 다분 DIF 원인에 대한 이해를 증진시킬 수 있을 것이다. 본 연구에서는 비모수적인 DSF 접근 중 공통 승산비 방식(Penfield, 2007)을 소개하고, 이를 실제 검사 자료인 개인주의-집단주의 척도에 적용하여, 한국과 미국집단 간 동등성의 정도를 평가하였다. 우선 PSIBTEST, L-A LOR, 및 SSL 검증법 등 3개의 DIF 분석 기법을 적용하고, 이에 공통적으로 파악된 DIF 문항에서 발생하는 DSF 효과를 추정하였다. DIF와 DSF 분석 결과를 종합하고, 더불어서 검사 문항에 대한 내용 분석을 시도하여, 각 문항의 비동등성 원인을 검토하였다. 본 연구 결과 DSF의 유형에 따라 DIF 원인 해석에 다른 시사점을 제공하며, 다분 DIF 연구를 위한 사후 분석으로서 DSF 기법의 유용성을 논의하였다. This study was conducted to determine the feasibility of using a common odds ratio estimator to detect differential step functioning(DSF) in polytomous items. The DSF refers to the between group difference in measurement equivalence at the level of the step of the polytomous items(Penfield, 2007). This study used a non-parametric DSF estimator based on the Mantel-Haenszel common odds ratio estimator(Mantel & Haenszel, 1959). To illustrate the use of DSF, this study presented an application of this technique to an Individualism-Collectivism(INDCOL) scale administered to college students both in the U. S. and Korea. The DSF analysis was conducted in a post hoc manner for the DIF items identified commonly by the three DIF methods such as the PSIBEST(Shealy & Stout, 1993), L-A LOR(Liu & Agresti, 1996; Penfield & Algina, 2003), and SSL tests(Penfield, 2007). The results indicated that using DSF in coordination with omnibus DIF statistics can yield a more comprehensive assessment of measurement equivalence than DIF analyses alone. Additionally, this DSF approach may be useful in isolating the location and type of DIF that resides within score categories, in a post hoc fashion. More research needs to be done on the applications of DSF to simulated data as well as real testing data in order to determine which types of DSF techniques are most effective under different conditions.

고등학생 성취목표지향성 프로파일의 잠재전이분석

손원숙(Wonsook Sohn) 한국교육평가학회 2013 교육평가연구 Vol.26 No.4

본 연구의 목적은 고1-2 학생의 성취동기의 종단적 안정성 또는 변화가능성을 탐색하는 것으로, 독립적인 하위구인으로 구성된 성취목표지향성을 분석하기 위하여 혼합모형 중 잠재전이분석(latent transition analysis)이 활용되었다. 연구대상은 S지역 소재 401명의 여고생이며, Mplus 6.0(Muthen & Muthen, 1998-2010) 활용하여, 고1과 고2 등 두 번의 측정시기에 따른 성취목표지향성 프로파일의 전이확률을 분석하였다. 연구결과, 고1에서는 비교적 덜 분화된 형태인 3개(무관심형, 회피형, 현실형)의 성취목표지향성 프로파일이 도출되었고, 고2에서는 적응적(숙달형, 수행형) 또는 비적응적인(회피형, 비참여형) 프로파일이 각각 2개씩 분석되었다. 고1-고2간 전이확률을 살펴보면, '무관심형'은 '숙달 또는 수행형'으로, '회피형'은 '수행형'으로, '현실형'은 '회피형'으로 가장 많은 전이가 이루어졌다. 또한 각 프로파일의 특성 및 전이현상을 이해하기 위하여, 자기결정성동기 및 주관적 안녕감과의 관련성이 추가되었다. 마지막으로 성취동기 관련 종단연구의 필요성과 함께, 학교교육에서 학생들의 정의적 성취 향상의 중요성, 및 성취동기 향상을 위한 교육적 개입시기 등에 대한 시사점을 추가하였다. A longitudinal modeling approach was applied to explore the existence of latent classes with regard to achievement goal orientations and the patterns of stability and transition of individuals between and within classes for one year. A latent transition model using Mplus 6.0(Muthen & Muthen, 1998-2010) was fit to data from 10th to 11th graders attending to one girls high school located in S-city, Korea. By the results of latent transition analyses, three to four classes of students were identified across a school year: indifferent, avoidance-oriented, and success-oriented classes for 10th graders, avoidance- oriented, disengaged, mastery-oriented, and performance-oriented classes for 11th graders. Across two time points, motivational profiles showed a little bit balance of stability and change. The movement tended to be away from the less specified motivational profiles and toward either poor or good motivational profiles. To explore the features of the latent transition and stability, their relationships with other psychological variables such as motivation and subjective well-being were compared. Findings support tendency of achievement motivation as a relatively changeable disposition during the high school years. Finally, practical significance of non-cognitive outcomes in our school education policy are discussed, as well as applications of the findings with regard to academic motivation and methodological implications.

종단자료에서의 측정 동등성 평가를 위한 LCFA와 DIF 기법의 적용

손원숙(Wonsook Sohn) 한국교육평가학회 2012 교육평가연구 Vol.25 No.4

인간의 심리 및 행동 특성에 대한 이론을 경험적으로 검증하기 위하여 횡단 자료뿐 아니라 한 개인에 대한 반복 측정 자료를 토대로 한 종단 연구가 최근 많은 주목을 받고 있다. 기존 횡단자료 연구에서는 집단 간 평균 차이를 추론하기에 앞서서 측정 동등성(measurement equivalence)의 개념에 대한 경험적 평가는 중요한 절차로써 인식되고 있다. 하지만 종단연구에서는 측정 시기 간 동일한 대상에 대해서 동일한 측정 도구를 사용하기 때문에 동등성 개념은 자연스럽게 만족되었다고 가정하는 경향이 있다. 하지만 종단연구에서도 이러한 ‘측정 동등성’의 개념이 유지되지 못한다면, 측정 시기 간 파악된 점수 차이를 해당 구인의 ‘참 변화(true change)’로 추론하기 어려울 것이다. 따라서 본 연구에서는 경험적으로 종단적 측정 동등성을 평가하기 위하여 종단적 확인적 분석 모형(LCFA)과 차별기능 문항(DIF) 분석 절차를 제안하고자 한다. 분석 자료는 최근 학업동기 연구에서 많은 관심을 받고 있는 성취목표지향성 척도 자료이며, 종단적 측정 동등성의 위계적 가설을 설정한 뒤, 두 측정 시기 간 동등성 정도를 평가하였다. 마지막으로 종단 자료에서의 측정 동등성 개념이 갖는 장점과 이 개념의 평가를 위한 LCFA와 DIF 기법의 유용성을 논의하였다. The most fundamental issues in assessing development is the problem of measurement equivalence or invariance. It is a common practice that researchers use the same instrument for assessing a given construct at each time of measurement. At this point, they often believe that the same construct is measured, that scale scores fall on the same metric, and thus that change can be estimated clearly. But these measurement equivalence issues should be more rigorously evaluated than is the case with cross-sectional data, when the constructs of interest are repeatedly measured. This study discussed how to evaluate measurement equivalence in longitudinal designs using confirmatory factor models, outlining various levels of measurement equivalence as well as DIF techniques. Specifically this study demonstrated how to examine measurement equivalence of Achievement Goal Orientations(AGO) across two occasions by LCFA using Mplus(Muthen & Muthen, 1998-2010) and two DIF techniques such as L-A-LOR(Penfield, 2005), and IRT LR(Thissen, 2001) techniques. Findings support the measurement equivalence of AGO construct across two occasions, and then latent variable scores at each occasion of measurement are on the same metric and stronger conclusions are warranted. Finally the usefulness of LCFA and DIF methods to investigate longitudinal measurement equivalence were discussed along with practical considerations in using them for this purpose.

중등 예비교사용 평가인식 척도 타당화 및 지각된 피드백 환경과 평가전문성과의 관계 분석

손원숙(Wonsook Sohn) 한국교육평가학회 2020 교육평가연구 Vol.33 No.1

본 연구의 주요 목적은 중등 예비교사용 평가인식 척도를 타당화 하고, 교실평가의 목적 및 특성에 대한 우리나라 중등 예비교사의 인식, 지각된 피드백 환경과 평가전문성과의 관련성을 탐색하는 것이다. 이를 위해 뉴질랜드에서 개발된 평가인식 척도(Teachers’ Conceptions of Assessment; TCoA)(Brown, 2006)가 활용되었고, 연구대상은 D와 K지역에 소재한 세 개의 국공립·사립 대학교에 재학 중인 총 564명의 예비교사이다. 척도 타당화를 위해 척도 번안 및 내용 타당도 분석을 진행하였고, 탐색 및 확인적 요인분석과 다차원적으로 구성된 평가인식 척도 문항의 심리측정학적 특성을 점검하기 위하여 다차원 Rasch 분석(Adams & Wilson, 1996)을 실시하였다. 분석 결과, K-TCoA 척도는 학교 및 학생 책무성, 향상, 타당 및 부적절성 인식으로 구성된 5요인 모형으로 타당화되었다. 또한 다차원 Rasch 모형에 기반한 문항분석 결과, 문항의 적합도 및 신뢰도 수준은 양호한 것으로 나타났다. 둘째, 전반적으로 예비교사가 지닌 교실평가에 대한 인식수준은 긍정적인 것으로 나타났으며, 교실평가가 부적절하다는 인식에는 대체로 동의하지 않는 것으로 나타났다. 셋째, 예비교사들은 자신이 경험한 피드백을 신뢰하고 가치가 높다고 지각할 경우 보다 긍정적인 평가인식을 가지며, 부정적인 평가인식은 감소시키는 것으로 나타났다. 이 중 향상 인식만이 지각된 피드백 환경과 평가전문성 간의 관계를 통계적으로 유의하게 매개하였다. 마지막으로 평가정책의 실행 및 예비교사의 평가교육 모형 개발에서 평가인식의 중요성 및 시사점을 논의하였다. The main purpose of this study was to validate the Teachers’ Conceptions of Assessment(TCoA) inventory for pre-service secondary teachers. Also it was explored how the assessment environment and assessment literacy are related to the pre-service teachers’ conceptions of assessment. TCoA(Brown, 2006), which was originally developed for New Zealand teachers, uses 27 items, spread equally across nine factors, which are organized into four major, interrelated conceptions of assessment. A 27 item TCoA was completed by 564 prospective teachers attending to three different teachers’ college located in D & K regions. Exploratory and confirmatory factor analyses consistently revealed a five-factor model where the validity factor was added to the Brown’s original model and also the six items were excluded on the basis of the judgemental and statistical consideration. Also Rasch analysis provided further evidence of the psychometric quality of Korean version of TCoA in terms of dimensionality, the response scale effectiveness, and item fit statistics. Second, on average, prospective teachers agreed with the improvement/validity and the school/student accountability conceptions, while rejecting the view that assessment is irrelevant. Third, the supportive feedback environment perceived by prospective teachers reinforced their positive conceptions of assessment while it made the negative ones weaken. Also, their improvement conceptions significantly mediated the relationship between the feedback environment and their assessment literacy. Implications for the use of the K-TCoA for policy implementation and teacher professional development are discussed.

국제학업성취도 평가의 DIF 원인 탐색을 위한 로지스틱 회귀분석의 적용

손원숙(Wonsook Sohn) 한국교육평가학회 2010 교육평가연구 Vol.23 No.2

최근 국제비교연구에서 집단 간 비교를 위한 전제조건인 측정학적 동등성을 확립하기 위한 방안을 모색하는 연구가 급증하고 있다. 특히 집단 간 발생하는 비동등성의 원인을 밝혀내기 위하여 차별기능문항(Differential Item Functioning: DIF) 기법을 적용하는 연구들이 이루어지고 있다. 선행연구 결과, 국제비교연구에서 발생하는 DIF의 원인은 번역, 문화, 및 교육과정 등의 차이로써 이해되고 있지만, DIF는문항의 고정된 특성이 아니라 검사 상황 및 목적에 따라서 유동적인 특성을 갖고 있다. 따라서 새로운검사 개발 및 적용 시 집단 간 측정의 동등성 검토 작업은 선행되어야 하고, 보다 타당한 검사 개발및 활용을 위하여 비동등성의 소재를 파악하는 것은 중요한 작업으로 인식된다. 본 연구에서는 PISA2006 수학 문항에서 나타나는 우리나라와 핀란드 집단 간의 DIF를 파악하고, 이 두 집단에서 발생하는 DIF의 원인을 탐색하고자 한다. 이를 위해 로지스틱 회귀분석(Swaminathan & Rogers, 1990)을 적용하고,가능한 DIF의 원인을 크게 검사 문항의 내적인 특성과 외적인 특성으로 분류하여 탐색하였다. 구체적으로 가능한 DIF 원인으로는 각 문항의 (1) 내용 영역, (2) 인지적 과정, (3) 문항 유형 및 (4) 교육관련문화적 요인으로 ‘방과후 학습시간’의 효과를 검토하였다. 특히 DIF의 원인으로써 검사 외적 요인의영향을 탐색하기 위하여 위계적인 DIF 모형을 설정하고, 다변량 대응변수 기법을 적용하였다. 본 연구는 DIF의 원인을 파악하기 위한 방법론을 제안함과 동시에 국제비교연구를 위한 검사의 개발 및 활용시 참고할 수 있는 정보를 제공하는데 그 의의가 있다. The purpose of this study is twofold: (a) to propose a methodology for identifying a source of DIF and (b) to examine how some item features and students' cultural variable can functioning as a source of DIF for the Korean and Finnish students' performance on PISA 2006 Mathematics Items. Specifically this study investigated the relationships between differential item functioning(DIF) across countries and the potential sources of DIF: (a) the sub-dimensions defined in PISA mathematical framework : content and competencies, (b) item formats, and (c) extra lesson hours after school. This study also introduced the multivariate matching method using Logistic Regression Analysis(Swaminathan & Rogers, 1990) to explore the utility of the external variable for the source of DIF. The results showed that (a) cognitive skills or contents measured by the items, (b) item formats, and (c) education related cultural factor are possible sources of DIF between the Korean and Finnish groups. It also indicated that systematic a-priory analyses of the item content may help anticipate items with DIF in a cross-cultural or lingual comparison. Findings form this study provide a potentially valuable contribution to the development and application of tests for international use.

학교 향상도에 근거한 학교유형 분류 및 특성 탐색

손원숙(Wonsook Sohn),김경희(Kyunghee Kim) 한국교육평가학회 2011 교육평가연구 Vol.24 No.4

본 연구의 주요 목적은 연도별 학업성취도 향상 정도에 따라서 학교를 분류하고, 유형별 학교 특성을 파악하는 것이다. 이를 위하여 개인 중심적 접근법(person-centered approach)에 해당하는 잠재 프로파일 분석(latent profile analysis)을 적용하여 우리나라 고등학교의 모집단 내에 존재하는 이질적인 하위 집단을 도출하고, 관련변인의 영향력을 탐색하였다. 본 연구에서는 2009-2010년 국가수준 학업성취도 평가 자료가 사용되었고, 학교를 유형화하기 위하여 사용된 군집변인은 총 5개이다. 즉, 2009-2010년 고등학교 학업성취도 평가의 학생수준 반복측정 자료를 활용하여 산출된 1) 국어, 2) 영어, 3) 수학의 교과별 향상도 지수, 학교의 사전 여건을 나타내는 변인인 4) 2009년 성취도 및 5) 사회경제적 지위 지표 등이다. 또한 도출된 잠재 프로파일의 특성을 탐색하기 위하여 학교의 배경변인, 교원, 교육과정 운영 및 학교 풍토 변인들을 활용하였다. 연구 결과, 우리나라 일반 고등학교는 총 5개의 잠재 집단으로 분류되었는데, 특징적인 것은 학교의 사전 여건에 상관없이 학교의 향상도 양상은 다양하게 도출되었다. 학교의 향상도가 높은 집단들은 주로 대도시에 위치하고 사립학교의 비율이 높았고, 상대적으로 ‘전담교사 배치’ 및 ‘학생에게 개별학습자료 제공’등 학습부진 지도 노력을 많이 한 것으로 나타났다. 마지막으로 우리나라 학교 간 학력 격차 해소를 위한 정책적 제언과 더불어서 개별 학교의 고유한 특성을 파악할 수 있는 개인-중심적 접근기법의 유용성을 논의하였다. In this study, we used a classic latent profile analysis (LPA), a person-centered approach, to identify groups of schools who had similar profiles for the indexes of School Progress Index(SPI) for the Korean, Math, and English subjects, their previous achievement levels, and their Socio-economic Status(SES) Index. Also this study related these LPA groups to a diverse set of correlates such as school personnel, curriculum, and climates. The 2009-2010 National Assessment of Educational Achievement(NAEA) high school data were used and the analysis unit was the school level. According to the statistical criterion and a priori predictions, we identified 5 LPA groups representing a combination of profile level(high vs. low overall school status or SPI) and profile shape(school status vs SPI). Results showed that the latent groups with high SPI tended to be located in the large city, and their school type is mainly private government-dependent schools. Also the schools with high SPI profiles made relatively much efforts in helping the low performing students, such as ‘assignment of tutors for low performing students’ and ‘providing individual learning materials’. In this study, we showcased a LPA technique, which could be used for such a purpose as clustering schools based on SPIs, and illustrated many of the advantages associated with its use. Implications for reducing the achievement gap between schools were discussed.

국가수준 학업성취도 평가의 표본설계 개선 연구

손원숙(Wonsook Sohn),박정(Chung Park) 한국교육평가학회 2007 교육평가연구 Vol.20 No.4

  본 연구는 현재 시행되고 있는 국가수준 학업성취도 평가의 표본 설계를 보완할 수 있는 방법을 구안하기 위한 것이다. 현행 표본설계에서는 개별 학생의 표집확률이 동일하지 않고, 세부적인 표집 절차에 대한 기준이 구체화되어 있지 않아서 표집 과정에서 발생할 수 있는 오차에 대한 추정이 어렵다. 따라서 본 연구에서는 가능한 한 표집과정에서 오차를 배제하고, 보다 정확한 전집 추정치를 얻기 위하여 현행 표본 설계를 몇 가지 면에서 보완하고자 한다. 우선 표집 1단계의 표집단위인 학교를 표집하기 위하여 현행성취도 평가의 단순무선표집 방법을 확률비례추출법으로 개선하여, 개별 학생들의 표집확률이 동일하게 되는 자체 가중 표본(self-weighted sample)이 되도록 하였다. 또한 표본의 대표성을 높이기 위하여 새로운 층화변인을 도입하였고, 불균등한 표집 확률을 보정하기 위한 가중치 및 통계치 추정의 신뢰성을 측정할 수 있기 위한 표집오차의 필요성을 논의하였다. 본 연구의 표본 설계에 따라 2005년도 『교육통계연보』의 학교 정보를 이용하여 우리나라 초6, 중3, 고1 학생의 3%를 표집하기 위한 절차를 소개하였다. 마지막으로 향후 성취도 평가의 표본 설계에서 보완되어야 할 기술적인 측면들을 논의하였다.   The purpose of this study is to improve the current sample design for NAEA and to explain the major steps in its sampling process, the reasons for the methods that are used, and some of the consequences of the sampling processes. The sampling design used for this study aims to avoid bias in the selection procedure and achieve the maximum precision in view of the available resources. The key feature of the proposed sampling design is that the simple random sampling used for previous cycles was replaced by a probability proportional to size (PPS) systematic sampling. This is because the sample design with a simple random sample of schools would underestimate or overestimate the student population size. Other features of the new sampling design were also discussed. Finally this study suggests the weight calculation and the variance estimation that provides accurate and robust estimates of sampling variance for a variety of different types of statistic.

구성형 문항의 차별기능문항분석을 위한 다변량 대응변수 기법의 적용

손원숙(Sohn Wonsook) 한국교육평가학회 2007 교육평가연구 Vol.20 No.1

  이 연구에서는 대규모 학업성취도 평가에서 많이 활용하고 있는 구성형 문항에서 나타나는 성별에 따른 차별기능을 분석하였다. 구성형 문항에 가장 적절한 대응변수를 선택하기 위한 노력으로 다변량 대응변수 기법을 활용하였다. 즉, 구성형 문항과 선다형 문항의 점수 등을 조합하여 총 4가지 유형의 대응변수가 검토되었다. 연구 결과에 따르면 다변량 대응변수의 효과는 뚜렷하지 않았으나, 해당 구성형 문항의 총점 뿐 아니라 동일한 내용 영역을 측정하는 선다형 문항의 점수 역시 대응변수의 상세화에 기여함을 알 수 있었다. 동일한 구성형 문항에서도 평가 영역에 따라 수학적 지식 영역은 남학생, 설명 영역은 여학생에게 유리하게 기능하는 경향이 있었다. 마지막으로 본 연구 결과로부터 얻은 대규모 학업성취도 평가 결과 활용 시 고려 사항을 논의하였다.   This study explored methods for detecting gender-based differential item functioning on a constructed response(CR) math test administered as part of the Illinois State Assessment Tests. The primary difficulty encountered with many CR tests is the absence of a reliable and appropriate measure of ability on which to condition. In this study, several combinations of matching variables  were explored. The results showed that choice of matching variable had little effect but the effect of MC scores as well as CR scores as a matching variable was clear. In particular, Math Knowledge dimensions tend to favor males, while Explanation dimensions tend to favor females. The results of  this study suggest that users of large-scale assessments should carefully examine their achievement measures before using them to make inferences about group differences.