다국면 라쉬 모형을 통한 준거설정자의 평정결과 평가

장윤선 ( Jang Yoonsun ) 대경교육학회 2022 교육학논총 Vol.43 No.2

교실평가 상황에서 점차 절대적 기준에 따라 학생의 학습 도달 정도를 해석하는 준거참조평가가 확대되고 있다. 준거참조평가의 핵심은 평가의 결과를 해석하는 기준인 준거와 준거에 따른 수행수준을 구분하는 분할점수를 어떻게 설정하는가에 있으며, 일반적으로 준거는 전문가의 주관적인 판단을 바탕으로 설정된다. 대부분의 준거설정 방법에서는 최소능력보유자라는 가상의 집단을 상정하게 되는데, 전문가들 마다 동일한 개념의 최소능력보유자를 상정하는 것은 쉽지 않다. 심지어 한 명의 준거설정자가 준거설정을 반복하는 동안 상정한 최소능력보유자의 개념은 동일하지 않을 수 있다. 그러므로 타당한 분할점수를 산출하기 위하여 성공적인 준거설정 수행이 필수적이며, 특히 준거설정자의 평정이 타당하였는지를 평가하는 것이 중요하다. 본 연구에서는 다국면 라쉬 모형을 적용하여 세 가지 준거설정 방법(Bookmark 방법, Mapmark 방법, IDM 방법)을 실시하며 산출된 6명 준거설정자들의 평정결과를 평가하였다. 분리 신뢰도 지수에 따르면, 모든 준거설정 방법에서 준거설정자들은 비슷한 수준의 엄정성을 보였다. Bookmark 방법과 IDM 방법을 통해 산출된 평균 성취 수준은 서로 비슷한 반면, Mapmark 방법에 의해 산출된 평균 성취수준은 통계적으로 유의미한 차이를 보였다. 또한 세 가지 준거설정 방법 중, IDM 방법을 적용하여 도출된 준거설정자들의 평정이 가장 높은 일관성을 보였다. In a classroom assessment situation. the criterion-referenced assessment, a student’s raw test score is interpreted by performance standards which are specifically defined to represent abilities measured on the test, became a major assessment method. The major feature of criterion-referenced assessment is that the criteria or standards are set based on experts' subjective judgments. To set standards, the experts have to conceptualize the ‘minimally competent students.’ It might be hard to coherently retain this concept, not only between experts but even for a single expert. In order to validate the cut-scores, it is important to show that the standard setting method is appropriately designed and successfully implemented by the standard setting panelists. This study evaluated the procedures of standard setting by using the many-faceted Rasch model which can incorporate multiple facets related to standard setting. In this study, four facets (i.e., panelists, items, standard setting methods, and rounds) are included. The results showed a general agreement between panelists. The average performance levels estimated by the Bookmark and IDM methods were similar, but these differed significantly from those by the Mapmark methods. Among three standard setting methods used in this study, the panelists’ ratings for the IDM method were the most consistent.

문항반응이론에 기초한 준거설정 방법 비교

장윤선(Jang, Yoonsun),성태제(Seong, Taeje) 한국교육평가학회 2009 교육평가연구 Vol.22 No.3

본 연구는 문항반응이론에 기초한 Bookmark방법,Mapmark방법,IDM 방법에 의해 산출된 최종 분할점수를 비교하고 내적,외적 준거 측면에서의 평가를 통해 세 가지 준거설정 방법의 적용가능성에 대하여 논하고자 한다.이를 위해서 TIMSS2003과학검사 중에서 물리영역에 해당되는 문항의 응답 자료를 사용하여 피험자를 세 개의 성취수준으로 분류하기위한 분할점수를 산출하였다.또한 산출된 분할점수를 사용하여 준거설정자간, 준거설정자내,방법내,방법간 분류일치도를 산출하여 비교하였다.연구결과,세 가지 준거설정 방법에 의한 분할점수 설정결과 우수수준의 분할점수는 큰 차이가 없었지만,수월수준의 분할점수에서는 큰 차이가 발생하였고,준거설정 방법의 내적 평가결과 준거설정자간 분류일치도는 Mapmark방법이 비교적 높게 산출되었고,준거설정 방법내 분류일치도와 정확도 역시 Mapmark방법이 높게 산출되었다.외적 준거에 따른 평가결과는 Bookmark방법과 Mapmark방법의 분류일치도가 가장 낮게 산출되었다. The purpose of the present study is to introduce three IRT-based standard setting methods (Bookmark, Mapmark and the IDM methods) and compare with cut-scores and internal and external validity of these methods. Also, it analyzed the applicability and restrictive point of these methods in our educational situation. The physics items and respond data of the TIMSS2003 science test were used for it. In result, regarding the cut scores of the three methods, there are some gaps among them and the cut scores of‘High’weresimilarbutthecutscoresof‘Advanced’wereverydifferent.Andregarding the evaluation of standard setting methods by internal criteria-intrapanelist interpanelist and within method consistency, the result of the Mapmark method has higher consistency than other two methods. Also, regarding evaluation of standard setting methods by external criteria-intermethod consistency, the result of the consistency between Mapmark method and Bookmark method becomes being lower than other methods.

Rasch-tree 방법을 이용한 PISA 2015 과학검사의 차별기능문항 탐색

장윤선(Yoonsun Jang),이주연(Juyeon Lee) 한국교육평가학회 2023 교육평가연구 Vol.36 No.1

이 연구의 목적은 Rasch 모형 기반 재귀적 자료 분할을 통해 차별기능문항을 탐색하는 Rasch-tree 방법을 소개하고, PISA 2015 과학검사의 차별기능문항을 탐색하는데 적용해봄으로써 그 활용가능성을 확인하고자 하는 것에 있다. 이를 위해 PISA 2015 과학검사 자료 가운데 16개 문항에 대한 이분 응답 자료와 학생, 부모, 학교, 교사, ICT영역과 관련된 41개 특성변수를 사용하여 차별기능문항을 탐색하였다. 분석 결과, 과학의 즐거움, 성별, 동기에 의해 총 4개의 하위집단으로 자료가 분할되었고, 분할된 하위집단 간 추정된 문항난이도의 차이가 큰 2개 문항이 차별기능문항으로 분류되었다. 이들 문항은 과학의 즐거움 정도가 높은 집단과 과학의 즐거움 정도가 낮은 여학생 집단에 따른 차별기능 크기가 컸다. 이러한 결과를 통해 Rasch-tree 방법이 다양한 특성변수를 동시에 고려하여 가능한 모든 조합의 집단 간 차별기능문항을 탐색하는데 효과적임을 확인하였다. The purpose of this study is to introduce the Rasch-tree, which is Rasch model-based recursive partitioning, as a new method for differential item functioning(DIF) detection and to examine its usefulness by exploring DIF in PISA 2015 Science test data with the Rasch-tree. This study used 16 items binary response of PISA 2015 Science test and 41 variables related to the student, parent, family, teacher, science, and ICT. The results of this study showed that there are four subgroups splitted by the three variables, ‘Enjoyment of Science(JOYSCICE)’, ‘gender’, and ‘Child’s past science activities(PRESUPP)’, and the two DIF items were detected. These items had large differences in the estimate item difficulty parameters between these four subgroups, especially the group of students with high level of JOYSCIE and the group of female students with relatively low level of JOYSCIE. For these results, it was confirmed that the Rasch-tree could be effective for exploring DIF between latent classes by considering simultaneously multiple trait variables.

Mixture IRT model for detecting aberrant responses under low-stake testing

Yoonsun Jang(장윤선),Georgia Wood Hodges 한국교육평가학회 2018 교육평가연구 Vol.31 No.3

Item Response Theory (IRT) aids with the analysis of test items and item response patterns. One concern with test assessment is aberrant response. Aberrant responses are caused by several factors, for example, a participant’s low level of motivation or their concern with the time limit for a high stakes test. These factors can yield biased estimates for IRT models that may invalidate inferences associated with research results. Mixture IRT models have been proposed and applied for detecting aberrant responses such as random guessing, performance decline in a low-stake test, or an extreme response style in a self-report survey. This study used a mixture Rasch model on an empirical data set to search for two latent classes defined as groups: valid responders or random responders. The effects of random responses on the estimation of model parameters was investigated as well as the effects of an educational intervention. In summary, only a small portion of random responders was detected. Consequently, they had a relatively weak effect on the estimation of model parameters and the efficacy of an educational intervention. 문항반응이론(IRT) 모형은 검사 문항 및 검사 문항에 대한 반응유형 분석 등에 사용된다. 피험자의 문항반응은 검사에서 측정하고자 잠재특성 외 다른 요인들에 의해 영향 받으며 이로 인하여 비정상적인 문항반응이 발생하기도 한다. 예를 들어, 피험자가 검사에 흥미를 가지지 못한 경우 문항에 성실히 응답하지 않을 수 있으며, 고부담 검사에 참여한 피험자가 제한된 시간에 대한 불안으로 비정상적인 문항반응을 보일 수 있다. 비정상적인 문항반응은 문항반응이론 모형의 편파적인 모수 추정을 야기할 수 있으며, 이로 인해 왜곡된 연구 결과가 도출 될 수 있다. 본 연구에서는 혼합 문항반응이론(mixture IRT) 모형을 적용하여 비정상적인 문항반응을 추출하고, 추출된 비정상적인 문항반응이 문항반응이론 모형의 모수 추정에 미치는 영향을 탐색하였다. 아울러 교육적 처치의 효과 분석에 비정상적인 문항반응이 미치는 영향을 분석하였다. 분석 결과, 추출된 비정상적인 문항반응의 비율은 비교적 낮았으며, 이들이 교육적 처치 효과 분석에 미치는 영향 또한 크지 않았다.

A multilevel item response tree model for measuring a cross-national variability in response styles

이주연(Juyeon Lee),장윤선(Yoonsun Jang) 한국교육평가학회 2021 교육평가연구 Vol.34 No.1

본 연구는 국가 간 응답 양식의 차이를 탐색하고, 하나의 통계 모형 안에서 주요 관심 구인과 응답 양식을 각각의 잠재변인으로 측정함으로써 관심 구인 간의 관계가 어떻게 달라지는지를 비교하는 것에 목적이 있다. 이를 위하여 리커트 4점 척도 문항을 통해 측정된 관심구인에 대한 국가 간 비교연구에서 국가 간(between-country), 국가 내(within-country) 극단 응답 양식(ERS)의 차이를 동시에 측정할 수 있는 다층 문항반응나무모형(ML-IRTree: Multilevel item response tree model)을 제안하였다. 본 연구에서 제안한 다층 문항반응나무모형의 적용 가능성 탐색을 위하여 PISA 2015 자료 가운데 과학 교과의 성취동기와 흥미에 대한 35개 국가의 응답 자료를 활용하였다. 연구 결과에 따르면, ERS의 국가 간 차이가 존재하였으며 다층 문항반응모형을 통해 ERS와 동시에 추정된 과학에 대한 태도 및 동기 구인 간 관계는 응답 값의 단순 합으로 계산된 구인 간 관계와 다소 차이가 있었다. 또한 측정된 ERS 수준은 과학 관련 구인(성취동기 및 흥미) 및 수준(국가 간 또는 국가 내)에 따라 큰 차이가 있음을 확인하였다. 이로써 리커트 척도를 통해 측정되는 구인의 국가 간 비교연구에서 응답 양식 측정의 필요성에 대한 경험적 증거를 제시하였다. The present study aims to detect the variability of response styles across countries and examine the impact of measuring response styles on the association between substantive constructs and response styles or educational outcomes. To simultaneously measure extreme response style (ERS) in a four Likert-type rating scale at the within- and between- country levels, we proposed a multilevel item response tree model (ML-IRTree). The empirical study was illustrated with the motivation and attitude scales related to the performance and learning experience of a science subject in a total of 35 countries of PISA 2015. The results of the study showed that including ERS in the ML-IRTree produced the moderate change of the relationship between substantive constructs compared to simple sum score analysis. As not in line with previous findings (Ju & Falk, 2019; Lu & Bolt, 2015), the large relationship between substantive constructs and ERS was captured. In addition, the paradoxical finding with respect to the association between substantive constructs and the achievement scores was observed at between-country level. The study s empirical evidence motivates researchers to be aware of the existence of response styles in cross-national studies.

랜덤포레스트 기법을 활용한 대학생의 행복감 영향 요인 분석

이윤희(Lee, Yoonhee),장윤선(Jang, Yoonsun) 한국교육학회 2021 敎育學硏究 Vol.59 No.5

이 연구는 기계학습 기법의 하나인 랜덤포레스트를 활용하여 대학생의 행복감에 영향을 미치는 주요 요인을 분석함으로써 대학생의 행복감 제고를 위한 기초자료를 제공하고자 하였다. 이를 위해 한국직업능력연구원의 한국고용패널Ⅱ(KEEPⅡ) 자료를 사용하였고, 연구대상으로 대학생 총 5,299명의 자료가 활용되었다. 분석을 위해 다중공선성 문제로부터 자유로운 랜덤포레스트 기법의 장점을 활용하여 대학생의 개인, 가정, 학교와 관련 있는 총 105개의 변수를 설명 변수로 사용하였다. 연구의 주요 분석 결과는 다음과 같다. 첫째, 중요도 지수 상위 20위에 개인, 가정, 학교 변수들이모두 포함된 것으로 나타나 개인, 가정, 학교가 복합적으로 영향을 미치는 것으로 밝혀졌다. 둘째, 행복감에 영향을 미치는 중요도 지수가 가장 높은 설명 변수는 현재 자신의 경제상황 만족도인 것으로 나타났다. 셋째, 대학생활 만족도, 대학 만족도, 학과 만족도, 대학시설 만족도 등 대학 관련 변수들이 행복감에 영향을 미치는 주요 변수로 밝혀졌다. 넷째, 행복감에 영향을 미치는 중요도 지수 상위 20위에 건강 관련 변수가 가장 많이 포함된 것으로 나타나 건강관리, 학업스트레스 관리가 중요한 것으로 밝혀졌다. 마지막으로 고등학교 시기 변수들도 주요 설명 변수로 나타나 행복감은 현재 상태뿐만 아니라 과거로부터 축적되어온 경험과 심리상태에 영향을 받는 것을 알 수 있었다. 이와 같은 연구결과를 바탕으로 대학생의 행복감을 증진시킬 수 있는 시사점과 연구의 한계점을 논의하였다. This study aimed to provide basic data for enhancing the sense of well-being of college students by analyzing the major factors affecting the happiness of college students using random forest, a machine learning technique. To do this, data from 5,299 college students’ responses from the first to third year survey of ‘Korean Education & Employment Panel (KEEP)Ⅱ’ were used. A total of 105 variables including demographic, family and school environmental, and personal characteristics variables were included in the analysis. The main results are as follows. First, the personal, family, and school variables were ranked in the top 20. It means that college students’ happiness was affected compositively by individual, family, and school-related factors. Second, ‘the degree of satisfaction about current economic situation’ had the highest importance index most among the 105 variables. Third, satisfaction with college life, college, major, and college infrastructure were major factors influencing college students’ happiness. Fourth, the variables related to health, such as perceived health status and academic stress were significant factors, as well. Lastly, many variables measured during high school years were included the top 20. This result showed that college students’ happiness was affected by not only their current situation, but also their accumulated experience over the years.

LDA(Latent Dirichlet Allocation) 분석을 통해 본 한국교육사상학회 30년간 발표논문 동향과 시사점

최진(Jin Choi),장윤선(Yoonsun Jang) 한국교육사상학회 (구 한국교육사상연구회) 2022 敎育思想硏究 Vol.36 No.2

이 글은 부산 경남지역에서 교육사상을 연구하는 한국교육사상학회에서 지난 30년간 이루어졌던 발표 및 연구경향성을 통해 우리나라 교육사상 연구의 고유성에 대하여 생각해볼 만한 지점을 제시하는 것을 목적으로 한다. 이를 위해 1991년 제1회부터 90회까지 총 341번 이루어졌던 발표주제의 경향성을 분석하고자 하였으며, 최근 비정형데이터의 분석방법으로 주목받고 있는 텍스트 마이닝 기법인 LDA 토픽 모델링을 수행하였다. 분석결과, 30년간의 발표주제들은 크게 네 가지로 범주화할 수 있었는데 첫 번째 주제로는, 어떠한 사안이나 텍스트로부터 교육사상의 ‘교육적, 혹은 교육학적 의의’를 도출하려는 교육 본질에 대한 탐구로 모아졌다. 두 번째는 당대 이슈가 되고 있는 ‘교육현안이나 과제, 혹은 사회에 대한 교육학적 분석이나 전망’ 등의 주제로 모아졌고, 세 번째는 ‘한국교육 고유의 특성’을 이해하거나 ‘학교, 교사의 문제’를 연구하는 주제, 마지막으로 네 번째는 ‘동서양을 아우르는 사상가에 대한 연구’나 그 사상가의 개념 혹은 사유에 대한 연구로 모아졌다. 이 네 가지 주제 모두에서 “서양근대사상가”라는 용어가 높은 빈도로 출현하였고, 이러한 결과를 통해 국내의 교육사상 및 교육철학 연구가 지니는 일인칭적 글쓰기 방식인 고유한 ‘행위’로서의 연구방법에 관한 시사점을 도출하였으며, 아울러 실천적 교육학과 교육과학이 협업해야 할 필요성을 제언하였다. The purpose of this article to provide future directions of Korean educational idea research by analyzing the research trends presented in KEIA. A total of 341 research topics presented since 1991 were analyzed using LDA(Latent Dirichlet Allocation) topic modeling, which is a text mining technique that has recently attracted attention. According to the LDA analysis, the research topics presented for 30 years were classified into four topics. The first topic was about an exploration of the essence of education so as to discover the ‘educational or pedagogical meaning’ from specific issues. The second topic was about analyzing and prospecting ‘the current issues or tasks of education.’ The third topic was about ‘understanding the characteristics of Korean education’ or ‘studying the problems of schools and teachers’. Lastly, the fourth topic was about Eastern and Western scholars and their concepts or thoughts. The term ‘Western modern scholars’ appeared frequently over these four topics, and this result was suggested that the first-person writing “action” is the unique research method in domestic educational ideas and philosophies Furthermore, this study was suggested the need of collaboration with practical and scientific approaches to research in educational idea and philosophy of education.

두 시점 유사종단자료를 활용한 학교 책무성 평가 모형의 적용

신혜숙(Hye Sook Shin),임현정(Hyun-Jung Im),장윤선(Yoonsun Jang) 한국교육평가학회 2011 교육평가연구 Vol.24 No.3

학교자율화가 본격적으로 추진되면서 개별 학교의 자율성 신장과 더불어 학교의 교육적 책무가 강조되고 있으며, 이를 점검하기 위해 학생의 학업성취도를 바탕으로 학교의 효과를 평가하는 다양한 모형이 제안되고 있다. 이에 본 연구에서는 두 시점 유사종단자료인 한국교육개발원의 「학교 교육 실태 및 수준 분석」자료를 활용하여 중학교의 효과를 분석하였다. 구체적으로 학생 및 학교수준 투입변인의 영향을 통제한 학교효과점수를 바탕으로 학교효과평균과 그 향상도를 산출하였고, 이 결과를 원점수를 바탕으로 산출한 학교평균 및 향상도와 비교하였다. 또한 효과점수 기준의 학교평균과 향상도를 바탕으로 우리나라 중학교를 분류하여 학교들의 특성을 분석하였다. 이를 바탕으로 학교의 책무성 평가에 관한 정책적 시사점을 논의하였다. As school governance has been enlarged, more attention has been paid on school accountability and various models have been developed for evaluating it. This study evaluated school effects of middles schools in Korea using quasi-longitudinal data from the study named 「Current Status and Level of Schools」collected by Korean Educational Development Institute(KEDI). School effect scores were estimated based on achievement scores after controlling for student- and school-level background variables. The averages and growth rates of these school effect scores were compared to the averages and growth rates of the original achievement scores. Also, the characteristics of middles schools classified into four groups based on the averages and growth rates of school effect scores. Some recommendations for school accountability system were made based on these findings.