논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석

지은림(Chi Eunlim) 한국교육평가학회 2008 교육평가연구 Vol.21 No.2

  본 연구는 논술고사의 신뢰성에 채점자의 엄격성과 전문성이 미치는 영향을 알아보기 위해 다국면 라쉬 모형을 적용하여 대입 모의 논술고사를 분석하였다. 2회 실시된 동형의 논술고사에 참여한 피험자는 각각 647명과 873명이었으며, 채점은 동일한 10명의 교수에 의해 실시되었다. 그 중 4명은 전문가이고 나머지 6명은 비전문가에 속한다. 채점자 엄격성에 대한 분리신뢰도지수를 조사해본 결과는 채점자간에 유의미한 엄격성 차이가 존재한다는 것을 보여주었다. 그러나 전문가와 비전문가를 비교해볼 때, 전문가는 채점자간 엄격성 차이는 낮은 반면, 적합도는 높은 것을 알 수 있었다. 또한 전문가 집단은 2회에 걸친 논술고사에서 엄격성과 적합성이 비전문가보다 안정성있는 것으로 나타났다. 이는 논술고사의 신뢰성을 높이기 위해서는 채점자간 엄격성 차이를 고려해야 하며, 채점자의 전문성을 높이는 것이 선행되어야 한다는 것을 의미한다.   This paper analyzes the effects of rater "severity" and "expertise" on the reliability of essay examinations by using the many facet Rasch model(FACETS model). Two different essay examinations which administered to different student groups at a university were used for this study. The two examinations included three tasks having the same format and the same scoring method. There were 647 examinees in the first essay examination and 873 in the second one. Ten raters participated in both the first and the second examination. Among them, four raters could be considered as experts and six raters as non-experts in terms of their major content and rater experience. The data were analyzed by FACETS computer program with three facets of examinee, task, and rater. The separation reliability statistics and chi-square tests produced by FACETS showed that there were significant differences between raters for severity. From the comparison between experts and non-experts, it was found that experts tended to have better fits than non-experts. This means that experts can have higher intra-rater reliability. In addition, it was also disclosed that experts were more stable for severity and infit over two administrations. All these results suggest that the factors of rater severity and rater expertise should be seriously considered for the reliability of essay scoring. Especially, it should be recognized that rater severity can be influenced by rater expertise. This implies that rater trainings are required to improve the reliability of essay scoring.

초등학생과 중학생의 담임 교사와의 관계에 대한 인식 비교

지은림 ( Eun Lim Chi ),김성숙 ( Sung Sook Kim ) 경희대학교 교육발전연구원(구.교육문제연구소) 2004 慶熙大學校 敎育問題硏究所 論文集 Vol.20 No.2

대학생의 인성유형 , 전공 및 가정변인 연구

지은림(Eun Lim Chi) 경희대학교 교육발전연구원(구.교육문제연구소) 1995 慶熙大學校 敎育問題硏究所 論文集 Vol.11 No.-

대학 교수자를 위한 강의자가진단도구 개발의 타당화 및 관련변인 분석

지은림(Chi Eunlim),장정아(Chang Jung-A) 한국교육평가학회 2006 교육평가연구 Vol.19 No.1

본 연구는 대학 교수자가 강의를 스스로 평가하고 성찰해볼 수 있는 기회를 제공하기 위해 강의자가진단도구를 개발하고, 도구의 타당화 및 관련 변인에 대한 분석을 실시하였다. 한 대학에서 강의를 담당했던 116명의 교ㆍ강사를 대상으로 8개 배경변인 이외에 23개의 자가진단 문항을 필요도와 이행도별로 응답하도록 했다. 다국면 라쉬모형을 적용한 문항 적합도 분석에 의해 이행도에 있어서 한 개를 제외하고 문항들이 모두 타당하다는 것을 알 수 있었다. 요인분석 결과는 문항을 구성하는 요인이 필요도와 이행도간에 차이가 발생한다는 것을 보여주었으며, 반응범주곡선을 이용하여 자가진단도구에서 5점 평정척도를 사용한 것이 적절하다는 것을 알 수 있었다. 내적일관성 신뢰도분석 결과는 비교적 높은 신뢰도를 보여주었지만, 필요도에 비해 이행도는 낮은 수준을 보였다. 한편 자가진단 결과는 필요하다고 인식하는 것보다 실제 이행하는 수준이 낮게 나타났고, 자가진단 수준에 영향을 미치는 관련 변인으로는 필요도에 있어서 교수의 소속대학과 연령 및 강좌규모가 있었으며, 이행도에 있어서는 교수의 성별이 발견되었다. This paper develops and validates the self-diagnosis instrument and analyzes the related variables for university instruction to provide professors with the opportunities of self-reflecting their own teaching. The instrument was administered to 116 instructors in a university and consists of 23 items for the two parts of "necessity" and "implementation" respectively. Infit statistics computed by FACETS, which is developed based on many-facet Rasch model, show that items are generally valid for the self-diagnosis of instruction except the item of "scolding students". Factor analysis finds that four factors of instruction process, student management, learning management, instruction method construct self-diagnosis of instruction for "necessity", while five factors of instruction method, instruction performance, instruction content, student management, learning management for "implementation". Also, the examination of response category curves provided by FACETS confirms the validity of 5 point rating scale for the instrument. Meanwhile, the results of administering the instrument reveal that instructors" gender, major, and age and the size of class can influence the level of instruction. As a result, the self-diagnosis instrument developed for university instruction can be a valid tool for evaluating instruction and improve the quality of university instruction, but further research is required for making the diagnosis of ‘implementation’ more objective.

국제비교평가 검사들의 국가간 차이 분석을 위한 Rasch 모형 적용

지은림(Chi, Eunlim) 한국교육평가학회 2011 교육평가연구 Vol.24 No.1

국제화 추세와 함께 많은 심리검사들이 국제비교평가에 사용되고 있으나, 이러한 검사들은 국가들이 가지고 있는 다양한 사회․문화적 배경과 언어의 영향을 제대로 고려하지 못하고 있어 측정학적 오류의 유발에 대한 우려가 커지고 있다. 따라서 본 연구는 여러 국가들을 대상으로 동시에 실시되는 검사에 대해 측정의 타당성과 국가 간 차이에 대해 탐색해보고자 한다. 이를 위한 자료로는 TIMSS 수학 8학년 교사 설문지에 대한 한국, 대만, 미국 교사들의 응답을 사용하였다. 측정모형으로는 Rasch 모형의 확장형태인 부분점수모형(Partial Credit Model)을 사용하였는데 첫째, 검사 특성 및 타당성을 확인하기 위해‘문항 적합도’와 ‘문항과 피험자 추정치 분포’에 대한 분석을 실시했다. 둘째, 국가 간 차이를 탐색하기 위해서 문항 편파성 분석을 실시하였다. 마지막으로 편파성이 발견되는 문항을 조정하여 척도를 재개발 하는 방법을 실시하였다. 본 연구에서 보여준 국가 간 차이 분석을 위한 방법론적 탐색은 향후 국제비교평가에서 사용되는 검사들의 타당성을 확보하고, 편파성을 제거 또는 조정함으로써 국가 간에 동등성을 확보하는데 도움을 줄 수 있을 것으로 기대된다. This study recognizes the seriousness of the equivalence of tests administered across countries and tries to demonstrate how to explore cross-culutural assessment. For the study, TIMSS teachers' survey data for 8th grade math subject were used to compare Korea, Tiwan, and USA. The measurement model applied to the data analysis was partial credit model which was the expanded form of Rasch model, and WINSTEPS, the scaling computer program using partial credit model, was used to examine item fit, item and person measures and to find and adjust DIF items. The result revealed that there were significant differences between the group of Korea and the group of Tiwan and USA in teachers' assessment practice. Korean teachers showed lower levels in most of items. This implies that Korean math teachers less practice assessment than the other two countries. For example, item 7 (“students' outcomes of homework are used for class discussion”) showed the largest differences between Korea and the other two countries. For the item 7, re-scaling was performed treating the item as two different items; one for Korea and the other for Tiwan and USA. That is, teachers' responses were split into two groups(Korea and Tiwan-USA) and estimated again. It was found that the measure of item 7 became far lower for Korea than the other two countries. This analysis tried to demonstrate that the differences between countries could be used to adjust item measures and improved the equivalence of tests across countries by controlling item biases. However, the further studies are suggested to make the goal of exploring the equivalence of cross-cultural assessment explicit. Also, the methods of adjusting DIF items to improve the equivalence of tests should be more examined and compared.

한공우 교수 정년퇴임 기념논문집 : 절대평가 기준 설정을 위한 문항반응이론의 적용

지은림(Eun Lim Chi) 경희대학교 교육발전연구원(구.교육문제연구소) 1998 慶熙大學校 敎育問題硏究所 論文集 Vol.14 No.-

교사의 수업 및 평가활동이 학생들의 자기조절학습과 학업성취도에 미치는 영향

지은림 ( Eun Lim Chi ),양명희 ( Myung Hee Yang ),정윤선 ( Yun Sun Cheong ) 한국초등교육학회 2011 초등교육연구 Vol.24 No.4

교사의 수엽활동과 평가활동은 교사전문성을 구성하는 중요한 두 축이다. 본 연구는 교사의 수엽활동과 평가활동과 관련된 변수들을 탐색하고, 이들이 학생의 자기조절학습이나 학업성취도에 어느 정도 영향을 미치는지를 구체적으로 검증해보았다. 연구 자료는 서울교육종단연구(SELS 2010) 데이터 중에서 초등학생 4,647명과 그들의 담임교사 217명을 연계한 것이다. 본 연구를 통해 확인된 연구결과는 다음과 같다. 첫째, 교사의 수업활동에는 배경적 특성과 더불어 교사가 속한 조직문화적 특성이 상당한 영향력을 행사한다. 둘째, 교사의 평가활동에 교사의 성별, 최종학력과 같은 배경적 특성이 영향을 준다는 점에서 수엽활동과 공통적이었다. 그러나 교사가 지각한 조직문화적 특성의 영향력은 수엽활동에 비해 상대적으로 작다는 점에서 차이가 있었다. 셋째, 교사의 수업활동과 평가활동이 자기조절학습을 매개로 학업성취도에 영향을 미치는 관계를 가정하였던 본 연구의 이론모형은 우수한 적합도를 나타냄으로써 교사의 수엽·평가활동은 학생들의 학습에 긍정적인 작용을 한다는 점을 확인할 수 있었다. 넷째, 교사의 수엽활동은 학생들의 학업성취도에 자기조절학습을 통하여 간접적인 방식으로 작용하는 반면 평가활동은 직접적으로 영향을 준다는 점에서 차별성을 나타내었다. 이상의 여러 연구 결과는 교사의 수엽활동과 평가활동이 학생들의 자기조절학습과 학업성취도에 영향을 주는 중요한 활동임을 보여주고 있다. Teachers` activities for instruction and evaluation are major elements for teachers` professional competency. Considering the importance of teachers` activities for instruction and evaluation, this study explores the features of instruction and evaluation related with teacher variables and examines the effects of these activities on students` self-regulated learning and academic achievement. For this study, 4,047 elementary school students and their 217 classroom teachers were analyzed from the data set of Seoul Education Longitudinal Study 2010. The study first found that both teachers` background variables such as gender and education and their perception of the organizational atmosphere of schools influenced teachers` activities for instruction. Second, it was revealed that the effects of teachers` background variables on their activities for evaluation and instruction were similar, but that of their perception of the organizational atmosphere of schools was relatively small on their activities for evaluation. Third, this study, by applying Structural Equation Model, showed that teachers` activities for instruction and evaluation made significant effects on students` academic achievement by the parameter of self-regulated learning. In conclusion, teachers` activities for instruction and evaluation should be considered an important for teachers` professional competency.

대학생용 지구시민의식 척도 개발의 타당화 및 관련변인 분석

지은림(Chi Eunlim) 한국교육평가학회 2007 교육평가연구 Vol.20 No.2

본 연구는 지구시민의식 척도를 개발하고, 척도의 타당성을 검증하며, 지구시민의식 척도와 관련이 있는 변인들을 탐색하는 것을 목적으로 실시되었다. 지구시민의식을 측정하기 위한 문항 31개와 배경 문항 10개로 구성된 설문지를 290명의 대학생들에게 실시하였다. 설문 결과, 6개의 부적합 문항들을 발견해냈으며, 지구시민의식 척도는 5개 하위영역(다국적의식, 시민의식, 지구공동체의식, 국가정체의식, 민주의식)을 포함하는 것으로 나타났다. 문항 점수를 보면 대체로 ‘지구공동체 의식’ 수준이 가장 낮은 것을 알 수 있다. 한편, 설문지는 Cronbach α가 .923으로서 신뢰도가 매우 높다는 것을 알 수 있었으며, 문항반응범주 분석도 5점 척도가 적절하다는 것을 확인해주었다. 한편, 관련변인 분석은 성별, 해외방문 경험, 본인의 지구시민사회 준비도가 지구시민의식 수준과 관련된다는 것을 보여주었다. This paper aims to develop the scale of global citizenship, to validate the scale, and to explore the related variables. The questionnaire used in this study included 31 items measuring the global citizenship and 10 examinee background items, and was administered to 290 university students. The result found 6 misfitting items, which were related to foreign language abilities, trust in government and administrators, and the national competitive power. This implies that these concepts are not the characteristics of global citizenship. Also, a factor anlysis revealed that global citizenship consists of ‘multinationalism’, ‘citizenship’, ‘democracy’, ‘national identity’, ‘global community’. Among these factors, the level of examinees was the highest for multinationalism, while the level for global community was the lowest. The coefficient of reliability(α= .923) shows that the scale is very reliable and the examination of response category curves confirms that 5 point scale is appropriate. Meanwhile only gender, the experiences of going abroad, the degree of preparing themselves for the global civil society were found to be related with the level of global citizenship. All these results demonstrate the scale of global citizenship developed in this study is valid and reliable. Accoringly, this scale can be used to evaluate students" global citizenship objectively and help them prepare themselves for the global civil society.

전형유형별 사교육 요인 탐색

지은림 ( Eun Lim Chi ),김경숙 ( Kyung Sook Kim ),차정민 ( Jung Min Cha ),정연재 ( Yeon Jae Jung ) 경희대학교 입학전형연구센터 2014 입학전형연구 Vol.3 No.-

본 연구는 대입전형과 연계하여 사교육을 유발하는 요인들을 탐색해보기 위해 전형유형별로 사교육을 받지 않은 이유에 대한 설문조사를 실시하였다. 전국에 소재한 7개 대학 재학생 551명을 대상으로 실시한 설문조사 결과는 사교육을 받지 않게 되는 이유로 학교 교육의 요인이 중요하다는 것을 보여주었다. 2014학년도 이전에 입학한 대학생들의 경우에 입학사정관전형, 논술전형, 교과우수자전형, 국제화전형, 정시전형에 걸쳐 사교육을 받지 않았던 이유가 ‘경제적 사정’이나 ‘다른 외부 환경’이기 보다는 ‘교내 방과 후 학교 이용’ 및 ‘교내 선생님의 지도’가 영향을 많이 미쳤던 것으로 나타났기 때문이다. 이러한 결과는 사교육을 경감시키기 위한 방안으로 학교교육의 질 개선 및 학생 수준에 적합한 맞춤형 교육 실시가 중요하다는 것을 시사한다. The study aims to explore the factors causing private education for different university admission types. A survey was conducted to 551 students who were enrolled in 7 universities. The result showed that the factor of high school education was significant for causing private education. For the question of “Why didn`t you need to take private education or lessons?”, many students answered that they had opportunities of learning from ‘After school program’ or from school teachers. This result implied that the quality or programs of high school education could reduce students` need for private education. Accordingly, this study suggests that high schools should improve the content or level of classroom instruction and the education programs to reduce private education.

교사의 형성평가 피드백 수행 척도 개발 및 타당화

지은림(Chi, Eunlim) 한국교육평가학회 2010 교육평가연구 Vol.23 No.1

본 연구는 형성평가를 위해 사용될 수 있는 교사의 피드백 수행 척도를 개발하기 위해 초등 교사들에게 질문지를 실시했다. 여기서 피드백 수행 문항들은 평가목적, 평가수행, 피드백수행, 피드백유형, 피드백효과에 관한 내용들을 포함했다. Rasch 부분점수모형 분석을 실시한 결과 첫째, 총괄평가와 관련된 평가목적(서열매김, 기준비교) 문항들은 부적합한 것으로 나타났다. 둘째, 차원성 분석과 측정치 비교를 통해, 척도가 태도관련 문항들(평가목적, 피드백유형, 피드백효과)과 수행관련 문항들(평가수행, 피드백수행)로 구분될 수 있는데, 실제 수행 수준을 나타내는 문항들의 측정치가 낮은 경향을 보였다. 셋째, DIF 분석은 교사의 연령대에 따라 평가와 피드백 수행의 차이를 보여주었다. 마지막으로 준거타당도 검증은 개발된 척도가 피드백 수행 수준 파악을 위해 적절하다는 것을 확인시켰고, 신뢰도도 .810으로서 높은 편이었다. This study develops the scale of teachers' feedback practice for formative assessment by applying the Rasch model-Partial Credit Model. The questionnaire used for this study consisted of 28 items(3 background items, 3 criterion-related variable items, 22 feedback practice items). The feedback practice items were related to assessment goal, assessment frequency, feedback frequency, feedback type, feedback effects and had the format of 5 point scale. The questionnaire was administered to 240 primary school teachers. Item fit analysis found 2 misfitting items which were related to summative assessment goals(relative ordering and comparing to standards). The scale developed after deleting the two misfitting items was validated with the criteria variables of ‘feedback practice level’, ‘assessment practice level’, and ‘the degree of thinking assessment practice as teachers’ routine task. The reliability of the scale was also found to be satisfactory(α=.81). Meanwhile, this study revealed several findings for feedback practice. First, teachers tend to have the lower level in practicing assessment and feedback than in their attitude or perception of feedback. They used to prefer marking or scoring to comments as feedback methods, while comments are more recommended than other methods to attain the effect of feedback. The level of practicing assessment and feedback for group written activities was also much lower than others(test, homework, quiz, individual written activities). DIF analysis showed that 20s' and 30's teachers tended to practice more assessment and feedback than elder teachers. As a consequence, the scale developed in this study can be helpful to diagnose the level of teachers' feedback practice and understand the features of feedback practice.