대학 강의평가 일관적 응답의 경향성과 영향력 분석

양길석(Kilseok Yang) 한국교육평가학회 2014 교육평가연구 Vol.27 No.2

대학 강의평가는 대부분 온라인 시스템 상에서 실시되고 있으며, 그 참여율을 높이기 위해 성적 열람의 조건 등을 띤 준 강제적 성격을 띠고 있다. 학생들은 자신이 수강한 모든 수업에 대해 여러 번 반복하여 평정해야 하는 상황에 처할 수밖에 없으며, 그에 따라 짧은 시간에 성실하지 못한 응답을 하는 경향이 나타나게 된다. 그 하나의 형태로 추론될 수 있는 것이 모든 문항에 동일한 번호로 평정하는 일관적 응답이다. 이 연구에서는 일관적 응답이 어느 정도로 어떻게 나타나는지를 파악하고, 일반화위계선형모형(HGLM)을 활용하여 '학생수준'과 '강좌수준' 변인들이 일관적 응답 여부에 미치는 영향력을 분석하였으며, 위계선형모형(HLM)을 활용하여 '학생수준'과 '강좌수준' 변인들을 고려한 상태에서 일관적 응답이 강의평가 결과에 영향을 주는지를 분석하였다. 연구 결과, 해당강좌의 일관적 응답자 비율은 48.6%(전강좌 일관적 응답자 비율은 약 20% 내외)에 이르고 긍정적 평정치인 ⑤번 답지에의 일관적 응답 비율이 가장 높았다. 일관적 응답 여부에 통계적으로 유의한 영향을 주는 변인은 학생수준의 모든 변인과 강좌수준의 강의규모, 필수/선택, 학기인 것으로 확인되었으며, 일관적 응답은 학생수준의 모든 변인 및 강좌수준의 교수직위 변인과 함께 강의평가 점수에 통계적으로 유의한 영향을 주는 것으로 나타났다. The purpose of the study was to analyze the pattern of students' consistent responses to course evaluation and the effect of students' consistent responses on the evaluation results. For this purpose, the two semesters' results(40,812 cases) of course evaluations of C University located in Gyeonggi-do in 2012 were examined. The frequencies and ratios of the consistent responses were calculated. And the hierarchical generalized linear model(HGLM) and the hierarchical linear model(HLM) were used to analyze the multilevel data, which includes student-level variables(gender, academic year, major, entrance type, course participation, achieved grade) and course variables(faculty's status, class size, major subjects/liberal arts, essential subjects/elective subjects, semester). The proportion of students who replied the same answers to each question was near 50%, and 48.3% of them gave 5 points consistently. The results of HGLM analysis empirically showed that all the student-level variables and 3 course-level variables(class size, essential subjects/elective subjects, semester) had influence on students' consistent responses. And the results of HLM analysis showed that student' consistent responses had statistically significant effects on the score of course evaluation after controlling for the effects of all the student- and course-level variables.

성취평가제의 성적과대평가 모니터링 대상 추출 방안 탐색

양길석(Kilseok Yang),김인숙(Insuk Kim),곽민호(Minho Kwak) 한국교육평가학회 2020 교육평가연구 Vol.33 No.4

본 연구의 목적은 성취평가제 관련 정보공시자료를 활용하여 성적과대평가 모니터링 대상 추출 방안을 탐색하는 것이다. 이를 위해 2015~2018년 학교별 국어와 수학 교과의 성취수준 A의 평균 비율과 특정 시점(모니터링 당해 연도)의 자료를 토대로 한 횡단 모니터링 방법과 종단 모니터링 방법을 구안하여 적용·분석하였다. 횡단 모니터링 분석 결과, 약 35%정도의 학교가 평균 수준의 성취수준 A를 부여하고 있고, 10%내외의 학교가 평균보다 높은 성취수준 A를 부여하며, 약 2%내외의 학교가 평균보다 훨씬 높은 수준의 성취수준 A를 부여하고 있는 것으로 나타났다. 종단 모니터링 분석 결과, ‘평균 수준 유지’ 집단(약 85%)과 ‘평균 이상 수준 유지’ 집단(약 15%)으로 분류될 수 있는 것으로 나타났다. 결론에서는 두 방법을 종합하는 방안을 제안하면서 성적과대평가 ‘관심’과 ‘주의’ 집단을 분류해보았으며, 그 적용 가능성과 보완점 등 성취평가제의 신뢰도 제고를 위한 모니터링 방안에 필요한 시사점을 논의하였다. The purpose of this study is to explore the operational definition of ‘Grade Inflation’ and to develop methods which can be applied to monitor the inflated grade even in a situation without any external achievement standards. For this analysis, 2015-2018 disclosed data provided by the Ministry of Education and KERIS was used. The analysis was focused on the ratio of grade A of first-year students in general high schools, especially, in the subjects of Korean language and Mathematics. In addition, the analysis was done both cross-sectionally and longitudinally. In the case of the cross-sectional analysis, about 35% of the target schools at the average rate, about 10% gave grade A at a rate a little beyond the average level and about 2% gave grade A at a rate far above the average. In addition, in the case of the longitudinal monitoring both subjects, the target schools were classified into the two groups per each subject: one is a group maintaining the average level (about 85%), and the other group maintaining the above the average level (about 15%). By applying the two methods to the data analysis, the three categories were created: ‘Group with Inflated Grade (GIG),’ ‘Group to Constantly Watch for (GCW),’ and ‘Group to Regularly Monitor (GRM).’ As a result, about 200 schools were classified as GCW and 10 or less schools were GRM.

미디어 교육 경험에 따른 청소년의 뉴스 수용 양상 분석

양길석 ( Yang Kilseok ),서수현 ( Seo Soohyun ),옥현진 ( Ok Hyounjin ) 인하대학교 교육연구소 2021 교육문화연구 Vol.27 No.1

디지털 미디어 기반의 사회 속에서 미디어 리터러시의 중요성은 갈수록 커지고 있다. 그동안 학교교육 안팎에서 미디어 리터러시 교육을 강화하기 위한 다양한 교육적 노력이 있었지만, 그러한 교육적 노력의 효과를 객관적으로 검증하려는 시도는 상대적으로 부족했다. 이에 본 연구에서는 한국언론진흥재단에서 2019년 6∼7월에 수행한 ‘2019 10대 청소년 미디어 이용 조사’의 원본 데이터를 활용하여 미디어 교육 경험과 우리나라 10대 청소년들의 미디어리터러시, 특히 그중에서도 뉴스 리터러시 수준 간의 관계가 어떠한지 분석해 보았다. 우리나라 10대 청소년 2363명이 응답한 데이터를 토대로 하여 본 연구에서는 미디어 교육 경험과 뉴스 리터러시의 관련성을 뉴스 이용 양상, 유목적적 뉴스 이용, 비판적 뉴스 읽기의 측면에서 살펴보았다. 분석 결과 미디어 교육 경험은 뉴스 리터러시의 향상에 전반적으로 유의미한 영향을 미친다는 점을 확인할 수 있었다. 그러나 미디어 교육 경험의 여부와 상관없이 우리나라 10대 청소년들의 뉴스 리터러시 점수는 전반적으로 낮은 것으로 나타나 향후 뉴스 리터러시에 대한 보다 체계적인 교육이 시급하다는 점도 확인할 수 있었다. 분석 결과를 토대로 결론 및 제언에서는 향후 뉴스 리터러시에 대한 교육 개선과 후속 연구의 필요성에 대해 논의하였다. The importance of media literacy is increasing in a digital media-based society. There have been various educational efforts to reinforce media literacy education both inside and outside school education, but attempts to objectively verify the effectiveness of such educational efforts have been relatively insufficient. Therefore, in this study, using data from the '2019 Teenage Media Use Survey' conducted between June and July 2019 by the Korea Press Foundation, we analyzed how the media education experience is related to the level of media literacy, especially news literacy among teenagers in Korea. Based on the data from 2363 teenagers in Korea, this study examined the relationship between media education experience and news literacy in terms of news use patterns, purposeful news use, and critical news reading. As a result of the analysis, it was confirmed that the media education experience had a significant effect on the improvement of news literacy overall. However, regardless of media education experience, Korean teens' news literacy scores were generally low, confirming the urgent need for more systematic education on news literacy in the future. In conclusions and suggestions based on the results of the analysis, we discussed ways to improve education and research on news literacy in the future.

우리나라 초등학생과 중학생의 디지털 리터러시의 정의적 특성과 가정 변인 간의 관계

양길석(Yang, Kilseok),옥현진(Ok, Hyounjin),서수현(Seo, Soohyun) 경인교육대학교 교육연구원 2020 교육논총 Vol.40 No.1

디지털 리터러시는 미래사회 핵심능력의 하나로서 이에 대한 교육 요구는 점차 커지고 있다. 리터러시는 인지적 측면과 정의적 측면의 능력으로 구성되는데, 특히 디지털 매체 환경에서는 정의적 영역의 중요성이 더욱 강조될 필요가 있다. 이에 따라 이 연구에서는 디지털 리터러시의 정의적 영역에 대한 교육 계획을 구체화하기 위한 방안을 탐색하였다. 이 연구에서 특히 주목한 부분은 학습자의 디지털 리터러시 정의적 영역 향상에 미치는 가정의 역할이다. 선행 연구를 참조하여 가정 변인으로서 적합하다고 판단되는 설문 문항들을 추출하고 기 개발된 ‘디지털 리터러시 태도 평가도구’를 활용하여 우리나라 초등학생과 중학생 1008명을 대상으로 자기보고식 설문을 실시한 후 결과를 분석하였다. 분석 결과 가정 변인의 일부 항목은 학습자의 디지털 리터러시 정의적 영역 발달에 유의미하게 영향을 미치는 것으로 나타났으며, 일부는 그렇지 않은 것으로 나타났다. 이러한 결과를 토대로 우선 이번 연구를 통해 실증적으로 검증된 항목들을 중심으로 가정이 교육적 중재를 강화해 나갈 수 있도록 지원해야 한다는 점, 그리고 우리나라의 사회문화적 배경과 학습자 특성을 보다 정교하게 분석하여 영향력 있는 가정 변인 항목들을 새로 발굴하고 그 효과를 연구를 통해 검증할 필요가 있다는 점을 제언하였다. Digital literacy will be one of the core competencies of future society. Therefore, the demand for digital literacy education is increasing. Literacy consists of cognitive and affective aspects of ability and the importance of the affective domain is emphasized in the digital media environment. This study focused on the role of the household in improving learners’ affective domain of digital literacy. Several items were selected as household variables based on previous studies and digital literacy attitude was assessed with the Digital Literacy Attitude Assessment. A total of 1008 Korean elementary and middle school students participated in this survey. The study found that some items among the household variables have a significant influence on the development of digital literacy attitude, and some do not. The items empirically verified through this study can be used by families of learners as part of educational interventions to foster digital literacy. The results emphasize the necessity of identifying influential household variable items by analyzing the sociocultural background and characteristics of Korean learners more closely and verifying their effects through research.

디지털 활동 양상과 디지털 리터러시 역량의 관계 분석 : 중학교 1학년 학생을 중심으로

양길석 ( Yang Kilseok ),서수현 ( Seo Soohyun ),옥현진 ( Ok Hyounjin ) 인하대학교 교육연구소 2020 교육문화연구 Vol.26 No.5

급변하는 사회 환경 속에서 디지털 리터러시 역량의 중요성이 부각되고 있으나, 이를 효과적으로 향상하기 위한 교육 방안에 대한 논의는 충분히 이루어지지 못하고 있다. 이에 본 연구에서는 학습자의 디지털 리터러시 환경, 디지털 활동 양상과 디지털 리터러시 역량 간의 관계를 분석하여 향후 교육 계획을 체계화하기 위한 기초 자료로 활용하고자 하였다. 이 연구에는 5개 시·도의 중학교 1학년 1001명이 참여하였으며, 측정 도구로는 학습자의 디지털 환경 및 디지털 활동 양상 파악을 위한 설문지와 디지털 리터러시 역량 자기진단 평가도구가 활용되었다. 디지털 환경에 따라 디지털 활동 양상이 어떻게 나타나는지 알아보기 위해 교차분석을 실시하였으며, 디지털 환경에 따라 디지털 리터러시 역량이 어떻게 나타나는지 파악하기 위해 평균 차이 검증을 실시하였다. 또 디지털 활동 양상에 따라 디지털 리터러시 역량에 차이가 있는지 파악하기 위해 일원분산분석을 실시하였으며, 그 영향의 정도를 알아보기 위해서는 다중회귀분석을 실시하였다. 분석 결과 우리나라 중학생들은 다양한 형태의 디지털 활동에 높은 빈도로 참여하고 있음을 확인할 수 있었으며, 활동 양상에 따라 디지털 리터러시 역량에 미치는 영향이 다르게 나타난다는 점을 확인할 수 있었다. 분석 결과를 토대로 디지털 리터러시 역량 제고를 위한 방안, 그리고 후속 연구의 필요성에 대해 제언하였다. While the importance of digital literacy competence is being emphasized, research on educational intervention to effectively improve it have not been sufficiently conducted. Therefore, in this study, the relationship between learners' digital environment, digital activity, and digital literacy competence was analyzed to be used as basic data to systematize educational plans in the future. A total of 1001 middle school students from five provinces participated and a questionnaire for learners' digital environment and digital activity and a self-diagnosis evaluation tool for digital literacy competence were used. Chi-square test was conducted to find out how the digital activity appeared according to the digital environment, and t-test and F-test was implemented to examine how the digital literacy competence appeared according to the digital environment. Also one-way variance analysis was conducted to determine whether there is a difference in digital literacy competence according to the digital activity. The results showed that middle school students in Korea participated in various types of digital activities with high frequency, and it was confirmed that the influence on digital literacy competence appeared differently depending on the activity pattern. Based on the analysis results, a plan for enhancing digital literacy competence and the necessity of follow-up research were suggested.

국내 평생교육 평가 연구 동향 분석

안현아(Hyunah Ahn),양길석(Kilseok Yang) 한국방송통신대학교 미래원격교육연구원 2020 평생학습사회 Vol.16 No.4

대학생 인문역량 자가진단 평가도구 개발 및 타당화 연구

김지원(Kim Jiwon),박영신(Park Youngshin),양길석(Yang Kilseok),김경이(Kim Kyungyee) 부경대학교 인문사회과학연구소 2021 인문사회과학연구 Vol.22 No.2

본 연구의 목적은 대학기관 및 대학생들이 대학생 인문역량을 스스로 평가할 수 있는 평가도구의 문항을 개발하고 이를 타당화하는 것이었다. 문항 개발 단계에 앞서, 이미 사용되고 있는 대학생 핵심역량들의 개념들과 중첩되지 않도록 대학생 인문역량과 그 하위요인들을 정의하고, 이를 기초로 62개의 예비문항을 개발하였다. C대학교를 중심으로 학부 재학생 426명이 참여한 예비조사를 실시한 후, 탐색적 요인분석과 문항 수정 과정을 통해 30개 문항이 선정되었다. 예비조사에서 구성된 30개 문항에 대한 타당화를 위해 640명을 대상으로 본조사를 실시한 다음, 탐색적 요인분석, 내적합치도를 통한 신뢰도 검증, 확인적 요인분석 결과를 바탕으로 최종 확정된 문항의 양호도를 확인하였다. 공인타당도 확보를 위해 추가적으로 1,237명에게 대학생 역량평가를 실시한 뒤, 학생들의 대학생 핵심역량 평가 점수들 간의 상관관계 분석을 실시하였다. 또한, 본 연구에서 개발된 인문역량 평가도구의 학생 전공별 점수에 대한 기술통계 분석을 통해, 도구의 준거 관련 타당도를 검토하였다. 본 연구를 통해 개발된 대학생 인문역량 평가도구에서 정의된 총 3개 요인인 성찰역량, 심미역량, 리터러시역량의 구성 요인이 타당한 것으로 판단되었다. 총 3개 요인으로 구성된 30개 문항에 대한 신뢰도는 매우 양호하며 구성타당도는 만족할만한 수준으로 나타났다. 전체 신뢰도 계수는 .96으로 나타났으며, 확인적 요인분석을 통해 적합도를 검증한 결과, 모든 부합도 지수들이 매우 양호하게 나타났다. 학생들이 스스로 본인의 인문역량 수준을 스스로 측정해볼 수 있도록 개발된 대학생 인문역량 자가진단 평가도구는 분석 결과를 통해 타당한 평가도구임이 입증되었다. 본 연구의 타당화 결과를 토대로 대학생 인문역량 자가진단 평가도구가 지니는 의의와 시사점에 대해 논의하였다. The purpose of this study was to develop and validate an assessment tools for self-evaluating Humanities Competency for college students. Prior to the questionnaires development stage, 62 preliminary questions were developed based on the definition of university students humanities competencies and their sub-factors so as not to overlap with the concepts of the core competencies already in use. After conducting a preliminary survey involving 426 undergraduate students at C University, 30 questions were selected through exploratory factor analysis and modifying process. The survey was conducted on 640 people to make the 30 question items constructed from the preliminary survey, and the final questionnaires were finalized based on the results of the exploratory factor analysis, intrinsic consistency coefficients(Cronbach s α), and the confirmatory factor analysis. Also, the final survey with 30 items was administered to 1,237 undergraduates and correlational analysis was conducted. Evidences for confirmatory factor analysis suggested valid constructs with acceptable every fit indices. Results from reliabilities test were satisfactory. Also, good concurrent validity was shown through the correlation between this developed self-evaluating humanities competency and core competency assessment for college students. A total of three factors defined in the humanities competency assessment developed through this study were found to be reasonable: reflection competence, aesthetic competence, and literacy competence. The reliability of the 30 statements was very good and the construct validity was satisfactory. The overall reliability coefficient was .96, and the conformity factor analysis showed that all the fit indices were very good. The self-evaluating humanities competency assessment for college students, which was developed to allow students to measure their level of humanities on their own, was proved to be a valid evaluation tool for assessment. Implications and suggestions were discussed for further studies.