일반논문 : TOEIC에 대한 3PL 모형과 3PL Testlet 모형의 영향력 비교

라종민 ( Jongmin Ra ),김재철 ( Jae Chul Kim ) 인하대학교 교육연구소 2013 교육문화연구 Vol.19 No.3

토익과 같은 표준화된 언어 검사에서 수험생의 능력을 보다 신뢰롭고 타당하게 측정하는 것은 의미 있는 해석을 위해 매우 중요한 절차이다. 토익(TOEIC)은 읽기, 듣기 등의 지각능력과 쓰기, 말하기 등의 활용능력을 측정하기 위한 목적으로 세계적으로 가장 널리 활용되는 표준화 검사이다. 지금까지 토익은 문항반응이론에 근거하여 척도화와 동등화 등의 분석을 해 왔다. 문항반응이론은 일차원성 가정과 지역독립성 가정을 기초로 한다. 그러나 토익의 듣기영역은 하나의 지문에 여러 개의 문항이 딸려 있으므로 지역독립성 가정이 위배되었을 가능성을 내포하고 있다. 지역독립성을 위배에 따른 규칙적인 편파(bias)를 고려하지 않은 채 전통적인 문항반응이론을 적용한다면, 모수추정에 오류를 발생시킬 우려가 있다. 이에 본 연구에서는 토익의 듣기영역에서 지역독립성 가정이 충족되고 있는지를 확인하고, 전통적인 3PL 문항반응이론과 3PL 테스트렛 반응이론(testlet response theory)을 적용했을 때 문항모수와 피험자모수 추정에서 어떠한 차이가 있는지를 분석하였다. 연구 결과는 다음과 같다. 첫째, Yen(1993)이 제안한 기준에 따라 Q3를 이용해서 지역독립성 가정을 확인한 결과, 토익의 듣기영역은 지역독립성을 위반하고 있는 것으로 나타났다. 둘째, 피험자모수는 전통적인 3PL과 3PL testlet 간에 거의 차이가 없었지만, 문항모수는 다소 차이가 나타남을 확인할 수 있었다. 본 연구에서는 이를 토대로 토익의 듣기영역에서는 신뢰롭고 타당한 모수추정을 위해서는 전통적인 3PL보다 3PL Testlet를 사용하는 것이 더 바람직하다고 제안하였다. 본 연구가 컴퓨터기반 검사와 듣기영역에 제한되었기에 그 결과를 지필검사와 읽기영역에 대한 일반화하기 위한 후속연구가 요구된다. Evaluating or measuring test takers` language abilities is of central importance in the development of standardized language tests that foster meaningful assessment. The Test of English for International Communication(TOEIC) is a widely used standardized test to evaluate test takers` receptive(reading and listening skills) and productive(writing and speaking skills) language abilities. Although item response theory(IRT) models usually provide satisfactory answers for measuring parameters of items and test takers, they do not always lead to the correct solution when systematic biases are ignored in estimating items and test takers. Due to the paucity of validation studies of the TOEIC, the present study only seeks to explore psychometric properties of items in the simulated TOEIC test in the context of IRT and testlet response theory (TRT). In order to accomplish this purpose, this study describes how a set of items, sharing the same contents in the listening comprehension part of the TOEIC, be-haves under the two suggested models (3PL and 3PLT) with the test samples who enrolled in the TOEIC classes in the university in South Korea. Of 100 items on TOEIC listening comprehension session, 60 items (10 items for photographs, 30 items for question-response, 30 items for short conversion, and 30 items for short talks session, respectively) are clustered within each testlet which sometimes called item bundle. Results from this study may provide more precise, reliable, and valid information about estimates regarding items and examinees. Later, suggestions for future research are offered.

스마트폰 애플리케이션 이용 종류에 따른 삶의 만족도 차이에 대한 연구

라종민(Ra, Jongmin),한희정(Han, Hee Jeong) 경성대학교 사회과학연구소 2015 社會科學硏究 Vol.31 No.1

본 연구는 2013년 조사한 미디어패널 데이터를 베이지안 통계기법으로 스마트폰 애플리케이션 이용종류(책/만화, 교육, 게임, 지출 관리/금융거래, 쇼핑, 생활·건강정보/날씨, 엔터테인먼트(음악/방송/동영상/사진), 내비게이션/교통정보, 뉴스, 소셜네트워킹(페이스북, 트위터), 커뮤니케이션(카카오톡, 마이피플), 스포츠, 여행, 유틸리티/도구/일정관리/배경화면, 레퍼런스(참고자료) 등 15가지 항목)에 따라 삶의 만족도(개인적 측면, 관계적 측면, 집단적 측면의 합)의 차이를 분석했다. 첫 번째 그룹은 하이퍼모수 표준편차가 증가할수록 사후평균(삶의 만족도)이 높아지는 그룹인데 소셜네트워킹(싸이월드, 페이스북, 트위트 등), 커뮤니케이션(카카오톡, 마이피플 등), 여행 애플리케이션 이용자 집단이다. 책/만화, 쇼핑, 레퍼런스/참고문헌 애플리케이션을 이용하는 집단은 하이퍼모수 표준편차가 증가할수록 삶의 만족도가 낮아지는 경향을 보였다. 교육(외국어, 인터넷 수능), 게임, 지출관리/금융거래, 생활정보/날씨(건강관리포함), 엔터테인먼트(음악/방송/동영상/사진), 내비게이션(지리/위치/교통정보), 뉴스, 스포츠, 유틸리티/도구/일정관리/배경화면애플리케이션 이용자 집단은 하이퍼모수 표준편차의 증가에도 삶의 만족도가 변하지 않았다. 특히 교육, 쇼핑, 레퍼런스/참고문헌 애플리케이션을 지속적으로 이용하는 집단은 삶의 만족도 수치가 점점 낮아질 가능성을 보였다. 또한 여행 애플리케이션 사용집단이, 다른 애플리케이션 사용자보다 개인적 측면에서의 삶의 만족도가 높은 것으로 나타났다. This study analyzes the life satisfaction (defined as the sum of life satisfaction in the individual, relational, and collective dimensions) according to the types of applications available in smartphones. Fifteen applications such as books/comics, education, games, expenditure management/financial transactions, shopping, life-and health/wealth-tips, entertainment (music/broadcasting/ video /camera), news, social networking (Facebook/Twitter), Communication (KakaoTalk/ MyPeople), sports, travelling, utilities/tools/scheduling/wallpapers, reference (reference materials), are examined by applying the empirical Bayesian approach to data for 2013 sourced from the Media Panel. For the first group, consisting of user groups for the social networking (Cyword, Facebook, Twitter, etc.), communication (KakaoTalk, MyPeople etc.), and travelling applications, the higher the increase in the standard deviation of the hyper-parameter, the higher the life satisfaction. However, for the user groups for the books/comics, shopping, and referencing applications, the opposite is true; the higher the increase in the standard deviation of the hyper-parameter, the lower the life satisfaction. The results for the user groups for the education (foreign languages, online lectures for national college entrance exam, etc.), games, expenditure management/financial transactions life-and health/weather-related tips, entertainment (music/broadcasting/video,/camera), navigation (geographic location/traffic information), news, sports, and utilities/tools/scheduling/wallpaper applications show that life satisfaction does not change despite an increase in the standard deviation of the hyper-parameter. Notably, the results of the user group that uses the education, shopping, referencing materials applications show lower life satisfaction. Unlike the variables of sex and age, the higher education level, the higher the life satisfaction. In particular, the user group for travelling applications shows higher life satisfaction in the individual dimension, compared with the groups using other applications.

Mediation Effect of Musical Self-efficacy on the Relation between Satisfaction with Academic Major and Career Maturity

Park, Se-jin(박세진),Ra, Jongmin(라종민) 호남대학교 인문사회과학연구소 2019 인문사회과학연구 Vol.62 No.3

본 연구는 전문대학 실용음악전공 학생들의 전공만족도와 진로성숙도의 관계에서 음악적 자기효능감의 매개효과를 살펴보고자 하였다. 본 연구는 경기도에 소재하는 전문대학 실용음악전공 학생 38명을 대상으로 경로분석을 실시하여 검증하였다. 전공만족도와 진로성숙도의 관계에서 나타나는 음악적 자기효능감이 갖는 매개효과를 살펴보기 위한 경로분석의 결과를 다음과 같이 제시한다. 첫째, 전공만족도와 음악적자기효능감, 그리고 진로성숙도 간에는 통계적으로 유의미한 양적 관계가 있는 것으로 나타났다. 둘째, 전공만족도와 진로성숙도를 설명하는데 있어서 음악적 자기효능감이 부분매개 역할을 하는 것으로 나타났다. 본 연구결과를 통해 전문대학 실용음악전공 학생들의 진로성숙도를 높이기 위한 음악적 자기효능감의 중요성을 살피고 본 연구 대상으로 하는 제한적인 연구의 영역을 확장 시켜 추후 연구를 위한 토대를 마련한 것에 의의가 있다. The purpose of current study was to examine through the framework of path analysis the mediation effect of musical self-efficacy on the relation between major satisfaction and career maturity for 38 college students studying applied music in Kyeounggi province, Korea. Results obtained from the analyses were as follows. First, a statistically positive relationship existed among major satisfaction, career maturity, and musical self-efficacy. Second, a partial mediation effect of musical self-efficacy existed between major satisfaction and career maturity that fitted the model better than the full mediation effect. Results from the current study could enhance further study regarding the role of musical self-efficacy.

교원능력개발평가 자유기술식 응답을 통한 동료교원, 학생, 학부모가 기대하는 교사의 역할 분석

박지혜(Park, Ji-Hye),라종민(Ra, Jongmin) 고려대학교 교육문제연구소 2016 敎育問題硏究 Vol.29 No.1

본 연구는 2014년 운영되었던 교원능력개발평가 연구학교에 소속되어 있던 동료교원, 학생, 학부모의 서술형 응답 결과를 질적ㆍ양적 분석방법을 활용하여 분석함으로써 동료교원, 학생, 학부모가 기대하는 교사의 역할을 파악하고자 하였다. 질적자료 분석을 통해서 나타난 결과는 동료교원, 학생, 학부모 서로가 기대하는 교사의 역할에 있어 다소간에 차이가 나타난다는 것이다. 첫째, 동료교원은 학생들의 특성과 개인차를 고려하고, 노력과 열정적인 태도 , 수업(교과지도)에 전문적인 교사를 가장 선호하는 것으로 나타났다. 둘재, 학생들은 재미있는 교사를 가장 바라는 것으로 나타났으며 다음으로 잘 가르치고 편안 하고 친구같은 교사를 원하는 것으로 나타났다. 셋째, 학부모는 눈높이를 맞추는 교사를 가장 바람직한 교사로 여기고 있으며 다음으로 노력하고, 재미있는 교사를 기대하는 것으로 나타났다. 도출된 핵심구 성요소가 동료교원, 학생, 학부모 간에 차이가 있는지 밝히기 위해 주제에 따라 범주화된 결과에 log값을 취하여 경험적 베이지안 분석을 통해 나타난 결과는 동료교원, 학생, 학부모가 바라는 교사의 역할은 그 차이가 점점 커지는 것으로 나타났다. 첫째, 사전모수의 평균값을 기준으로 동료교원, 학부모, 학생들이 원하는 교사의 역할은 분명하게 나타났다. 둘째, 시뮬레이션 결과 동료교원과 학부모가 기대하는 역할은 일반화가능성이 높은 반면 학생이 원하는 교사의 모습은 누가 조사대상자이냐에 따라 변화 가능성이 높다는 것을 나타내고 있다. 이러한 연구결과는 교육의 핵심 주체인 동료교원, 학생, 학부모가 기대하는 교사의 역할 인식이 다르다는 점을 보여줌으로써 향후 교사연수내용을 구성하는데 있어 교사의 관점 뿐 아니라 학생과 학부모의 관점을 포함할 필요가 있음을 시사하고 있다. The purpose of the current study was to examine open-ended statements obtained from tea cher evaluation for professional development using both qualitative and quantitative data analysis methods. Qualitative analyses using NVivo 10 showed that images of good teacher were different among teachers, parents, and students. First, teacher considered those who understood students’ differences, showed passionate attitude and professional performance in the classroom as a good teacher. Second, parents thought that teachers who understood their students, had passionate attitude, and gave students fun were good. Third, images of good teacher students describes was that they had a sense of humor, taught well, and were friendly. Quantitative analyses using empirical bayesian approach showed that existed gap of images of good teacher among teachers, parents, students became wider as values of prior distribution became larger. Firs t, the differences of images of good teacher among teachers, parents, students became vivid at the mean of prior distribution. Second, the images of good teacher obtained from teachers and parents had relatively high probability of occurring again while those obtained from pa rents and students were low. Such results indicated change of obtaining different images of good teachers from students at any time was relatively high, and further research needs to be conducted to confirm the results obtain ed from the current study.

실용음악전공 학생의 전공만족도가 교수-학생 상호작용을 매개로 진로성숙도에 미치는 영향

박세진(Park Sejin),라종민(Ra Jongmin) 한국음악교육학회 2019 음악교육연구 Vol.48 No.2

본 연구의 목적은 실용음악전공 학생들의 전공만족도와 진로성숙도의 관계에서 교수-학생 상호작용의 매개효과를 살펴보는데 있다. 이를 위해 본 연구는 경기도 A대 실용음악전공 학생 38명을 대상으로 경로분석을 실시하였다. 전공만족도와 진로성숙도의 관계에서 교수-학생 상호작용의 매개효과가 반영된 경로분석 결과는 다음과 같다. 첫째, 전공만족도는 교수-학생 상호작용과 진로성숙도에 통계적으로 유의미한 영향을 미치는 것으로 나타났다. 둘째, 교수-학생 상호작용은 진로성숙도에 통계적으로 유의미한 것으로 나타났다. 셋째, 카이제곱 차이검증결과 전공만족도와 진로성숙도의 관계에서 교수-학생 상호작용이 부분매개 하는 것으로 나타났다. 마지막으로 진로성숙도에 대해 전공만족도가 교수-학생 상호작용을 통해 나타나는 간접효과는 통계적으로 유의미한 것으로 나타났다. 이러한 본 연구결과는 실용음악전공 학생들의 진로성숙도를 높이기 위한 교수-학생 상호작용의 중요성을 살펴보았다는데 의의가 있다. The purpose of this study was to investigate mediating effect of professor-student interaction on the relation between major satisfaction and career maturity with applied music major students. Results obtained from path analysis were follows as. First, major satisfaction statistically significantly affected professor-student interaction as well as career maturity. Second, professor-student interaction statistically significantly affected career maturity. Third, partial mediating effect of professor-student interaction existed between major satisfaction and career maturity. Last, indirect effect of major satisfaction and via professor-student interaction was statistically significant on career maturity. The current study showed importance of how professor-student interaction to enhance students’ career maturity.

음악적 자기효능감 척도 타당화 연구

박세진(Park SeJin),길일섭(Keel IlSup),라종민(Ra JongMin) 학습자중심교과교육학회 2019 학습자중심교과교육연구 Vol.19 No.6

본 연구의 목적은 음악적 자기효능감의 구성요인을 확인하고 신뢰롭고 타당한 척도를 검증하는 데 있다. 이를 위해 서울 소재의 4년제 K 대학에 재학 중인 음악전공(성악, 피아노, 관현악, 작곡전공)을 하는 201명의 대학생을 대상으로 2018년 10월부 터 2019년 1월까지 연구를 실시하였다. 우선 문헌연구를 통해 음악적 자기효능감을 구성하는 3가지 구인(관제난이도선호, 자신감, 자기조절효능감)을 측정하기 위해 36 문항이 제작되었다. 탐색적 요인분석 결과 총 16문항으로 추출된 구인의 총 설명량은 40.72%로 나타났다. 확인적 요인분석 결과 카이제곱은 통계적으로 유의미한 결과가 나타났고 CFI, RMSEA 등과 같은 정성적 지표는 권장수용 수준보다 높게 나타나 제시된 척도의 타당성을 확인할 수 있었다. 본 연구를 통해 도출한 결과는 다음과 같다. 첫째, 음악적 자기효능감은 과제난이도선호, 자기조절효능감, 자신감의 3개의 하위요인으로 구성되어 있음을 확인하였다. 둘째, 타당화 된 음악적 자기효능감의척도는 적절한 문항간내적일치도(Cronbach’s ??)를 보이는 것으로 확인하였다. 마지막으로 본 연구는 음악 학습 및 활동에서 나타나는 음악적 자기효능감을 측정할 수있는 차별화된 측정도구의 필요성을 제시함으로써 기초연구 및 교육현장에서 활용될 수 있을 것으로 사료된다. The purpose of the current study was to validate musical self-efficacy scale. The study was performed in October, 2018 through January, 2019 with 201 university students majoring vocal music, piano, orchestra, and song writing in Seoul. Results obtained from exploratory factor analysis showed that 36 items of musical self-efficacy was reduced to 16 items reflecting task difficulty preference, self-confidence, self-regulatory efficacy and had 40.72% explained variance. In addition, fit indices such as RMSEA, CFI, obtained from confirmatory factor analysis showd the adequate levels of suggested musical self-efficacy. Findings obtained from the analyses were as follows. First, the musical self-efficacy was composed of 3 constructs(task difficulty preference, self-regulatory efficacy, self-confidence) with 16 items. Second, the musical self-efficacy had adequate numbers of items and levels of Cronbach’s ??. Third, the musical self-efficacy scale, however, needs to be validated its reliability and validity further to disseminate its usefulness. Finally, the current study emphasizing necessity of domain specific musical self-efficacy scale could be used to expand and elucidate research related to musical self-efficacy in music domain.

A Brief Comparison Between BILOG and LOGIST

Suk-Woo Kim(김석우),Seock-Ho Kim(김석호),Jongmin Ra,(라종민) Daeyong Lee(이대용) 한국교육평가학회 2009 교육평가연구 Vol.22 No.2

이 논문은 BILOG와 LOGIST의 최근 판에 대한 정보를 두 프로그램을 사용하는 연구자의 입장에서 간단히 요약한 것이다. 먼저 문항반응이론에 기초한 문항 분석을 위한 이 두 프로그램에서 사용된 모수 추정 방법의 배경이 된 통계적 접근법을 프로그램에서 새롭게 변형된 절차와 연계하여 살펴보았다. 두 프로그램에 사용된 모수 추정 과정은 실제 자료와 가상의 자료를 통해 비교 분석되었다. 여기서 실제 자료는 영어 배치 고사 자료로서 116개의 선다형 문항을 3,657명의 피험자가 답을 한 것으로 대규모의 시험 자료로 볼 수 있다. 두 프로그램이 3 모수 모형에서 서로 비슷한 문항 모수와 능력 모수 추정 결과를 실제 자료를 분석할 때 제공하였다. 가상적인 자료는 두 가지인데 하나는 15개의 선다형 문항을 1,500명의 피험자가 답을 한 것이고, 또 다른 하나는 45개의 선다형 문항 을 1,500명이 답을 한 것이다. 가상 자료에서는 3 모수 모형을 통한 프로그램의 추정 결과를 통계 추정의 잔류치를 사용하여 비교하였다. 문항 모수와 능력 모수 추정의 잔류치는 두 프로그램이 조금 다른 결과를 보였다. 더불어서 두 프로그램과 그 사용 방법을 설명한 서류가 얼마나 쓸 만한 것인지를 나타내는 사용 용이도를 문항반응이론 교과목을 수강하고 있는 대학원생이 평가한 결과도 보고하였다. BILOG가 LOGIST에 비해 쓰기가 편하다고 평가되었다. This paper provides information on the current versions of BILOG and LOGIST based on the users' view points of the two programs. First, statistical approaches behind the estimation methods implemented in the two item response theory computer programs are presented in conjunction with the new and modified procedures. Comparisons of calibration results are presented using both real and simulated data. The real, large date set contained 3,657 examinees' responses to 116 multiple-choice items of a college English placement test. The calibration results of the English test data indicated that BILOG and LOGIST yielded comparable item and ability parameter estimates under the three -parameter model. Two simulated data sets were employed; one set contained responses from 1,500 examinees to a test with 15 items and the other set contained responses from 1,500 examinees to a test with 45 items. The residuals between the estimates from the calibration runs and the corresponding generating parameters under the three-parameter model were compared. The two programs yielded slightly different patterns of the residuals of the item and ability parameter estimates. In addition, ratings of usability of the programs and documentations by graduate students taking an item response theory course are reported. Most students preferred BILOG to LOGIST in terms of overall usability.* Portions of this paper were presented at the annual meeting of the American Educational Research Association, San Francisco, CA, 2006, under the title, “Consumer reports on BILOG and LOGIST.”