Bi-factor MIRT True-Score Equating for Testlet-Based Tests

이규민(Gue min Lee),Won Chan Lee,Michael J Kolen,박인용(In Yong Park),Dong In Kim,Ji Seung Yang 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

Lee and Lee (2014) proposed bi-factor multidimensional item response theory model (BFM) "observed-score" equating procedures. The main purposes of this study were to develop BFM "true-score" equating procedures, and to investigate applicability of the proposed procedures with actual data. Eight equating methods (including both true- and observed-score) based on dichotomous IRT (2-parameter logistic model: 2PL), polytomous IRT (graded response model: GRM), testlet response model (TRM), and BFM were compared with target equipercentile equating. Data for this study were from the Reading Comprehension test for a large-scale state assessment program, which consisted of several passages and corresponding groups of items. True- and observed-score equating methods based upon 2PL and BFM produced similar equating results. The GRM true- and observed-score equating methods provided equating results somewhat different from others, and more similar to the target equipercentile equating. Lee와 Lee(2014) 연구는 혼합형 검사에서의 bi-factor 다차원 문항반응모형을 적용한 IRT "관찰점수" 동등화 절차를 제안하였다. 이 연구는 Lee와 Lee(2014) 연구의 추수연구로 단위검사를 대상으로 bi-factor 다차원 문항반응모형을 적용한 IRT "진점수" 동등화 절차를 제안하고, 그 적용 가능성을 실제 자료를 이용하여 탐색하고자 하였다. 이를 위해 단위검사로 구성된 대규모 독해 검사 자료를 이용하여, 2모수 로지스틱 모형(2-parameter logistic model: 2PL), 등급반응모형(graded response model: GRM), 단위검사모형(testlet response model: TRM), bi-factor 모형(bi-factor model: BFM)을 적용하였으며, 관찰점수 및 진점수 동등화를 시행하여 총 8개의 동등화 방법을 적용하고, 산출된 결과를 동백분위 동등화 결과와 비교하였다. 연구 결과, 2PL과 BFM을 적용한 관찰점수 및 진점수 동등화는 유사한 결과를 산출하였으며, GRM을 적용한 관찰점수 및 진점수 동등화 방법은 다른 방법들과 다소 차이를 보이는 결과를 산출하였고, 비교 기준이 된 동백분위 동등화 결과와 보다 유사한 결과를 보였다.

공통문항 비동등집단 설계에서 다차원 문항반응모형의 연계화와 동등화 결과 비교

정지영(Ji young Jung),이규민(Gue min Lee),강상진(Sang Jin Kang),민경석(Kyung Seok Min) 한국교육평가학회 2016 교육평가연구 Vol.29 No.4

본 연구는 공통문항 비동등집단 설계에서 이차원성을 갖는 검사자료에 다차원 문항반응모형을 적용한 연계화와 동등화 결과를 집단 간 비동등성, 차원 간 상관정도, 검사구조에 따라 모의실험을 통해 비교하였다. 각 연구조건에 따라 모의자료를 생성한 후 Oshima, Davey와 Lee(2000), Li와 Lissitz(2000), Min(2003)이 제안한 MIRT 연계화 방법을 적용하여 연계화를 시행하고 그 결과를 비교하였다. 이후 각 연계화 방법에 따라 공통 척도로 전환 된 모수를 사용하여 Brossman(2010)의 연구에서 제시한 복합 다차원 문항반응이론 관찰점수 동등화, 다차원 문항반응이론의 일차원적 접근 진점수와 관찰점수 동등화방법을 적용하여 동등화 결과를 비교하였다. MIRT 연계화 결과를 보면, Oshima, Davey와 Lee 방법이 Li와 Lissitz, Min 방법에 비해 집단 간 비동등성과 차원 간 상관정도에 따라 연계화 결과가 상대적으로 안정적으로 산출되었고, 검사구조에 따라서는 세 가지 연계화 방법의 결과가 유사하였다. MIRT 등동화 결과를 보면, Oshima, Davey와 Lee 연계화 방법이 적용된 경우에 모든 연구조건에서 세 가지 MIRT 동등화 방법의 결과가 유사하게 산출되었다. 한편 Li와 Lissitz, Min 연계화 방법이 적용된 경우에는 다차원 문항반응이론의 일차원적 접근 관찰점수와 진점수 동등화 방법 간 동등화 결과가 유사하였고, 복합다차원 문항반응이론 관찰점수 동등화 방법은 다른 패턴으로 동등화 결과를 산출하였다. The purpose of this study is to compare the results of MIRT linking and equating according to group nonequivalency, dimensional correlation, and test structures under the common item nonequivalent groups design with two dimensional simulation data. After separate calibration of generated simulation data, estimated parameters were linked by three MIRT linking methods: Oshima, Davey and Lee(2000), Li and Lissitz(2000), and Min(2003). Commonly scaled parameters by each linking method were equated by three MIRT equating methods: full MIRT observed score equating, approximate unidimensionalized MIRT true score, and approximate unidimensionalized MIRT observed score equating developed by Brossman(2010). A summary of the results of this study is divided into two parts because MIRT equating processes include MIRT linking procedures.

초등학교 과학과 수행평가의 총체적 채점과 분석적 채점 방식에 대한 일반화가능도 분석

이규민 ( Gue Min Lee ),황경현 ( Kyung Hyun Hwang ) 한국아동교육학회 2007 아동교육 Vol.16 No.4

등급반응모형과 일반화부분점수모형에서 능력 분포, 문항 반응 범주 수, 검사길이에 따른 문항 적합도 지수 수행 비교

강유림(Yu Lim Kang),이규민(Gue min Lee),강상진(Sang Jin Kang) 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

본 연구는 등급반응모형과 일반화부분점수모형에서 능력 분포, 문항 반응 범주, 검사길이에 따른 전통적 접근과 대안적 접근의 문항 적합도 지수 수행을 제1종 오류 비율 통제정도를 통해 탐색하고자 하였다. θ를 기반으로 관찰 빈도를 산출하는 전통적 접근의 문항 적합도 지수로 PARSCALE G²가 사용되었으며, 전통적 접근의 단점을 극복하고자 제안된 대안적 접근의 문항 적합도 지수로서 Orlando와 Thissen(2000)이 제안한 S - X²와 S - G², Stone(2000, 2003)이 제안한 X²*와 G²*가 사용되었다. 이를 바탕으로 능력 분포, 문항 반응 범주, 검사길이에 따른 문항 적합도 지수의 수행을 살펴본 결과, G²는 짧은 검사길이에서 과대 추정된 제1종 오류 비율을 보인 반면 대안적 접근의 문항 적합도 지수들의 경우 정규 분포에서는 검사길이와 문항 반응 범주의 영향을 크게 받지 않고 안정적인 수행을 보였다. 비정규 분포일 때 대안적 접근의 문항 적합도 지수들은 검사길이와 문항 반응 범주에서 과대 추정된 제1종 오류 비율을 보였으나 검사길이와 문항 반응 범주가 증가함에 따라 향상된 수행을 보였다. 대안적 접근 중 X²*와 G²*의 제1종 오류 비율 과대 추정정도가 더 높게 나타났으며, S - X²와 S - G²가 가장 안정적인 수행을 보였다. This study was conducted to explore the performance of item-fit indices based on ability distributions, the number of response categories and test lengths under the graded response model and the generalized partial credit model. As a traditional item fit statistics, G²from PARSCALE, was used because it is commonly reported item fit index. For alternative approaches, S-X² and S-G² proposed by Orlando and Thissen(2000) and X²* and G²* proposed by Stone(2000, 2003) were considered. The traditional index, G² did not appear to have a consistent pattern by ability, but showed sensitivity across test lengths as expected. In normal ability distribution, the alternative item fit indices controlled the Type I error rates properly regardless of the number of response categories and test lengths. In nonnormal ability distributions, X²* and G²* showed inflated Type I error rates because of the violation of normality assumption imbedded in the methods. The S-X² and S-G² indices showed the most stable performance of controlling Type I error rates.

검사점수 연계화 방법의 상대적 적절성 비교

최성열(Sung Yeol Choi),이규민(Gue Min Lee),박아청(Ah Chung Park) 한국교육심리학회 2007 敎育心理硏究 Vol.21 No.1

초등학생 자녀를 둔 어머니의 사교육 실태와 자녀양육 스트레스

오지수 ( Ji Su Oh ),이규민 ( Gue Min Lee ),강진구 ( Jin Gu Kang ) 한국아동교육학회 2009 아동교육 Vol.18 No.1

가교검사유형에 따른 문항반응이론 척도변환 결과의 정확성 비교

양수진(Su jin Yang),이규민(Gue min Lee),강상진(Sang Jin Kang) 한국교육평가학회 2014 교육평가연구 Vol.27 No.4

검사의 보안 문제 등으로 인해 한 검사에 대해 여러 종류의 검사 형을 개발하여 사용할 경우, 검사 형들의 점수를 타당하게 비교하기 위해서는 통계적인 조정 과정인 동등화가 시행되어야 한다. 문항반응이론 모형은 능력 및 문항 모수 척도가 특정 값으로 결정되지 않는 척도의 비결정성이라는 성질을 갖기 때문에 문항반응이론 동등화를 시행할 경우에는 척도변환 과정을 거쳐야 한다. 이 연구에서는 이분문항검사에서 가교검사유형에 따른 문항반응이론 척도변환 결과의 정확성을 척도변환 방법 및 피험자 수와 함께 비교하였다. 연구 결과, 가교검사유형이 미디 가교검사일 때 가장 작은 오차를 산출하였으며, 그 다음으로 준미디 가교검사, 축소판 가교검사의 순서로 나타났다. 이러한 결과는 현실적으로 축소판 가교검사를 구성하기 어려운 경우에 전체 검사보다 좁은 범위의 난이도 분포를 가지는 미디 가교검사를 제작하는 것이 타당할 수 있음을 보여주는 것이라고 해석할 수 있다. 또한 동시추정방법이 분리추정방법보다 더 정확한 것으로 나타났고, 피험자 수가 많을 때 더 작은 오차를 산출하는 것으로 나타났다. Equating is a statistical process to make scores of different test forms to be used interchangeably. When item response theory(IRT) equating is implemented for this purpose, the scale transformation should be considered to solve an issue of indeterminacy of the IRT scale. The purpose of this study was to compare results of IRT scale transformation using different types of anchor tests considering the effects of scale transformation methods and sample sizes at the same time. Types of anchor tests were defined in this study as mini, semi-midi, and midi anchor tests based upon the distributions of difficulty parameters. Sample sizes were 500 and 3,000, and the Stocking-Lord method and a concurrent calibration procedure were used as the IRT scale transformation methods. Three criteria were based upon item characteristic curves that Hanson and Béguin(2002) used. Based upon the results of this study, we found a midi test tended to produce more accurate results in scale transformation than did other anchor tests. Also, as expected, the IRT scale transformation errors were smaller for the 3,000 than for the 500 in all cases manipulated in this study. The concurrent calibration in IRT scale transformation showed the smaller errors than did the Stocking-Lord method, that confirmed the results of most previous studies comparing these two methods.

A Comparison of IRT Calibration Methods in Growth Pattern and Scale Variability in Vertical Scaling

이주연(Ju yeon Lee),이규민(Gue min Lee),강상진(Sang Jin Kang) 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

이 연구는 수직 척도화에서 고정 문항 추정 방법의 적용가능성을 탐색하고 분리 추정과 동시 추정과의 비교를 통해서 방법 간의 상대적 적절성을 모의 연구를 통해 밝히고자 하였다. 고정 문항 추정방법은 사전 분포 갱신 회수에 따라 비갱신방법과 단순갱신방법이 사용되었다. 또한 모의 연구의 조건으로서 피험자 능력 점수 분포, 표본크기, 그리고 공통문항의 수가 고려되었다. 연구 결과는 크게 성장 패턴과 척도 변동성으로 나뉘어 정의 될 수 있다. 성장패턴의 경우, 비갱신 고정문항 추정방법이 가장 부정확한 결과를 산출하였으며, 단순갱신방법은 분리추정, 동시추정과 비교하여 비슷한 결과 산출하였다. 척도변동성의 경우, 성장패턴과 달리, 비갱신방법은 다른 추정방법들과 비교하여 비슷한 오차와 양호도의 결과를 보였다. 피험자 능력점수 분포의 종류에 따라 가장 작은 오차와 높은 양호도의 수직척도를 산출하는 추정방법은 달랐다. 사전 분포 단순 갱신 고정 문항추정방법이 다른 추정 방법들에 비해 상대적으로 피험자 능력점수 분포의 종류에 관계없이 비교적 안정적인 결과를 산출하였다. This paper investigated the performance of fixed item calibration (FIC) and its relative appropriateness in vertical scaling through comparisons with the separate and concurrent calibration methods using simulated data. Both the fixed item calibration with no prior update (FNPU) and the fixed item calibration with simple prior update (FSPU) were considered as methods of FIC. Three factors were investigated in the process: types of proficiency score distributions, sample sizes, and numbers of common items. The results of the study can largely be divided into results on growth pattern and scale variability. For growth pattern, FNPU produced the worst results in all cases. On the other hand, the FSPU produced the growth patterns which were nearly accurate or slightly deviated from the true growth patterns as well as did separate and concurrent calibration. For scale variability, contrary to growth pattern, FNPU produced similar results as did the other three methods. The relatively appropriate calibration method for vertical scaling varied depending on the proficiency score distribution. For the more complex proficiency score distribution, FSPU produced more stable results than did other methods.

A Comparison of Random-Groups Design and Common-Item Design in IRT Equating : A Monte Carlo Study

김동인(Dong In Kim),이규민(Gue min Lee),김정남(Jung nam Kim) 연세대학교 교육연구소 2015 미래교육학연구 Vol.28 No.2

서로 다른 검사 형에서 얻어진 점수를 호환하여 사용하기 위해서는 두 검사 형을 같은 점수 척도 상에 올려야 하고, 이를 위해 대부분의 검사 기관에서 사용되고 있는 방법은 공통문항이나 무선적으로 동등한 피험자를 이용하는 방법이다. 두 검사 형 사이에 공통문항은 하나의 검사 형에서 나온 점수를 다른 검사 형의 점수로 변환하는 과정에 사용된다. 반면, 무선적으로 동등한 피험자를 이용하는 디자인에서는 서로 다른 검사 형이 무선할당 방법을 활용하여 생성된 피험자 집단에 서로 다른 검사 형이 시행된다. 능력면에서 동등한 피험자 집단에 시행되었기 때문에, 두 검사 형 사이의 검사 점수 비교는 더 이상의 조작 없이 성취될 수 있다. 이 연구의 주요 목적은 동등화를 위한 집단의 다양한 수준의 동등성과, 표본크기, 그리고 공통문항 수의 효과를 시뮬레이션 기법을 활용하여 탐색하는 것이다. 연구 결과, 두 방법 중에 공통문항을 이용한 방법이 무선적으로 동등한 피험자를 이용한 디자인에 비해 선호될 수 있음을 확인할 수 있었다. 같은 표본크기를 사용할 경우, 무선적으로 동등한 피험자를 활용한 동등화 오차가 공통문항 디자인을 활용한 방법의 동등화 오차보다 크게 나타났다. 그리고 충분한 공통문항을 사용한 경우, 공통문항 방법이 무선적으로 동등한 피험자를 이용한 동등화 방법보다 작은 동등화 오차를 산출하였다. Two ways of item response theory(IRT) equating using either common items or randomly equivalent examinees have been commonly used by most testing institutes to put test forms on the same scale to achieve score comparability. The common items between two test forms are used to transform scores from one from to an alternative form. For the random groups design, alternative test forms are administered to two groups of examinees using random assignment techniques and the two examinee groups are considered as equivalent in ability and other characteristics. Consequently, score comparability between test forms can be accomplished without further any manipulation. The primary purpose of the present study is to compare the results of two equating designs with different degrees of equivalency between equating groups, sample sizes, and the numbers of the common items using simulation techniques. Based on the results of this study, it is suggested that if there are common items between equating forms under the random-groups design, equating methods based on the common-items could be preferred. Given the same sample size, equating errors from the randomly equivalent examinees were larger than were those from the common-items design. With sufficient common items, the common-item method produced smaller equating errors than did the equating with randomly-groups design.

Bone Mineral Density in Ambulatory Epileptic Children with New Antiepileptic Drug Monotherapy

고진희(Jin Hee Ko),이규민(Gue Min Lee),이은혜(Eun Hye Lee),정사준(Sajun Chung) 대한소아신경학회 2011 대한소아신경학회지 Vol.19 No.3

목적 : 새로운 항 경련제를 복용하는 간질 환아에서 항 경련제 복용은 골밀도 감소와 이에 따르는 병적 골절을 일으킬 수 있다. 특히 성장기에 있는 소아에서는 이러한 부작용에 대해 더 주의를 기울일 필요가 있다. 저자들은 새로운 항경련제를 단독으로 복용하는 소아간질 환자에서 항경련제가 골밀도에 미치는 영향에 대하여 연구하였다. 방법 : 35명의 새로운 항경련제를 복용한 소아 간질 환자와 나이와 성별이 같은 35명의 대조군을 연구에 포함되었다. 14명은 topiramate, 10명은 la-motrigine, 11명은 oxcarbazepine으로 1년 이상 단독 요법으로 치료 받는 환아들이었으며 모두 정상적인 일상 생활을 하고 있었다. 혈청 calcium, alkaline phosphatase, 25-hydroxyvitamin D, 1,25-dihydroxyvitamin D 수치를 측정하였고, L1-L4 요추에서 dual-energy X-ray absorptiometry로 골밀도를 측정하였다. 결과 : Oxcarbazepine을 투여한 군에서 25-hy-droxyvitamin D와 1,25-dihydroxyvitamin D가 대조군보다 유의하게 감소되어 있었다(25-hydroxyvitaminD: 40.3±10.5 ng/㎖ vs. 44.6±11.5 ng/㎖, 1,25-dihydroxyvitamin D: 57.9±15.2 pg/㎖ vs. 66.2±10.5 pg/㎖, P <0.05). Toporamate 투여군과 lamotrigine 투여군은 대조군과 유의한 차이가 없었다. 골밀도 역시 oxcarbazepine을 투여한 군(0.73±0.11 g/㎠ )에서 대조군(0.84±0.06 g/㎠)보다 유의하게 감소되어 있었으며(P <0.05), topira-mate 투여군(0.82±0.08 g/㎠ )과 lamotrigine 투여군(0.81±0.14 g/㎠ )과도 유의한 차이를 보였다 (P <0.05). 결론 : Oxcarbazepine을 투여한 환자들에서 vi-tamine D와 골밀도가 대조군보다 유의하게감소되었으나, topiramate와 lamotrigine을 투여한 환자들에서는 유의한 차이를 보이지 않았다. 새로운 항경련제를 복용하는 환아, 특히 oxcarbazepine을 복용하는 경우 골밀도에 대한 지속적인 모니터링이 필요할 것으로 생각된다. Purpose : This study was conducted for evaluation of the effects of new antiepileptic drugs on bone mineral density in children with epilepsy. Methods : The study group consisted of 35 age and gender matched controls and 35 epileptic children taking new antiepileptic drugs: 14 on topiramate, 10 on lamotrigine, and 11 on oxcarbazepine in monotherapy. All patients were treated for more than one year and all were normally ambulatory children. We measured serum levels of calcium, alkaline phosphatase, 25-hydroxyvitamin D, and 1,25-dihydroxyvitamin D. BMD was measured by dual-energy X-ray absorptiometry at lumbar spine regions L1-L4. Results : Vitamin D levels of the oxcarbazepine group (25-hydroxyvitamin D:40.3 10.5 ng/㎖ and 1,25-dihydroxyvitamin D: 57.9 ± ±15.2 pg/㎖) were significantly lower than in controls (44.6±11.5 ng/㎖, 66.2±10.5 pg/㎖, P<0.05); however, they did not differ significantly in the topiramate and lamotrigine groups. The bone mineral density value was significantly lower in the oxcarbazepine (L1-L4: 0.73±0.11 g/㎠) group, compared with the controls (0.84±0.06 g/㎠, P<0.05) or patients taking topiramate or lamotrigine. Conclusion : Monitoring of bone metabolism is recommended for patients treated with new antiepileptic drugs, particularly oxcarbazepine.