Bi-factor MIRT True-Score Equating for Testlet-Based Tests

이규민(Gue min Lee),Won Chan Lee,Michael J Kolen,박인용(In Yong Park),Dong In Kim,Ji Seung Yang 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

Lee and Lee (2014) proposed bi-factor multidimensional item response theory model (BFM) "observed-score" equating procedures. The main purposes of this study were to develop BFM "true-score" equating procedures, and to investigate applicability of the proposed procedures with actual data. Eight equating methods (including both true- and observed-score) based on dichotomous IRT (2-parameter logistic model: 2PL), polytomous IRT (graded response model: GRM), testlet response model (TRM), and BFM were compared with target equipercentile equating. Data for this study were from the Reading Comprehension test for a large-scale state assessment program, which consisted of several passages and corresponding groups of items. True- and observed-score equating methods based upon 2PL and BFM produced similar equating results. The GRM true- and observed-score equating methods provided equating results somewhat different from others, and more similar to the target equipercentile equating. Lee와 Lee(2014) 연구는 혼합형 검사에서의 bi-factor 다차원 문항반응모형을 적용한 IRT "관찰점수" 동등화 절차를 제안하였다. 이 연구는 Lee와 Lee(2014) 연구의 추수연구로 단위검사를 대상으로 bi-factor 다차원 문항반응모형을 적용한 IRT "진점수" 동등화 절차를 제안하고, 그 적용 가능성을 실제 자료를 이용하여 탐색하고자 하였다. 이를 위해 단위검사로 구성된 대규모 독해 검사 자료를 이용하여, 2모수 로지스틱 모형(2-parameter logistic model: 2PL), 등급반응모형(graded response model: GRM), 단위검사모형(testlet response model: TRM), bi-factor 모형(bi-factor model: BFM)을 적용하였으며, 관찰점수 및 진점수 동등화를 시행하여 총 8개의 동등화 방법을 적용하고, 산출된 결과를 동백분위 동등화 결과와 비교하였다. 연구 결과, 2PL과 BFM을 적용한 관찰점수 및 진점수 동등화는 유사한 결과를 산출하였으며, GRM을 적용한 관찰점수 및 진점수 동등화 방법은 다른 방법들과 다소 차이를 보이는 결과를 산출하였고, 비교 기준이 된 동백분위 동등화 결과와 보다 유사한 결과를 보였다.

Draft genome sequence of a bacterial plant pathogen Erwinia pyrifoliae strain EpK1/15 isolated from an apple twig showing black shoot blight

이규민,오엄지,고세영,박정금,박덕환,김동혁,오창식,Lee, Gyu Min,Oh, Eom-Ji,Ko, Seyoung,Park, Jungkum,Park, Duck Hwan,Kim, Donghyuk,Oh, Chang-Sik The Microbiological Society of Korea 2018 미생물학회지 Vol.54 No.1

Erwinia pyrifoliae는 그람 음성 세균으로 사과와 배에 가지검은마름병을 일으킨다. E. pyrifoliae EpK1/15 균주가 병징을 보이는 경기도 포천지역의 사과나무 가지에서 2014년도에 분리되었다. 본 논문에서는 PacBio RS II 플랫폼을 이용하여 E. pyrifoliae EpK1/15 균주의 전체 유전체를 분석하여 보고한다. 본 균주는 G + C 비율이 53.4%이며, 4,027,225 bp로 구성된 염색체와 G + C 비율이 50.3%이며, 48,456 bp로 구성된 plasmid를 지니고 있다. 이들 염색체와 plasmid DNA에서 3,798개의 단백질 코딩 유전자, 22개의 rRNA, 77개의 tRNA, 13개의 non-coding RNA 및 231개의 위유전자(pseudo gene)가 확인되었다. Erwinia pyrifoliae is a Gram-negative bacterium causing black shoot blight in apple and Asian pear trees. E. pyrifoliae strain EpK1/15 was isolated in 2014 from an apple twig from the Pocheon, Gyeonggi-do, South Korea. In this study, we report the draft genome sequence of E. pyrifoliae EpK1/15 using PacBio RS II platform. The draft genome is comprised of a circular chromosome with 4,027,225 bp and 53.4% G + C content and a plasmid with 48,456 bp and 50.3% G + C content. The draft genome includes 3,798 protein-coding genes, 22 rRNA genes, 77 tRNA genes, 13 non-coding RNA genes, and 231 pseudo genes.

클라우드 환경에 적합한 디지털 포렌식 수사 모델

이규민,이영숙,Lee, Gymin,Lee, Youngsook 한국융합보안학회 2017 융합보안 논문지 Vol.17 No.3

클라우드 컴퓨팅은 인터넷이 가능한 환경에서 다양한 단말을 통해 IT 자원(소프트웨어, 스토리지, 서버, 네트워크)을 이용할 수 있는 서비스이다. 편리성과 효율성, 비용 절감의 이유로 최근 이용률이 급증하였다. 하지만 정보의 집중화로 인해 범죄의 표적이 되거나 클라우드 서비스를 악용하는 범죄가 발생하였다. 기존 디지털 포렌식 절차는 개인 단말기를 대상으로 하는 수사에 적합하다. 본 논문은 기존 디지털 포렌식 수사 절차로 클라우드 환경을 조사할 경우 발생하는 취약점들을 분석하여 새로운 수사 모델을 제안하였다. 제안된 수사 모델은 계정정보를 획득할 수 있는 방법을 추가하였으며, 공공 클라우드와 사설클라우드를 아울러 적용할 수 있다. 또한, 클라우드 서비스는 쉽게 접근이 가능하여 디지털 증거 인멸 가능성이 높기에 계정 접근 차단 단계를 추가함으로써 수사 모델을 보강하였다. Cloud computing is a service that to use IT resources (software, storage, server, network) through various equipment in an Internet-enabled environment. Due to convenience, efficiency, and cost reduction, the utilization rate has increased recently. However, Cloud providers have become targets for attack Also, Abuse of cloud service is considered as the top security threat. The existing digital forensic procedures are suitable for investigations on individual terminals. In this paper, we propose a new investigation model by analyzing the vulnerable points that occur when you investigate the cloud environment with the existing digital forensic investigation procedure. The proposed investigation model adds a way to obtain account information, and can apply public cloud and private cloud together. Cloud services are also easily accessible and are likely to destroy digital evidence. Therefore, the investigation model was reinforced by adding an account access blocking step.

사회적 평가 지표를 반영한 도시 홍수취약성 평가

이규민,최진원,전경수,Lee, Gyu Min,Choi, Jin Won,Jun, Kyung Soo 한국토지주택공사 토지주택연구원 2020 LHI journal of land, housing, and urban affairs Vol.11 No.1

This study aims to establish an approach to assess urban flood vulnerability by identifying social characteristics such as the road transportation and the vulnerable groups. Assessment procedures comprise three steps as: (1) composing the assessment criteria to reflect the urban characteristics; (2) calculating the weight; and (3) evaluating the vulnerability. The criteria were adopted by Delphi survey technique. Four criteria as land cover, residents, vulnerable areas, and disaster response were adopted in the current study. To determine the weight set of criteria, subjective and objective methods were combined. The weight set was determined using the combined method which reflects the Delphi method and Entropy analysis. In the process of data-based construction, GIS tools wwere used to extract administrative unit materials such as land cover, road status, and slope. Data on population and other social criteria were collected through the National Statistical Office and the Seoul Metropolitan statistical data. TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution) technique, which uses materials from cell units in order to rank the closest distance to the best case and the farthest distance from the worst case by calculating the distances to the area of assessment, was applied to assess. The study area was the Dorimcheon basin, a flood special treatment area of Seoul city. The results from the current study indicates that the established urban flood vulnerability assessment approach is able to predict the inherent vulnerable factors in urban regions and to propose the area of priority control.

Testlet Response Model for IRT True Score Equating

Guemin Lee(이규민),In-Yong Park(박인용),Min-Jeong Jeon(전민정) 한국교육평가학회 2009 교육평가연구 Vol.22 No.3

The present study was designed to address several issues of item response theory(IRT) true score equating for testlet-composed tests(e.g., reading comprehension tests). Because the fundamental local independence assumption in IRT for testlet-composed tests is often violated, standard IRT equating methods based on that assumption could lead to biased equating relationships(Lee, Kolen, Frisbie, & Ankenmann, 2001; Li, Bolt, & Fu, 2005). Response data sets fortestlet-composed tests were simulated. We generate 50 data sets of 1,500 examinees of both old and new test forms composed of seven testlet swith six items per testlet(42 items in total). We found that the graded response model (GRM) and testlet response model(TRM)true score equating methods providede quating relationships that were more similar to the true equating equivalents than did the three parameter logistic (3PL) true score equating method. Because the IRT assumption for dichotomous item response models is often violated intests composed of testlets, it would be expected that a larger bias would be found in the 3PL method than in the GRM and TRM methods. The GRM and TRM method scould be considered for equating test scores composed of testlets. Finally, the total errors in equating were influenced mainly by the bias component rather than the random estimation component for using different IRT models. 이 연구는 단위검사로 구성된 검사에 적용되는 문항반응이론 진점수 동등화와 관련된 몇몇 이슈를 다루고 있다.단위검사로 구성된 검사는 문항반응이론의 기본 가정인 지역독립성 가정이 흔히 위배되기 때문에 이러한 가정에 기반을 두고 있는 일반적인 동등화 방법은 편파된 동등화 결과를 초래할 수 있다(Lee,Kolen,Frisbie,& Ankenmann,2001;Li, Bolt,& Fu,2005).이 연구에서는 단위검사로 구성된 검사에 대한 반응 자료를 시뮬레이션 기법으로 생성하였다.새로운 검사 형과 동등화 될 이전의 검사형에 대한 1,500명의 피험자 반응이 생성되었고,검사는 7개의 단위검사와 단위검사 당 6개의 문항이 속한 구조로 총 42개의 문항으로 구성되었다.연구 결과를 통해,등급반응모형과 단위검사반응모형 진점수 동등화 방법이 3모수 로지스틱 진점수 동등화 방법 보다 실제 동등화 결과에 유사한 결과를 산출하였다.단위검사로 구성된 검사의 경우,3모수 로지스틱 모형과 같은 이분문항반응모형은 문항반응이론 가정을 위배하게 되기 때문에 등급반응모형이나 단위 검사반응모형에 비해 상대적으로 큰 편파성이 예상된다.등급반응모형은 단위검사반응모형과 단위검사로 구성된 검사의 동등화 결과와 유사한 결과를 산출하여 현장에서 대안적 사용이 가능할 것으로 예상된다.단위검사로 구성된 검사의 동등화 결과 분석을 통해,동등화 오차의 많은 부분이 문항반응모형의 선정에 따른 편파성에 기인하는 것으로 나타났고,추정 과정에서 오는 임의 오차 부분은 상대적으로 적은 것으로 분석되었다.

공통문항 비동등집단 설계에서 다차원 문항반응모형의 연계화와 동등화 결과 비교

정지영(Ji young Jung),이규민(Gue min Lee),강상진(Sang Jin Kang),민경석(Kyung Seok Min) 한국교육평가학회 2016 교육평가연구 Vol.29 No.4

본 연구는 공통문항 비동등집단 설계에서 이차원성을 갖는 검사자료에 다차원 문항반응모형을 적용한 연계화와 동등화 결과를 집단 간 비동등성, 차원 간 상관정도, 검사구조에 따라 모의실험을 통해 비교하였다. 각 연구조건에 따라 모의자료를 생성한 후 Oshima, Davey와 Lee(2000), Li와 Lissitz(2000), Min(2003)이 제안한 MIRT 연계화 방법을 적용하여 연계화를 시행하고 그 결과를 비교하였다. 이후 각 연계화 방법에 따라 공통 척도로 전환 된 모수를 사용하여 Brossman(2010)의 연구에서 제시한 복합 다차원 문항반응이론 관찰점수 동등화, 다차원 문항반응이론의 일차원적 접근 진점수와 관찰점수 동등화방법을 적용하여 동등화 결과를 비교하였다. MIRT 연계화 결과를 보면, Oshima, Davey와 Lee 방법이 Li와 Lissitz, Min 방법에 비해 집단 간 비동등성과 차원 간 상관정도에 따라 연계화 결과가 상대적으로 안정적으로 산출되었고, 검사구조에 따라서는 세 가지 연계화 방법의 결과가 유사하였다. MIRT 등동화 결과를 보면, Oshima, Davey와 Lee 연계화 방법이 적용된 경우에 모든 연구조건에서 세 가지 MIRT 동등화 방법의 결과가 유사하게 산출되었다. 한편 Li와 Lissitz, Min 연계화 방법이 적용된 경우에는 다차원 문항반응이론의 일차원적 접근 관찰점수와 진점수 동등화 방법 간 동등화 결과가 유사하였고, 복합다차원 문항반응이론 관찰점수 동등화 방법은 다른 패턴으로 동등화 결과를 산출하였다. The purpose of this study is to compare the results of MIRT linking and equating according to group nonequivalency, dimensional correlation, and test structures under the common item nonequivalent groups design with two dimensional simulation data. After separate calibration of generated simulation data, estimated parameters were linked by three MIRT linking methods: Oshima, Davey and Lee(2000), Li and Lissitz(2000), and Min(2003). Commonly scaled parameters by each linking method were equated by three MIRT equating methods: full MIRT observed score equating, approximate unidimensionalized MIRT true score, and approximate unidimensionalized MIRT observed score equating developed by Brossman(2010). A summary of the results of this study is divided into two parts because MIRT equating processes include MIRT linking procedures.

The Effects of Different Parallelism Assumptions on the Estimates of Classification Consistency Using IRT and non-IRT Approaches

김희연(StellaYun Kim),이규민(Guemin Lee),강상진(Sang-Jin Kang) 한국교육평가학회 2013 교육평가연구 Vol.26 No.2

준거참조 검사의 신뢰도로 일컬어지는 분류일치도를 추정함에 있어 한 번의 시험 시행 결과를 활용하는 다양한 방법들이 제안되어왔다. 이 방법들은 분류일치도 추정시 단 한번의 검사 점수만을 활용하기 때문에, 각각의 방법들이 검사 형에 대하여 어떠한 동형성 가정을 갖는지 명세화 할 필요가 있다. Lee, Brennan와 Kolen(2000)은 IRT와 non-IRT 접근간에 검사의 동형성 가정이 다르다는 점을 지적한다. 구체적으로, IRT 접근은 검사 형이 엄격한 평행 검사라고 가정하는 반면, non-IRT 접근의 이항분포 모형의 경우, 검사 형이 임의 평행 검사임을 가정한다. 이 연구는 IRT와 non-IRT 접근의 다른 동형성 가정이 분류 일치도 추정치에 미치는 영향을 모의연구를 통해 밝히고자 하였다. 연구결과, 동형성 가정의 차이가 분류일치도 추정치에 미치는 영향정도가 꽤 크다는 것이 확인되었다. 또한, 검사 길이가 길어질수록 분류일치도 추정치의 안정성은 증가하였으며 추정방법의 정확도 또한 증가하였다. 검사 점수 능력 분포 또한 분할 점수 근처의 점수 밀도에 영향을 주는 요인이라는 점에서 분할 점수의 위치와 상호작용하면서 분류일치도 지수에 영향을 미치는 것으로 나타났다. 동형성 가정을 달리하는 두 접근에 의해 산출된 분류일치도 지수는 전혀 다른 의미를 가지기 때문에, 추정 방법을 선택할 때에는 이를 반영하는 과정이 필요할 것이다. A number of procedures have been reported for estimating classification consistency based on the results of a single administration (Huynh, 1976; Lee, Brennan, and Wan, 2009; Lee, 2010). Because when estimating classification consistency, those procedures employ the results of only one test administration, it is necessary to specify which parallelism assumption on a test should be made. Lee, Brennan and Kolen (2000) pointed out that the assumptions about error are different between IRT and non-IRT approaches in that test forms are considered to be strictly parallel in IRT approaches, whereas they are said to be randomly parallel in non-IRT approaches. The present study was designed to investigate the effects of two different parallelism assumptions (randomly parallel vs. strictly parallel test forms) under IRT and non-IRT approaches on classification consistency estimates. In generating two different levels of parallelism of tests, three simulation conditions were considered; test length, ability distribution, and cut score position on the scale. We found that different parallelism assumptions of tests had significant effects on classification consistency estimates. As expected, the test length had profound effects on estimates of the classification consistency with different levels of parallelism. The effects of ability score distribution on estimates of classification consistency were different due to cut score positions, which showed some extent of interaction effects between ability score distribution and cut score positions.

A Comparison Study on the Applications of the Angoff and Bookmark Standard Setting Methods

이규민(Guemin Lee),박인용(In-yong Park),이명숙(Myngsuk Lee),박연복(Yeonbok Park),김경성(Kyung-Sung Kim) 연세대학교 교육연구소 2014 미래교육학연구 Vol.27 No.1

앵고프(Angoff, 1971) 방법과 북마크(Lewis, Mitzel, & Green, 1996) 방법은 요즘 사용되고 있는 수준설정 방법 중 가장 보편적으로 널리 사용되고 있는 검사 문항 중심 수준설정 방법이다. 이 연구에서는 Standards for Educational and Psychological Testing(AERA, APA, & NCME, 1999)의 요구 사항을 따라, 이러한 수준설정 방법을 동일한 검사에 적용해 보고, 두 방법간 유사성과 차별성을 여러 측면에서 비교하였다. 이 연구에서 사용된 분석 자료는 초등학교 6학년 ‘국가수준 기초학력 진단평가’를 통해 얻어진 자료이다. 국가수준 기초학력 진단평가는 국어, 영어, 수학, 사회, 과학의 5개 교과로 구성되어 있고, 각각의 교과별로 기초학력 미달 학생을 변별하기 위한 목적으로 개발되었다. 연구 결과, 북마크 방법으로 설정된 분할 점수가 앵코프 방법으로 설정된 분할 점수 보다 5개 교과 모두에서 높았고, 결과적으로 더 많은 기초학력 미달 학생을 변별하는 것으로 나타났다. 분할 점수 분산에 영향을 미치는 가장 주요한 요인은 수준설정 방법으로 나타났지만, 두 방법 모두 각각 높은 수준의 분류 일치 계수를 산출하였다. 결론적으로, 북마크와 앵고프 수준설정 방법은 최소 능력을 소유한 것으로 판단되는 학생을 선별하는데 있어 서로 다른 분할 점수를 산출하고는 있지만 각각의 방법은 높은 수준의 분류일관성을 확보하고 있는 것으로 보인다. The Angoff (1971) and the Bookmark (Lewis, Mitzel, & Green, 1996) item-centered methods are two of the most prevalent standard setting methods used today. We investigated the results and effects of applying these methods by following the recommendations of the Standards for Educational and Psychological Testing (AERA, APA, & NCME, 1999). The data used in this study were obtained from the grade 6 National Diagnostic Test of Basic Competency (NDTBC) that was developed and administered in South Korea. The NDTBC is composed of five subject areas: Reading, English, Mathematics, Social Studies, and Science. The Bookmark method produced slightly higher cut-off scores for all five subject areas and identified more below-basic students than did the Angoff method. Standard setting methods were the major source of cut-off score variation, but both standard setting methods produced high classification consistency indices. Judgments about cut-off scores were reasonable and valid using both methods. In conclusion, both the Bookmark and Angoff standard setting methods yield different cut-off scores for the minimally acceptable performance of examinees, but produce high level of classification consistency within each method.

A Generalizability Theory Approach to Investigating Item Context Effects

이규민(Guemin Lee) 한국교육평가학회 2004 교육평가연구 Vol.17 No.1

이 연구의 목적은 일반화가능도 이론을 적용하여 문항의 문맥효과를 분석할 수 있는 방법을 제시하고, 제시된 방법을 사용하여 서로 다른 검사 버전을 포함하고 있는 측정 상황에서 실제적으로 문맥효과를 탐색해 보려는 목적을 갖고 있다. 이 연구에서 제시된 일반화가능도 이론을 적용한 문맥효과 분석 방법은 검사의 버전 효과와 검사 버전과 문항의 상호작용 효과를 잠재적인 문맥효과로 구분하여 주는 모형을 개념화하고 있다. 문항의 난이도 지수나 문항반응이론의 b-모수 추정치를 사용하여 문항의 문맥효과를 분석하는 전통적인 방법이 같은 측정 상황에 함께 적용되었다. 일반화가능도 이론을 적용하였을 경우와 전통적인 방법을 적용하였을 경우는 모두 비슷한 결과를 도출하였고, 모두 검사 버전에 의한 일정 정도의 문맥효과가 있는 것으로 보고하고 있다. 이 연구에서는 연구 결과를 바탕으로 σ²(ν)≥σ²(i) 일 경우, 검사에 문맥효과가 존재할 가능성이 있으므로 주의할 필요가 있음을 나타내 주고, 이를 일종의 문맥효과 경계 기준 기준으로 사용될 수 있음을 제안하였다. σ²(ν) 는 검사 버전에 의한 σ²(i)는 문항에 의한 분산성분 추정치를 나타냄 검사버전에 의한 서로 다른 정도의 문맥효과는 검사에 사용되는 문항 순서(item ordering)와 문항 형태(item format)가 검사 버전에 따라 다르기 때문인 것으로 판단된다. The purposes of this study were to establish procedures of investigating item context effects using a generalizability approach, and to examine the existence and magnitude of those effects when several test versions were involved. The heuristic model administered in this study isolated test version and items by test version interaction effects as potential context effects. Traditional approaches of using item difficulty index and IRT b-parameter estimate showed some degree of context effects due to test versions. The generalizability approach led to a conclusion similar to that of traditional approaches. We suggest σ²(ν)≥σ²(i) as a flagging criterion for context effects due to test versions when using the genralizability approach, where σ²(ν) and σ²(i) represents estimates of test version and item variance components, respectively. Both traditional and generalizability approaches indicated different degrees of context effects among test versions. These different degrees of context effects could be related to the different item orderings and test formats.

Estimating Standard Errors for School Passing Rates Using Generalizability Theory

이규민(Guemin Lee) 한국교육평가학회 2005 교육평가연구 Vol.18 No.2

School test performance is often summarized in terms of the percentage of students at or above a cutscore (PAAC) that has been set on a test. Two types of standard errors for school PAAC's were examined in this study, conditional standard errors and overall standard errors. The effect of school size on these standard errors also was examined. The tests used in this study were English Language Arts and Mathematics tests administered to Grades 4 and 8 students as part of a large, statewide assessment. About 150 schools were randomly selected for the analyses. The results indicated that (1) the conditional standard error appears to follow a quadratic pattern as a function of PAAC, (2) the quadratic shape is substantial when school size is small, and (3) the overall and conditional SE's are similar when they are conditioned on school size. Several feasible ways of reporting standard error information for school PAAC are also discussed. 학교의 수행수준은 종종 하나의 특정 분할점수를 기준으로 이를 넘은 학생의 비율(percentage of students at or above a cutscore: PAAC)로 보고된다. 이 연구에서는 학교의 PAAC 점수에 대한 두 가지 형태의 표준 오차 추정 방법으로 조건 표준 오차(conditional standard error)와 전체 표준 오차(overall standard error)가 검토되었다. 연구에 사용된 자료는 미국에서 주(state)에서 시행되는 대표적인 평가체제 중 4학년과 8학년을 대상으로 하는 영어언어검사(English Langage Arts)와 수학검사(Mathematics)이다. 대략 150여개 학교가 이 연구를 위해 표집되어 자료가 수집되고 분석되었다. 연구 결과를 통해, (1) 조건 표준 오차는 PAAC 점수에 따라 2차 함수 형태의 패턴을 보이고, (2) 2차 함수 형태는 학교의 규모가 작을수록 더욱 분명하게 확인되고, (3) 전체 표준 오차나 조건 표준 오차는 학교 규모를 기반 축으로 비교될 때 매우 유사한 형태를 나타냄을 알 수 있었다. 이 밖에도 학교 PAAC 점수에 대한 표준 오차 관련 정보를 제공하는데 유용한 보고 형식이 함께 논의되었다.