군집분석을 이용한 수준설정 방법과 타당성 연구

박연복(Yeonbok Park),이규민(Guemin Lee),강상진(Sang-Jin Kang) 한국교육평가학회 2011 교육평가연구 Vol.24 No.3

이 연구의 목적은 군집분석을 이용한 수준설정 방법의 절차를 제시하고 타당성에 대해서 검토하는 것이다. 군집분석을 이용한 수준설정 방법은 학생들의 데이터를 근거로 학생들을 분류하므로 학생들이 무엇을 할 수 있는지에 초점을 둔 수준을 제안할 수 있다. 군집분석을 이용한 수준설정 방법은 크게 두 단계를 거쳐 분할점수가 산출되었다. 1단계는 군집 수 결정 단계이다. 군집 수 결정을 위해 계층적 군집화를 시행한 후 적절한 군집 수의 범위를 정하고, K-평균군집화를 시행한 후 최종 군집 수를 결정한다. 2단계는 군집분석 시행 후 수준설정을 위한 분할점수 산출 단계이다. 각 검사의 하위영역에 대한 Z-점수 평균을 군집 별로 프로파일링 하여 수행 수준을 정한 후, 경계선집단방법이나 대비 집단방법을 이용하여 최종 분할점수를 산출한다. 군집분석을 이용한 수준설정 방법의 타당성 확보를 위하여 분류일치도 결과를 내적 타당도 자료로 분석하였고, 북마크방법을 통한 산출된 분할점수와의 비교를 통해 외적타당도를 검토하였다. 분석 결과, 군집분석을 이용한 수준설정 방법이 내적ㆍ외적 타당성이 있는 방법임을 알 수 있었고, 이 수준설정 방법이 기존의 다른 수준설정 방법과 함께 사용될 수 있는 가능성을 확인할 수 있었다. This study aims to suggest a method to set standards for students by using cluster analysis and to review the validity of the method. In most of the existing standard setting methods, cut scores are calculated by the judgment panel rather than objective data on students' performance. On the contrary, the standard setting by cluster analysis is based on student data, thus making it possible to focus on what students can do. The results of this research can be summarized as follows. First, the method of determining the number of clusters proposed in this study using Rand index seem reasonable because this is utilized more information derived from student data. Second, the differences between cut scores from the bookmark and cluster analysis methods were relatively small across five subject areas. Also, the classification consistency showed relatively high values in five subjects, assuming Beta or 4-Beta distribution for true score. These results support internal and external validity for standard setting method using cluster analysis. Third, the standard setting method using cluster analysis can be considered as an alternative when standard setting panelists cannot be easily obtained. In other respect, this method can be used as a criteria for another standard setting method.

수준별 이동수업이 중학생들의 학업성취 향상도에 미치는 효과성 탐색: 다층성장모형 이용

박연복(Park, Yeonbok),이문수(Lee, Moonsoo) 이화여자대학교 교육과학연구소 2017 교육과학연구 Vol.48 No.3

The purpose of this study was to investigate the effect of ability grouping on middle school students’ improvement in English and Math. The students’ achievement scores was the dependent variable, and the decision of whether to implement ability grouping and number of implementation were the independent variables. The data used for this study were from the 1st to 3rd wave of the Korean Education Longitudinal Study 2005. In total, 108 schools and 3,863 students for English and 110 schools and 3,933 students for math were analyzed. The results of the study are summarized as follows. The implementation of ability grouping did not have any meaningful effect on students’ academic achievement growth and the number of implementation ability grouping showed different effects according to the subjects. Results suggest that the effect of ability grouping on students’ achievement growth could be different depending on subjects, timing, and continuity.

다차원 문항반응모형의 척도연계화 방법 비교

이문수(Lee Moonsoo),박연복(Park Yeonbok) 연세대학교 교육연구소 2020 미래교육학연구 Vol.33 No.1

본 연구의 목적은 복수의 하위구인으로 이루어진 실제 검사 구조를 고려하여 모의실험을 통해 다차원 문항반응모형을 이용한 검사의 연계화 방법들의 정확성을 비교하는 것이다. 이를 위해 Oshima, Davey와 Lee(2000), Li와 Lissitz(2000), Min(2003)의 세 가지 분리추정과 동시추정방법을 이용하여 공통척도로의 변환을 수행하였다. 추정방법들의 비교를 위해 피험자 집단의 크기, 공통문항의 비율, 능력차원의 상관 조건 별로 결과를 도출하였다. 연구결과 전반적으로 동시추정방법이 분리추정방법들에 비해 양호한 연계화 결과를 보였다. 단, 능력 차원들의 상관이 낮으며 집단의 크기가 충분히 크고 공통문항의 비율이 높은 경우에는 분리추정을 이용한 연계화 결과의 정확성도 높게 나타났다. 이를 통해 다차원 검사들의 연계화의 일반적인 상황에서 동시추정방법의 사용을 제안하며, 분리추정방법을 이용하여 공통척도로 변환 시에는 충분한 피험자 수의 확보와 공통문항이 비율을 높일 필요가 있음을 제안한다. The purpose of this study is to compare the test linking methods using a multidimensional item response model through simulation technique by considering the actual test structure composed of several constructs. The transformation to the common scale is performed using three separate calibration methods: Oshima, Davey and Lee (2000), Li and Lissitz (2000), Min (2003) and concurrent calibration method. For comparison of calibration methods, results are derived from the number of examinee, the dimensional correlations and the ratio of common items. As a result of the study, the concurrent calibration method performs well in linking than three separate calibration methods. However, when the correlation of ability dimensions is low, the number of examinee is large enough, and the ratio of common items is high, the separate calibration methods also provides accurate linking results. In conclusions, concurrent calibration method has an advantage of multidimensional tests linking. And it is necessary to secure a sufficient number of examinee, increase the ratio of common items when transforming to common scale with separate calibration methods.

대졸 초기 취업자의 직장만족도, 자아존중감의 변화 양상과 영향 요인 탐색

이문수(Lee, Moonsoo),박연복(Park, Yeonbok) 학습자중심교과교육학회 2019 학습자중심교과교육연구 Vol.19 No.19

본 연구는 대졸 초기 취업자의 심리적 요인인 직장만족도와 자아존중감의 종단적 변화 형태를 분석하고 변화에 미치는 영향 요인들의 관련성을 규명하였다. 이를 위하여 한국고용정보원에서 수집하고 있는 청년패널(Youth Panel) 조사에서 3개의 코 호트를 구성하여 최종 774명의 자료를 이용하였다. 잠재성장모형을 이용하여 직장만족도와 자아존중감의 변화 양상에 따라 집단을 유형화하고 영향을 주는 요인들을 탐색하였다. 연구결과, 종속변수의 변화 형태에 따라 직장만족도는 ‘감소 후 증가 집단(33.8%)’, ‘증가 후 감소 집단(66.2%)’으로 자아존중감은 ‘중상수준 증가형(49.9)’, ‘고수준 유지형(50.1%)’ 각 2개 집단으로 구분되었다. 이 중 직장만족도 ‘증가 후 감소형’ 집단과 자아존중감 ‘고수준 유지형’ 집단은 남성, 4년제 대학 졸업자 비율이 높았으며 내재적 및 외재적 구직동기 또한 높게 나타나는 특성을 보였다. 직장만족도와 자아존중감 잠재계층의 조건부 확률을 살펴본 결과 자아존중감이 높은 사람은 직장만족도 또한 높은 것으로 나타났다. 청년층의 자기계발 기회 제공, 직장 내 재교육 등을 통해 청년들의 높은 자아존중감을 유지시켜 나갈 필요가 있으며, 성별, 학력, 심리적 요인 등을 고려하여 안정적인 고용과 인적 자본의 질을 개선하기 위한 노력이 필요하다. In this study, we analyzed longitudinal changes in psychological factors of individuals, such as job satisfaction and self-esteem in early-career college graduates, and clarified the relationship between influential factors on those changes. For these goals, latent class growth analysis was applied using Korean national database-Youth Panel 2007 data from three cohorts. Job satisfaction’s classes were defined as the ‘increasing after decreasing(33.8%)’, ‘decreasing after increasing(66.2%)’, also self-esteem’s classes were divided into two groups ‘increasing-medium upper level(49.9%)’, ‘ maintaining-high level(50.1%). ‘Decreasing after increasing job satisfaction’ group and ‘maintaining high self-esteem level’ group had the highest ratio of male, 4-years university graduates, and job motivation were high. Through the results of this study, it can be seen that there is a need to maintain the high self-esteem of early-career college graduates. In addition, it needs to improve the quality of stable employment and human capital of the early workforce, taking into account the individual s gender, educational background, and psychological factors.

A Comparison Study on the Applications of the Angoff and Bookmark Standard Setting Methods

이규민(Guemin Lee),박인용(In-yong Park),이명숙(Myngsuk Lee),박연복(Yeonbok Park),김경성(Kyung-Sung Kim) 연세대학교 교육연구소 2014 미래교육학연구 Vol.27 No.1

앵고프(Angoff, 1971) 방법과 북마크(Lewis, Mitzel, & Green, 1996) 방법은 요즘 사용되고 있는 수준설정 방법 중 가장 보편적으로 널리 사용되고 있는 검사 문항 중심 수준설정 방법이다. 이 연구에서는 Standards for Educational and Psychological Testing(AERA, APA, & NCME, 1999)의 요구 사항을 따라, 이러한 수준설정 방법을 동일한 검사에 적용해 보고, 두 방법간 유사성과 차별성을 여러 측면에서 비교하였다. 이 연구에서 사용된 분석 자료는 초등학교 6학년 ‘국가수준 기초학력 진단평가’를 통해 얻어진 자료이다. 국가수준 기초학력 진단평가는 국어, 영어, 수학, 사회, 과학의 5개 교과로 구성되어 있고, 각각의 교과별로 기초학력 미달 학생을 변별하기 위한 목적으로 개발되었다. 연구 결과, 북마크 방법으로 설정된 분할 점수가 앵코프 방법으로 설정된 분할 점수 보다 5개 교과 모두에서 높았고, 결과적으로 더 많은 기초학력 미달 학생을 변별하는 것으로 나타났다. 분할 점수 분산에 영향을 미치는 가장 주요한 요인은 수준설정 방법으로 나타났지만, 두 방법 모두 각각 높은 수준의 분류 일치 계수를 산출하였다. 결론적으로, 북마크와 앵고프 수준설정 방법은 최소 능력을 소유한 것으로 판단되는 학생을 선별하는데 있어 서로 다른 분할 점수를 산출하고는 있지만 각각의 방법은 높은 수준의 분류일관성을 확보하고 있는 것으로 보인다. The Angoff (1971) and the Bookmark (Lewis, Mitzel, & Green, 1996) item-centered methods are two of the most prevalent standard setting methods used today. We investigated the results and effects of applying these methods by following the recommendations of the Standards for Educational and Psychological Testing (AERA, APA, & NCME, 1999). The data used in this study were obtained from the grade 6 National Diagnostic Test of Basic Competency (NDTBC) that was developed and administered in South Korea. The NDTBC is composed of five subject areas: Reading, English, Mathematics, Social Studies, and Science. The Bookmark method produced slightly higher cut-off scores for all five subject areas and identified more below-basic students than did the Angoff method. Standard setting methods were the major source of cut-off score variation, but both standard setting methods produced high classification consistency indices. Judgments about cut-off scores were reasonable and valid using both methods. In conclusion, both the Bookmark and Angoff standard setting methods yield different cut-off scores for the minimally acceptable performance of examinees, but produce high level of classification consistency within each method.