의학교육 학생평가의 객관성에 대한 쟁점

민경석,양길석,Min, Kyung-Seok,Yang, Kil-Seok 연세대학교 의과대학 2013 의학교육논단 Vol.15 No.3

This paper addressed various issues related to the objectivity of student assessment in medical education. The objectivity of assessment was related to all the steps of test development, administration, and results reporting in terms of reliability and validity. Specifically, the objectivity of item formats, representativeness of test content, standardization of test administration, consistency of scoring procedures, and appropriateness of reporting test results were discussed by comparing performance assessment with traditional paper-and-pencil tests. The conclusions were derived from current measurement theories such as standards-based assessment, evidencebased design, and outcome-based assessment. Further, based on Shepard's propositions (2006), the objectivity of student assessment could be achieved by improving the concordance between educational objectives and assessment components such as item types, test contents, and test administration, scoring, and reporting.

Low-Angle Forward Reflected Neutral Beam Etching을 이용한 Aspect-Ratio-Dependent Etching 현상의 제거

민경석,박병재,염근영,김성진,이재구,Min Kyung-Seok,Park Byoung-Jae,Yeom Geun-Young,Kim Sung-Jin,Lee Jae-Koo 한국진공학회 2006 Applied Science and Convergence Technology Vol.15 No.4

본 연구에서는 반응성 이온빔을 low-angle forward reflection으로 생성시킨 중성빔을 이용하여 Aspect Ratio Dependent Etching (ARDE) 현상이 제거되는 효과에 대하여 연구하였다. SF6 가스를 사용하여 Inductively Coupled Plasma system과 이온빔으로 각각 poly-Si 을 식각한 결과 ARDE 현상을 관찰할 수 있었으며, Si 기판위에 증착된 Poly-Si을 식각하는 것보다 $SiO_2$ 기판 위에 증착된 Poly-Si을 식각하는 것이 ARDE 현상이 더 많이 나타난다는 것을 관찰할 수 있었다. 반면에 같은 공정 조건에서 중성빔으로 poly-Si을 식각한 결과 이러한 ARDE 현상이 효과적으로 제거되었음을 관찰할 수 있었다. 중성빔을 이용하여 ARDE 현상이 제거되는 원리는 2 차원의 XOOPIC code 와 TRIM code를 사용하여 여러가지 나노스케일의 형상을 컴퓨터 시뮬레이션하여 증명하였다. In this study, the effect of using a neutral beam formed by low-angle forward reflection of a reactive ion beam on aspect-ratio-dependent etching (ARDE) has been investigated. When a SF6 Inductively Coupled Plasma and $SF_6$ ion beam etching are used to etch poly-Si, ARDE is observed and the etching of poly-Si on $SiO_2$ shows a higher ARDE effect than the etching of poly-Si on Si. However, by using neutral beam etching with neutral beam directionality higher than 70 %, ARDE during poly-Si etching by $SF_6$ can be effectively removed, regardless of the sample conditions. The mechanism for the removal of ARDE via a directional neutral beam has been demonstrated through a computer simulation of different nanoscale features by using the two-dimensional XOOPIC code and the TRIM code.

효과적인 설계VE 활동을 위한 기능분석 유형조사

민경석,Min Kyung-Seok 한국건설관리학회 2004 건설관리 : 한국건설관리학회 학회지 Vol.5 No.6

This study is an analysis the function Analysis Patterns for the effective application of VE(Value Engineering) and a presentation of the function analysis methods. 1. The function analysis of VE activities can be summarized 6 patterns as follows ; a generated ideas without function analysis process, a function analysis make use of inspection tools for generated idea, an illogical jump as a using of subjective terms, a using of duplication terms for same functions, a subjective ranking as function definitions for function analysis, and a large classification for a for approaching function definition. 2. In order for the effective function analysis, the process requires as follows; a check level by project advanced, a reclassified main nouns in the order of frequency of use, a main check objects by concepts of importance and satisfaction degree. It is not only good for the effective function analysis, it also induces effective turn out of the FAST Diagram for function arrangement. 설계VE 활동작업 중 대상의 기능을 철저하게 분석할 수 있는 기능분석 활동은 그 중요성에도 불구하고 수행자의 인식부족, 분석방법에 대한 어려움 및 설계VE 활동 시간적 제약 등의 이유로 활동 자체가 약화, 변형되거나, 생략되는 경우가 발생하고 있다. 이와 같이 기능분석이 변형된 VE활동은 아이디어 창출과정에 있어서 기능부분이 약화된채 아이디어의 결과를 창출함으로 신뢰성이 매우 떨어진다고 할 수 있다. 따라서 본 연구는 현재 시행되어진 설계VE작업중 기능분석활동 부분을 분석하여 이를 활동유형별로 분류, 그 특징을 파악한다. 이를 통해 기능분석 활동에 대한 올바른 이해를 확립하고, 기능분석 활동의 개선부분을 도출하여 올바른 설계VE 활동을 유도하고자 한다.

검사의 차원 수가 다차원 문항반응모형의 총점에 미치는 영향

민경석(Kyung-Seok Min) 한국교육평가학회 2014 교육평가연구 Vol.27 No.3

현대 교육/심리 검사는 단일한 차원보다는 복수의 잠재적 특성을 측정하는 경향을 보인다. 이 연구의 목적은 피험자와 문항 간의 상호작용을 설명하는 잠재적 차원의 수가 다차원 문항반응모형의 총점(기준선합성 방법과 검사정보함수 방법)에 미치는 영향을 평가하는 데 있다. 연구방법으로 다차원 문항반응모형에 기반한 모의자료를 생성하여 검사의 차원에 따른 기준선합성 방법과 검사정보함수 방법의유사성과 차별성을 비교하였다. 또한 실제 시행된 대규모 검사자료(언어능력검사)의 분석을 통하여 다차원 문항반응모형의 두 가지 총점 산출 결과에 미치는 검사 차원 수 및 차원 수 결정 방법의 영향을분석하였다. 연구결과로서, 모의자료 분석에서 차원 수의 과대 추정뿐만 아니라 과소 추정 모두 능력추정치를 종합한 총점 산출에 큰 영향을 미치지 않는 것으로 나타났다. 그러나 실제자료 분석에서는차원 수가 다른 측정모형이 적용됨에 따라 총점산출 모형 간, 차원 수 간 차이가 크게 나타났다. 이러한 결과의 차이는 차원구조(단순구조와 복합구조)라는 모의자료와 실제자료의 특성에 기인한다. 즉, 단순구조에서는 차원 수가 확대될지라도 기존 차원의 구조가 유지되며 부가적으로 설정되는 차원의 영향력이 적은 반면, 복합구조에서는 과대하게 설정된 차원이 기존 차원을 복합적으로 반영하여 총점에대한 영향력이 높아진다. 특히, 현실에서 활용되는 교육/심리 검사의 하위영역(구인)은 서로 독립적이기보다는 일정한 상관을 갖는 점을 고려할 때, 복합구조에 대한 차원성 검증과 차원 수 결정에 대한 지속적인 연구가 필요할 것이다. Modern educational/psychological tests tend to measure multiple latent traits. The purpose of this study was to evaluate the effect of dimensionality on total scores of MIRT models based on the reference composit method and the test information function method. In order to conduct the study, a simulated data of three dimensions and a real data of two dimensions (language ability test for foreigner) were analyzed. As research results, there was not much impact of over/under estimation of dimensions on total scores of the simulated data. But significant differences in real data analyses were found across dimensions and methods of generating total scores. Inconsistent research results between the simulated data and the real data could be explained by the dimensional structure. That is, the simulated data of simple dimensional structure were less influenced by the number of dimensions but meaningful differences were found in the real data of complex structure. As the latent dimensions of tests were somewhat correlated (i.e., complex structure), the dimensional structure should be more seriously considered when to estimate total test scores as well as subscores in MIRT models.

경찰대학생의 역량모델 개발

민경석(Min, Kyung Seok),문경환(Moon, Kyeong Hwan),황문규(Hwang, Mun Gyu) 경찰대학 경찰학연구편집위원회 2017 경찰학연구 Vol.17 No.2

최근 급변하는 사회 환경에 대응하여 대학에서는 기존의 ‘지식습득 중심의 교육과정’에서 탈피하여 학생들이 미래사회에서 요구되는 능력을 갖출 수 있도록 지식 학습과 더불어 이를 적용하고 확장시키는 ‘역량기반 교육과정’으로의 변화를 모색하고 있다. 이 연구는 기존 선행연구에서 제안된 경찰관 및 대학생 역량지표와 경찰대학의 교육목표를 토대로 향후 경찰대학 교육과정에 적용 가능한 경찰대학생의 역량모델 및 하위요소를 제시하는 한편, 이를 바탕으로 경찰대학생에 대한 교육효과를 측정할 수 있는 역량진단 도구 개발에 초점을 두었다. 전문가를 대상으로 한 F.G.I.와 중요도 평정 등을 통하여 1) 전문지식역량, 2) 리더십역량, 3) 창의적 문제해결역량, 4) 자기관리역량, 5) 글로벌역량, 6) 직업의식, 7) 공동체의식, 8) 문화감수성의 8개 역량이 최종 선정되었으며, 이에 따른 진단도구로는 총 8개 영역, 19개 요소에 대해 96문항을 구성하였다. 진단도구에 대한 신뢰도 검증에서 8개 영역, 19개 요소는 0.8이상의 신뢰도를 보였으며, 확인적 요인분석 결과 또한 적절한 이론적 모형이 가정된 것으로 나타났다. 이렇게 개발된 역량지표를 통해 경찰대학 재학생을 대상으로 역량진단조사를 실시한 결과, 8개 역량 수준이 비교적 고르게 나타났는데, 보다 구체적으로는 리더십역량, 직업의식역량, 공동체의식역량의 평균이 상대적으로 높게 나타났고, 글로벌역량, 문화감수성 수준은 상대적으로 낮게 측정되었다. 이러한 역량 진단 결과에 따라 경찰대학 총 이수학점 수의 축소와 소양관련 교과목(예, 글로벌역량, 문화감수성)에 대한 확대가 필요성 등이 제안되었다. 현재 개발된 역량모델과 진단도구를 통해 매년 정례적으로 경찰대학생의 역량 수준을 측정함으로써 향후 종단적 비교를 통해 경찰대학 교육과정 개선을 위한 객관적 자료로 활용할 수 있을 것으로 기대된다. Rapidly changing social environments have demanded the competency based curriculum rather than traditional knowledge based education, in which emphases are laid on practical knowledge, skill and attitude for future. The purpose of this study was to develop the competency model and test for Korea National Police University(KNPU) considering KNPU educational goals, police competency and competency of university students discussed in the previous researches. Base on literature review, focus group interview and survey data analysis, KNPU competency model was suggested as 8 domains, such as professional knowledge, leadership, critical problem solving, self-management skills, global competency, work ethics and cultural literacy. Then the KNPU core competency test consisted of 8 competency domains, 19 sub-domains and 96 items, which showed fairly good validity and reliability. The competency test was administered to KNPU students in Dec. 2016. As a result, the scores of global competency and cultural literacy were relatively low, while KNPU students showed good levels of all 8 competency domains (over 3 points out of 5 on average). Based on the test results, it is required that the number of subjects of KNPU curriculum should be reduced but subjects on global and cultural literacy have to be more emphasized. It should be also mentioned that the competency model and test developed in this study can provide empirical base for KNPU curriculum reform and evaluation of education effects.

초등학생용 ICT 리터러시 검사의 수직 척도화

민경석 ( Kyung Seok Min ),서순식 ( Soon Shik Suh ) 한국교육정보미디어학회 2009 교육정보미디어연구 Vol.15 No.3

이 연구의 목적은 한국교육학술정보원에서 2008년 개발된 초등학생용 ICT 리터러시 3개 단계 검사를 수직 연계하여 일관된 성장척도를 개발함으로써, 우리나라 초등학생의 단계별, 학년별 정보기술활용 소양의 변화와 성장을 진단하는 데 있다. 성장척도는 각 검사의 독자적인 점수를 일관된 척도상에 표현하는 것으로써, 점수간 비교 및 해석의 용이성을 높인다. 이러한 성장척도 개발을 위하여 평균방법, 선형방법, 동백분위 방법 등 세 가지 수직 척도화 방법을 적용하였다. 세 가지 통계 방법 중 수리모형의 간편성과 척도화 결과의 안정성이라는 측면에서 가장 적절한 것으로 평가된 선형방법을 이용하여 3개 단계와 6개 학년의 수직 척도점수를 비교한 결과, 상위학년 보다 하위학년에서 정보통신 소양 성장 속도가 빠르며, 능력 편차가 상대적으로 큰 것으로 나타났다. 또한 학생의 소양 정도를 나타내는 성취수준(우수수준과 기본수준)의 분할점수가 성장척도 상에서 일관된 간격을 유지하여 각 단계의 성취수준이 적절하게 설정된 것으로 나타났다. 이와 같은 성장척도는 7차 교육과정이후 학교현장에서 시행되는 수준별 학습을 위하여 학생 진단 및 평가에 적극 활용될 수 있을 것이다. The purpose of this study was to develop vertical scales of ICT (Information & Communication Technology) literacy tests for elementary students, which were implemented by KERIS (Korea Education & Research Information Service) in 2008. Vertical scaling of ICT literacy was needed to evaluate actual growth and developmental information based on test scores obtained from each stages and students` grades. Among three statistical scaling procedures (i.e., mean method, linear method and equi-percentile method), linear method showed the best solution in terms of mathematical parsimony and statistical stability. As a result, lower graders rather than upper graders of elementary students indicated higher acceleration and more variabilities in ICT literacy measured by uniformed vertical scales. In addition, vertical scales seemed to be valid in that transformed cut-off scores of achievement levels were consistent across three stages of the tests. Current limitations and suggestions for further studies were also discussed.

한국과 미국 국가수준 학업성취도 평가의 성취수준 비교

민경석 ( Kyung Seok Min ) 경북대학교 중등교육연구소 2013 중등교육연구 Vol.61 No.1

이 논문의 목적은 전국단위 학업성취도 평가라는 농질성을 갖는 미국의 NAEP, 국제 비교연구인 TIMSS와 비교하여 국가수준 학업성취도 평가(NAEA)의 성취수준 정의와 추이 비교, 분할점수 설정의 타당성 검증에 있다 구체적으로 NAEA 중학교 3학년 수학과 과학의 성취수준과 분할점수를 분석하였다. 연구결과로서, NAEP과 비교해서 우리나라 MAEA는 높은 ``우수학력`` 비율을 보이며, 매우 적은 ``기초미달`` 비율을 나타낸다. 또한 NAEA에서는 전반적인 학력 향상의 경향을 보이는 반면, 우리나라 중학교 전국표본을 조사한 TIMSS에서는 변동의 추이가 나타나지 않고 있다. 이러한 결과는 지식 획득 중심의 성취수준 정의, 상대적으로 높게 설정된 ``우수학력``과 낮게 설정된 ``기초학력`` 분할점수의 상대적 위치(Z점수) 등과 같은 NAEA의 특성과 연관된다. 특히. 핵심역량 중심 교육과정과 기초학력 보장에 집중하는 우리나라 교육정책을 고려할 때, NAEA 결과의 정책적 활용과 교육과정 개핀, 적도점수 및 분할점수의 재설정 등의 평가 체제의 변화에 따른 성취수준의 타당화를 위한 지속적 노력이 필요할 것이다. The purpose of this study was to evaluate validity of achievement levels in National Assessment of Educational Achievement (NAEA) compared with NAEP and TIMSS.Even though each testing program had unique purpose and framework, the results of NAEA for 9th grades were analyzed in terms of definitions of achievement levels and relative locations of cut-off scores (z scores). As results, the percentage of NAEA ``advanced level`` was too high and the percentage of ``below basic`` was too low by considering the results of NAEP. NAEA reported that Korean students made positive changes in terms of knowledge and skills, while no progress was found in the Korean data of TIMSS. These inconsistent results were rooted in variations of the definitions of achievement levels and location of cut-off scores. Also, it seemed to be related to knowledge focused achievement level descriptions, relatively high cut-off scores of ``advanced level``, and lower cut-off scores of ``basic level`` in NAEA compared with NAEP and TIMSS. So periodical validation studies on achievement levels should be conducted by considering changes of test contents, formats and scale scores of NAEA. In addition, the limitations of the current study and suggestions for further research were provided.

자아 존중감에 대한 경향점수를 이용한 평준화 효과 분석

민경석(Kyung-Seok Min) 한국교육평가학회 2008 교육평가연구 Vol.21 No.3

  1974년부터 실시된 고교 평준화 정책에 대한 선행연구는 이 정책의 긍정적, 부정적, 혹은 중립적 효과라는 다양한 결과를 도출하였다. 이러한 상반된 결과는 상이한 표본자료의 범위, 산출변수의 종류, 활용된 통계방법 등에서 원인을 찾을 수 있다. 이 논문에서는 경향점수(propensity scores)를 이용한 대응(matched pairs)을 통하여 처치 할당 확률을 균등하게 한 후 학생 자아 존중감에 대한 평준화 정책의 효과를 분석했다. 자료분석을 위하여 ‘학교 교육수준 및 실태 분석 연구: 고등학교’ 자료를 이용하였다. 주요 연구결과로 경향점수 추정을 통하여 인문계 119개 표본 학교 중 13개 평준화 학교와 13개 비평준화 학교가 대응되었으며, 이들 집단간 긍정적 자아 존중감과 부정적 자아감에 통계적으로 유의한 차이가 없는 것으로 나타났다. 추가적으로 경향점수 추정의 방법론적 특성과 평준화 효과 연구에 대한 제안점이 논의되었다.   While there were many studies on high school levelling policy that were implemented from 1974, the research results were inconclusive yet such as in a positive, negative, or neutral direction. The main reason of the various results might be found in various types of sample, outcome variables and statistical methods adopted in the previous studies. The purpose of this study was to evaluate the effect of high school levelling policy on students" self-concept by applying propensity scores and matching methods proposed by Rosenbaum and Rubin(1983). National sample data collected by Korean Educational Development Institute (KEDI) were used for data analysis. After 13 school-pairs were matched based their propensity scores, students" self-concept was not statistically different between levelling and unlevelling groups. In addition, statistical features of propensity scores and suggestions for further studies were discussed.

ERP 구축을 통한 건설회사의 프로세스 개선사례 연구

민경석(Kyung-Seok Min) 한국정보과학회 2006 한국정보과학회 학술발표논문집 Vol.33 No.2C

경영환경의 변화에 대한 기업의 대처능력이 곧 생존에 직결되고 있는 시점에서 이에 대한 해결책으로 통합업무 프로세스를 지향하는 ERP(Enterprise Resource Planning)을 통하여 경쟁력을 강화하려는 노력이 진행되고 있다. 그러나 ERP는 적용상의 어려움과 실제 업무와의 차이점으로 인하여 막대한 노력을 들이고도 성공적으로 업무에 활용되지 못하는 사례가 많은 실정이다. 특히 건설업의 경우는 주문생산 방식의 프로젝트 특성 및 영세한 외주업체와 협업해야 하는 환경요인으로 인해 전산환경과 정보화에 많은 제약사항들을 가지고 있다. 본 연구에서는 건설업체 D사의 예를 들어 건설업 ERP 패키지를 도입하여 업무 개선에 적용한 사례를 소개하였다. 건설사 고유 업무인 공사관리 업무 및 일반관리 업무를 대상으로 현행 프로세스를 진단하고 문제점을 도출하였으며 ERP의 Best Practice를 바탕으로 프로세스 개선방안을 제시하였다. 회사는 ERP와 유기적으로 연결된 개선안의 추진을 통해 지속적인 경영혁신 활동의 토대를 구축하였으며 이에 따른 정성적, 정량적인 성공요인을 분석하였다.

대학 핵심역량 진단에서 자기보고식 응답에 대한 공통상황문항을 이용한 척도조정 방법

민경석(Kyung-Seok Min) 한국교육평가학회 2021 교육평가연구 Vol.34 No.3

자기보고식 문항에서 응답경향성과 집단간 비교가능성의 문제는(평균과 상관계수의 왜곡) 문항편파성(item bias), 차별적 기능문항(differential item functioning) 등의 주제로 교육/심리 측정이론에서 지속적으로 논의되어왔다. 이 연구의 목적은 자기보고식 대학생 핵심역량 진단에서 응답양식을 통제하기 위한 공통상황문항 척도조정의 타당성과 통계적 가정을 검증하는 데 있다. 구체적으로, 국내 A대학 핵심역량 진단자료에 대한 분석을 통하여, 집단별(성별) 응답양식과 공통상황문항의 동등성을 검증하고, 척도조정의 적절성을 평가하기 위하여 조정척도의 측정 양호도와 변별도를 비교하며, 두 가지 공통상황문항군에 의한 조정척도의 비교를 통하여 응답양식의 영향력과 조정척도의 일관성을 검증하였다. 주요 연구결과로서, A대학 핵심역량의 응답반응에서 공통상황문항에 대한 위계성이 유지되어 동등성 가정이 만족되었으며, 조정척도의 신뢰도(내적일관성지수)와 변산성이 원척도 보다 높아지는 경향을 보였다. 또한 원척도와 비교하여 응답양식을 통제한 조정척도에서 집단평균의 순위, 통계적 유의성이 바뀌는 결과가 나타난다. 그러나 이러한 결과는 어느 공통상황문항을 선택하느냐에 따라 다소 차별적으로 나타났다. 이상의 연구결과에 기반하여, 자기보고식 조사에 대한 공통상황문항의 활용과 후속 연구에 대한 필요성을 제안하였다. Psychometric theory has been dealing with comparability issues on self-reported scores in terms of item bias and differential item functioning. The purpose of this study is to evaluate statistical assumptions and properties of scale adjustment with anchoring vignette items in the self-reported college core-competency assessment. For these goals, I illustrate vignette equivalence and response styles across gender groups, evaluate internal consistency and discrimination of new adjusted scales, and scrutinize response consistency with two sets of vignette items, which were imbedded in the core competency assessment of the A university. As research results, the non-parametric method with anchoring vignettes, adopted in self-reported A university core competency assessment, satisfies two statistical assumptions of vignette equivalence and response consistency. Also the adjusted scale shows higher reliability and variation as previous research has confirmed. These promising features of scale adjustment, however, somewhat differ as which set of anchoring vignettes is adopted to build new scales. So cautions and research issues on anchoring vignettes are suggested for future studies.