Extra Matching on Cultural Factor to Improve DIF Detection for International Assessment|RISS 상세보기

국문 초록 (Abstract)

최근 10여 년 동안 급증하고 있는 국제비교연구에서 가장 핵심적인 이슈는 집단 간 평가 결과의 비교가능성을 전제하기 위하여 ‘측정학적 동등성(measurementequivalence)’을 평가하는 일이다.전통적으로는 집단 간 측정학적 동등성 확보를 위하여 주로 정교한 번역기법이 사용되어왔으나,최근에는 경험적인 자료를 활용한 통계적인 기법의 보완적인 사용이 강조되고 있다. 이러한 목적으로 주로 사용되고 있는 방법으로는 전통적인 차별기능문항분석(DifferentialItem Functioning:DIF)이다.이처럼 국제비교연구의 맥락에서 DIF기법을 활용하고자 할 때 직면하는 가장 큰 어려움은 서로 다른 언어와 문화 집단 들을 적절하게 대응(matching)시키는 문제이다. 따라서 본 연구에서는 번역 DIF연구에서 대응기제를 향상시키고,적절한 대응변수를 탐색하기 위한 시도로써 응답자의 문화적인 특성을 추가적으로 포함하는 다변량 대응변수 기법을 적용하고자 하였다.미국과 한국 대학생 집단 간에 16PF외향성 척도의 측정학적 동등성을 평가하기 위하여,다변량 대응변수를 허용하며,DIF의 방향이나 위치에 대한 사후 평가가 가능한 로지스틱 판별분석이 활용되었다.보다 적절한 대응변수를 탐색하기 위한 시도로써 16PF의 하위 척도 점수로 구성된 내적 대응변수와 함께 비교문화연구에서 DIF의 원인으로 파악되기도 하는 문화적 요인이 외적 대응변수로 사용되었다.본 연구의 결과 16PF의 일부 척도에서만 다변량 대응변수의 기법이 효과적인 것으로 나타났고,대응변수의 선택 시 해당 척도와 대응변수 간의 상관 정도가 중요한 고려사항으로 파악되었다.본 연구 결과를 토대로 향후 국제비교연구에서 측정학적 동등성 평가의 중요성 및 절차에 대하여 논의하였다.

번역하기

최근 10여 년 동안 급증하고 있는 국제비교연구에서 가장 핵심적인 이슈는 집단 간 평가 결과의 비교가능성을 전제하기 위하여 ‘측정학적 동등성(measurementequivalence)’을 평가하는 일이다.전...

다국어 초록 (Multilingual Abstract)

The study is concerned with how differential item functioning(DIF) research can best be extended to the problem of evaluating the equivalence of tests across cultures and languages. Through the application of Logistic Discriminant Function Analysis(LDFA), this study focused on identifying the best matching criterion for a personality test such as 16PF by using a multivariate matching technique. A cultural factor such as Individualism-Collectivism was hypothesized as a potential source of DIF between the Korean and U.S. samples. The results showed that the choice of matching variables based on a combination of internal and external measures appeared to have effect only for some of the 16PF scales. In sum, this study provided researchers with a methodology for investigating cultural DIF and demonstrated the importance of selecting an appropriate matching variable to make inferences in cross country comparisons.

번역하기

참고문헌 (Reference)

1 Zwick,R, "When do item response function and Mantel-Haenszel definitions of differential item functioning coincide?" Journal of Educational Statistics 15 : 185-197, 1990

2 Wu, A. D, "Using multiple variable matching to identify cultural sources of differential item functioning" International Journal of Testing 6 (6): 287-300, 2006

3 Mazor, K. M, "Using logistic regression and the Mantel-Haenszel with multiple ability estimates to detect differential item functioning" Journal of Educational Measurement 32 : 131-144, 1995

4 Reckase,M.D, "Unifactor latent trait models applied to multifactor tests: Results and implications" Journal of Educational Statistics 4 (4): 207-230, 1979

5 Hambleton,R.K, "Translating achievement tests for use in cross-national studies" European Journal of Psychological Assessment 9 (9): 57-68, 1993

6 van de Vijver, F, "Towards an integrated analysis of bias in cross-cultural assessment" European Journal of Psychological Assessment 13 (13): 29-37, 1997

7 Ackerman, T. A, "The influence of conditioning scores in performing DIF analyses" Applied Psychological Measurement 18 : 329-342, 1994

8 Church, A. T, "The cross-cultural perspective in the study of personality: Rationale and current research" Journal of Cross-Cultural Psychology 29 (29): 32-62, 1998

9 Labouvie, E, "Testing for equivalence of measurement scales: Simple structure and metric invariance reconsidered" Multivariate Behavioral Research 30 (30): 63-76, 1995

10 Hulin, C. L, "Psychometric Equivalence of a translation of the Job Descriptive Index into Hebrew" Journal of Applied Psychology 71 (71): 83-94, 1986