역균형화 단일집단 설계를 사용하는 검사동등화에서 차별적 순서효과의 통계적 유의성 검정 및 검정력 분석 = Statistical Significance Test and Power Analysis for the Differential Order Effects in Test Equating Using the Counterbalanced Single Group Design

국문 초록 (Abstract)

단일집단 설계를 사용하여 두 검사형 간의 동등화 관계를 수립하고자 할 경우 피험자들의 검사 응시순서에 대한 역균형화는 거의 필수적이다. 이러한 역균형화 단일집단 설계에서 검사형(A)과 응시순서(B)와의 상호작용 효과를 차별적 순서효과(differential order effects)라 부른다. 본 연구의 목적은 전체 표본의 크기가 2n인 역균형화 단일집단 설계를 사용하여 두 검사형 간의 동등화를 수행하고자 할 때, 차별적 순서효과에 대한 통계적 유의성 검정의 원리와 방법을 제시하는 것이다. 주요 연구 결과는 다음과 같다. 차별적 순서효과에 대한 유의성 검정은 자유도가 1과 2n - 2인 F 분포를 따르는 통계량 FAB를 사용하여 이루어질 수 있다. FAB 통계량은 수준 수 p=2인 세 개의 요인-랜덤집단(G), 응시순서(B), 검사형(A)-을 포함하는 라틴방진 설계(Latin square design)에서의 랜덤집단(G)요인의 주효과에 대한 유의성 검정 통계량으로 단순화 된다. 이 FAB 통계량은 수리적으로 '1 피험자-간 및 1 피험자-내 요인' 반복측정 설계에서의 '피험자-간 효과' 검정을 위한 F 통계량과 일치한다. 나아가 알려진 혹은 추정된 비중심 모수(λ)와 효과크기(f)를 이용하여 유의수준 a에서의 FAB 통계량의 검정력(power) 분석을 실시할 수 있다.

다국어 초록 (Multilingual Abstract)

When conducting equating of two test forms using the single group design, counterbalancing the order of administration of the forms is almost always required in practice. In the single group test equating design with counterbalancing, differential order (DO) effects refer to the interaction effects of test forms (A) and administration orders (B). The main purpose of this study is to present the principle and methods of conducting the statistical significance test for the DO effects in the counterbalanced single group design involving a total sample size of 2n. Main findings are as follows. One can conduct the significance test for the DO effects using a statistic FAB, which follows an F distribution with the degrees of freedom of 1 and 2n-2. The FAB statistic simplifies to the F statistic for the main effects of a random groups factor (G) in a 2x2 Latin square design including the three factors, G, A, and B. Also, the FAB statistic is equal to the F statistic used for the significance test of the between-subjects effects in a 'one between-subjects factor and one within-subjects factor' repeated-measures design. Further, one can perform power analyses for the FAB statistic at a significance level (alpha) once the noncentrality parameter and effect size for FAB are identified or estimated with sample data.

목차 (Table of Contents)

• 요약
• Ⅰ. 서론
• Ⅱ. 차별적 순서효과에 대한 통계적 유의성 검정
• Ⅲ. 차별적 순서효과에 대한 검정력 및 표본크기의 계산
• Ⅳ. 통계적 유의성 검정 및 검정력 분석의 예
• Ⅴ. 요약 및 논의
• 참고문헌

참고문헌 (Reference)

1 Feldt, L. S., "행동과학에서의 실험의 설계와 분석" 교육과학사 2011

2 성내경, "반복측정실험과 분석" 자유아카데미 1997

3 von Davier, A. A., "The kernel method of test equating" Springer 2003

4 Kolen, M. J., "Test equating, scaling, and linking: Methods and practices" Springer 2014

5 Winer, B. J., "Statistical principles in experimental design" McGraw-Hill 1971

6 Cohen, J., "Statistical power analysis for the behavioral sciences" Lawrence Erlbaum Associates 1988

7 Maier, M. H., "Military aptitude testing: The past fifty years" Defense Manpower Data Center 1993

8 Johnson, E. G., "Linking the national assessment of educational Progress (NAEP) and the third international mathematics and science study (TIMSS): A technical report" U.S. Department of Education, National Center for Educational Statistics 1998

9 Dorans, N. J., "Linking and aligning scores and scales" Springer 2007

10 Faul, F., "G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences" 39 (39): 175-191, 2007

11 Kirk, R. E., "Experimental design: Procedures for the behavioral sciences" Sage 2013

12 Holland, P. W., "Educational measurement" American Council on Education and Praeger 187-220, 2006

13 Petersen, N. S., "Educational measurement" American Council on Education and Macmillan 221-262, 1989