내재설계 평가센터의 신뢰도 및 타당도 = Reliability and Validity of Nested-Designed Assessment Center

국문 초록 (Abstract)

본 연구는 평가센터를 적용한 신입사원(1,249) 선발자료와 재직자(관리자 105, 일반사원 200) 평가센터자료를 이용하여, 평가센터의 신뢰도 및 타당도를 검증하기 위해 실시되었다. 특히 본 연구의 평가센터는 평가과제마다 특정 평가차원이 지정되어 있는 소위, 내재설계된(nested designed) 평가센터로서, 구조화 면접에서는 3명의 평가자가 3개의 평가차원(책임감, 적극성, 혁신성)을, 프레젠테이션에서는 2명의 평가자가 2개의 평가차원(정보분석력, 문제해결력)을, 그룹토의에서는 2명의 평가자가 2개의 평가차원(대인친화력, 의사전달력)을 평가하도록 설계되어 있었다. 이러한 내재설계 평가센터는 평가자에 의한 편향(rater bias)이나 평가과제 효과(exercise effect)가 우려되기 때문에, 평가의 신뢰도 및 타당도 검증을 통해 평가센터의 활용가능성을 확인할 필요가 있다. 일반화가능도 결정연구(D study)결과, 내재설계 평가센터는 양호한 신뢰도를 보여주었으며, 일반화가능도 일반화연구(G study)결과, 평가자의 편향은 거의 나타나지 않았고, 평가과제 효과가 매우 크게 나타났으나 평가차원의 변별성 또한 어느 정도 확인할 수 있었다. 확인적 요인분석을 통한 구성개념타당도 검증결과에서는 평가과제와 평가차원을 모두 고려한 통합모형이 가장 적합한 것으로 나타나 평가차원의 변별성을 보여주었다. 재직자의 평가센터 점수와 준거와의 상관관계분석 결과에서는 각 평가과제에 내재되어 있는 평가차원들이 어느 정도 차별적인 준거예측력을 보여주었으며, 전반적으로 구조화 면접에 속한 평가차원이 가장 포괄적인 준거관련성을 지녔고, 프레젠테이션에 속한 평가차원이 준거와 가장 관련성이 적었다. 논의에서는 본 연구의 의의와 제한점을 제시하였다.

참고문헌 (Reference)

1 성태제, "현대교육평가" 학지사 2002

2 강애남, "학생들의 동료평가를 활용한 수행평가 결과의 일반화가능도 분석" 한국교육평가학회 19 (19): 107-121, 2006

3 지은림, "초등학교 수행평가의 교육적 효과와 활용 방식" 한국교육평가학회 18 (18): 173-192, 2005

4 조재윤, "일반화가능도 이론을 이용한 쓰기 평가의 오차원 분석 및 신뢰도 추정 연구" 한국어교육학회 128 (128): 325-358, 2009

5 김성숙, "일반화가능도 이론" 교육과학사 2001

6 이규환, "인재선발과 AC(평가센터)기법" 2008

7 남명호, "수행평가에 있어서 일반화가능도 이론의 활용" 9 : 73-93, 1996

8 남명호, "수행평가: 기술적 측면" 교육과학사 2002

9 지은림, "사회과 보고서 수행평가를 위한 총체적 채점과 분석적 채점의 비교" 12 : 11-24, 1999

10 이규민, "단위검사 개념의 적용 -일반화가능도 이론을 중심으로-" 한국교육평가학회 16 (16): 60-80, 2003

11 이영식, "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구" 한국외국어교육학회 11 (11): 249-265, 2004

12 Borman, W. C., "Validity of behavioral assessment for predicting recruiter performance" 67 : 3-9, 1982

13 Hunter, J. E., "Validity and utility of alternative predictors of job performance" 96 : 72-98, 1984

14 Cronbach, L. J., "Theory of generalizability: A liberalization of reliability theory" 16 : 137-163, 1963

15 Cohen, B. M., "The validity of assessment centers: A literature review. Monograph II" Development Dimensions Press 1974

16 Cronbach, L. J., "The dependability of behavioral measurements: Theory of generalizability for scores and profiles" Wiley 1972

17 Howard, A., "The Changing nature of work" Jossey-Bass 1995

18 Thornton, G. C., III, "Simulations and assessment centers. in : Comprehensive handbook of psychological assessment, Vol. 4: Industrial and organizational assessment" 318-344, 2003

19 Bray, D. W., "Selection of salesmen by means of an assessment center" 52 : 36-41, 1968

20 Lance, C. E., "Revised estimates of dimension and exercise variance components in assessment center postexercise dimension ratings" 89 : 377-385, 2004

21 Jackson, D. J. R., "Rating tasks versus dimensions in assessment centers: A psychometric comparison" 18 : 213-241, 2005

22 Gaugler, B. B., "Meta-analysis of assessment center validity" 74 : 493-511, 1987

23 Schmitt, N., "Meta-analyses of validity studies published between 1964 and 1982 and the investingation of study characteristics" 37 : 407-422, 1984

24 Crick, J. E., "Manual for GENOVA: A generalized analysis of variance system" The American College Testing Program 43 : 1983

25 International Task Force on Assessment Center Guidelines, "Guidelines and Ethical Considerations for Assessment Center Operations" 17 : 233-253, 2009

26 Brennan, R. L., "Generalizability theory" Springer 2001

27 Bowler, M. C., "Evaluating assessment center construct-related validity via variance partitioning. in : Reexamining Assessment Centers: Alternate Approaches" 2008

28 Brennan, R. L., "Elements of generalizability theory" American College Testing 1992

29 Lievens, F., "Dimension and exercise variance in assessment center scores: A large-scale evaluation of multitrait -multimethod studies" 86 : 1202-1222, 2001

30 Gibbons, A. M., "Developmental assessment center validation: Evidence for DACs as effective training interventions" 2005

31 Arthur Jr., W., "Convergent and discriminant validity of assessment center dimensions: A conceptual and empirical re-examination of the assessment center construct-related validity paradox" 26 : 813-835, 2000

32 Cascio, W. F., "Changes in workers, work, and organizations. in : Comprehensive handbook of psychology, 12 : Industrial and organizational psychology" Wiley 107-130, 2002

33 Thornton, G. C., III, "Assessment centers in human resource management: Strategies for prediction, diagnosis, and development" Erlbaum 2006

34 Thornton, C. G., III, "Assessment centers and managerial performance" Academic Press 1982

35 Byham, W. C., "Assessment center for spotting future managers" 48 : 150-160, 1970

36 Hardison, C. M., "Assessment center criterion-related validity: A meta-analysis update" 2004

37 Bowler, M. C., "Assessment center construct related validity: Stepping beyond the MTMM matrix" 75 : 173-182, 2009

38 임대열, "Assessment Center 프로그램의 개발 및 운영" 340-, 2004

39 Bowler, M. C., "A meta-analytic evaluation of the impact of dimension and exercise factors on assessment center ratings" 91 : 1114-1124, 2006