성인용 직업적성검사를 활용한 검사점수 연계화 방법의 상대적 적절성 비교 = (A)study on the comparison of several linking methods using old and new vocational aptitude batteries for adults

다국어 초록 (Multilingual Abstract)

(Abstract)
The purposes of the study were to conceptualize and apply several linking methods and compare the results from those in associating scores from old and new vocational aptitude batteries for adults. Mean, linear, and equiperceitile linking procedures were adopted and the relative appropriateness of three procedures were investigated. To fulfill the purposes of the study, specific research questions were made as followings. First, what are the results of linking methods using equipercentile, linear, and mean methods in linking of the vocational aptitude batteries for adults? Second, what is the difference in scaled scores between the old vocational aptitude batteries and the new vocational aptitude batteries for adults conducted in the same group. Thirt, what is the difference in errors of linking occurred in the equipercentile, linear, the mean linking methods?
The subjects for this research were totally 1,147 including 987 participants allocated in the random equivalent group and 160 participants allocated in the single group. Pearson’s product-moment correlation coefficients were produced to examine applicability of the linking between the sub-factors of old new vocational aptitude batteries for adults. Explornatory factor analysis was conducted to check whether the old and new vocational aptitude batteries for adults had the same factor patterns to measure the same construct. Item difficulties and discrimination indices were investigated to examine the differences of pychometric properties of old and new vocational aptitude batteries for adults.
After the possibility of linking application was confirmed, equipercentile, linear, and mean linking methods were adopted using the RAGE computer application program. Next, to examine the differences among results from several linking methods, the differences of scaled scores were analyzed and the linking errors from several linking procedures were compared. The linking errors were estimated using the bootstrap method with the Equating Error Program.
Based on the results of this study, the following conclusions were drawn.
First, the distributions of difficulties and disrimination indices had similar patterns for both old and new vocational aptitude batteries for adults. Also, similar factor structures for both old and new batteries were found. These support the applicability of linking methods associating scores from old batteries to new batteries. The relatively high linking scores were derived when the linear method was used compard to equipercentile and mean methods. If the linear method was applied when the number of questions decreased, its distribution of scores showed the tendency to have high linking results in bott ends of scaled scores.
Second, when the averages of scale scores were compared, there was no difference in scale scores of the single group no matter which vocational aptitude batteries was taken, the old vocational aptitude batteries for adults or the new vocational aptitude batteries for adults.
Third, the linking errors increased in the order of mean, linear, and equipercentile methods. Since the mean method considers only the mean of two tests, it has lower linking errors than the other methods do. The linking errors of linear method were higher than others in the ends of scaled scores. In general, the linking errors of equipercentile method was the largest because it considered more aspects of scaled score distributions.
In sum, the equipercentile method seems relatively appropriate as a linking method associating old and new vocational aptitude batteries for adults.

국문 초록 (Abstract)

(초록)
본 연구의 목적은 기존판 성인용 직업적성검사와 개정판 성인용 직업적성검사 점수 연계화 과정에서 요구되는 검사의 문항난이도, 문항변별도, 요인구조를 비교하고, 고전검사이론을 적용한 동백분위 방법(equipercentile), 선형방법(linear), 평균방법(mean) 간 상대적 적절성을 분석하고, 각 연계화 방법들의 연계화 오차를 파악하고자 하는데 목적이 있다.
본 연구에서 사용된 대상은 무선동등집단에 배정된 987명, 단일집단 설계에 배정된 160명을 합친 1,147명을 대상으로 하였다. 연구목적에 따른 구체적인 연구 문제는 다음과 같다.
연구문제 1. 성인용 직업적성검사 연계화를 위한 동백분위 방법, 선형방법, 평균방법을 적용한 연계화 방법들의 결과는 어떠한가?
연구문제 2. 단일집단을 대상으로 한 기존판 성인용 직업적성검사와 개정판 성인용 직업적성검사의 척도점수 차이는 어떠한가?
연구문제 3. 동백분위 방법, 선형방법, 평균방법을 이용한 연계화 방법 간 연계화 오차의 차이는 어떠한가?
본 연구에 사용된 분석을 살펴보면 연계화를 적용여부의 가능성을 탐색하기 위해 기존판 성인용 직업적성검사와 개정판 성인용 직업적성검사 하위요인간 상관의 구조를 살펴보기 위해서 Pearson의 적률상관계수를 산출하였으며, 기존판 성인용 직업적성검사와 개정판 성인용 직업적성검사는 같은 수준의 모형 적합도를 제시하고 있는지를 확인하기 위해 탐색적 요인분석을 실시하였다. 또한 기존판 성인용 직업적성검사와 개정판 성인용 직업적성검사는 고전검사이론에 의한 문항난이도와 문항변별도에 어떤 차이가 있는지를 살펴보기 위해 문항난이도와 문항변별도를 산출하였다.
연계화 적용 가능성을 확인한 이후 연구문제에 따른 분석을 살펴보면 다음과 같다.
첫째, 성인용 직업적성검사 연계화를 위한 동백분위 방법, 선형방법, 평균방법을 적용한 연계화 방법들의 결과는 어떠한지를 살펴보기 위하여 RAGE(Zeng, Kolen, & Hanson, 1995) 프로그램을 사용하여 동백분위 방법, 선형방법, 평균방법의 결과를 산출하였다.
둘째, 단일집단을 대상으로 한 기존판 성인용 직업적성검사와 개정판 성인용 직업적성검사의 척도점수 차이는 어떠한지를 살펴보기 위하여 SPSS 12.0 프로그램과 RAGE(Zeng, Kolen, & Hanson, 1995) 프로그램을 사용하여 척도점수 차이를 분석하였다.
셋째, 동백분위 방법, 선형방법, 평균방법을 이용한 연계화 방법 간 연계화 오차의 차이는 어떠한지를 살펴보기 위하여 Equating Error(Hanson, 2004) 프로그램을 사용하여 부트스트랩(Bootstrap) 방법을 적용하였다.
본 연구의 결과를 선행연구 결과와 비교하여 논의한 후 얻어진 결론은 다음과 같다.
첫째, 성인용 직업적성검사 연계화 결과는 선형방법을 적용할 경우 연계화 점수가 가장 높았고, 동백분위 방법, 평균방법 순이었다. 성인용 직업적성검사의 경우처럼 난이도의 분포 형태는 유사했지만 문항 수가 줄어든 경우 선형방법을 적용하면 점수분포의 양단으로 갈수록 다른 방법에 비해 연계화 결과가 높게 추정되는 경향이 있다.
둘째, 동백분위 방법 또는 선형방법을 적용할 경우 단일집단의 척도점수 차이는 평균적으로 보았을 때 기존판 성인용 직업적성검사 혹은 개정판 성인용 직업적성검사 중 어떤 것으로 직업적성검사를 치르든 척도 점수는 차이가 없다.
셋째, 연계화 오차는 평균방법을 적용할 경우 가장 낮은 것으로 나타났으며, 선형방법, 동백분위 방법 순으로 나타났다. 연계화 오차는 동백분위 방법이 가장 높게 나타났으나 연계화 추정과정과 결과를 함께 고려한다면, 기존판 성인용 직업적성검사와 개정판 성인용 직업적성검사를 활용한 연계화 방법에서는 평균방법과 선형방법에 비해 동백분위 방법이 상대적으로 적절하다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구문제 5
• 3. 용어정의 6
• Ⅱ. 이론적 배경 7
• 1. 연계화의 개념 7
• 2. 연계화 방법 15
• 3. 연계화 방법의 상대적 적절성 29
• 4. 성인용 직업적성검사 30
• Ⅲ. 연구방법 36
• 1. 연구대상 36
• 2. 연구도구 38
• 3. 자료분석 39
• Ⅳ. 연구결과 40
• 1. 기존판-개정판 성인용 직업적성검사 연계화 방법 간 차이 40
• 2. 기존판-개정판 성인용 직업적성검사 척도점수 차이 54
• 3. 기존판-개정판 성인용 직업적성검사 연계화 오차 차이 56
• Ⅴ. 논의 70
• Ⅵ. 요약 및 결론 75
• 참 고 문 헌 78
• 부 록 84
• 영 문 초 록 123
• 국 문 초 록 125

참고문헌 (Reference)

1. PARSCALE, Bock, Muraki, , 1997

2. 현대교육평가, 성태제, 학지사, , 2007

3. Psychological testing, Anastasi, Anne, Macmillan, , 1976

4. 검사동등화 방법, 남현우, 교육과학사, , 2001

5. 검사점수의 동등화, 이종승, , 1993

6. 한국의 평생직업교육, 김경회, 원미사, , 2003

7. Measuring EducationalAchievement, Eble, Measuring educational achievement, , 1965

8. Scales,Norms,and Equivalent Scores, Angoff,W.H., "Scales, , 1984

9. RAGE. [Computer software] Iowa City, Hanson, Zeng, Kolen, , 1995

10. 검사동등화 시의 고려사항, 부재율, 한국교육평가학회, "교육평가연구, , 1999

11. A study of criteria used in equating, Crouse, Harris, , 1993

12. Equating methods and sampling designs, Dorans, , 1990

13. Essentials of educational measurement, Ebel, Robert L, Prentice-Hall, , 1972

14. Measurement and assessment in teaching, Linn, Robert L, Merrill, Measurement and assessment in teaching, , 1995

15. Vertical equating using the Raschmodel, Loyd, B. H., Hoover, Loyd, Vertical equating using the Rasch Model, , 1980

16. 문항반응이론의 이해와 적용, 성태제, 교육과학사, , 2001

17. Linking results of distinct assessments, Linn, , 1993

18. Statistical theories of mental test scores, Lord, Novick, , 1968

19. 검사동등화에 관한 이론적 고찰, 남현우, , 1992

20. 직업별 재직자의 심리적 특성연구, 한국산업안정공단 중앙고용정보원, , 2003

21. Education research, methodology, and measurement, Keeves, "Education research, , 1988

22. Developing a common metric in itemresponse theory, Lord, Stocking, Developing a common metric in item response theory, , 1983

23. Item response theory : principles and applications, Hambleton, Ronald K, Kluwer-Nijhoff, Item response theory: Principles and applications, , 1985

24. Assessing national goals: Some measurement dilemmas, Porter, , 1991

25. Scaling, norming, and equating. In R. L. Linn (Ed.), Petersen, Kolen, Hoover, "Scaling, , 1989

26. 검사의 수직동등화에 대한 경험적 연구, 상경아, , 1996

27. Summary and derivation of equating methods used at ETS, Angoff, , 1982

28. 성인용 직업적성 검사의 구인타당도 검증, 설현수, 한국교육평가학회, "교육평가연구, , 2001

29. 수직적 동등화 방법들의 양호성 실증 비교, 부재율, 한국교육평가학회, "교육평가연구, , 2000

30. Test equating, scaling, and linking: Methods and practice, Kolen, Brennan, "Test equating, , 2004

31. Practical applications of item characteristic curve theory, Lord, , 1977

32. 척도화방법들의 무작위오차 크기의 실증비교, 김현철, 한국교육평가학회, "교육평가연구, , 1999

33. Effectiveness of analytic smoothing in equipercentile equating, Kolen, , 1984

34. An NCME instructional module on traditional equating methodology, Kolen, , 1988

35. Applications of item response theory to practical testing problems, Lord, Frederic M., Lawrence Erlbaum Associates, Applications of item response theory to practical testing problems, , 1980

36. Equating logistic ability scales by a weighted least squares method, Haebara, , 1980

37. 문항반응이론을 활용한 수행형 평가문항 분석방법, 박정, 한국교육학회, "교육학연구, , 2001

38. 피험자 집단의 이질성이 검사 동등화에 미치는 영향, 남현우, , 1994

39. Linking educational assessments: Concepts, issues, methods, andprospects, Mislevy, "Linking educational assessments: Concepts, , 1992

40. Equating error: A computer program for equating error using the bootstrap, Hanson, , 2004

41. 다른 교과의 점수를 연결하는 통계적 조절 방법의 타당성, 성태제, 한국교육평가학회, "교육평가연구, , 2000

42. 초등학교 3학년 국가수준 기초학력 진단평가 동등화 방안, 이규민(Guemin Lee), 한국교육평가학회, "성곡논총, , 2005

43. 모의실험에 의한 문항반응이론 동등화 방법의 적절성 연구, 이용민, 成均館大學校, "석사학위논문, , 2002

44. IRT versus conventional equating methods: A comparative study of scale stability, Stocking, Petersen, Cook, , 1983

45. Ability metric transformations involved in vertical equating under item response theory, Baker, , 1984

46. 문자점수간 비교성 확보를 위한 공통문항 이용 통계적 조정방법 탐색, 부재율, 한국교육평가학회, "교육평가연구, , 2003

47. Linking a short test with only selected-response items to a longer test with mixed-type items, Lee, Kim, , 2004

48. 검사점수 동등화를 위한 동등백분위법, 선형법, 문항반응이론 기법의 비교, 최태진, 부산대학교, "석사학위논문, , 1991

49. 직업 적성에 대한 능력형 검사와 자기 평가형 검사 결과의 비교 가능성 연구, 손도수, 서울대학교 대학원, 직업 적성에 대한 능력형 검사와 자기평가형 검사 결과의 비교 가능성 연구, , 2002

50. 문항반응이론과 선형방법에 의한 대학수학능력시험 선택과목 조정점수 비교, 박정, 한국교육학회, "교육학연구, , 2002

51. 2005 수능의 탐구영역 내 과목간 점수조정에서 합집단 연계화 방법의 적용가능성, 남현우, , 2003

52. 문항모수의 변이에 따른 선형, 동백분위, IRT 검사동등화 방법의 강인성 비교연구, 남현우, "문항모수의 변이에 따른 선형, , 1992

53. Problems related to the use of conventional and item response theory equating methods in less than optimal circumstances, Petersen,N.S., Cook,L.L., , 1987

54. The integration of school-based assessments into a state-wide assessment system: Historical perspectives and contemporary issues, Wilson, , 1992