Individual Level Diagnoses with Group Level Standards - Applying Rule-Space Model on the ACT Assessment Mathematics Data and the Standards for Transition = Individual Level Diagnoses with Group Level Standards

국문 초록 (Abstract)

  이 연구는 집단적 검사점수 해석기준을 이용하여 개인 수준의 인지상태 진단을 하는 인지심리학적 측정의 논리와 예를 보여주고자 하였다. ACT의 학습발달표준(Standards for Transition)은 학생들의 학업성취를 집단수준에서 절대적으로 해석할 수 있는 하나의 표준화된 검사해석 체계이다. 집단수준에서 해석한다고 함은 학생전집이 얻을 수 있는 몇 개의 점수대를 설정하고, 특정 점수대에 포함되는 모든 학생들은 어떤 하위 능력을 가졌는지 같은 해석을 하며, 점수대가 증가함에 따라서 능력이 점증하는 방식으로 해석한다. 이러한 표준을 이용하여 개인수준의 진단을 할 수 있음을 보여주기 위하여 ACT 수학평가자료 중 1,000명의 표집에 규칙장 이론을 적용하여 분석하였다. 규칙장 이론을 적용한 분석결과는 5가지 점수대 중 최고와 최저 점수대에는 같은 점수를 얻은 2명의 학생을 한쌍(점수자 쌍)을 표집하고, 가운데 점수대에는 두 가지 점수자 쌍을 을 표집하여 진단된 결과를 제시하였다. 학생 개인수준의 인지상태 진단 결과는 같은 점수를 얻었다고 하더라도 서로 다른 인지상태로 진단될 수 있음을 알 수 있었다. 이 결과는 같은 점수대라고 해서 인지상태가 다 같지 않음을 나타내는 것인 동시에, 서로 다른 점수대에 속한다고 해서 같은 점수대에 속한 학생들보다 인지상태가 항상 더 차이가 나는 것은 아님을 확인해주었다. 이상의 결과는 하나의 점수나 점수대에 속하기 때문에 집단적인 정보가 가정하는 무차별성을 넘어서서 개인차를 측정할 수 있음을 보여주는 것이다. 그러나 보다 타당한 진단을 위해서는 인지상태 진단이 전제하는 인지요소와 문항간의 관계를 나타내는 Q 행렬표의 타당성을 확보해야 하며, 집단적 진단정보를 활용할 필요도 있음을 논의하였다.

다국어 초록 (Multilingual Abstract)

  This study was to demonstrate a feasibility of using group­level standards of interpreting test scores to the individual­level diagnosis of cognitive states. Standards for Transition (ACT, 2003) were used as group­level standards to measure individual­level cognitive states underlying an ACT Assessment Mathematics test data. The cognitive states were measured by an application of Rule Space Model(RSM). It was found that individual knowledge states were differently diagnosed within a score range and even within persons with the same scores. The findings suggested that methods existed to provide individualized description using the Standards for Transition as a cognitive model and using Rule­space model as a tool. It was discussed on two representations of diagnosis in the RSM and on a group level diagnosis.

목차 (Table of Contents)

• Ⅰ. The Purpose of the Study
  Ⅱ. The Standards for Transition
  Ⅲ. Rule Space Model
  Ⅳ. Methods
  Ⅴ. RSM Analysis Results: Individual­level knowledge states
  Ⅵ. Discussion
  References
  저자소개
  〈요약〉
  

참고문헌 (Reference)

1 "Unified cognitive/psychometric diagnostic assessment likelihood？]based classification techniques" NJ: Lawrence Erlbaum Associates, Pub 361-389, 1995

2 "Unified cognitive/psychometric diagnostic assessment likelihood？]based classification techniques" NJ: Lawrence Erlbaum Associates, Pub 13 : 361-390, 1995

3 "Toward an Integration of Item？]response Theory and Cognitive Diagnosis Diagnostic Monitoring of Skill and Knowledge Acquisition" 1990

4 "The attribute hierarchy method for cognitive assessment A variation on Tatsuoka？fs Rule？]space approach" 41 (41): 205-237, 2004

5 "Preparing for the ACT: 2004？]2005" ACT 2004

6 "Patterns of diagnosed mathematical content and process skills in TIMMS？]R Across a sample of 20 countries" 41 (41): 901-926, 2004

7 "Item Construction and Psychometric Models Appropriate for Constructed Responses Construction Versus Choice in Cognitive Measurement Issues in Constructed Response" 1993

8 "Introduction to statistical pattern recognition" Academic Press 1990

9 "Development of the Standards for Transition for the ACT Educational Planning and Assessment System (EPAS)" ACT 2002

10 "Computerized adaptive diagnostic testing" 34 : 3-20, 1997

11 "Boolean algebra applied to determination of universal set of knowledge states" 1991

12 "Architecture of Knowledge Structure and Cognitive Diagnosis: A Statistical Pattern Recognition and Classification Approach" Hillsdale, NJ: Erlbaum 1995

13 "An approach for dealing with misconceptions based on item response theory Journal of Educational Measurement" 1983

14 "A probabilistic model for diagnosing the misconceptions by the pattern classification approach Journal of Educational Statistics" 1985