컴퓨터 기반 적응적 심리 검사 제작을 위한 문항 선정 알고리즘으로서 Alternating Model Tree의 활용 가능성 탐색|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Computerized adaptive testing (CAT) is a computer-administered test where the next question for estimating the examinee’s trait level is selected depending on his or her reponses to the previous items, resulting in tailored testing for each individual examinee. A defining feature of CAT stems from its item selection algorithms, among which both research interest and practical applications of decision-tree based CAT (DT-based CAT) have been rising recently. In the field of machine learning, however, it is well known that decision-trees, as a form of predictive models with simple and interpretable tree structures, can be vulnerable to the problem of overfitting or the problem of creating overly complex trees that do not generalize to newly observed data. Among various ensemble techniques developed to adequately address this problem, we the authors paid attention to the Alternating Model Tree (AMT) due to its interpretable tree-like structure. The purpose of this article is to investigate the viability of the Alternating Model Tree (AMT) as an item selection algorithm for constructing CAT. To this end, we first presented a detailed exposition of how AMT-based CAT can be constructed and then compared its performance with DT-based CAT using two sets of publicly available psychological test scores. The results provided supportive evidence that AMT-based CAT is viable, and that AMT-based CAT can predict test scores at least as accurate as DT-based CAT does. Based on our findings, we discuss implications, limitations, and directions of future studies.

번역하기

국문 초록 (Abstract)

컴퓨터 기반 적응적 검사는 이전에 제시된 문항에 대한 반응을 기반으로 피검사자의 잠재 특질 수준을 추정하기에 가장 적절한 다음 문항을 선택해 출제함으로써 피검사자별 맞춤형 검사를 제시하는 컴퓨터 기반 검사형태다. 컴퓨터 기반 적응적 검사 제작의 핵심 요소 중 하나는 문항 선정 알고리즘이라 할 수 있으며, 최근 결정-트리를 이용한 적응적 심리 검사 구성에 대한 관심과 적용 사례가 늘어나고 있다. 결정-트리는 기계학습 분야에서 주로 연구되어온 예측 모형 중 하나로서 쉽게 해석 가능한 트리-구조를 가진다는 장점에도 불구하고 과적합 문제에 매우 취약하다는 것이 알려져 있다. 본 연구의 목적은 기계학습 분야에서 결정-트리의 대안으로 제시된 앙상블 모형 중에서 해석 가능한 트리-구조를 지닌 Alternating Model Tree (AMT)가 컴퓨터 기반 적응적 심리 검사 제작에 활용될 수 있는지 탐색하는 데 있다. 이를 위해 먼저 AMT의 작동 방식을 적응적 검사의 특징에 비추어 상술하였고, 검사 점수를 예측하는 AMT 기반의 적응적 검사와 결정-트리 기반의 적응적 검사의 예측 성능을 두 개의 심리 검사를 대상으로 비교하였다. 그 결과, AMT는 적응적 검사의 특징을 가지는 것으로 확인되었고, AMT 기반 적응적 심리 검사의 성능은 결정-트리 기반 적응적 심리 검사의 성능과 유사하거나 더 나은 결과를 보였다. 이러한 결과를 바탕으로 본 연구의 의의와 한계, 후속연구에 대한 제언 등을 논의하였다.

번역하기

컴퓨터 기반 적응적 검사는 이전에 제시된 문항에 대한 반응을 기반으로 피검사자의 잠재 특질 수준을 추정하기에 가장 적절한 다음 문항을 선택해 출제함으로써 피검사자별 맞춤형 검사를...

참고문헌 (Reference)

1 서동기, "단축형 심리검사 개발의 측정학적 방법과 타당화: 한국형 역기능우울척도를 중심으로" 한국심리학회 38 (38): 75-102, 2019

2 Ma, X., "Using classification and regression trees: A practical primer" IAP 2018

3 Baron-Cohen, S., "The systemizing quotient: an investigation of adults with Asperger syndrome or high-functioning autism, and normal sex differences" 358 (358): 361-374, 2003

4 Kimura, T., "The impacts of computer adaptive testing from a variety of perspectives" 14 (14): 1-5, 2017

5 Baron-Cohen, S., "The empathy quotient : an investigation of adults with Asperger syndrome or high functioning autism, and normal sex differences" 34 (34): 163-175, 2004

6 Hastie, T., "The elements of statistical learning" Springer 2009

7 Gibbons, R. D., "The computerized adaptive diagnostic test for major depressive disorder(CAD-MDD) : a screening tool for depression" 74 (74): 669-674, 2013

8 Thissen, D. E., "Test scoring" Lawrence Erlbaum Associates Publishers 2001

9 Babcock, B., "Termination criteria in computerized adaptive tests: Variable-length CATs are not biased" 14 : 2009

10 Antal., M., "On the use of elo rating for adaptive assessment. Studia Universitatis Babes-Bolyai" 58 (58): 29-41, 2013