자기보고식 심리검사에서 심층신경망 모형의 적용 가능성 탐색 = Investigating the Feasibility of Employing a Deep Neural Network Model in Self Report Inventories

국문 초록 (Abstract)

최근 인공신경망은 여러 기계학습 방법 중 가장 많은 관심을 받고 있으며 여러 분야에서 다양한 연구가 진행되면서 우수한 성능을 보여주고 있다. 심리측정 분야에서도 관심을 기울이기 시작하면서 기존 인공신경망의 연구 성과와 방법을 적용해서 기존 연구에서 해결이 어려웠던 문제에 대한 새로운 해법을 찾고자 하는 연구가 점차 시도되고 있다. 한편으로는 심리적 속성을 측정하는 문항 자료에 대해 신경망의 연구 방법을 적용하려는 노력도 진행되어서 검사 문항으로 심리적 속성을 측정하여 결과를 산출하는 과정을 구현하고자 인지진단모형에서 사용되는 Q행렬을 바탕으로 이상적 응답 반응을 생성해서 인공신경망을 훈련시키는 아이디어가 제안되었다.
본 연구는 이와 같은 선행 연구를 바탕으로 심리측정 분야에서 인공신경망의 새로운 활용 가능성을 탐색하고 향후 관련 연구의 기반을 제공하려는 목적으로 수행되었다. 이에 임상 분야에서 사용되는 자기보고식 심리검사인 MMPI의 결과 프로파일을 예측하는 심층신경망 모형을 설정하면서 그 절차와 유의점을 정리하고 심층신경망의 분류 결과를 일반화 선형 모형, 랜덤 포레스트의 결과와 비교하여 심리 검사 결과에 대한 예측 성능을 검증하였으며 훈련 자료 수의 변화에 따른 분류 결과의 정확성 변화를 확인하였다. MMPI의 8개 임상 척도를 대상으로 척도별 문항에 대한 정보를 Q행렬로 정리하여 이상적 응답반응을 103, 103.5, 104, 104.5개의 4가지 조건으로 생성하였으며 이것을 훈련 자료로 하여 신경망과 다른 모형들을 훈련시켰다. 검증과 평가를 위해서는 MMPI-2 규준 집단의 각 문항에 대한 긍정반응 비율을 바탕으로 가상의 응답 자료를 생성하였으며 이 과정에 긍정반응 비율을 그대로 사용해서 생성한 자료와 함께 각 척도 점수의 상승을 가정한 척도별 상승 집단의 가상 응답 자료를 별도로 생성하였다.
훈련된 인공신경망은 기존 방법의 결과와 유사한 예측 결과를 나타내었으며 일반화 선형 모형과 랜덤 포레스트보다 모든 면에서 정확한 분류 결과를 보여주었다. 훈련 자료가 일정 이상 커지게 되면 오히려 결과가 하락하는 다른 모형과 달리 전환 학습을 거치게 되면 보다 큰 자료에서도 정확성을 높일 수 있었다. 그러나 인공신경망 모형은 높은 정밀도를 보여준 반면 낮은 재현율의 문제가 있었으며 인공신경망 모형의 분류 특성은 확실한 척도 상승만 분류할 필요가 있을 때 더 적합할 것으로 판단할 수 있었다. 또한 높은 정확도에도 불구하고 훈련 자료에 포함되지 못한 응답 패턴으로 인한 문제도 있는 것으로 보였으며 좀 더 큰 규모의 자료를 충분히 효율적으로 학습시킬 수 있는 절차에 대한 고려가 필요할 것으로 보였다.
이 결과를 토대로 한 결론은 다음과 같다.
첫째, 인공신경망으로 문항 응답에서 검사 결과를 예측한 결과는 학습의 기준으로 사용한 기존의 방법과 유사하였으며 향후 성능을 더 높일 여지가 있었고 실제 자료를 사용한 연구를 통해 기존 방법보다 더 정확한 결과를 산출하는 것도 가능할 것이므로 이런 과정을 통해 새로운 심리 측정 모형으로써 다양한 연구에 적용하는 것이 가능할 것이다. 둘째, 일반화 선형 모형과 랜덤 포레스트의 결과와 비교했을 때, 인공신경망의 결과가 가장 우수했으며 자료의 다차원적인 특성으로 인한 높은 복잡성을 고려할 때 인공신경망 모형이 기존의 방법보다 더 적합할 수 있을 것으로 판단되었다. 셋째, 이상적 응답 반응의 패턴 전부를 생성할 수 없는 경우 일부만 생성하여 훈련시키는 방법을 사용하여 최소한의 정확도를 확보할 수 있었다. 그러나 훈련 자료 수의 증가에 대한 효과가 미미한 결과가 나온 것에 대해서는 모형과 분석 절차에 대한 추가 검토가 필요할 것이다.
인공신경망은 향후 실제 자료를 사용한 검증 과정을 거치고 다양한 아이디어를 통해 분석 절차를 보완하면서 모형을 개선하는 과정을 통해 타당한 심리 측정 모형으로 적용될 수 있을 것으로 기대한다.

다국어 초록 (Multilingual Abstract)

Among the different kinds of machine learning methods, artificial neural networks have received great attention, and they have shown excellent performance in studies in various fields. In psychometrics, they have been used to identify new solutions to problems that have not been solved. In addition, another efforts are conducted to apply artificial neural networks on items of psychological tests that intended to measure psychological attributes. These studies aimed to train a neural network using an ideal response pattern generated by a Q matrix in the cognitive diagnostic model.
Based on these prior studies, the present study explored the potential possibility for employing artificial neural networks in psychometrics and to provide a groundwork for future studies, We created a deep neural network model that predicts the outcome profile of the Minnesota Multiphasic Personality Inventory (MMPI), a self-report tool that is used widely in clinical psychology, and summarized the procedure and significance. Additionally, the predictive performance of the model was verified by comparing its results to those obtained from a generalized linear model and random forest, and the fluctuation in the accuracy of the classification results, as the change in the number of training sets, was verified. The information on the relationship between the items and the MMPI’s 8 clinical scales were plotted using a Q matrix and the ideal response patterns in the following four conditions were generated: 103, 103.5, 104, and 104.5. These ideal patterns were used as training sets to train the neural network and other models. For the test and validation phase, we generated simulation data based on the positive response rate for each item of the MMPI-2’s norm groups. Additionally, the floating groups’ simulation data for each scale, assumed by each scale’s score, were generated separately.
The trained neural network reported predicted outcomes that were similar to those obtained from the calculation methods used earlier, and it exhibited better accuracy performance as compared to the generalized linear model and random forest. Contrary to the other models, which exhibited poor results with a larger volume of training data, the neural network implemented after transfer learning exhibited good accuracy with larger data. However, though the artificial neural network model exhibited high accuracy, it revealed “low value of recall” issues. Specifically, the classification characteristics of the neural network could be judged more appropriate when the definite floating scales are classified. In addition, despite the high accuracy, there was a consideration with the response patterns that were not included in the training sets and it should be considered that the procedures to ensure large amount data can be learned efficiently.
The following conclusions could be drawn from these results:
First, the artificial neural network’s predicted results for the test items were similar to those obtained by using previous calculation methods, and there was scope for better performance. Future studies using real data could yield more accurate results. The artificial neural network could be used a new psychological measurement model in future studies.
Second, neural network exhibited better predictive performance as compared to the generalized linear model and random forest. Further, considering the high complexity of the multi-dimensional characteristics in the present psychological data, the artificial neural network model was more feasible than the methods used before.
Third, if all the possible patterns of the ideal responses could not be usable, minimum accuracy could be achieved by training only a fraction of these patterns. However, the model and procedures need to be examined further because of the results that are less affected by the increase in the number of training sets.
Following validation using actual data, and by applying various ideas to complement the analysis process and improve the model structure, the artificial neural network could be employed as a valid psychological measurement method through the validating process using actual data.

목차 (Table of Contents)

• 제1장 서론 .......................................................................................................................1
• 제1절 연구의 배경 및 필요성 ..................................................................................1
• 제2절 연구 문제 .........................................................................................................15
• 제2장 이론적 배경 ....................................................................................................16
• 제1절 인공신경망 .......................................................................................................16
• 1. 인공신경망의 역사와 소개 .............................................................................16
• 2. 인공신경망의 구조 ...........................................................................................22
• 3. 활성화 함수 ........................................................................................................24
• 4. 심층신경망 모형의 최적화 .............................................................................27
• 5. 가중치 감소와 드롭아웃 .................................................................................31
• 6. 가우시안 프로세스 ...........................................................................................32
• 제2절 심리측정 연구에서 인공신경망의 적용 ...................................................34
• 1. 배경 변인을 사용한 연구 ...............................................................................34
• 2. 검사 문항을 대상으로 하는 연구 ................................................................35
• 3. 지도학습 인공신경망에서 이상적 응답 반응의 생성 .............................37
• 제3절 MMPI ...............................................................................................................42
• 1. MMPI 소개 ........................................................................................................42
• 2. MMPI-2의 척도 ................................................................................................43
• 3. 검사 결과의 해석 .............................................................................................46
• 제4절 비교 모형 .........................................................................................................48
• 1. 일반화 선형 모형 .............................................................................................48
• 2. 랜덤 포레스트 ....................................................................................................49
• 제3장 연구방법 ...........................................................................................................51
• 제1절 자료의 생성 .....................................................................................................51
• 1. 훈련자료(이상적 응답 반응)의 생성 ...........................................................52
• 2. 일반 집단에 대한 가상 자료의 생성 ..........................................................54
• 3. 척도별 상승 집단에 대한 가상 자료의 생성 ............................................55
• 제2절 모의실험 요인 및 조건 ................................................................................57
• 제3절 심층신경망의 설정과 평가 ..........................................................................58
• 1. 모형의 설정 과정 .............................................................................................58
• 2. 평가 준거 ............................................................................................................60
• 제4장 연구결과 ...........................................................................................................62
• 제1절 심층신경망 모형의 학습 결과 ...................................................................62
• 1. 모형의 학습 과정 .............................................................................................62
• 2. 모형의 검증 결과 .............................................................................................66
• 3. 전환 학습 ............................................................................................................71
• 제2절 심층신경망 모형의 평가 결과 ...................................................................74
• 1. 평가 자료의 생성 .............................................................................................74
• 2. 모형의 평가 결과 .............................................................................................77
• 제5장 논의 및 결론 .................................................................................................93
• 제1절 논의 ...................................................................................................................93
• 제2절 결론 ...................................................................................................................98
• 제3절 제한점 및 제언 ............................................................................................101
• 참고문헌 ......................................................................................................................... 104
• 부 록 ................................................................................................................................. 115
• ABSTRACT ................................................................................................................. 127

참고문헌 (Reference)

1. 기계학습모형의 시각화, 허명회, 통계연구, 20(2), 1-30, , 2015

2. “처음 배우는 머신러닝”, 김승연, 정용주, 서울: 한빛미디어, , 2017

3. 인공지능은 뇌를 닮아 가는가, 유신, 서울: 컬처룩, , 2014

4. 문항 반응 이론의 이해와 적용, 성태제, 교육과학사: 서울, , 2001

5. 사회과학도를 위한 연구방법론, 홍성열, 서울: 시그마프레스, , 2001

6. MMPI 다면적 인성검사 검사법 요강, 진위교, 이정균, 정범모, 서울: 코 리안테스팅센터, , 1967

7. “인간에겐 도라에몽이 필요해”, 조선비즈, 감정 로봇 시대의 개화, , 2017

8. 인공지능, 머신러닝, 딥러닝 입문, 김의중, 경기: 위키북스, , 2016

9. R을 이용한 데이터마이닝, 개 정판, 김용대, 김진석, 최호식, 송종우, 박창이, 서울: 교우사, , 2015

10. MMPI-2 다면적 인성검 사II 매뉴얼 개정판, 민병배, 한경희, 임지영, 김중술, 이정흠, 문경주, 마음사랑: 서울, , 2011

11. Deep Learning from Scratch. 서울: 한빛미디어(주), Goki, S., (원전은 2016년에 출판), , 2017

12. Item Analysis. 한국교육평가학회 워크숍, 7월 7일, 김석호, 서울: 서울대 학교 교육정보관, , 2018

13. 신경망 첫걸음 (송교석 역). 서울: 한빛미디어, Rashid, T., (원전은 2016에 출판), , 2017

14. 신경망을 이용한 초등학생 컴퓨터 활용 능력 예측, 오지영, 이수정, 한 국정보교육학회, 12(3), 267-274, , 2008

15. “중퇴에 관한 위험 및 보호요인의 신경망 모형,”, 구본용, 유제민, 한국심 리학회지: 건강, 8(1), 133-146, , 2003

16. 인공신경망에 근거한 인지진단모형 Q행렬의 타당성 평가, 이영주, 이화 여자대학교 일반대학원 박사학위 논문, , 2014

17. “인공신경망을 이용한 청소년의 또래 애착 영향 요인 탐색”, 변해원, 한 국융합학회논문지, 8(10), 209-214, , 2017

18. 청소년의 컴퓨터 오락추구 행동을 예측하기 위한 신경 망 활용, 이혜주, 정의현, 한국컴퓨터교육학회논문지, 16(2), 39-48, , 2012

19. 그림과 수식으로 배우는 통통 딥러닝 (심효섭 역). 경 기: 제이펍, Yamashita, T., (원전은 2016에 출판), , 2017

20. 순환신경망 기반 언어 모델을 활용한 초등 영어 글쓰기 자동 평가, 박영기, 정보교육학회논문지, 21(2), 161-169, , 2017

21. 신경망 분석을 활용한 학교폭력의 예측요인 분석 및 해결방안 모색, 이명훈, 학습자중심교과교육연구, 17(22), 537-561, , 2017

22. 요소 간 위계 방식과 인공신경망을 적용한 수학 인지진단 평가 연구, 윤지영, 서울대학교 일반대학원 석사학위 논문, , 2016

23. Data Mining을 이용한 음주 및 음주문제의 위 험요인과 취약성요인에 관한 탐색, 유제민, 현명호, 김인석, 한국심리학회지: 건강, 6(2), 75-95, , 2001

24. 통계적 기계 학습(노영균, 남현하, 김은솔 역). 서울: 서울 대학교출판문화원, Masashi, S., (원전은 2009에 출판), , 2016

25. 학습장애 진단을 위한 데이터 마이닝 기법간 비교: 회 귀분석, 의사결정나무분석, 신경망분석을 중심으로, 홍성두, 김동일, 특수교육연구, 16(1), 321-339, , 2009

26. XOR 문제와 Neural Network. Bussiness Intelligence Research Center. http://www.birc.co.kr/2018/01/22/xor-문제와-neural-network/에 서 2018. 11. 9, 이석준, 자료 얻음, , 2018