자연어처리 및 심층학습 기반 아동의 언어발달 자동 판별 연구 = A Study on Automated Identification for Children's Language Development Level based on Natural Language Processing and Deep Learning

국문 초록 (Abstract)

언어발달은 타인과의 상호작용과 같은 경험 등의 환경적인 요인에 영향을 받으며, 인지 지능 등 다양한 영역의 지능과 사회성 등에 대한 발달과 밀접한 연관성을 가진다. 아동의 언어지연은 언어장애로 발전할 수 있을 가능성이 높고, 이는 향후 아동의 학업 성취와 사회성, 그리고 경제 활동 능력 등 인생의 전반적인 부분에 부정적인 영향을 주어 아동이 가진 다양한 잠재력을 제한할 수 있다. 그래서 아동의 언어지연 또는 언어장애는 조기 진단 및 치료가 매우 중요하다. 하지만 보호자가 아동의 상태를 정확하게 인지하기 어려워서 적절한 평가 또는 진단과 치료 시기를 놓치는 경우도 많이 존재하다. 그리고 언어검사에 대한 정보가 부족하여 접근성이 낮고, 검사 과정 중 전문가에게 많은 시간과 노력이 요구된다. 또한, 기존에 개발된 언어검사들은 언어마다 언어학적 특징과 사용 양상, 그리고 문화 등이 달라서 다른 언어를 대상으로 활용하기 어렵다. 따라서 전문가가 언어검사 수행 시 아동의 언어발달 수준을 객관적이고 신속하게 판별하여 보호자의 언어검사에 대한 접근성과 전문가의 평가에 대한 편의성을 개선할 수 있는 방법이 필요하다. 또한, 이를 광범위하게 사용하기 위해서는 다양한 언어에서 쉽게 적용될 수 있는 방법도 필요하다. 따라서 본 연구에서는 아동의 언어발달 수준을 자동으로 판별할 수 있도록 자연어처리와 심층학습 기술의 활용 방법을 모색하였다. 본 연구에서는 2세~6세의 아동이 산출한 발화로 작성된 전사 자료를 사용하였다. 먼저, 지도학습 기반 판별 방법은 자연어 분석 단위 (문장 단위 처리, 문서 단위 처리, 문서 단위 처리와 품사 정보)에 따른 지도학습의 활용 방법을 모색하였다. 지도학습 기반 판별 방법은 문서 단위 처리와 품사 정보에서 약 74.55%의 정확도를 보여주었다. 그러나 더욱 성능을 개선하기 위해서는 여전히 많은 데이터를 요구하였고, 다른 언어에서 쉽게 활용하기 어려웠다. 이러한 한계들을 해결하고자, 사전 훈련된 언어모델의 문장 등장 확률을 활용한 비지도학습 기반 판별 방법을 개발하였다. KoGPT2-SKT에 기반한 비지도학습 기반 판별 방법은 한국어 수용·표현 어휘력 검사 (REVT) 규준과의 피어슨 상관계수가 약 0.9888 (REVT-R)과 0.9828 (REVT-E)로, 매우 높은 상관관계를 확인할 수 있었다.

다국어 초록 (Multilingual Abstract)

Language development is impacted by environmental factors like experiences such as social interactions with others, and has a tight connection to the variety of domains, including sociality and intelligence development such as cognitive intelligence. A child's language delay is quite likely to advance into a language impairment, which can negatively impact entire aspect of a child's life, such as academic achievement, sociality, and ability to perform economic activities in the future, limiting the child's various potentials. Therefore, it is important to evaluation or diagnosis and treat language impairments or delays in children as soon as possible. However, there are many cases when it is challenging for parents to precisely identify the child's state, causing them to miss the ideal window for an diagnosis and treatment. And parents lack knowledge of language tests, making them less accessible and requiring experts to put in a lot of time and effort throughout the testing process. Additionally, it is challenging to employ previously developed language tests for other languages since each language has unique linguistic characteristics, usage patterns, and cultures. As a result, there is a need for a technique that can objectively and quickly identify the child's language development level when the expert does the language test in order to increase the parent's accessibility of the language test and the expert's convenience of the evaluation. Additionally, a technique that can be used broadly and is simple to apply in other languages is required. In this paper, we looked for a way to use deep learning and natural language processing to automatically identify the children's language development levels. At this time, We used transcription data created from utterances made by children between the ages of 2 and 6. To begin with, a supervised learning-based identification method was explored to applying the supervised learning in accordance with the processing unit of natural language (sentence-level, document-level, document-level with part-of-speech information). When processing document-level and employing part of speech information, the supervised learning-based identification method showed an accuracy of about 74.55%. However, it couldn't address the usability for other languages and still needed a lot of data to improve performance. To solve these limitations, an unsupervised learning-based identification method using a pretrained language model that assigns probabilities to sentences was developed. The Pearson's correlation coefficients for the unsupervised learning-based identification method based on KoGPT2-SKT showed a very high correlation with the REVT norm, at about 0.9888 (REVT-R) and 0.9828 (REVT-E), respectively.

목차 (Table of Contents)

• 제 1장 서 론 1
• 1.1. 연구 배경 1
• 1.2. 연구 목적 4
• 제 2장 관련 연구 8
• 2.1. 개 요 8
• 2.2. 언어검사 8
• 1) 공식검사 10
• 2) 비공식검사 12
• 3) 자동 분석 소프트웨어 15
• 제 3장 예비 연구 19
• 3.1. 토큰화 19
• 3.2. 순방향 신경망 20
• 3.3. 장단기 메모리 22
• 3.4. 합성곱 신경망 25
• 3.5. 트랜스포머 29
• 3.6. 샴 네트워크 32
• 3.7. 사전 훈련된 언어모델 33
• 1) Bidirectional Encoder Representations from Transformers 35
• 2) Generative Pre-trained Transformers 37
• 3.8. 정규화와 드롭아웃 41
• 제 4장 전사 자료 44
• 4.1. 개 요 44
• 4.2. 텍스트 전처리 48
• 제 5장 지도학습 기반 판별 방법 52
• 5.1. 문장 단위 처리 52
• 1) 방법론 52
• 2) 실험 결과 58
• 5.2. 문서 단위 처리 63
• 1) 방법론 63
• 2) 실험 결과 66
• 5.3. 문서 단위 처리와 품사 정보 72
• 1) 방법론 72
• 2) 실험 결과 76
• 제 6장 비지도학습 기반 판별 방법 80
• 1) 방법론 80
• 2) 실험 결과 87
• 제 7장 논의 91
• 7.1. 지도학습 기반 판별 방법 91
• 1) 문장 단위 처리 91
• 2) 문서 단위 처리 92
• 3) 문서 단위 처리와 품사 정보 93
• 4) 지도학습 기반 판별 방법에 대한 논의 94
• 7.2. 비지도학습 기반 판별 방법 94
• 1) 비지도학습 기반 판별 방법에 대한 논의 94
• 제 8장 결론 97
• 부록 99
• <부록 1> 윤리적 고려 사항 및 제한 사항 99
• 참 고 문 헌 102
• 국문 초록 115
• 영문 초록 117