시각장애 학습자를 위한 강의 동영상 자동 해설 시스템 구현 = Implementation of Automated Commentary System on Lecture Videos for Visually Impaired Student

다국어 초록 (Multilingual Abstract)

The recent digitization of education is creating new opportunities to provide an enhanced learning experience for different types of students. However, students with visual impairments encounter obstacles in engaging with online classes due to the inaccessibility of visual information. At present, a variety of assistive technologies are employed in the context of online education. However, the reality is that the support systems available are not sufficient. To address these issues, this thesis proposes an automatic lecture video commentary system for visually impaired students.
The objective of this research is to enhance the learning experience of visually impaired students by analyzing visual content and generating commentary for lecture videos containing visuals. The system has been constructed as a cross-platform moblie application, with the objective of enabling users to operate the system and listen to lectures through voice commands. Once the user has selected the lecture video they wish to listen to, the system categorizes the various visual materials provided in the lecture video into text, images, tables, and diagrams. It then generates a commentary for each type of contents, converts it to speech, and provides it to visually impaired students. Naver Clova OCR API and Google Cloud Vision API are utilized to effectively analyze text and image information, and table and diagram commentary generation algorithms are developed to clearly understand the relationship between visual materials to generate more accurate commentary.
To evaluate the performance of this system, this thesis compares lecture videos with automatically generated commentary to lecture videos without commentary. The results showed that the videos with commentary showed significant improvements in comprehension and satisfaction compared to the videos without commentary, and the generation speed and readability of the commentary were also positively evaluated.
The automatic commentary system proposed in this thesis focuses on improving the accessibility of material within lecture videos including diagrams. To accomplish this, the thesis introduces a function which is capable of structurally conveying diagram information to the learner. This system recognizes and analyzes diagram images in lecture materials, extracts key information, and explains the information in a voice that can be easily understood by visually impaired students. To see the effectiveness of this system, this thesis conducted a usability evaluation for the most effective explanation method for visually impaired students, and based on the results, we established a diagram explanation method and implemented a diagram analysis algorithm.
The diagram analysis algorithm proposed in this thesis detects arrows in the diagram and analyzes the flow to generate sequentially-proper commentaries. The usability evaluation of the algorithm shows that it outperforms the image captioning feature provided by Google in terms of user satisfaction, appropriateness, and accuracy, indicating that it functions effectively for diagram explanation.
This research is expected to contribute to improving the accessibility of digital educational content by providing a more independent and inclusive learning environment for visually impaired students. It also raises the need for future research and development of automated commentary for other learning materials, such as charts and graphs, which can be used to build more advanced learning support systems.

국문 초록 (Abstract)

최근 교육 방식의 디지털화는 다양한 유형의 학생들에게 더 나은 학습 경험을 제공하기 위한 새로운 기회를 열어주고 있다. 그러나 시각장애 학생들은 시각적 정보에 대한 접근성 문제로 인해 온라인 수업 참여에 어려움을 겪고 있다. 현재 온라인 교육을 위해 다양한 보조 기술이 사용되고 있으나 현실적으로 적절한 지원 시스템이 충분히 제공되지 않고 있다. 이러한 문제를 해결하기 위해, 본 연구는 시각장애 학생들을 위한 강의 동영상 해설 자동 생성 시스템을 제안한다.
본 연구의 목표는 시각적 자료가 포함된 강의 동영상에 대해 시각적 자료를 분석하고 이에 대한 해설을 생성하여 제공함으로써 시각장애 학생들의 학습 환경을 개선하고자 한다. 본 시스템은 크로스 플랫폼 어플리케이션 형태로 제작되었으며 음성을 통해 시스템을 조작하고 강의 내용을 청취할 수 있도록 설계되었다. 사용자가 청취하길 원하는 강의 동영상을 선택하면, 강의 동영상 내에서 제공되는 다양한 시각적 자료를 텍스트, 이미지, 표, 다이어그램으로 분류하여 종류별 해설을 생성하고, 이를 음성으로 변환해 시각장애 학생들에게 제공한다. 해설 생성은 다음과 같은 단계로 이루어 진다. 첫 째로, 텍스트는 Naver Clova OCR API를 이용하여 장면 이미지 내의 텍스트들을 모두 추출한다. 단, 표와 다이어그램과 같은 텍스트가 들어간 이미지 내의 텍스트와 구분하여 추출한다. 장면 이미지 내에 그림이 들어가 있는 경우, Google Cloud Vision API를 활용하여 이미지 내용을 해설로 추출한다. 다음으로 텍스트가 포함된 그림 중 화살표가 없는 그림은 표로 인식하여 표 맞춤형 구조적으로 해설 생성 알고리즘을 사용한다. 다이어그램은 텍스트 객체와 화살표를 유기적으로 연결하여 해설을 생성하는 알고리즘을 개발하여 구현하였다.
이 시스템의 성능을 평가하기 위해, 본 연구는 자동 생성된 해설을 포함한 강의 동영상을 시각장애 학생들을 대상으로 테스트하였다. 테스트 결과, 해설이 제공된 동영상은 해설이 제공되지 않은 동영상에 비해 이해도와 만족도 측면에서 유의미한 향상을 보였으며, 해설 생성 속도와 가독성에서도 긍정적인 평가를 받았다. 이러한 결과는 본 시스템이 시각장애 학생들이 디지털 학습 환경에서 시각적 정보를 보다 쉽게 접근하고 이해할 수 있도록 돕는 효과적인 도구임을 시사한다.
본 연구에서 제안하는 다이어그램 분석 알고리즘은 다이어그램 내에서 화살표를 탐지하고 흐름을 분석하여 해설을 생성한다. 본 알고리즘에 대한 사용성 평가를 진행한 결과 사용자 만족도, 적절성, 정확도 측면에서 구글에서 제공하는 이미지 캡션 기능보다 우수한 성능을 나타내었으며 이를 통해 다이어그램 해설에 효과적으로 기능하는 것을 알 수 있다.
본 연구는 시각장애 학생들에게 보다 독립적이고 포괄적인 학습 환경을 제공함으로써, 디지털 교육 콘텐츠의 접근성을 높이는 데 기여할 수 있을 것으로 기대된다. 또한, 향후 다양한 학습 자료에 대한 해설 자동화 연구 및 개발의 필요성을 제기하며, 이를 바탕으로 보다 진보된 학습 지원 시스템을 구축할 수 있을 것이다.

목차 (Table of Contents)

• 제 1 장 서론 = 1
• 1.1 연구 배경 및 목적 = 1
• 1.2 연구의 방법 및 구성 = 4
• 제 2 장 관련 연구 = 6
• 2.1 시각장애인을 위한 온라인 학습 보조 기술 = 6
• 2.2 이미지 정보 분석 및 설명 기술 = 9
• 2.2.1 이미지 캡셔닝 (Image Captioning) = 9
• 2.2.2 이미지 객체 인식 (Image Object Recognition) = 11
• 2.2.3 OCR (Optical Character Recognition) = 12
• 2.3 다이어그램 자료 해석 및 설명 자동화 = 14
• 2.3.1 다이어그램 자료 해설 기법 = 14
• 2.3.2 다이어그램 해설 자동화 기술 = 15
• 2.4 기존 연구 대비 본 연구의 차별성 = 17
• 제 3 장 강의 동영상 음성 해설 자동 생성 시스템 = 19
• 3.1 시스템 개요 = 19
• 3.1.1 연구 목표 = 19
• 3.1.2 시스템 구성 및 실행 환경 = 20
• 3.2 강의 동영상 음성 해설 자동 생성 시스템 설계 = 22
• 3.3 텍스트 = 27
• 3.3.1 텍스트 해설 생성 시스템 설계 = 27
• 3.3.2 텍스트 해설 생성 시스템 구현 = 28
• 3.4 그림 = 29
• 3.4.1 그림 해설 생성 시스템 설계 = 29
• 3.4.2 그림 해설 생성 시스템 구현 = 30
• 3.5 표 = 32
• 3.5.1 표 해설 생성 시스템 설계 = 32
• 3.5.2 표 해설 생성 시스템 구현 = 33
• 3.6 다이어그램 = 35
• 3.6.1 다이어그램 해설 프로토타입 설계 = 35
• 3.6.2 다이어그램 해설 프로토타입 평가 설계 = 39
• 3.6.3 다이어그램 해설 프로토타입 평가 결과 및 분석 = 41
• 3.6.4 다이어그램 해설 생성 시스템 설계 = 45
• 3.6.5 다이어그램 해설 생성 시스템 구현 = 47
• 3.7 텍스트/그림/표/다이어그램 해설 생성 시스템 = 52
• 제 4 장 시스템 성능 평가 = 56
• 4.1 강의 동영상 해설 생성 시스템 평가 = 57
• 4.2 다이어그램 분석 알고리즘 성능 평가 = 61
• 제 5 장 결론 = 65
• 참 고 문 헌 = 66
• 부 록 = 72
• ABSTRACT = 78