시각장애 학생을 위한 온라인 동영상 강의의 자동 해설 시스템 = Automatic Commentary System of Online Video Lectures for Visually Impaired Students

다국어 초록 (Multilingual Abstract)

Video lectures, which account for a large part of the non-face-to-face lecture system, conduct classes based on visual data. However, blind students cannot find out the contents of the screen and cannot understand the class properly, and it leads to the infringement of their rights to study. For this reason, this paper proposes a service that uses the automatic voice commentary system of the online video lecture screen to enhance the understanding of the class of visually impaired students and ensure the right to learn. We proceeded with requirement analysis and a prototype test to confirm the validity of the proposed method. First of all, it's necessary to know the timing of the appearance of each slide in order to provide an appropriate description for each screen. Thus, we designed the similarity discrimination algorithm between the frame and the image to identify the timing of screen transition and the slide number. Then, the system creates commentary files based on text, images, and tables within each slide, and generates video files that read the commentary files by voice using Text-to-Speech technology. Finally, it merges the original lecture and commentary videos as one video according to the order of slide appearance. After conducting the usability evaluation, we confirmed that the understanding of the lecture content increased when students listened to the explanation on the screen with the proposed service. It was notably more effective when providing descriptions of objects such as pictures and tables.
Through this, we found that the proposed system was helpful in learning for visually impaired students who took video lectures.

국문 초록 (Abstract)

비대면 강의 시스템에서 많은 부분을 차지하는 동영상 강의는 시각자료를 기반으로 수업을 진행한다. 그러나시각장애 학생은 화면의 내용을 볼 수 없기 때문에 수업 내용 이해도가 떨어지고, 이는 곧 학습권 침해로 이어진다.
따라서 본 논문은 시각장애 학생의 수업 이해도를 높이고 학습권을 보장하기 위하여, 동영상 강의 화면의 컨텐츠에대해 자동으로 음성 해설을 제공하는 서비스를 제안한다. 우선 제안한 방법의 타당성을 확인하기 위해 요구사항 분석과 프로토타입 테스트가 선행되었다. 가장 먼저, 화면 별로 알맞은 설명을 제공하기 위해서는 슬라이드별 등장 시점을 알아야 한다. 따라서 프레임과 이미지 간 유사도 판별 알고리즘을 통해 화면 전환 시점과 슬라이드 번호를 파악한다. 이어서 각 슬라이드 내의 텍스트, 이미지, 표를 중심으로 해설본을 생성한 뒤, Text-to-Speech 기술을 사용하여 해설본을 음성으로 낭독해주는 영상을 자동으로 생성한다. 마지막으로 원본 강의와 해설 영상을 슬라이드 등장 순서에 알맞게 병합한다. 사용성 평가 실험을 진행한 결과, 제안한 서비스를 사용하여 화면에 대한 설명을 들었을 때 강의 내용 이해도가 증가한 것을 확인하였다. 특히 그림과 표와 같은 개체에 대한 설명을 제공할 때 더욱 효과적이었다. 이를 통해 본 논문에서 제안한 서비스가 시각장애 학생의 동영상 강의 수강 시 학습에 도움이 되는 것을 확인하였다.

참고문헌 (Reference)

1 이용상 ; 신동광, "코로나19로 인한 언택트 시대의 온라인 교육 실태 연구" 한국교육과정평가원 23 (23): 39-57, 2020

2 신연서 ; 차향미, "코로나19 시대의 일반학교 시각장애 교사의 교직경험 연구" 한국시각장애교육&재활학회 37 (37): 43-62, 2021

3 이동주 ; 김미숙, "코로나19 상황에서의 대학 온라인 원격교육 실태와 개선 방안" 한국멀티미디어언어교육학회 23 (23): 359-377, 2020

4 신연서 ; 차향미, "코로나19 상황에 따른 시각장애학교 교사 수업 경험 연구" 한국시각장애교육&재활학회 36 (36): 147-168, 2020

5 이송희 ; 이병화, "코로나19 발생에 따른 장애인 지원 현황과 정책 과제" 한국보건복지학회 22 (22): 7-34, 2020

6 박세진 ; 임순범 ; 육주혜, "최적의 수식 낭독 방법 도출을 위한 시각장애인 이해도와 만족도 분석" 한국재활복지공학회 15 (15): 60-68, 2021

7 박주현 ; 이한나 ; 신지은 ; 동서연 ; 임순범, "저시력자를 위한 모바일 보이스 웹 브라우저 개발" 한국멀티미디어학회 23 (23): 1418-1427, 2020

8 김유진, "저시력자를 위한 멀티미디어 콘텐츠용 음성 안내에서의 UX 가이드라인" 한국HCI학회 522-528, 2016

9 박재우, "장애대학생의 관점에서 살펴본 코로나 사태에 따른 비대면 수업의 실태와 문제점" 특수교육연구소 19 (19): 31-53, 2020

10 실로암시각장애인복지관, "실로암시각장애인복지관"

11 이승환 ; 홍성호 ; 고승희 ; 최희연 ; 황성수, "시각장애인의 정보 접근성 향상을 위한 모바일 신문 어플리케이션 인터페이스" 한국에이치씨아이학회 11 (11): 5-12, 2016

12 박동연 ; 임순범, "시각장애 학생을 위한 동영상 강의 해설기법의 사용성 분석" 한국시각장애교육&재활학회 37 (37): 31-50, 2021

13 나희원 ; 김정음 ; 동서연, "시각 장애 학생을 위한 수학 그래프 설명 자동 생성 기술" 한국에이치씨아이학회 16 (16): 5-13, 2021

14 이선화, "스마트폰에서의 시각장애인을위한 음성 인터페이스-TTS(Text to Speech) 요구사항과기능에 대한 연구" 한국HCI학회 1243-1245, 2019

15 박동연, "비대면 강의 시스템에서시각장애인의 학습권 보장 실태 분석" 한국멀티미디어학회 574-575, 2021

16 XVision Technology, "㈜엑스비전테크놀로지-XVision Technology"

17 Van der Walt, S, "scikit-image: image processing in Python" 2 : e453-, 2014

18 PySceneDetect, "PySceneDetect: Intelligent scene cut detection and video splitting tool"

19 Lewis, S, "Education for Students with Visual Impairments in the Time of Coronavirus: An Approach to Education Through Videoconferencing" American Foundation for the Blind 114 (114): 171-172, 2020

20 Dang, Q. B, "Camera-based document image retrieval system using local features-comparing SRIF with LLAH, SIFT, SURF and ORB" IEEE 1211-1215, 2015

21 김지원 ; 박영신 ; 김경이 ; 양길석, "COVID-19에 따른 대학 온라인 수업에 대한 교수자와 학습자의 인식 및 경험 분석" 교육문제연구소 80 : 33-58, 2021

22 박경옥 ; 김지연, "COVID-19를 경험한 장애대학생의 온라인 수업에 대한 요구분석" 특수교육재활과학연구소 60 (60): 229-254, 2021

23 Oviedo-Cáceres, M. D. P, "COVID-19Pandemic: Experiences of People with Visual Impairment" Universidad de Antioquia 39 (39): e09-, 2021

24 Smith, R, "An overview of the Tesseract OCR engine" IEEE 629-633, 2007

25 Buzzi, M. C, "Accessing e-learning systems via screen reader: an example" Springer 21-30, 2009