하이브리드 STT와 NMT 기술을 활용한 대학 강의용 실시간 다국어 자막 시스템 설계 및 구현 = Design and Implementation of a Real-time Multilingual Subtitle System for University Lectures Using Hybrid STT and NMT Technologies

국문 초록 (Abstract)

본 연구에서는 대학 강의 현장에서 발생하는 언어 장벽 및 신체적 제약에 따른 정보 격차를 해소하기 위해 인공지능 기반의 실시간 다국어 자막 지원 시스템인 EduScript를 설계하고 구현하였다. 제안하는 시스템은 MS Azure의 하이브리드 음성 인식(STT) 기술과 Google의 신경망 기계 번역(NMT) 엔진을 결합하여, 강의 음성을 실시간으로 텍스트화하고 다국어로 번역하여 제공한다. 특히, 발화 중인 텍스트와 확정된 문장을 동시에 노출하는 이중 자막 상자(Dual-Box) 인터페이스를 통해 실시간 자막의 고질적인 문제인 가독성 저하를 해결하였다. 실험 결과, 마이크 입력부터 자막 출력까지 평균 1.7초의 지연 시간을 달성하여 실시간 강의 보조 도구로서의 효용성을 확인하였다. 또한, 강의 종료 후 대규모 언어 모델(LLM)을 활용한 사후 정제 및 요약 기능을 통해 강의 데이터를 고부가가치의 학습 자산으로 전환하는 파이프라인을 제시하였다. 본 시스템은 유학생 및 청각장애 학생의 학습권을 보장하고 포용적인 교육 환경을 조성하는 데 기여할 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

This study designed and implemented EduScript, an AI-based real-time multilingual subtitle support system, to bridge the information gap caused by language barriers and physical constraints in university lectures. The proposed system combines MS Azure’s hybrid Speech-to-Text (STT) technology with Google’s Neural Machine Translation (NMT) engine to transcribe and translate lecture audio into multiple languages in real-time. In particular, it addresses the issue of low readability in real-time subtitles by adopting a Dual-Box interface that simultaneously displays interim recognizing text and final recognized sentences. Experimental results showed an average end-to-end latency of 1.7 seconds, confirming its effectiveness as a real-time lecture aid. Furthermore, the study presents a pipeline that transforms lecture data into high-value learning assets through post-processing and summarization using Large Language Models (LLM) after the session. This system is expected to contribute to ensuring the learning rights of foreign and hearing-impaired students and fostering an inclusive educational environment.