배리어프리 전시 서비스를 위한 대화형 수어 질의응답 거대언어모델 연구 = Research on Interactive Korean Sign Language Question Answering Large Language Model for Barrier Free Exhibition Service

국문 초록 (Abstract)

최근 딥러닝 분야의 진전은 청각장애인을 위한 배리어프리 환경을 효과적으로 구축할 수 있는 다양하고 뛰어난 잠재력을 보여주었다. 특히 컴퓨터 비전 분야의 발전으로 청각장애인에게 도움이 되는 수어 인식(Sign Language Recognition, SLR)과 수어 번역(Sign Language Translation, SLT)과 같은 연구도 활발히 이루어지고 있다. 그럼에도 불구하고 다양하고 전문적인 데이터셋이 부족하다는 문제로 인해 AI를 통해 단순히 수어를 인식하고 번역하는 것을 넘어 대화와 같은 상호작용이 필요한 박물관 전시와 같은 고수준의 서비스를 개발하는데 제약이 존재한다.
따라서 본 논문에서는 실제 대화형 전시 서비스를 지원할 수 있도록 설계된 한국수어(Korean Sign Language, KSL) 데이터셋 KSL-Ex를 소개한다. 이 데이터셋은 29,574개의 수어 비디오로 구성되어 있으며, 여기에는 단일 단어, 한국수어 문장, 질의응답 쌍, 그리고 대응하는 상세한 주석이 포함된다.
또한, 질의응답 작업에서 탁월한 성능을 입증한 최첨단 거대언어모델(Large Language Model, LLM)을 활용하는 대화형 수어 질의응답 프레임워크를 제안한다. 이 프레임워크는 수어 인식 모델, 답변 모듈, 정제 모듈, 그리고 3D 수어 애니메이션 모듈의 네 가지 핵심 구성 요소로 구성된다. 이러한 구성 요소들을 통해 입력으로 들어온 수어 질의를 효과적으로 인식하고, 적절한 답변을 생성하고 정제하며, 마지막으로 3D 수어 애니메이션을 생성하여 수어 답변을 재생함으로써 청각장애인을 위한 질의응답이 가능한 대화형 인터페이스를 제공한다.
다양한 실험의 결과는 본 연구에서 제안하는 KSL-Ex와 프레임워크의 효과를 보여주며 실제 환경에서 대화형 수어 서비스를 제공할 수 있는 잠재력을 보여준다.

다국어 초록 (Multilingual Abstract)

Recent advancements in deep learning have shown significant potential in developing barrier-free environments for the hearing-impaired. In particular, progress in computer vision task has accelerated research on sign language recognition and translation for the hearing-impaired. However, the lack of diverse and specialized datasets limits the development of high-level services, such as museum exhibitions, that require interaction beyond simply recognizing and translating sign language.
To address this, we introduce KSL-Ex, a Korean Sign Language (KSL) dataset designed to support real-world interactive exhibition services. Our dataset comprises 29,574 sign language video samples, including isolated words, continous KSL sentences, question answering (QA) pairs, and detailed annotations.
We also propose an interactive sign language QA framework that leverages state-of-the-art large language models which have demonstrated outstanding performance in question answering tasks. The proposed framework consists of four key components: the sign language recognition model, the answering module, the refinement module, and the 3D sign language animation module. These components effectively process sign language queries, generate and refine appropriate answers, and finally produce sign language animation, thereby providing an interactive QA interface for the hearing-impaired.
Experimental results demonstrate the effectiveness of both KSL-Ex and the proposed framework, indicating strong potential for delivering interactive sign language services in real-world environments.

목차 (Table of Contents)

• 1. 서론 1
• 2. 관련 연구 5
• 2.1. 수어 연구 5
• 2.1.1. 수어 인식 5
• 2.2.2. 수어 번역 5
• 2.2.3. 수어 데이터셋 5
• 2.2. 거대언어모델 연구 6
• 2.2.1. 거대언어모델 응용 6
• 2.2.2. 검색 증강 생성 7
• 2.3. 공공 전시 환경에서의 수어 응용 연구 7
• 3. 한국수어 전시 데이터셋 KSL-Ex 8
• 3.1. 윤리적 영향 8
• 3.1.1. 잠재적 위험 8
• 3.1.2. 위험 완화 전략 8
• 3.1.3. 위험-편익 분석 9
• 3.2. 데이터 수집 절차 9
• 3.3. 데이터셋 구성 12
• 3.4. 후처리 12
• 4. 대화형 수어 질의응답 거대언어모델 프레임워크 14
• 4.1. 문제 정의 14
• 4.2. 답변 모듈 14
• 4.2.1. 번역 LLM 15
• 4.2.2. RAG 기반 답변 LLM 16
• 4.3. 정제 모듈 17
• 4.4. 3D 애니메이션 생성 모듈 20
• 5. 실험 및 평가 21
• 5.1. 대화형 수어 질의응답 프레임워크 22
• 5.2. 한국수어 전시 데이터셋 KSL-Ex 24
• 5.3. 추가 실험 26
• 5.2.1. 답변 모듈 26
• 5.2.2. 정제 모듈 27
• 5.3. 사용자 연구 27
• 5.3.1. 사용성 평가 27
• 5.3.2. 현장 사용자 피드백 28
• 5.4. 한계 및 논의 31
• 5.4.1. 번역 31
• 5.4.2. 질의응답 32
• 6. 결론 및 토의 34
• 6.1. 결론 34
• 6.2. 추후 연구 35
• 참고문헌 36