VR 환경에서 LLM을 활용한 음성 기반 상호작용 시스템 설계 = Design of a Voice-Based Interaction System Using Large Language Models in Virtual Reality Environme

국문 초록 (Abstract)

본 연구는 작업형 가상현실(Virtual Reality, VR) 환경에서 반복 조정, 세밀 제어 및 오류 복원의 요구가 증가함에도 불구하고 기존 음성 제어 방식이 단발적 명령 처리 구조로 인해 작업 문맥을 유지하지 못한다는 한계에 주목하였다. 이를 해결하기 위해 본 연구는 자연어 기반 지능형 상호작용을 지원하는 상태 기반 음성 제어 프레임워크(State-based Voice Control Framework) 를 제안한다. 제안된 프레임워크는 Whisper 기반 음성 인식, LLM 기반 명령 해석(Command Interpreter), 실행 모듈(Executor)과 함께 명령 실행 결과의 상태 변화(ΔState)를 누적 저장하는 상태 기록기(State Recorder) 를 포함한다. 이를 통해 Undo, Redo, Repeat 와 같은 복원 및 반복 명령을 지원하며, 세션 단위의 작업 맥락을 반영하는 연속적 상호작용이 가능하다.
실험은 단층 선반 조립 작업 시나리오를 VR 환경에서 구현하여, 제안 시스템의 상태 기반 음성 제어가 작업 효율성과 경험 향상에 미치는 영향을 분석하였다. 그 결과 평균 명령 성공률 82%, SUS 75.83점, NASA-TLX 41.5점, IPQ 5.71점으로 나타났으며, 음성 제어 방식의 불확실성을 상태 복원 메커니즘이 보완하여 작업 흐름 안정성을 확보하는 것으로 확인되었다. 결론적으로 제안된 프레임워크는 작업형 VR 환경에서 자연어 기반 지능형 조작을 가능하게 하며, 교육형, 산업용, 시뮬레이션 기반 조작 등 다양한 응용 분야 확장 가능성을 갖는다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• Ⅱ. 이론 및 관련 연구 3
• 2.1 AI 및 대규모 LLM 기술 개요 3
• 2.2 상태 기반 상호작용 개념과 LLM 기억 확장 이론 5
• 2.3 LLM–VR 통합 및 멀티모달 상호작용 관련 연구 7
• Ⅲ. 제안 시스템 설계 및 구현 12
• 3.1 시스템 구성 및 제안 12
• 3.1.1 시스템 개요 12
• 3.1.2 상태 기반 명령 처리 구조 제안 13
• 3.2 시스템 구현 20
• 3.2.1 VR 개발 환경 및 시스템 구성 요소 21
• 3.2.2 VR 환경 카메라 기준 좌표계 구성 24
• 3.2.3 음성 입력 및 명령 인식 모듈 구현 25
• 3.2.4 LLM 명령 해석 및 구조화 모듈 구현 27
• 3.2.5 VR 실행 및 상태 관리 모듈 32
• Ⅳ. 실험 설계 및 평가 35
• 4.1 실험 목적 및 구성 35
• 4.2 시나리오 및 실험 절차 37
• 4.3 평가 항목 39
• 4.4 실험 결과 46
• 4.4.1 정량적 평가 결과 46
• 4.4.2 정성적 평가 결과 48
• Ⅴ. 결론 및 향후 연구 53