LoRA 기반 경량 언어모델을 활용한 엣지 디바이스 음성 명령 제어 시스템 연구 = A Study on a Voice Command Control System for Edge Devices Using a LoRA-Based Lightweight Language Model

국문 초록 (Abstract)

최근 대규모 언어모델(LLM, Large Language Model)은 인간 수준의 언어 이해 능력을 기반으로 다양한 응용 분야에서 활용되고 있으나, 대부분 범용적인 대화형 상호작용을 목적으로 설계되어 특정 도메인의 전문적 명령 해석이나 실시간 제어 응용에는 한계가 존재한다. 이에 본 연구에서는 사용자의 자연어 음성 명령을 실시간으로 인식하고, 이를 구조화된 제어 명령으로 변환할 수 있는 LLM 기반 음성 제어 시스템을 제안하였다. 본 시스템은 Whisper 음성 인식 모델을 통해 발화된 명령을 문장 형태로 변환하고, LoRA(Low-Rank Adaptation) 기법으로 파인튜닝된 LLM이 해당 문장을 해석하여 제어 가능한 JSON 형태의 명령으로 변환하도록 구성되었다. 또한, 이러한 언어모델 구조를 소형 제어보드 환경(Raspberry Pi, Jetson Orin Nano 등) 에서 온디바이스 형태로 동작할 수 있도록 설계함으로써, 클라우드 연산 의존도를 줄이고 실시간 응답성을 확보하였다. 본 연구의 전체 구성은 다음과 같다. 먼저, 기존 음성 제어 시스템의 한계를 분석하고, 자연어 기반 제어의 필요성을 도출하였다. 다음으로, LLM의 효율적 경량화를 위해 LoRA 기반 파인튜닝 구조를 설계하였으며, 음성 인식–명령 해석–제어 명령 변환으로 이어지는 통합 프로세스를 정의하였다. 마지막으로, 제안된 시스템이 실제 소형 제어보드 상에서 실시간 제어 환경에 적용 가능한 형태로 구현될 수 있음을 확인하였다. 이 연구는 자연어 기반의 음성 명령을 구조화된 제어 명령으로 변환하는 온디바이스 LLM 응용 구조를 제시함으로써, 사용자 맞춤형 제어, 산업용 자동화, 이동 로봇 제어 등 다양한 분야에서 활용될 수 있는 경량 지능형 제어 시스템의 새로운 가능성을 제안한다.

다국어 초록 (Multilingual Abstract)

Although recent large language models (LLMs) have been actively applied to various tasks thanks to their human-level language understanding capability, most models have been developed for general conversational interaction, and thus their ability to interpret domain-specific commands or to support real-time control remains limited. To address this issue, a system is designed in which a user’s natural-language voice command is recognized in real time and converted into a structured control command. Spoken commands are first transcribed into text by a Whisper automatic speech recognition model, after which an LLM fine-tuned with the Low-Rank Adaptation (LoRA) technique interprets the text and converts it into an executable JSON-formatted control command. The overall architecture is further configured to operate in an on-device manner on small control boards (e.g., Raspberry Pi, Jetson Orin Nano), so that dependence on cloud computation is reduced and response latency is improved. The research proceeds as follows. First, the limitations of conventional voice control systems are analyzed and the necessity of natural-language-based control is derived. Next, a LoRA-based fine-tuning architecture is designed to enable efficient lightweight adaptation of the LLM, and an integrated pipeline covering speech recognition, command interpretation, and control-command generation is defined. Finally, it is empirically verified that the proposed system can be implemented on small control boards and can be operated in a form suitable for real-time control scenarios. By presenting an on-device LLM architecture that converts natural-language voice commands into structured control commands, this study suggests a new possibility for lightweight intelligent control systems that can be applied to user-adaptive control interfaces, industrial automation, and mobile robot control.

목차 (Table of Contents)

• 국문요약 = ⅵ
• Ⅰ. 서 론 = 1
• 1.1 연구배경 및 필요성 = 1
• 1.2 선행 연구 = 2
• 1.3 연구 목표 = 4
• Ⅱ. 관련 기술 배경 = 5
• 2.1 대형 언어 모델(LLM, Large Language Model) 개요 = 5
• 2.2 Transformer = 7
• 2.3 Whisper 음성 인식 모델 = 10
• 2.4 LoRA(Low-Rank Adaptation) 기반 파인튜닝 원리 = 12
• Ⅲ. 시스템 설계 = 15
• 3.1 시스템 개요 및 구조 = 15
• 3.2 명령 구조화 및 JSON 기반 표준화 = 16
• 3.3 실시간 음성 입력·추론 인터페이스 = 18
• 3.4 시스템 요구사항에 따른 모델 선택 = 20
• Ⅳ. 실험 개요 = 22
• 4.1 실험 목적 및 개요 = 22
• 4.2 실험 환경 및 시스템 구성 = 23
• 4.3 명령어 데이터 생성 및 전처리 기법 = 27
• 4.4 LoRA 기반 LLM 훈련을 위한 하이퍼파라미터 설정 = 29
• 4.5 실시간 음성 인터페이스 구축 및 시스템 통합 = 31
• 4.6 엣지 디바이스 배포를 위한 경량화 모델 변환 = 32
• Ⅴ. 시스템 실험 = 34
• 5.1 사전학습 모델의 한계 분석 = 34
• 5.2 데이터 크기 및 LoRA 설정 변화에 따른 성능 비교 = 35
• 5.3 Whisper 음성인식 추론 및 웹 인터페이스 통합 실험 = 41
• 5.4 엣지 디바이스 배포 실험 = 46
• Ⅵ. 결 론 = 51
• 참고문헌 = 53
• ABSTRACT = 56