Lightweight Robot Control System Based on On-Device Small Language Model with Digital Twin = 디지털 트윈 기반 온디바이스 소형 언어 모델을 활용한 경량 로봇 제어 시스템|RISS 상세보기

다국어 초록 (Multilingual Abstract)

The rapid integration of robotics and artificial intelligence (AI) has accelerated the development of autonomous systems; however, existing robot automation still relies heavily on traditional AI and policy-based control, which suffers from limited contextual perception, weak generalization to high-level instructions, and high re-engineering costs when environments change. Recent Large Language Model (LLM)-based approaches have shown promise in addressing these challenges but remain impractical for real-world robotic control due to excessive model size, high latency, limited long-term reasoning, and substantial hardware requirements.
To overcome these limitations, this research proposes a Lightweight Robot Control System that integrates an on-device Small Language Model (sLM) with Digital Twin (DT) technology. The proposed system introduces a resource-efficient Robot sLM optimized for perception, planning, and control, in contrast to human-centric LLMs. A parameter-efficient fine-tuning strategy using LoRA adapters enhances perception accuracy while reducing latency, enabling on-device operation with minimal computational overhead. In addition, Planning and Perception Adapters are designed to enable long-term multi-skill task execution by decomposing high-level goals into step-level actions, maintaining memory, and performing iterative perception–planning–action loops.
A DT-based simulation environment is developed to validate robot behaviors prior to real-world execution, allowing predictive testing, failure diagnosis, and safe policy refinement. The integrated framework demonstrates its effectiveness across multiple scenarios—including multi-room search, maze escape, and target following—using only visual input. Experimental results show improved perception accuracy, inference latency reduction, and generalized multi-skill execution across unseen environments, confirming its practicality for scalable robotic deployment.
By eliminating cloud dependency and enabling low-latency, and scalable intelligence on physical robots, this research advances a practical automation framework that supports adaptive, long-term, and multi-skill robot control across complex environments.

번역하기

국문 초록 (Abstract)

본 연구에서는 로보틱스와 인공지능(AI)의 융합으로 자율 시스템 개발이 가속화되고 있음에도 불구하고, 기존 로봇 자동화가 전통적 AI 및 정책 기반 제어에 크게 의존하여 맥락 인식 부족, 고수준 지시 일반화 한계, 환경 변화 시 높은 재엔지니어링 비용 등 여러 제약을 지니고 있음을 지적한다. 최근 대규모 언어모델(LLM)을 활용한 로봇 제어 연구가 이러한 문제를 완화할 가능성을 보이고 있으나, 과도한 모델 크기, 높은 지연 시간, 제한적인 장기 추론 능력, 그리고 높은 하드웨어 요구사항으로 인해 실제 로봇 제어에 적용하기에는 여전히 비효율적이다.
이러한 한계를 극복하기 위해, 본 연구는 온디바이스 Small Language Model(sLM)과 디지털 트윈(Digital Twin, DT) 기술을 결합한 경량 로봇 제어 시스템을 제안한다. 제안하는 시스템은 인간 중심의 기존 LLM과 달리 로봇의 인지·계획·제어에 최적화된 경량 로봇 sLM을 도입하며, LoRA 기반의 파라미터 효율적 미세조정 전략을 통해 인지 정확도를 향상시키고 지연 시간을 감소시켜 최소한의 연산 자원으로 온디바이스 실행이 가능하도록 한다. 또한, Planning Adapter와 Perception Adapter를 설계하여 고수준 목표를 단계별 행동으로 분해하고, 메모리를 유지하며, 인지–계획–동작 반복 루프를 수행함으로써 다중 기술(Multi-skill) 실행을 지원한다.
아울러, 실제 실행 전 로봇의 행동을 검증하기 위한 DT 기반 시뮬레이션 환경을 구축하여 예측적 테스트, 오류 진단, 안전한 정책 개선을 가능하게 한다. 제안된 통합 프레임워크는 시각 정보만을 입력으로 다중 공간 탐색, 미로 탈출, 대상 추적 등 다양한 시나리오에서 성능을 입증하였으며, 인지 정확도 향상, 추론 지연 감소, 미학습 환경에서의 일반화된 다중 기술 수행 능력을 확인하였다.
본 연구는 클라우드 의존성을 제거하고 저지연·확장형 온디바이스 지능을 로봇에 적용함으로써, 복잡한 환경에서도 적응적이며 장기적이고 다기술적 로봇 제어가 가능한 실용적 자동화 프레임워크를 제시한다.

번역하기

본 연구에서는 로보틱스와 인공지능(AI)의 융합으로 자율 시스템 개발이 가속화되고 있음에도 불구하고, 기존 로봇 자동화가 전통적 AI 및 정책 기반 제어에 크게 의존하여 맥락 인식 부족, ...

목차 (Table of Contents)