LLM Based Situational Awareness Navigation System

다국어 초록 (Multilingual Abstract)

This paper presents an LLM based safety aware navigation system for mobile robots operating near humans. The robot detects people and obstacles using camera–LiDAR sensing and computes a Human Proximity Safety Score (HPSS) to identify risk events. When a risk event occurs, structured sensor information is passed to a lightweight LLM, which interprets why the situation is dangerous and outputs adjusted navigation parameters such as reduced speed and increased safety distance. Experiments in a warehouse simulation with varying crowd levels show that the proposed system reduces unnecessary stops and maintains safer distances compared to Nav2, demonstrating improved safety and stability in human-centered environments.

국문 초록 (Abstract)

본 논문은 사람 인근에서 주행하는 이동 로봇을 위해 LLM 기반 상황 판단을 결합한 안전 내비게이션 시스템을 제안한다. 로봇은 카메라–LiDAR 센싱으로 사람·장애물을 탐지하고 HPSS(Human Proximity Safety Score)를 통해 위험 이벤트를 판단한다. 위험 상황이 발생하면 센서 정보를 구조화된 문장으로 변환하여 LLM에 전달하고, LLM은 위험 원인을 해석해 속도 감소·안전거리 확대 등 보정된 내비게이션 파라미터를 출력한다. 창고 환경 시뮬레이션 실험 결과, 제안 방식은 기존 Nav2 대비 불필요한 정지를 줄이고 사람과의 최소 거리를 더 안정적으로 유지하여 인간 중심 환경에서의 안전성과 주행 안정성을 향상시킴을 확인한다.