상향식 피드백을 활용한 비전-언어 기반 안전 경로 계획 방법 = Safe Path Planning via Vision-Language Models with Bottom-Up Feedback

국문 초록 (Abstract)

실세계 이동 로봇에게 장기적인 내비게이션 과제를 부여할 때에는, 고차원적 계획 수립과 실행 중 안전 확보라는 두 가지 요구사항을 동시에 만족시켜야 한다. 이를 위해 기존에는 거대 언어 모델(LLM)을 활용한 하향식 계획, 제약 기반의 안전 강화학습(Safe RL) 등이 제안되어 왔으나, LLM은 물리적 제약과 환경의 불확실성을 과소평가하는 경향이 있으며, Safe RL은 제한된 시간 지평선 내에서 제약을 유지하는 데에는 유리하나 장기 계획에서는 안정성이 저하되는 문제가 있다.
본 논문에서는 Vision-Language Model(VLM)을 활용한 지도 기반 경로 계획 시나리오를 중심으로, VLM을 활용하여 경로를 계획할 때 발생할 수 있는 문제를 해결하고, 동적 안전성 검사 및 상향식 재계획 요청 구조를 통해 신뢰 가능한 장기 내비게이션을 실현하는 방안을 제안한다. 특히, VLM 기반 계획의 한계를 지도 기반 전처리로 보완하며, 실행 단계에서는 몬테카를로 기반 충돌 예측 모듈과 VLM 기반 위험 요인 요약 상향식 피드백 구조를 결합하여, 실행 도중 발생하는 위험 요소에 유연하게 대응할 수 있는 프레임워크를 구성한다.
프레임워크는 먼저 평면도에서 추출한 노드 및 연결 정보를 기반으로 VLM이 해석 가능한 경유점 그래프를 구성하고, VLM을 이용하여 후보 경로를 생성한다. 생성된 경로의 벽 관통 여부 등은 기하학적 조건을 통해 사전 필터링되며, LLM 기반 안전 평가자(SAFER) 방식의 내비게이션 시나리오에서의 적용 가능성도 평가한다. 실행 중에는 경로를 따라 이동하면서 충돌 가능성을 사전에 예측하고, 일정 수준 이상의 위험이 예상될 시 VLM을 활용하여 시각 및 센서 데이터를 바탕으로 그 원인을 요약하여 경로 재계획 모듈로 상향식 전달함으로써 안전성을 확보한다.
본 논문은 좁은 통로 회피, 오류 지도로 인한 재계획, 동적 장애물 환경 인지 등 다양한 시뮬레이션 환경에서 제안된 프레임워크를 실험적으로 검증하였으며, 기존 일방적 하향식 계획을 이용한 방법보다 안전성과 유연성이 향상됨을 보였다. 특히, 사전 학습된 모델만을 활용하면서도 별도 미세조정 없이 즉시 적용 가능하다는 점에서 실용성이 높으며, VLM 기반 경로 계획과 실행 피드백 기반 동적 재계획을 통합한 새로운 장기 내비게이션 프레임워크를 제시한다.

다국어 초록 (Multilingual Abstract)

In long-horizon navigation tasks for real-world mobile robots, it is essential to simultaneously satisfy two critical requirements: high-level planning and safety during execution. Previous approaches have leveraged top-down planning via Large Language Models (LLMs) and constraint-based Safe Reinforcement Learning (Safe RL). However, LLMs tend to underestimate physical constraints and environmental uncertainty, while Safe RL, although effective within short time horizons, often suffers from degraded stability in long-horizon scenarios.
This thesis presents a framework that addresses these limitations by employing Vision-Language Models (VLMs) for map-based navigation planning, augmented with dynamic safety validation and a bottom-up replanning mechanism. In particular, the framework mitigates the weaknesses of VLM-based planning through structured preprocessing of floor maps, and combines a Monte Carlo-based collision prediction module with a VLM-driven natural language feedback system to handle runtime risks flexibly.
The proposed system constructs a waypoint graph interpretable by the VLM based on nodes and edges extracted from a floor plan. Candidate paths are generated using the VLM and are geometrically filtered to eliminate those that intersect with walls. The framework also evaluates the applicability of LLM-based safety assessors (e.g., SAFER) in navigation scenarios. During execution, the system predicts potential collisions in advance, and if risk exceeds a threshold, it invokes the VLM to summarize visual and sensor data into a concise explanation, which is then passed upward to the planner for dynamic replanning.
The framework is experimentally validated across diverse simulated environments, including narrow corridor avoidance, re-routing due to erroneous maps, and adaptation to dynamic obstacles. Compared to conventional purely top-down planning approaches, the proposed method demonstrates improved safety and flexibility. Notably, it achieves high practical applicability by relying solely on pretrained models without any fine-tuning, and introduces a novel long-horizon navigation paradigm integrating VLM-based planning with execution-stage feedback for dynamic replanning.

목차 (Table of Contents)

• 초록 1
• 1. 서론 8
• 1.1 로봇 안전 내비게이션의 과제 8
• 1.2 제안하는 해결 방향과 기여 9
• 1.3 논문의 구성 10
• 2 배경연구 11
• 2.1 안전 강화학습 개요 11
• 2.2 언어 기반 계층형 장기 계획 12
• 2.3 내비게이션 특화 로봇 파운데이션 모델 13
• 2.4 지도 및 VLM 기반 경로 계획 13
• 2.5 멀티모달 LLM/VLM 기반 안전 프레임워크 14
• 3 상향식 피드백을 활용한 비전-언어 기반 안전 경로 계획 방법 16
• 3.1 문제 정의 16
• 3.1.1 로봇 모델 및 센서 입력 16
• 3.1.2 안전 제약 조건 17
• 3.1.3 평가 지표 17
• 3.1.4 각 시나리오 구성 18
• 3.2 상향식 피드백을 활용한 비전-언어 기반 안전 경로 계획 프레임워크 19
• 3.2.1 계획 모듈 20
• 3.2.2 실행 모듈 및 피드백 모듈 27
• 3.2.3 전체 프레임워크 요약 30
• 4 시뮬레이션 환경에서의 검증 34
• 4.1 실험 환경 및 시나리오 34
• 4.1.1 시나리오 1: 좁은 통로 회피 35
• 4.1.2 시나리오 2: 막힌 경로 우회 37
• 4.1.3 시나리오 3: 인구 밀집 경로 회피 38
• 4.1.4 시나리오 4: 실제 평면도에서의 적용 40
• 4.2 실험 및 결과 42
• 4.2.1 실험 설정 개요 42
• 4.2.2 실험 1: 지도 표현 방식의 영향 (시나리오 1) 42
• 4.2.3 실험 2: 별도 VLM 기반 안전 검증자의 유무에 따른 성능 차이 (시나리오 1) 46
• 4.2.4 실험 3: 피드백 기반 재계획의 효과 (시나리오 2) 48
• 4.2.5 실험 4: 동적 장애물 환경에서의 피드백 효과 (시나리오 3) 49
• 4.2.6 실험 5: 실제 평면도에서의 검증 (시나리오 4) 51
• 5 결론 및 향후 연구 55
• 5.1 결론 55
• 5.2 연구의 한계 및 향후 연구 56
• 참고문헌 57
• Abstract 62