Context-aware Robot Navigation for Resolving Perceptual Uncertainty in Construction Environments = 건설 환경에서 지각 불확실성 해소를 위한 맥락 인지 로봇 내비게이션 기법

다국어 초록 (Multilingual Abstract)

Robots operating in construction environments must perform navigation and safety monitoring under severe perceptual uncertainty caused by occlusion, viewpoint dependency, and dynamic scene configurations. In such visually complex settings, reliable navigation requires not only geometric motion planning but also contextual reasoning about whether available visual evidence is sufficient for task-level judgment. This study proposes a context-aware robot navigation framework that explicitly reasons about perceptual uncertainty and actively adjusts viewpoints to resolve ambiguous visual observations. The proposed framework integrates vision–language–based contextual reasoning and semantic-driven Next-Best-View (NBV) navigation within a closed-loop perception–action process, while human-aligned uncertainty modeling is used to validate and analyze perceptual ambiguity. A representative construction safety monitoring task assessing lifeline connectivity of workers on scaffolds is used to evaluate the approach. Perceptual uncertainty is quantified through a human annotation study using Shannon entropy, providing a reference for validating model uncertainty awareness. When visual evidence is insufficient, the robot selects informative viewpoints by jointly considering semantic relevance, occlusion-aware observability, uncertainty reduction, and motion feasibility. Experimental results in simulated construction environments demonstrate that the proposed framework improves perception reliability and navigation efficiency, achieving higher task success rates with reduced path length compared to reinforcement learning–based and conventional geometric NBV baselines. By enabling robots to reason about perceptual context and uncertainty during navigation, this work advances context-aware robotic operation in visually uncertain construction environments.

국문 초록 (Abstract)

건설 환경에서 자율적으로 운용되는 로봇은 가림(occlusion), 시점 의존성, 그리고 동적으로 변화하는 장면 구성으로 인해 심각한 지각 불확실성 하에서 내비게이션 및 안전 모니터링을 수행해야 한다. 이러한 시각적으로 복잡한 환경에서는 단순한 기하학적 경로 계획만으로는 신뢰성 있는 내비게이션이 어려우며, 주어진 시각 정보가 과업 수준의 판단에 충분한지에 대해서도 맥락적 추론이 요구된다. 본 연구는 지각 불확실성을 명시적으로 추론하고, 모호한 시각 관측을 해소하기 위해 시점을 능동적으로 조정하는 맥락 인지 기반의 로봇 내비게이션 프레임워크를 제안한다. 제안하는 프레임워크는 비전–언어 기반 맥락적 추론과 의미 기반 Next-Best-View(NBV) 내비게이션을 폐루프 인지–행동 구조로 통합하며, 인간 중심 불확실성 모델링은 지각적 모호성을 분석하고 모델의 불확실성 인식 능력을 평가하기 위한 기준으로 활용된다. 본 접근법은 비계 상에서 작업자의 생명줄 연결 상태를 점검하는 대표적인 건설 안전 모니터링 과업을 통해 평가된다. 지각 불확실성은 다양한 시점과 가림 조건에서 수집된 인간 주석 결과를 바탕으로 Shannon 엔트로피를 사용하여 정량화되며, 이는 참조 지표로 활용된다. 본 프레임워크에서 로봇은 시각적 증거가 충분하지 않은 상황에서 의미적 관련성, 가림을 고려한 가시성, 불확실성 감소 가능성, 그리고 이동 가능성을 종합적으로 평가하여 정보 획득에 유리한 시점을 선택한다. 시뮬레이션 기반 건설 환경에서 수행된 실험 결과, 제안된 프레임워크는 강화학습 기반 및 기존 기하학적 NBV 기법 대비 더 높은 과업 성공률과 더 짧은 이동 경로를 달성하며, 지각 신뢰성과 내비게이션 효율성을 효과적으로 향상시키는 것으로 나타났다. 본 연구는 지각적 맥락과 불확실성을 통합적으로 추론하는 인지 구조를 통해, 시각적 불확실성이 존재하는 건설 환경에서 자율 로봇이 신뢰도 높은 과업 수준 판단과 인지 맥락을 고려한 내비게이션을 통해 모니터링을 일관되게 수행할 수 있는 해결방안을 제시한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1. 1. Motivation 1
• 1. 2. Problem Statement 4
• 1. 3. Research Objectives 6
• Chapter 2. Background 8
• 2. 1. Vision-based Safety Monitoring in Construction 8
• 2. 2. Active Robot Vision and Next-Best-View 11
• 2. 3. Context-aware Vision and VisionLanguage Models 13
• 2. 4. Semantic Perception and Open-vocabulary Navigation 16
• Chapter 3. Research Methodology 19
• 3. 1. Methodology Framework 19
• 3. 2. VLM-Based Visual Reasoning and Self-awareness 23
• 3. 3. Semantic Parsing and Candidate Viewpoint Generation 28
• 3. 4. Semantic Likelihood FieldDriven NBV Formulation 32
• 3. 5. Navigation to the Selected Viewpoint 47
• Chapter 4. Dataset and Experimental Setup 49
• 4. 1. Simulation Environment and Dataset Collection 49
• 4. 2. Human Annotation Protocol 52
• 4. 3. Human Uncertainty Modeling 54
• 4. 4. Evaluation Setup: VLM Visual-Reasoning (Tier-1) 58
• 4. 5. Evaluation Setup: Navigation Experiments (Tier-2) 64
• Chapter 5. Results 71
• 5. 1. Human Annotation and Uncertainty Analysis 71
• 5. 2. VLM Reasoning Reliability and Self-awareness 79
• 5. 3. NBV-based Navigation Performance 90
• Chapter 6. Discussion 98
• 6. 1. Interpretation of Visual Uncertainty 98
• 6. 2. From Perceptual Uncertainty to Action Planning 102
• Chapter 7. Conclusion 106
• 7. 1. Conclusion 106
• 7. 2. Limitations and Directions for Future Research 109
• Bibliography 112
• Abstract in Korean 117