DK-SEMF : a domain knowledge-driven semantic extraction and modeling framework for intelligent robots

다국어 초록 (Multilingual Abstract)

Modern robotic systems are evolving toward the capability to model, perceive, plan, and execute tasks based on knowledge about their environment. In such systems, adaptability—namely, the ability to perform assigned roles successfully even in continuously changing environments—has emerged as a critical requirement. However, environment-adaptive modeling presents several limitations. The environmental factors to be considered are diverse and complex, and the cost and time required to construct new models for new environments hinder practical deployment. To address these challenges, researchers have proposed advanced approaches that leverage domain knowledge or incorporate large-scale language models to improve the efficiency and accuracy of environmental modeling.
In this dissertation, we propose an integrated framework that enables autonomous environmental semantic extraction and modeling for robots by combining domain knowledge with Large Language Models (LLMs) and Vision-Language Models (VLMs). In the proposed system, a robot extracts semantic information about itself and, once deployed in a new environment, autonomously explores the space to generate a spatial map while simultaneously collecting semantic information about objects and places, which is stored in a structured database. Furthermore, this research goes beyond robot-only environmental modeling and introduces a human-robot collaborative modeling scheme. This allows users to directly participate in the environmental modeling process, thereby enabling effective interaction and knowledge sharing between humans and robots. To achieve this, we define semantic representations for robots, objects, and places, tailored to service robot environments. By specifying the robot’s affordances and the functional properties of objects and places, we enable the robot to understand its environment in a manner similar to humans. To autonomously and training-free collect this semantic information in new environments, robot-related semantics are extracted by querying Unified Robot Description Format (URDF) files and manuals with an LLM; object information is obtained by combining zero-shot object detection and vision question answering with VLMs; and place semantics are inferred using an LLM based on the collected object information. In particular, domain knowledge is incorporated during the extraction process to constrain the target environment's domain, thereby improving the accuracy of semantic extraction. To validate the applicability of the proposed framework to service robots, experiments were conducted in both simulation and real-world environments, and its effectiveness was demonstrated through qualitative and quantitative evaluations. Furthermore, a Robot Serviceability Measurement (RSM) is proposed to assess the framework from a service-oriented perspective, thereby demonstrating its practical utility. Finally, we outline future research directions to further advance autonomous environmental extraction and modeling.

국문 초록 (Abstract)

현대 로봇 시스템은 지식 정보를 기반으로 환경을 모델링하고, 인식하고, 계획을 세우고, 임무를 수행하는 방향으로 발전하고 있습니다. 이러한 시스템에서는 지속적으로 변화하는 환경에서도 자신의 역할을 성공적으로 수행할 수 있는 적응성이 핵심 요구사항으로 대두되고 있습니다. 그러나 환경 적응형 모델링은 여러 한계점을 지니고 있습니다. 고려해야 하는 환경 요인이 다양하고 복잡하며, 새로운 환경에 모델링 과정에서 발생하는 비용과 시간적 소모가 실용적인 적용을 어렵게 합니다. 이러한 문제를 해결하기 위해 연구자들은 도메인 지식을 활용하거나 대규모 언어 모델을 도입하여 환경 모델링의 효율성과 정확성을 향상시키는 고도화된 접근법을 제안하고 있습니다.
본 논문에서는 도메인 지식과 대규모 언어 모델 및 비전-언어 학습 모델을 융합하여 로봇의 자율적 환경 모델링을 가능하게 하는 통합 프레임워크를 제안합니다. 제안하는 시스템에서 로봇은 자신에 대한 시맨틱 정보 추출과 새로운 환경에 배치되면 자율 탐색을 통해 공간 지도를 생성하고, 동시에 객체와 장소의 의미적 정보를 수집하여 구조화된 데이터베이스에 저장합니다. 또한, 본 연구는 로봇 단독의 환경 모델링을 넘어서 인간과 로봇 협력 모델링을 도입합니다. 이를 통해서 사용자가 환경 모델링 과정에 직접 참여할 수 있도록 하여 인간과 로봇 간의 효과적인 상호작용과 지식 공유를 실현합니다. 이를 위해, 본연구에서는 서비스 로봇 환경에 특화된 의미적 정보 체계를 위하여 로봇, 객체 그리고 장소에 대한 의미적 정보를 정의합니다. 로봇의 어포던스, 객체와 장소의 기능적 속성 등을 정의하여 로봇이 환경을 인간과 유사한 방식으로 이해할 수 있도록 하였습니다. 정의된 의미 정보를 새로운 환경에서 자율적이고 학습 없이 수집하기 위하여, 로봇 정보는 URDF와 메뉴얼로부터 검색하여 LLM에 의해 추출하며, 객체 정보는 비전-언어 모델기반 제로샷 기반 객체 인식 및 비전 질의응답 모델을 활용하여 시맨틱 정보를 추출하며, 장소는 수집된 객체 정보를 기반으로 대규모 언어 모델을 활용하여 시맨틱 정보를 추출합니다. 특히 새로운 환경에 대한 도메인을 한정함으로써 의미 정보 수집의 정확도를 향상시키기 위하여 도메인 지식을 시맨틱 추출 단계에서 활용합니다. 제안한 프레임워크의 서비스 로봇 적용 가능성을 검증하기 위해 시뮬레이션과 실제 환경에서의 실험을 수행하였으며, 그 유효성을 정성적 그리고 정략적으로 입증했습니다. 더 나아가, 서비스 지향적 관점에서 프레임워크를 평가하기 위한 로봇 서비스 제공성 측정(RSM)을 제안하여, 제안한 프레임워크의 실용적 유효성을 검증합니다. 마지막으로, 프레임워크의 향후 연구 방향을 제시하여 자율적 환경 모델링 발전 방향을 제시합니다.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• Chapter 2. Related Work 10
• 2.1. Semantic Autonomous Navigation Framework 12
• 2.2. Domain Knowledge 17
• 2.3. Foundation Models 20
• 2.4. Semantic Extraction Methods 23
• 2.4.1. Robot semantic extraction methods 23
• 2.4.2 Environment semantic extraction methods 28
• Chapter 3. Knowledge-Grounded Semantic Extraction and Modeling Framework 35
• 3.1. Definition of TOSM-based Properties 39
• 3.2. Robot's Semantic Information Extraction 45
• 3.3. Object's Semantic Information Extraction 52
• 3.3.1. Autonomous Exploration 54
• 3.3.2. Object List Generation 57
• 3.3.3. Zero-Shot-Based Object Detection 61
• 3.3.4. Object Semantic Information Extraction 65
• 3.4. Place's Semantic Information Extraction 69
• 3.4.1. Place Segmentation of the Map 70
• 3.4.2. Object Formation and Integration at each place 72
• 3.4.3. Place Semantic Information Extraction 74
• 3.5. Semantic Modeling Robot Language 79
• 3.6. Semantic Database Generation and Expression 82
• Chapter 4. Knowledge-Action Integration based on Semantic Modeling 85
• 4.1. Semantic Map Generation 87
• 4.2. Semantic navigation with Semantic Address 91
• 4.3. Semantic Task Planning Language 96
• 4.4. Semantic Information Processing 101
• Chapter 5. Experiment 105
• 5.1. Experimental Environment and Set-up 105
• 5.2. Experimental Scenario and Methods 108
• 5.3. Experimental Results 113
• 5.3.1. Qualitative Results 113
• 5.3.2. Quantitative Results 118
• 5.3.3. Comparison Results 120
• 5.3.4. Ablation Studies 122
• 5.3.5. Robot Serviceability Measurement 125
• Chapter 6. Discussion 130
• Chapter 7. Conclusions 132
• References 134
• 논문요약 142