3D 건물 Digital Twin World Graph를 활용한 시각 관측 기반 실내 위치 추정 = Visual Observation-Based Indoor Position Estimation Using a 3D Building Digital Twin World Graph

국문 초록 (Abstract)

본 논문은 3D 건물 Digital Twin World Graph를 기준 공간 지식으로 구성하고, 사용자의 실제 시각 관측에서 도출된 공간 단서를 활용하여 사용자가 위치할 가능성이 높은 후보 Room을 추정하는 방법을 제안한다. 원본 3D 건물 공간 정보는 건물, 방, 경계면, 개구부, 가구 등 실내 객체의 의미 정보와 기하 정보를 포함하지만, 계층적 데이터 구조만으로는 객체 간 복합 관계 질의나 실제 관측 단서와 Digital Twin 내부 공간의 직접 연결이 어렵다. 본 논문은 실내 위치 추정을 좌표·자세 산출이 아니라, 실제 시각 관측을 Digital Twin 내부 후보 Room과 대응시키는 Room-level ranking 문제로 다룬다.
이를 위해 3D 건물 공간 정보에서 Building, Room, BoundarySurface, Opening, BuildingFurniture 등의 주요 객체를 추출하고, 이를 3D 건물 Digital Twin World Graph의 노드로 구성한다. 객체 계층, 포함, 경계, 연결 관계는 기초 그래프 구성 관계로 활용하며, 시각 관측과의 비교를 위해 HOSTED_BY, ADJACENT_SURFACE, ATTACHED_TO, ABOVE, BELOW와 같은 Semantic-Spatial Relation을 확장한다. 각 관계에는 생성 기준, 신뢰도, evidence score를 포함한 relation metadata를 부여하여 후보 Room 판단의 semantic-spatial evidence로 활용한다.
입력 이미지는 직접적인 좌표 추정 대상으로 처리하지 않고, 관측 가능한 객체, 개구부, 표면, 객체 간 배치 관계를 Observed View Graph Schema로 구조화한다. 이때 Graph Anchor는 Observed View Graph 안에서 World Graph의 node 및 relation pattern과 대응되는 핵심 관측 단서로 정의된다. 이후 Graph Anchor와 World Graph의 semantic-spatial evidence를 비교하여 각 Room을 후보 위치로 평가하고, 최종 결과는 후보 Room ranking과 matched evidence로 제시한다.
실험은 명지 스마트 빌리지 e-Type 201동 실증 건물 정보를 대상으로 수행하였다. E102, E103, E204 Room을 중심으로 시각 관측 시나리오를 구성하고, 주요 객체 및 객체-표면 관계가 후보 Room ranking에 어떻게 반영되는지 분석하였다. Kitchen view와 Living / TV-sofa view 시나리오에서는 target Room이 1순위 후보로 반환되었고, Sparse opening / window view 시나리오에서는 target Room이 상위 후보군에 포함되었다. 분석 결과는 제안한 World Graph가 실제 시각 관측을 Digital Twin 내부 후보 Room과 대응시키는 semantic prior로 기능할 수 있음을 보여준다.

다국어 초록 (Multilingual Abstract)

This thesis proposes an indoor position estimation method that constructs a 3D Building Digital Twin World Graph as reference spatial knowledge and uses spatial cues derived from real-world visual observations to estimate candidate Rooms in which a user is likely to be located. Although 3D building spatial information includes semantic and geometric information about indoor objects such as rooms, boundary surfaces, openings, and furniture, its hierarchical data structure makes it difficult to query complex object relations or directly connect visual observation cues with spaces in the digital twin. This thesis treats indoor position estimation not as coordinate or pose estimation, but as a Room-level ranking problem that matches real-world visual observations with candidate Rooms in the digital twin.
To this end, major objects such as Building, Room, BoundarySurface, Opening, and BuildingFurniture are extracted from 3D building spatial information and represented as nodes in the 3D Building Digital Twin World Graph. Object hierarchy, containment, boundary, and connectivity relations are used as basic graph relations, while semantic-spatial relations such as HOSTED_BY, ADJACENT_SURFACE, ATTACHED_TO, ABOVE, and BELOW are extended for comparison with visual observations. Each relation is assigned metadata, including generation criteria, confidence, and evidence score, and is used as semantic-spatial evidence for candidate Room estimation.
The input image is not treated as a direct source for coordinate-level position estimation. Instead, visible objects, openings, surfaces, and object-level spatial relations are structured as an Observed View Graph Schema. In this process, a Graph Anchor is defined as a key observation cue in the Observed View Graph that corresponds to the nodes and relation patterns of the World Graph. The Graph Anchors are then compared with semantic-spatial evidence in the World Graph to evaluate each Room as a candidate location, and the final output is provided as a candidate Room ranking with matched evidence.
Experiments were conducted using the e-Type 201dong testbed building in Myeongji Smart Village. Visual observation scenarios were constructed around Rooms E102, E103, and E204 to analyze how major objects and object-surface relations are reflected in candidate Room ranking. In the Kitchen view and Living / TV-sofa view scenarios, the target Room was returned as the top-ranked candidate, while in the Sparse opening / window view scenario, the target Room was included in the upper candidate set. The results show that the proposed World Graph can function as a semantic prior for associating real-world visual observations with candidate Rooms in a digital twin.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• 1.1 연구의 배경과 목적 1
• 1.2 연구방법 3
• Ⅱ. 관련 연구 7
• 2.1 3D 건물 Digital Twin과 표준 공간 정보 모델 7
• 2.2 3D Scene Graph와 World Graph 9
• 2.3 그래프 데이터베이스와 공간 질의 12
• 2.4 시각 관측 기반 실내 위치 추정 연구 13
• Ⅲ. 제안 방법 16
• 3.1 제안 프레임워크 개요 16
• 3.2 3D 건물 Digital Twin World Graph 구성 19
• 3.3 위치 추정 지원을 위한 Semantic-Spatial Relation 확장 22
• 3.4 Graph Anchor 기반 Observed View Graph 표현 25
• 3.5 World Graph Retrieval 기반 후보 Room Ranking 28
• Ⅳ. 실험 및 분석 31
• 4.1 실험 데이터셋 및 분석 환경 31
• 4.2 World Graph의 Semantic-Spatial Evidence 구성 분석 33
• 4.3 Observed View Graph Schema 기반 시각 관측 시나리오 구성 36
• 4.4 시각 관측 시나리오 기반 후보 Room Ranking 분석 38
• 4.5 제안 World Graph 기반 접근의 특성 분석 41
• Ⅴ. 결 론 44
• 5.1 연구 결과 요약 44
• 5.2 연구의 한계 45
• 5.3 향후 연구 방향 45
• 참고문헌 47
• Abstract 51