앵커 가이드 트랜스포머를 활용한 관계 기반의 정밀 레이아웃 생성 및 장면 합성 연구 = ArcLayout: Learning Spatial Commonsense for Precise Incremental Layout Generation

다국어 초록 (Multilingual Abstract)

Layout generation, which predicts the spatial configuration of objects such as bounding boxes and categories, serves as a fundamental structural blueprint for controllable image synthesis. In real-world scenarios, object placement is not arbitrary. Rather, humans determine optimal locations by considering semantic and spatial relationships with surrounding anchor objects （e.g., placing a mouse to the right of the keyboard）. However, existing inpainting models primarily rely on pixel-level statistical patterns, often failing to synthesize realistic content when the target object is generated in a physically implausible location. Moreover, most layout generation models focus on synthesizing entire scenes from scratch, lacking the flexibility to insert target objects while preserving the existing visual context. Furthermore, they are often confined to pre-defined closed-set classes, limiting their capability to handle diverse natural language queries. To address these limitations, we propose ArcLayout, a context-aware framework employing a large-scale open-vocabulary approach via Large Language Models （LLMs）. By leveraging the rich semantic embedding space of LLMs, our model handles unrestricted object categories and explicitly models spatial dependencies relative to anchor objects to infer the optimal layout. Through experiments, we demonstrate that our model effectively captures intrinsic spatial commonsense. Specifically, utilizing the generated layouts as structural guides significantly improves image realism and object recognizability, achieving Top-1 accuracies of 64.13% for position （Top-5 83.1%） and 63.66% for shape （Top-5 79.4%）, and recording an FID score of 62.02 with the Paint-by-Example inpainting model. These results underscore that explicit structural design is a prerequisite for high-fidelity image generation.

목차 (Table of Contents)

• 제1장 서 론 1
• 제1절 연구의 목적 1
• 제2절 연구의 범위 및 방법 4
• 1. 연구의 범위 4
• 2. 연구의 방법 5
• 제2장 연구에 관한 이론적 배경 7
• 제1절 관련 연구 7
• 1. 생성형 이미지 인페인팅 및 편집 7
• 2. 레이아웃 생성 8
• 3. 공간 추론을 위한 대규모 언어모델 9
• 제2절 배경 지식 10
• 1. 문제정의 10
• 2. 시퀀스 생성으로의 레이아웃 모델링 12
• 3. 조건부 이미지 인페인팅 13
• 제3장 방법론 14
• 제1절 모델 개요 14
• 제2절 자동화된 데이터 파이프라인 구축 15
• 1. 대규모 명사구 추출 16
• 2. 개방형 어휘 그라운딩 16
• 3. 관계 인식 순열 16
• 4. 공간 관계 토큰화 16
• 제3절 이산 기하학 토큰화 및 관계형 임베딩 17
• 1. 이산 기하학 토큰화 17
• 2. 관계형 복합 임베딩 18
• 3. 공간 제약 주입 18
• 제4절 앵커 가이드 트랜스포머 19
• 1. 맥락적 앵커 인코딩 19
• 2. 자기회귀 공간 추론 19
• 3. 학습 목표 20
• 4. 증분 편집 능력 20
• 제5절 자기회귀 레이아웃 추론 20
• 1. 재귀적 토큰 예측 22
• 2. 탐욕적 디코딩 전략 22
• 3. 레이아웃 이미지 통합 22
• 제4장 실험 24
• 제1절 실험 설정 24
• 1. coco2017 24
• 2. visual genome 25
• 3. 구현 세부 사항 25
• 제2절 평가지표 26
• 1. 레이아웃 생성 품질 26
• 2. 레이아웃 분포 27
• 3. 후속 합성 품질 28
• 제3절 비교 대상 및 베이스라인 28
• 1. 레이아웃 가이드의 효과 29
• 2. 제약 내에서의 공간 추론 29
• 3. 최신 기법과의 비교 30
• 제4절 정량적 결과 31
• 1. 레이아웃 생성 품질 31
• 2. 레이아웃 가이드의 효과 35
• 3. 제약 내에서의 공간 추론 36
• 4. 최신 기법과의 비교 39
• 제5절 정성적 결과 43
• 1. 시각적 분석 43
• 제6절 절제 연구 48
• 1. 공간 해상도에 대한 민감도 48
• 2. 의미적관계적 단서의 영향 49
• 3. 공간 제약 영향 49
• 제5장 결 론 51
• 참 고 문 헌 52
• ABSTRACT 56