Design of a 3D Reconstruction Pipeline of Occluded Objects in Korean Royal Court Paintings = 한국 궁중기록화 속 가려진 객체의 3D 재구성 파이프라인 설계

다국어 초록 (Multilingual Abstract)

This study proposes a four-stage pipeline for the individual 3D reconstruction of overlapping artifacts depicted in Korean Royal Court Paintings. Korean Royal Court Paintings are a valuable visual record of historical material culture, but the occlusion caused by their overlapping compositions hinders the complete assetization of individual objects. To address this, the proposed pipeline consists of （1） Image Restoration, （2） Object Segmentation, （3） Inpainting （SSEI）, and （4） 3D Reconstruction, with each stage connected through explicit input-output interfaces so that it can be replaced independently. The Image Restoration stage sequentially applies three sub-steps: Split-Radius Spectral Interpolation, which removes the weave pattern in the frequency domain; Spatial-Adaptive NLM, which locally smooths the residual weave pattern and chromatic components remaining near object boundaries and in narrow regions; and Contour Enhancement, which restores the weakened contour contrast. The Object Segmentation stage refines coarse LabelMe polygon annotations through SAM-based two-pass constrained refinement （shrink-only and interior preservation） and extracts each object as an RGBA image. The Inpainting （SSEI） stage first detects occluded regions via label-based layer ordering, and then restores them using a training-free self-exemplar approach （Style-consistent Self-Exemplar Inpainting, SSEI） that draws reference patches only from the visible region. Here, patches near the occlusion boundary of the same object are filled progressively from the boundary inward, a multi-stage color-consistency check suppresses the intrusion of incongruent colors, and the shared cross-boundary line is restored at a variable width matched to the stroke thickness measured in the visible region, thereby reviving the occluded boundary line of the object. The final 3D Reconstruction stage converts each completed individual-object image into an independent 3D textured mesh.
SSEI, the core contribution, is a training-free approach in which every synthesized pixel is copied from the visible region of the original painting itself, so that the algorithm structurally guarantees style preservation. In an evaluation on 50 synthetic occlusion cases extracted from Korean Royal Court Paintings, SSEI ranked first across all three metrics, leading with a PSNR of 19.25 dB alongside the best SSIM and LPIPS scores. While the two classical interpolation algorithms, Navier-Stokes and Telea, formed the next tier at around 15 dB, all learning-based models—generative methods PowerPaint and BrushNet as well as LaMa and SD-Inpaint—fell short of SSEI; in particular, several of these models trained on natural images remained at the 9-10 dB level, even below the classical algorithms, revealing the limited cultural-heritage-domain transferability of learning-based models and suggesting that domain distribution mismatch is a more dominant determinant of performance than architectural sophistication. This advantage reflects a robust performance gap rather than a mere difference in means: it was statistically significant over all baselines in the Wilcoxon signed-rank test （p 〈 0.01）, SSEI was clearly separated from the next-ranked method with the lowest mean rank in the critical difference diagram, and every comparison fell within the large-effect region in the Cohen's d effect-size analysis.
In conclusion, this study establishes a self-exemplar-based inpainting paradigm that quantitatively preserves stylistic consistency in the cultural-heritage domain where training data are scarce, systematizes a heritage-specific preprocessing methodology, and integrates them into an end-to-end pipeline, thereby presenting a systematic approach for converting individual artifacts in the flatness-emphasizing, scattered-perspective Korean Royal Court Paintings into independently manipulable 3D digital assets. The proposed pipeline holds potential for applications such as the 3D assetization of elements in court paintings, virtual content production, and hypothetical visualization of occluded artifacts. In doing so, this study provides the first empirical evidence for the validity of a style-consistent, self-exemplar-based approach that overcomes the limitations of learning-based state-of-the-art models for the unsolved problem of 3D reconstruction of occluded objects in Korean Royal Court Paintings, located at the intersection of cultural heritage and computer vision, and it is hoped that the proposed SSEI and integrated pipeline will serve as a reference point for future research on the digital restoration of Korean painting heritage.

국문 초록 (Abstract)

본 논문은 한국 궁중기록화에 묘사된 중첩 유물의 개별 3D 재구성을 위한 4단계 파이프라인을 제안한다. 궁중기록화는 역사적 물질문화의 귀중한 시각 기록이나, 중첩된 구도로 인한 폐색（occlusion）이 개별 객체의 완전한 자산화를 방해한다. 이를 해결하기 위해 본 파이프라인은 （1） Image restoration, （2） Object segmentation, （3） Inpainting （SSEI）, （4） 3D reconstruction의 네 단계로 구성되며, 각 단계는 명시적 입출력 인터페이스로 연결되어 독립적으로 교체할 수 있다. Image restoration 단계는 주파수 영역에서 직조 패턴을 제거하는 Split-Radius spectral interpolation, 객체 경계 및 좁은 영역에 잔존하는 직조 패턴과 색도 성분을 위치별로 평활화하는 Spatial-Adaptive NLM, 그리고 약화된 윤곽 대비를 회복하는 Contour enhancement의 세 하위 단계를 순차 적용한다. Object segmentation 단계는 LabelMe 다각형 주석을 SAM 기반 2-pass 제약 정제（shrink-only·내부 보존）로 정밀화하여 개별 객체를 RGBA 이미지로 추출한다. Inpainting （SSEI） 단계는 레이블 기반 레이어 순서로 폐색 영역을 검출한 뒤, 가시 영역 패치만을 참조원으로 활용하는 학습 불필요 자기 참조 인페인팅（Style-consistent Self-Exemplar Inpainting, SSEI）으로 가려진 영역을 복원한다. 이때 동일 객체의 폐색 경계 인근 패치를 경계에서 안쪽으로, 점진적으로 채워 넣고, 다단계 색상 일관성 검사로 이질적인 색의 유입을 억제하며, 가시 영역에서 측정한 윤곽선 두께에 맞추어 교차 경계선을 가변 폭으로 복원함으로써 객체의 가려진 경계선을 되살린다. 마지막으로 3D reconstruction 단계는 완성된 개별 객체 이미지를 독립적인 3D 텍스처 메쉬로 변환한다.
핵심 기여인 SSEI는 모든 합성 콘텐츠를 원본 그림 자체의 가시 영역에서 복사함으로써, 스타일 보존을 알고리즘의 구조적 속성으로 보장하는 학습 불필요 접근법이다. 궁중기록화에서 추출한 50개 합성 폐색 케이스에 대한 평가에서 SSEI는 PSNR 19.25 dB를 비롯하여 SSIM과 LPIPS까지 세 메트릭 모두에서 1위를 차지하였다. 두 고전 보간 알고리즘인 Navier-Stokes와 Telea가 약 15 dB 수준으로 그 뒤를 잇는 차순위를 형성한 반면, 생성형 기반 방법인 PowerPaint와 BrushNet은 물론 LaMa와 SD-Inpaint까지 모든 학습 기반 모델이 SSEI에 미치지 못하였으며, 특히 자연 이미지로 학습된 이들 중 다수가 고전 알고리즘에도 못 미치는 9~10 dB 수준에 머문 결과는 학습 기반 모델의 문화재 도메인 전이 한계를 드러내어 도메인 분포 불일치가 아키텍처의 정교함보다 지배적인 성능 결정 요인임을 시사한다. 이러한 우위는 단순한 평균 차이가 아니라 견고한 성능 격차로서, Wilcoxon signed-rank 검정에서 모든 베이스라인 대비 통계적으로 유의하였고（p 〈 0.01）, critical difference diagram에서 SSEI가 가장 낮은 평균 순위로 차순위와 명확히 분리되었으며, Cohen's d 효과 크기 분석에서도 모든 비교가 large-effect 영역에 속하는 것으로 확인되었다.
결론적으로 본 연구는 학습 데이터가 희소한 문화유산 도메인에서 스타일 일관성을 정량적으로 보존하는 자기 참조 기반 인페인팅 패러다임을 정립하고, 문화유산 특화 전처리 방법론을 체계화하였으며, 이를 end-to-end 파이프라인으로 통합 구현함으로써 평면성이 강조되고 산점 투시로 그려진 한국 궁중기록화 속 개별 유물을 독립적으로 조작할 수 있는 3D 디지털 자산으로 변환하는 체계적 접근을 제시한다. 본 파이프라인은 궁중기록화 속 요소의 3D 자산화, 가상 콘텐츠 제작, 가려진 유물의 가설적 시각화 등에 활용될 잠재력을 지닌다. 이로써 본 연구는 문화유산과 컴퓨터 비전의 교차점에 놓인 한국 궁중기록화 속 가려진 대상물의 3D 재구성이라는 미해결 문제에 대해, 학습 기반 state-of-the-art 모델의 한계를 넘어서는 스타일 일관적이고 자기 참조 기반인 접근법의 유효성을 최초로, 실증적으로 입증하였으며, 제안한 SSEI와 통합 파이프라인이 향후 한국 회화 문화유산의 디지털 복원 연구를 위한 참조점이 되기를 기대한다.

목차 (Table of Contents)

• I. Introduction 1
• 1. Background and research subject 1
• 1) Background 1
• 2) Research subject 2
• 2. Objective and methodology 5
• Ⅱ. Related Works 9
• 1. 3D reconstruction of traditional paintings 9
• 1) 3D digitalization of cultural heritage 9
• 2) Traditional painting-based 3D reconstruction 10
• 3) Single-image to 3D reconstruction 10
• 4) Stylized 3D reconstruction 11
• 5) Object-centric scene decomposition 12
• 2. Complete restoration of occluded objects 13
• 1) General image inpainting 13
• 2) Cultural heritage-specific inpainting 14
• 3) Reference-based inpainting 15
• 4) Amodal completion and layer decomposition 16
• 5) Depth estimation and spatial reasoning 17
• Ⅲ. Proposed Method 20
• 1. Design principles and pipeline overview 20
• 2. Pipeline details 23
• 1) Image restoration module 23
• 2) Object segmentation module 30
• 3) Style-consistent Self-Exemplar Inpainting (SSEI) module 33
• 4) 3D reconstruction module 46
• Ⅳ. Experiment 47
• 1. Dataset and implementation environment 47
• 1) Test dataset 47
• 2. Evaluation metrics 48
• 1) Evaluation metrics for image restoration 50
• 2) Evaluation metrics for inpainting 50
• 3) Evaluation metrics for end-to-end pipeline 52
• 3. Experimental results 53
• 1) Experiment 1: Image restoration module 53
• 2) Experiment 2: Inpainting (SSEI) Module 57
• 3) Experiment 3: End-to-end pipeline ablation study 75
• 4. Comprehensive analysis of experimental results 81
• 1) Integrated analysis of module contributions 81
• 2) Evidence for the justification of the training-free approach 82
• 3) Quantitative evidence of domain mismatch 83
• Ⅴ. Discussion 85
• Ⅵ. Conclusion 91
• References 94
• Abstract 103