국소 기하 정밀 3차원 객체 생성을 위한 서브 볼륨 단위 적응형 노이즈 스케줄링 기반 확산 모델 = Diffusion Model Based on Sub-Volume Adaptive Noise Scheduling for Local Geometrically Precise 3D Object Generation

국문 초록 (Abstract)

국소 기하 정밀 3차원 객체 생성을 위한 서브 볼륨 기반 적응형 노이즈 스케줄링 확산 모델 확산 모델(Diffusion Model)은 적대적 생성 신경망 (Generative Adversarial Networks; GAN), 변분 오토인코더 (Variational Autoencoder; VAE)등 다양한 생성 모델이 제안되었음에도 우수한 성능과 함께 많은 주목을 받고 있는 알고리즘이다. 확산 모델을 활용한 많은 연구들이 2D부터 3D까지 광범위하게 이어지고 있다. 2D 데이터에 대한 확산 모델은 우수한 연구와 성과들이 존재하지만 3D 데이터를 활용한 확산 모델은 많은 한계를 가진다. 3D 데이터는 공간적인 구조와 차원 증가 등 고려해야 할 점이 많다. 따라서 효율적인 학습을 위해 Signed Distance Field(SDF) 데이터 표현을 통한 확산 모델 연구들이 진행되고 있지만 복잡한 지역적 구조(얇은 선, 굴곡 등)를 잘 재현하지 못한다는 문제점이 존재한다. 이러한 문제점을 해결하기 위해 서브 볼륨 기반 적응형 확산 모델을 제안한다. 기존의 확산 모델은 고정적인 노이즈 스케줄을 사용하여 데이터의 모든 영역에 동일한 노이즈를 주입한다. 고정적인 노이즈 스케줄을 사용하게 되면 단순한 영역과 복잡한 영역 구분 없이 동일한 노이즈가 주입되기 때문에 공간적으로 비균일한 복잡도를 반영하지 못한다. 이 문제를 해결하기 위해 모든 영역에 동일한 노이즈를 주입하는 고정형 노이즈 스케줄링이 아닌 적응형 노이즈 스케줄링을 통해 공간에서 객체의 복잡한 영역과 단순한 영역을 적응적으로 학습하여 노이즈 주입을 조절한다. 또한 객체의 일관적인 특성을 유지하기 위해 객체를 독립적인 서브 볼륨으로 분리하여 노이즈 스케줄링을 적용한다. ShapeNet 데이터셋을 대상으로 실험을 진행하였고, Chamfer Distance(CD)와 Earth Mover’s Distance(EMD) 기준으로 Minimum Matching Distance(MMD), Coverage(COV), Nearest Neighbor Accuracy(1-NNA)로 다양한 생성 모델과 비교하였다. 그 결과 형상 생성, 복잡한 구조의 보존, 계산 비용 측면에서 정량적 평가와 정성적 평가가 기존의 확산 모델 보다 우수함을 입증하였다. 추후 VR/XR 등 3D 객체를 활용하는 애플리케이션에 많은 기여를 할 수 있을 것으로 기대된다. Keywords: Generation Model, Diffusion Model, Noise Scheduling, Sign Distance Field, Variational Autoencoder

목차 (Table of Contents)

• [국문 요약] i
• [목차] iii
• [그림 목차] v
• [표 목차] vi
• 1. 서론 1
• 1.1. 연구 배경 및 동기 1
• 1.2. 2D 확산 모델과 3D 확산 모델의 차이점 1
• 1.3. 3D 확산 모델의 한계점 3
• 1.4. 연구의 필요성 5
• 1.5. 논문의 기여 및 구성 6
• 2. 관련 연구 7
• 2.1. 3D 데이터 7
• 2.1.1. 포인트 클라우드 7
• 2.1.2. 복셀 9
• 2.1.3. 메쉬 10
• 2.1.4. Implicit Field 13
• 2.2. 고품질 객체 복원 및 생성 16
• 2.3. 생성 모델 17
• 2.3.1. 적대적 생성 신경망 (GAN) 18
• 2.3.2. 변분 오토 인코더(VAE)) 20
• 2.3.3. 확률적 디노이징 확산 모델(DDPM) 22
• 2.4. 확산 모델의 노이즈 스케줄링 24
• 2.4.1. Variational Diffusion Model (VDM) 24
• 2.4.2. Neural Diffusion Model (NDM) 25
• 3. 적응형 서브 볼륨 확산 모델 27
• 3.1. 모델 구조 27
• 3.1.1. 서브 볼륨 인코더 31
• 3.1.2. 퓨리에 변환 33
• 3.1.3. 적응형 노이즈 확산 과정 36
• 3.1.3.1. 다변량 가우시안 노이즈 스케줄 36
• 3.1.3.2. 조건에 따른 적응형 노이즈 스케줄 37
• 3.1.4. 역 확산 과정 38
• 3.1.4.1. 조건부 역 확산 마르코프 체인 38
• 3.1.4.2. 서브 볼륨 단위 분산과 노이즈 제거의 공간적 비균질성 39
• 3.1.5. Gamma 네트워크 39
• 3.2. 학습 구조 및 방법 43
• 3.2.1. 손실함수 정의 43
• 3.2.1.1. 재구성 손실 43
• 3.2.1.2. 확산 손실 44
• 3.2.1.3. 확산 prior 손실 44
• 3.2.1.4. 잠재 prior 손실 45
• 3.2.2. 학습과정 45
• 4. 실험결과 47
• 4.1. 데이터 셋 47
• 4.2. 실험 환경 48
• 4.3. 성능 평가 지표50
• 4.3.1. Chamfer Distance (CD), Earth Mover’s Distance (EMD) 52
• 4.3.2. Minimum Matching Distance (MMD) 53
• 4.3.3. Coverage (COV) 53
• 4.3.4. Nearest Neighbor Accuracy (1-NNA) 54
• 4.4. 실험 결과 55
• 4.4.1. 정량적 평가 55
• 4.4.2. 정성적 평가 58
• 5. 결론 및 향후 연구 61
• 5.1. 결론61
• 5.2. 향후 계획 63
• [참고 문헌] 65
• [영문 요약] 72