V-PCC 속성 영상을 위한 점유맵 유도 신경망 압축 방법 = Occupancy Map-Guided Learned Compression of V-PCC Attribute Video

국문 초록 (Abstract)

본 논문에서는 기존 Video-based Point Cloud Compression (V-PCC) 속성 영상의 부호화 효율을 개선하기 위해 신경망 기반의 다중 도메인 점유맵 기반 부호화(Dual-domain Occupancy-map-guided Coding, DOGC) 방법을 제안한다. V-PCC는 3차원 포인트 클라우드 데이터를 2차원 영상으로 변환한 후 기존의 비디오 코덱을 이용하여 이를 부호화하며, 이 과정에서 속성 영상, 기하 영상, 점유맵 세 가지 영상을 생성한다. 점유맵은 속성 영상과 기하 영상의 각 화소가 3차원 공간상의 실제 점으로부터 투영된 유효 화소인지 혹은 비유효 화소인지를 나타낸다. 기하 영상은 깊이 정보를 포함하며, 근층(near layer)과 원층(far layer)이 한 쌍을 이루어 형성된다. 속성 영상은 색상 정보를 나타내며 최종 복원된 포인트 클라우드의 품질에 직접적인 영향을 미친다. 그러나 V-PCC는 속성 영상, 기하 영상, 점유맵이 3차원 공간상에서 상관관계를 가진다는 점을 고려하지 않고 세 영상을 각각 부호화한다. 이는 속성 영상을 부호화할 때 점유맵이 내포하는 점유 정보를 속성 영상의 부호화 과정에 효과적으로 반영하지 못하기 때문에 최적의 부호화 성능을 달성하기 어렵다. 이를 극복하기 위해 본 연구에서는 신경망 기반 비디오 코덱 DCVC를 기반으로 속성 영상을 부호화할 때 점유맵을 입력 단계와 중간 단계에서 활용하여 유효 화소에 대한 왜곡을 최소화하고, 점유맵을 활용한 손실 함수를 설계하여 비유효 화소에 대한 불필요한 비트 낭비를 줄이도록 유도함으로써 속성 영상의 부호화 효율을 개선한다. 실험 결과 제안 방법은 기존 DCVC 대비 16.7%의 BD-Rate 이득을 달성하였다.

목차 (Table of Contents)

• 약 어 설 명 ⅴ
• 국 문 요 약 ⅵ
• Ⅰ. 서 론 1
• Ⅱ. Video-based Point Cloud Compression 3
• 2.1 V-PCC 표준 3
• 2.2 V-PCC 부호화 구조 5
• 2.3 기하 영상 생성 9
• 2.4 속성 영상 생성 10
• 2.5 점유맵 생성 12
• 2.6 V-PCC 한계 15
• Ⅲ. 신경망 기반 비디오 부호화 16
• 3.1 DVC 16
• 3.2 DCVC 17
• 3.3 최신 신경망 기반 비디오 부호화 18
• Ⅳ. 제안 방법 20
• 4.1 화소 도메인 점유맵 기반 부호화 21
• 4.2 특징 도메인 점유맵 기반 부호화 23
• 4.3 다중 도메인 점유맵 기반 부호화 26
• 4.4 학습 방법 28
• Ⅴ. 실험 및 분석 29
• 5.1 성능 평가 29
• 5.2 Ablation 연구 31
• Ⅵ. 결 론 34
• 참 고 문 헌 35
• ABSTRACT 37