Learning to Generate Human-Human-Object Interactions from Textual Descriptions = 다수의 사람과 사물간의 3차원 상호관계의 텍스트 기반 학습 및 생성

다국어 초록 (Multilingual Abstract)

The way humans interact with each other, including interpersonal distances, spatial configuration, and motion, varies significantly across different situations. To enable machines to understand such complex, context-dependent behaviors, it is essential to model multiple people in relation to the surrounding scene context. In this paper, we present a novel research problem to model the correlations between two people engaged in a shared interaction involving an object. We refer to this formulation as Human-Human-Object Interactions (HHOIs). To overcome the lack of dedicated datasets for HHOIs, we present a newly captured HHOIs dataset and a method to synthesize HHOI data by leveraging image generative models. As an intermediary, we obtain individual human-object interaction (HOIs) and human-human interaction (HHIs) from the HHOIs, and with these data, we train a text-to-HOI and text-to-HHI model using score-based diffusion model. Finally, we present a unified generative framework that integrates the two individual model, capable of synthesizing complete HHOIs in a single advanced sampling process. Our method extends HHOI generation to multi-human settings, enabling interactions involving more than two individuals. Experimental results show that our method generates realistic HHOIs conditioned on textual descriptions, outperforming previous approaches that focus only on single-human HOIs. Furthermore, we introduce multi-human motion generation involving objects as an application of our framework.

국문 초록 (Abstract)

사람들이 서로 상호작용하는 방식은 사람들 간 거리, 공간에 각자의 위치나 자세 등 다양한 양상을 띄게 된다. 로봇과 같은 기계들이 이러한 복잡한 행동과 패턴을 이해할 수 있도록 하기 위해서는, 여러 명의 사람과 주위 환경과의 관계를 모델링하는게 필수적이다. 본 논문에서는 특정 사물과 함께 상호작용에 참여하는 두 사람 간의 상관관계를 모델링하는 새로운 연구 문제를 제시하고, 이를 사람-사람—사물 상호작용, (Human-Human-Object Interactions, HHOIs)라고 명명한다. 기존 연구들 중에는 HHOI 전용 데이터셋이 많지 않은데, 이를 극복하기 위해 새롭게 HHOI 데이터셋을 생성하고, 이미지 생성 모델을 활용한 HHOI 데이터 합성 방법을 제시한다. HHOI로부터 개별 인간-객체 상호작용(HOI) 과 인간-인간 상호작용(HHI)을 획득하고, 이러한 데이터를 사용하여 score-based diffusion model로 텍스트 기반 HOI 및 텍스트 기반 HHI모델을 학습시킨다. 마지막으로, 두 개별 모델을 통합하는 통합 생성 프레임워크를 제시하며, 통합 샘플링 과정으로 하나의 온전한 HHOI를 합성할 수 있다. 이러한 방법은HHOI 생성을 여러명의 사람이 있는 설정으로 확장하여, 두 명 이상의 개인이 참여하는 상호작용을 가능하게 한다. 실험 결과들은 제시된 방법이 텍스트 설명에 기반하여 현실적인 HHOI를 생성하며, 단일 인간 HOI에만 초점을 맞춘 기존 접근법들에 비해 더 나은 성능을 보여줌을 증명한다. 추가적으로, 해당 프레임워크의 추후 연장선으로 객체를 포함한 다중 인간 모션 생성을 제시한다

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Work. 4
• Chapter 3. Methods. 6
• Chapter 4. Datasets 14
• Chapter 5. Experiments 16
• Chapter 6. Conclusion 23
• Bibliography 24
• Abstract in Korean 30