Special Effects Overview

노준용(Junyong Noh) 한국HCI학회 2007 한국HCI학회 학술대회 Vol.2007 No.2

컴퓨터그래픽 전문기업 에프엑스기어(FXGear)

노준용(JunYong Noh) 한국정보과학회 2013 정보과학회지 Vol.31 No.11

페이셜 리그에 대한 페이셜 캡처 데이터의 다이렉트 리타겟팅 방법

송재원,노준용(Junyong Noh) 한국컴퓨터그래픽스학회 2016 컴퓨터그래픽스학회논문지 Vol.22 No.2

본 논문은 페이셜 캡처 데이터로부터 페이셜 리그에 대한 다이렉트 리타겟팅을 수행하는 새로운 방법론에 대하여 다룬다. 페이셜 리그는 프로덕션 파이프라인에서 아티스트가 손쉽게 페이셜 애니메이션을 제작하기 위하여 만들어진 제작 도구로서, 모션 캡처 등으로 생성된 얼굴 애니메이션 데이터를 페이셜 리그에 매핑할 경우 아티스트에게 친숙한 방식으로 손쉽게 수정, 편집할 수 있으므로 작업 능률을 크게 향상시킬 수 있다는 장점이 있다. 그러나, 페이셜 리그는 그 종류와 작동 방식이 매우 다양하므로, 다양한 페이셜 리그에 대하여 강건하고 안정적으로 모션 데이터를 매핑할수 있는 일반화된 방법을 찾기는 쉽지 않다. 이를 위하여, 본 논문은 캡처된 얼굴 모션 중 몇 개의 대표적 표정에 대하여 아티스트가 페이셜 리그로 제작한 표정을 예제로 학습시키는 데이터 기반 페이셜 리타겟팅 방식을 제안한다. 이를 통하여 우리는 아티스트가 페이셜 캡처 데이터를 기존 애니메이션 파이프라인의 페이셜 리그를 활용하여 손쉽게 수정할수 있도록 할 뿐 아니라, 수십 수백개의 대응점을 일일이 지정해 주어야 하거나 사람과 많이 다른 동물 및 괴물 형태의 얼굴에는 리타겟팅이 잘 이루어지지 않았던 기존 대응점 기반 리타겟팅 방식의 한계점 또한 극복할 수 있었다. 본 논문의 결과물들은 우리의 방식이 제공하는 단순하면서도 직관적인 얼굴 애니메이션 리타겟팅이 실제 애니메이션 프로덕션에서 얼마나 효율적으로 활용될 수 있는지를 보여준다. This paper proposes a method to directly retarget facial motion capture data to the facial rig. Facial rig is an essential tool in the production pipeline, which allows helping the artist to create facial animation. The direct mapping method from the motion capture data to the facial rig provides great convenience because artists are already familiar with the use of a facial rig and the direct mapping produces the mapping results that are ready for the artist’s follow-up editing process. However, mapping the motion data into a facial rig is not a trivial task because a facial rig typically has a variety of structures, and therefore it is hard to devise a generalized mapping method for various facial rigs. In this paper, we propose a data-driven approach to the robust mapping from motion capture data to an arbitary facial rig. The results show that our method is intuitive and leads to increased productivity in the creation of facial animation. We also show that our method can retarget the expression successfully to non-human characters which have a very different shape of face from that of human.

리깅 공간으로의 몸체 동작 리타겟팅

송재원(Jaewon Song),노준용(Junyong Noh) 한국컴퓨터그래픽스학회 2014 컴퓨터그래픽스학회논문지 Vol.20 No.3

본 논문에서는 대상이 되는 디지털 캐릭터가 기존 애니메이션 파이프라인에서 사용되는 수준의 복잡한 리깅을 가졌더라도, 해당 리깅의 리깅 공간(Rig-space)에 모션을 리타겟팅 할 수 있는 안정적이고 새로운 리타게팅 방법을 활용한다. 이를 위하여 다양하고 복잡한 방식으로 리깅된 서로 다른 캐릭터의 리깅 공간과 캐릭터 관절 값 공간(Joint Parameter Space)간의 상관관계를 분석하고, 원본 모션을 최대한 보존하면서 효율적으로 리타게팅을 수행 할 수 있는 비선형적 최적화기법을 제안한다. 이로 인하여 애니메이터는 모션 캡쳐 등으로 얻어진 원본 모션을 수정할 때, 기존의 키프레이밍 작업과 동일한 리깅 파라미터를 사용할 수 있게 되어 직관적이면서도 빠르고 쉽게 모션을 수정할 수 있게 된다. 이 과정에서 애니메이터가 선호하는 작업 방식을 관찰한 후, 해당 과정을 최적화 과정에 반영함으로써 애니메이터가 수정하기에 매우 용이한 형태의 리타겟팅 결과물을 만들어낼 수 있다. This paper presents a method to retarget a source motion to the rig-space parameter for a target character that can be equipped with a complex rig structure as used in traditional animation pipelines. Our solution allows the animators to edit the retargeted motion easily and intuitively as they can work with the same rig parameters that have been used for keyframe animation. To acheive this, we analyze the correspondence between the source motion space and the target rig-space, followed by performing non-linear optimization for the motion retargeting to target rig-space. We observed the general workflow practiced by animators and apply this process to the optimization step.

자동 타임 워핑에 기반한 온라인 궤적 최적화

한다성(Daseong Han),노준용(Junyong Noh),신성용(Joseph S. Shin) 한국컴퓨터그래픽스학회 2017 컴퓨터그래픽스학회논문지 Vol.23 No.3

본 논문에서는 물리 기반 가상환경에서 참조 동작을 추적하는 캐릭터 동작을 생성할 때 캐릭터 동작에 대한 최적화와 함께 참조 동작에 대한 타임 워핑 (time warping)을 동시 에 수행할 수 있는 새로운 온라인 궤적 최적화(trajectory optimization) 기법을 제안한다. 일반적으로 참조 동작에 대한 샘플링 시간이 균일한 간격으로 고정되어 있는 기존의 물리 기반 캐릭터 애니메이션 기법과는 달리, 본 논문에서 제안하는 방법은 캐릭터 동작의 물리적 변화와 함께 샘플링 시간의 변화를 동시에 최적화 시킴으로써 외력에 대해 더욱 효과적으로 대응할 수 있는 참조 동작에 대한최적의 타임 워핑을 찾아낸다. 이를 위해, 전신 캐릭터(full-body character)의 동역학과 함께 참조 동작에 대한 샘플링 시간의 변화를 함께 고려한 최적 제어 문제(optimal control problem)를 정형화하고 이 문제를 실행 시간에 시간 축을 따라 이동하는 고정된 크기의 시간 윈도우에 대해 반복적으로 풂으로써 캐릭터 동작과 샘플링 시간에 대한 최적 제어 정책 (optimal control policy)을 생성하는 모델예측제어 (model predictive control) 프레임워크를 제안한다. 실험을 통해, 제안된 프레임워크가 하나의 참조 동작만으로 외력에 대해 강인하게 반응하는 동작을 생성하고, 배경 음악에 따라 리드미컬한 동작을 생성하는데 효과적임을 보여준다. This paper presents a novel on-line trajectory optimization framework based on automatic time warping, which performs the time warping of a reference motion while optimizing character motion control. Unlike existing physics-based character animation methods where sampling times for a reference motion are uniform or fixed during optimization in general, our method considers the change of sampling times on top of the dynamics of character motion in the same optimization, which allows the character to effectively respond to external pushes with optimal time warping. In order to do so, we formulate an optimal control problem which takes into account both the full-body dynamics and the change of sampling time for a reference motion, and present a model predictive control framework that produces an optimal control policy for character motion and sampling time by repeatedly solving the problem for a fixed-span time window while shifting it along the time axis. Our experimental results show the robustness of our framework to external perturbations and the effectiveness on rhythmic motion synthesis in accordance with a given piece of background music.

2D RGB 비디오 기반 3D 한국어 수어 애니메이션 생성 및 사용자 경험을 통한 디자인 가이드라인 제시

강철민(Cholmin Kang),노준용(Junyong Noh) 한국HCI학회 2021 한국HCI학회 논문지 Vol.16 No.1

본 연구에서는 3D 수어 애니메이션의 전반적인 니즈와 사용자 선호도를 조사하고, 2D 비디오에서 이러한 데이터 집합을 생성하는 효율적인 방법을 모색한다. 수어는 청각장애인이거나 난청인 사람들 사이의 중요한 의사소통 수단이다. 하지만 디지털 콘텐츠 소비를 위해 기존 시스템들은 많은 한계점을 가지고 있다. 이를 극복하기 위해 3D 수어 애니메이션이 필요하지만 데이터셋이 적고 한국어 수어 애니메이션(KSL)을 제작하기 위한 디자인 가이드라인의 부재 등으로 인해 많은 어려움이 있는 상황이다. 본 연구에서는 3D SL 애니메이션이 필요한 이유, 최종 사용자가 3D SL 애니메이션을 어떻게 수용하는지 등을 조사하고, 2D 동영상에서 3D SL 애니메이션을 추출할 수 있는 시제품 SL 생성 시스템을 제공한다. 본 연구의 시스템을 통해 15개의 한국수어(KSL) 애니메이션을 제작하여 11명의 KSL 사용자를 대상으로 수어 애니메이션의 정확도와 사용자 경험을 평가 하였다. 실험 결과는 우리의 시스템이 기존의 3D 포즈 추정 기법에 대한 정확도를 향상시킬 수 있었다는 것을 보여준다. 본 연구는 또한 3D KSL 애니메이션을 구축하는 데 있어 다양한 시사점을 제시한다. Sign Language(SL) is a crucial means of communication among people who are Deaf or Hard of Hearing(DHH). However, communicating with SL through online is challenging given a low amount of pre-existing animation dataset and diversity of users’ needs. In this research, we investigated the overall needs and user preference of 3D sign language animation, and sought an efficient way to generate datasets from 2D video. Also, we investigated why 3D SL animation is needed, how end users accept 3D SL animation, and provide a prototype SL generation system that can extract 3D SL animation from 2D video. We generated 15 Korean Sign Language(KSL) animation with our system and tested on 12 KSL users. Our results showed that our system was able to improve accuracy upon pre-existing 3D pose estimation techniques. We also uncovered diverse implications for building 3D KSL animation.

High-Quality Depth Map Generation of Humans in Monocular Videos

이정진,이상우,박종진,노준용,Lee, Jungjin,Lee, Sangwoo,Park, Jongjin,Noh, Junyong Korea Computer Graphics Society 2014 컴퓨터그래픽스학회논문지 Vol.23 No.1

단안 영상에서 3차원 입체영상으로 변환한 결과물의 품질은장면의 물체들에게 부여한 깊이 정보의 정확도에 의존적이다. 영상의 매 프레임마다 장면의 물체들의 깊이 정보를 수동으로 입력하는 것은 많은 시간을 필요로 하는 노동집약적인 작업이다. 특히, 높은 자유도를 가진 관절형 물체인 인간의 몸은 고품질 입체변환에 있어서 가장 어려운 물체 중에 하나이다. 다양한 스타일의 옷, 액세서리, 머리카락들이 만드는 매우 복잡한 실루엣은 문제를 더욱 어렵게 한다. 본 논문에서는 단안 영상에 나타난 인간 오브젝트의 고품질 깊이 정보를 생성하는 효율적인 방법을 제안한다. 먼저, 적은 수의 사용자입력을 기반으로 3 원 템플릿 모델을 순차 관절 각도 제약을 가진 자세 추정 방법을 통해서 영상에 등장하는 2차원 인간 오브젝트에 정합한다. 정합된 3차원 모델로부터 초기 깊이 정보를 획득한 뒤, 컬러 세그멘테이션 방법을 기반으로 한 부분 깊이 전파 방법을 통해 세밀한 표현을 보장하며 누락된 영역을 포함하는 최종 깊이 정보를 생성한다. 숙련된 아티스트들의 수작업 결과물과 제안된 방법의 결과물을 비교한 검증 실험은 제안된 방법이 단안 영상에서 동등한 수준의 깊이 정보를 효율적으로 생성한다는 것을 보여준다. The quality of 2D-to-3D conversion depends on the accuracy of the assigned depth to scene objects. Manual depth painting for given objects is labor intensive as each frame is painted. Specifically, a human is one of the most challenging objects for a high-quality conversion, as a human body is an articulated figure and has many degrees of freedom (DOF). In addition, various styles of clothes, accessories, and hair create a very complex silhouette around the 2D human object. We propose an efficient method to estimate visually pleasing depths of a human at every frame in a monocular video. First, a 3D template model is matched to a person in a monocular video with a small number of specified user correspondences. Our pose estimation with sequential joint angular constraints reproduces a various range of human motions (i.e., spine bending) by allowing the utilization of a fully skinned 3D model with a large number of joints and DOFs. The initial depth of the 2D object in the video is assigned from the matched results, and then propagated toward areas where the depth is missing to produce a complete depth map. For the effective handling of the complex silhouettes and appearances, we introduce a partial depth propagation method based on color segmentation to ensure the detail of the results. We compared the result and depth maps painted by experienced artists. The comparison shows that our method produces viable depth maps of humans in monocular videos efficiently.

360도 비디오 시청에 대한 유저 행동양식 분석

유정은(Jungeun Yoo),노준용(Junyong Noh) 한국컴퓨터그래픽스학회 2018 한국컴퓨터그래픽스학회 학술대회 Vol.2018 No.7

물리 시뮬레이션에 기반한 사실적인 키보드 타이핑 모션 생성

장용호(Yongho Jang),엄해광(Haegwang Eom),노준용(Junyong Noh) 한국컴퓨터그래픽스학회 2015 컴퓨터그래픽스학회논문지 Vol.21 No.5

사람의 손가락은 도구를 다루는 세밀한 동작을 하기 위해필수적인 부위이며, 캐릭터 애니메이션에 있어 자연스러운 손가락 움직임 표현은 중요한 이슈 중 하나이다. 그 중에서도 키보드 타이핑 모션은 다양한 관절을자연스럽게 사용하는 고난도동작이며, 기존 애니메이션 파이프라인을 활용해서는 만들기 쉽지 않다. 본 논문에서는 물리 시뮬레이션을이용하여 사실적인 키보드 타이핑 모션을자동으로 생성하는 방법을 제시한다. 물리 기반 시뮬레이션에서 타이핑 모션을잘수행하기 위해서는 손과 키보드 모델이 허용된 범위를 벗어나지 않아야 하며, 사용자의 입력에 맞는 키만 정확히 타건해야 한다. 또한 실제 키보드 타건을 관찰한 결과 항상 손의위치 및 자세는 키보드 위의 특정 기본 자세를 유지하려고 하며, 타건하는 손가락 이외의 움직임을 최소화하려는 경향을 확인할 수 있었고 이를 반영하고자 하였다. 이러한 다양한 제약 조건을 하나의 해결기에서 다루어실시간으로자연스러운키보드타이핑시뮬레이션결과를얻을수있고,이러한결과는애니메이션및가상현실기반 인터랙션 컨텐츠 등에서 유용하게 사용될 수 있다. Human fingers are essential parts of the body that perform complex and detailed motion. Expression of natural finger motion is one of the most important issues in character animation research. Especially, keyboard typing animation is hard to create through the existing animation pipeline because the keyboard typing typically requires a high level of dexterous motion that involves the movement of various joints in a natural way. In this paper, we suggest a method for the generation of realistic keyboard typing motion based on physics simulation. To generate typing motion properly using physics-based simulation, the hand and the keyboard models should be positioned in an allowed range of simulation space, and the typing has to occur at a precise key location according to the input signal. Based on the observation, we incorporate natural tendency that accompanies actual keyboard typing. For example, we found out that the positions of the hands and fingers always assume the default pose, and the idle fingers tend to minimize their motion. We handle these various constraints in one solver to achieve the results of real-time natural keyboard typing simulation. These results can be employed in various animation and virtual reality applications.

스타일 기반 자연 풍경 시네마그래프 생성

최종우(Jongwoo Choi),서광균(Kwanggyoon Seo),노준용(Junyong Noh) 한국컴퓨터그래픽스학회 2022 한국컴퓨터그래픽스학회 학술대회 Vol.2022 No.7