컴퓨터그래픽 전문기업 에프엑스기어(FXGear)

노준용(JunYong Noh) 한국정보과학회 2013 정보과학회지 Vol.31 No.11

Special Effects Overview

노준용(Junyong Noh) 한국HCI학회 2007 한국HCI학회 학술대회 Vol.2007 No.2

페이셜 리그에 대한 페이셜 캡처 데이터의 다이렉트 리타겟팅 방법

송재원,노준용(Junyong Noh) 한국컴퓨터그래픽스학회 2016 컴퓨터그래픽스학회논문지 Vol.22 No.2

본 논문은 페이셜 캡처 데이터로부터 페이셜 리그에 대한 다이렉트 리타겟팅을 수행하는 새로운 방법론에 대하여 다룬다. 페이셜 리그는 프로덕션 파이프라인에서 아티스트가 손쉽게 페이셜 애니메이션을 제작하기 위하여 만들어진 제작 도구로서, 모션 캡처 등으로 생성된 얼굴 애니메이션 데이터를 페이셜 리그에 매핑할 경우 아티스트에게 친숙한 방식으로 손쉽게 수정, 편집할 수 있으므로 작업 능률을 크게 향상시킬 수 있다는 장점이 있다. 그러나, 페이셜 리그는 그 종류와 작동 방식이 매우 다양하므로, 다양한 페이셜 리그에 대하여 강건하고 안정적으로 모션 데이터를 매핑할수 있는 일반화된 방법을 찾기는 쉽지 않다. 이를 위하여, 본 논문은 캡처된 얼굴 모션 중 몇 개의 대표적 표정에 대하여 아티스트가 페이셜 리그로 제작한 표정을 예제로 학습시키는 데이터 기반 페이셜 리타겟팅 방식을 제안한다. 이를 통하여 우리는 아티스트가 페이셜 캡처 데이터를 기존 애니메이션 파이프라인의 페이셜 리그를 활용하여 손쉽게 수정할수 있도록 할 뿐 아니라, 수십 수백개의 대응점을 일일이 지정해 주어야 하거나 사람과 많이 다른 동물 및 괴물 형태의 얼굴에는 리타겟팅이 잘 이루어지지 않았던 기존 대응점 기반 리타겟팅 방식의 한계점 또한 극복할 수 있었다. 본 논문의 결과물들은 우리의 방식이 제공하는 단순하면서도 직관적인 얼굴 애니메이션 리타겟팅이 실제 애니메이션 프로덕션에서 얼마나 효율적으로 활용될 수 있는지를 보여준다. This paper proposes a method to directly retarget facial motion capture data to the facial rig. Facial rig is an essential tool in the production pipeline, which allows helping the artist to create facial animation. The direct mapping method from the motion capture data to the facial rig provides great convenience because artists are already familiar with the use of a facial rig and the direct mapping produces the mapping results that are ready for the artist’s follow-up editing process. However, mapping the motion data into a facial rig is not a trivial task because a facial rig typically has a variety of structures, and therefore it is hard to devise a generalized mapping method for various facial rigs. In this paper, we propose a data-driven approach to the robust mapping from motion capture data to an arbitary facial rig. The results show that our method is intuitive and leads to increased productivity in the creation of facial animation. We also show that our method can retarget the expression successfully to non-human characters which have a very different shape of face from that of human.

Terrain Geometry from Monocular Image Sequences

Alexander Mckenzie,Eugene Vendrovsky,Junyong Noh 한국정보과학회 2008 Journal of Computing Science and Engineering Vol.2 No.1

Terrain reconstruction from images is an ill-posed, yet commonly desired Structure from Motion task when compositing visual effects into live-action photography. These surfaces are required for choreography of a scene, casting physically accurate shadows of CG elements, and occlusions. We present a novel framework for generating the geometry of landscapes from extremely noisy point cloud datasets obtained via limited resolution techniques, particularly optical flow based vision algorithms applied to live-action video plates. Our contribution is a new statistical approach to remove erroneous tracks ('outliers') by employing a unique combination of well established techniques-including Gaussian Mixture Models (GMMs) for robust parameter estimation and Radial Basis Functions (RBFs) for scattered data interpolation-to exploit the natural constraints of this problem. Our algorithm offsets the tremendously laborious task of modeling these landscapes by hand, automatically generating a visually consistent, camera position dependent, thin-shell surface mesh within seconds for a typical tracking shot.

360도 비디오 시청에 대한 유저 행동양식 분석

유정은(Jungeun Yoo),노준용(Junyong Noh) 한국컴퓨터그래픽스학회 2018 한국컴퓨터그래픽스학회 학술대회 Vol.2018 No.7

자동 타임 워핑에 기반한 온라인 궤적 최적화

한다성(Daseong Han),노준용(Junyong Noh),신성용(Joseph S. Shin) 한국컴퓨터그래픽스학회 2017 컴퓨터그래픽스학회논문지 Vol.23 No.3

본 논문에서는 물리 기반 가상환경에서 참조 동작을 추적하는 캐릭터 동작을 생성할 때 캐릭터 동작에 대한 최적화와 함께 참조 동작에 대한 타임 워핑 (time warping)을 동시 에 수행할 수 있는 새로운 온라인 궤적 최적화(trajectory optimization) 기법을 제안한다. 일반적으로 참조 동작에 대한 샘플링 시간이 균일한 간격으로 고정되어 있는 기존의 물리 기반 캐릭터 애니메이션 기법과는 달리, 본 논문에서 제안하는 방법은 캐릭터 동작의 물리적 변화와 함께 샘플링 시간의 변화를 동시에 최적화 시킴으로써 외력에 대해 더욱 효과적으로 대응할 수 있는 참조 동작에 대한최적의 타임 워핑을 찾아낸다. 이를 위해, 전신 캐릭터(full-body character)의 동역학과 함께 참조 동작에 대한 샘플링 시간의 변화를 함께 고려한 최적 제어 문제(optimal control problem)를 정형화하고 이 문제를 실행 시간에 시간 축을 따라 이동하는 고정된 크기의 시간 윈도우에 대해 반복적으로 풂으로써 캐릭터 동작과 샘플링 시간에 대한 최적 제어 정책 (optimal control policy)을 생성하는 모델예측제어 (model predictive control) 프레임워크를 제안한다. 실험을 통해, 제안된 프레임워크가 하나의 참조 동작만으로 외력에 대해 강인하게 반응하는 동작을 생성하고, 배경 음악에 따라 리드미컬한 동작을 생성하는데 효과적임을 보여준다. This paper presents a novel on-line trajectory optimization framework based on automatic time warping, which performs the time warping of a reference motion while optimizing character motion control. Unlike existing physics-based character animation methods where sampling times for a reference motion are uniform or fixed during optimization in general, our method considers the change of sampling times on top of the dynamics of character motion in the same optimization, which allows the character to effectively respond to external pushes with optimal time warping. In order to do so, we formulate an optimal control problem which takes into account both the full-body dynamics and the change of sampling time for a reference motion, and present a model predictive control framework that produces an optimal control policy for character motion and sampling time by repeatedly solving the problem for a fixed-span time window while shifting it along the time axis. Our experimental results show the robustness of our framework to external perturbations and the effectiveness on rhythmic motion synthesis in accordance with a given piece of background music.

리깅 공간으로의 몸체 동작 리타겟팅

송재원(Jaewon Song),노준용(Junyong Noh) 한국컴퓨터그래픽스학회 2014 컴퓨터그래픽스학회논문지 Vol.20 No.3

본 논문에서는 대상이 되는 디지털 캐릭터가 기존 애니메이션 파이프라인에서 사용되는 수준의 복잡한 리깅을 가졌더라도, 해당 리깅의 리깅 공간(Rig-space)에 모션을 리타겟팅 할 수 있는 안정적이고 새로운 리타게팅 방법을 활용한다. 이를 위하여 다양하고 복잡한 방식으로 리깅된 서로 다른 캐릭터의 리깅 공간과 캐릭터 관절 값 공간(Joint Parameter Space)간의 상관관계를 분석하고, 원본 모션을 최대한 보존하면서 효율적으로 리타게팅을 수행 할 수 있는 비선형적 최적화기법을 제안한다. 이로 인하여 애니메이터는 모션 캡쳐 등으로 얻어진 원본 모션을 수정할 때, 기존의 키프레이밍 작업과 동일한 리깅 파라미터를 사용할 수 있게 되어 직관적이면서도 빠르고 쉽게 모션을 수정할 수 있게 된다. 이 과정에서 애니메이터가 선호하는 작업 방식을 관찰한 후, 해당 과정을 최적화 과정에 반영함으로써 애니메이터가 수정하기에 매우 용이한 형태의 리타겟팅 결과물을 만들어낼 수 있다. This paper presents a method to retarget a source motion to the rig-space parameter for a target character that can be equipped with a complex rig structure as used in traditional animation pipelines. Our solution allows the animators to edit the retargeted motion easily and intuitively as they can work with the same rig parameters that have been used for keyframe animation. To acheive this, we analyze the correspondence between the source motion space and the target rig-space, followed by performing non-linear optimization for the motion retargeting to target rig-space. We observed the general workflow practiced by animators and apply this process to the optimization step.

Simulating Drops Settling in a Still Liquid

Donghoon Sagong,Nahyup Kang,Junyong Noh,Xiaogang Jin,Shin, Joseph S. IEEE 2015 IEEE computer graphics and applications Vol.35 No.1

<P>Researchers have devised a physics-based method to reproduce intricate mixing patterns of two miscible liquids. A small drop of one liquid descends in an initially still surrounding liquid, such as an ink drop sinking in water. Modeling the drop as a particle swarm, the researchers reduce the miscible-liquid-mixing problem to that of liquid--particle interactions. This method traces each particle to generate the mixing pattern; it allows two-way interaction between the particles and liquid.</P>

A Hybrid Approach to Multiple Fluid Simulation using Volume Fractions

Kang, Nahyup,Park, Jinho,Noh, Junyong,Shin, Sung Yong Blackwell Publishing Ltd 2010 Computer Graphics Forum Vol.29 No.2

<P><B>Abstract</B></P><P>This paper presents a hybrid approach to multiple fluid simulation that can handle miscible and immiscible fluids, simultaneously. We combine distance functions and volume fractions to capture not only the discontinuous interface between immiscible fluids but also the smooth transition between miscible fluids. Our approach consists of four steps: velocity field computation, volume fraction advection, miscible fluid diffusion, and visualization. By providing a combining scheme between volume fractions and level set functions, we are able to take advantages of both representation schemes of fluids. From the system point of view, our work is the first approach to Eulerian grid‐based multiple fluid simulation including both miscible and immiscible fluids. From the technical point of view, our approach addresses the issues arising from variable density and viscosity together with material diffusion. We show that the effectiveness of our approach to handle multiple miscible and immiscible fluids through experiments.</P>

2D RGB 비디오 기반 3D 한국어 수어 애니메이션 생성 및 사용자 경험을 통한 디자인 가이드라인 제시

강철민(Cholmin Kang),노준용(Junyong Noh) 한국HCI학회 2021 한국HCI학회 논문지 Vol.16 No.1

본 연구에서는 3D 수어 애니메이션의 전반적인 니즈와 사용자 선호도를 조사하고, 2D 비디오에서 이러한 데이터 집합을 생성하는 효율적인 방법을 모색한다. 수어는 청각장애인이거나 난청인 사람들 사이의 중요한 의사소통 수단이다. 하지만 디지털 콘텐츠 소비를 위해 기존 시스템들은 많은 한계점을 가지고 있다. 이를 극복하기 위해 3D 수어 애니메이션이 필요하지만 데이터셋이 적고 한국어 수어 애니메이션(KSL)을 제작하기 위한 디자인 가이드라인의 부재 등으로 인해 많은 어려움이 있는 상황이다. 본 연구에서는 3D SL 애니메이션이 필요한 이유, 최종 사용자가 3D SL 애니메이션을 어떻게 수용하는지 등을 조사하고, 2D 동영상에서 3D SL 애니메이션을 추출할 수 있는 시제품 SL 생성 시스템을 제공한다. 본 연구의 시스템을 통해 15개의 한국수어(KSL) 애니메이션을 제작하여 11명의 KSL 사용자를 대상으로 수어 애니메이션의 정확도와 사용자 경험을 평가 하였다. 실험 결과는 우리의 시스템이 기존의 3D 포즈 추정 기법에 대한 정확도를 향상시킬 수 있었다는 것을 보여준다. 본 연구는 또한 3D KSL 애니메이션을 구축하는 데 있어 다양한 시사점을 제시한다. Sign Language(SL) is a crucial means of communication among people who are Deaf or Hard of Hearing(DHH). However, communicating with SL through online is challenging given a low amount of pre-existing animation dataset and diversity of users’ needs. In this research, we investigated the overall needs and user preference of 3D sign language animation, and sought an efficient way to generate datasets from 2D video. Also, we investigated why 3D SL animation is needed, how end users accept 3D SL animation, and provide a prototype SL generation system that can extract 3D SL animation from 2D video. We generated 15 Korean Sign Language(KSL) animation with our system and tested on 12 KSL users. Our results showed that our system was able to improve accuracy upon pre-existing 3D pose estimation techniques. We also uncovered diverse implications for building 3D KSL animation.