Selective expression approach for fitting facial blendshapes

다국어 초록 (Multilingual Abstract)

Blendshape, a linear three-dimensional model (3D) of facial expressions, has become a standard way of generating a 3D facial shape in computer graphic, animation, and game industries. We introduce a novel method to acquire the coefficients of the expression blendshapes to represent the target facial shape, called selective expression representation (SEA). Previously, the facial shape has been obtained merely by minimizing the distance to spare or sampled target points. This causes the facial shape to be composed of the blendshapes that are redudant to each other. As the redundancies decrease the semantic meanings of the blendshape expressions, the facial shape might fail to represent facial expression from the perspective of the human being. Thus, SEA focuses on preserving the semantics of the blendshapes to represent the facial shape accurately. Under the assumption that each delta blendshape is a facial movement that has a semantic meaning, SEA finds a series of facial motions needed to compose the target facial shape. By introducing a metric to quantify the directional similarity of facial motions between the target and blendshape, SEA sequentially finds a sufficient number of expressions having closest analogy to the facial motion of the target. It is demonstrated that less-correlated expressions that increase the similarity to the target can be obtained non-parametrically by the proposed selection method. Our experiments show that for sampled facial points, fitting the facial shape with the less-correlated expressions better predicts unobserved facial points. It is verified that since each expression can be represented in a manner which produces less-interference with the others, the set of selective models can represent the target with each semantic meaning of the expression preserved, showing the improvement in the facial representation over the baseline methods and the state-of-art methods.

국문 초록 (Abstract)

본 논문은 캐릭터 애니메이션, 컴퓨터 그래픽스, 게임 등에 표준으로 쓰이는 표정 얼굴조합모델 (Expression Blendshape)의 계수 (Coefficients)를 예측하여 주어진 이미지로 상에 있는 대상의 얼굴을 3차원 모델을 통해 표현하는 기술을 제안한다. 기존의 기술은 주어진 샘플링 된 점 또는 얼굴에서 추출된 특징점 (Landmark)과의 거리를 단순히 좁히는 방향으로 계수를 예측하여 시각적인 측면에서 사람의 표정을 표현하기에 적합하지 않은 경우가 많은 것에 착안하였다. 이는 얼굴조합모델에 있는 표정에서 여러 개의 유사한 표정 또는 대상이 취하고 있는 표정과 전혀 관련이 없는 표정의 조합으로, 단순히 대상점과의 거리와 가깝게 대상의 얼굴을 만들어냄으로써, 얼굴을 표현하기 위해 사용된 표정모델 간에 중복성을 높이게 되고 각 표정이 가진 의미를 이용하지 못하게 된다. 따라서 본 제안 기술은 대상의 얼굴을 더 정확하게 표현하기 위해 얼굴조합모델 각각이 가진 표정의 의미를 살려 표정을 만들어내었다. 본 연구에서 제안하는 선택적 표정 접근법은 각 얼굴조합모델을 구성하는 표정이 각각의 의미를 가진 얼굴의 요소 동작이라는 전제아래서, 하나의 완성된 대상의 얼굴 표정을 만들어내는 요소 동작들의 집합을 찾아낸다. 얼굴의 움직임에 대한 유사도를 측정하는 '표정 유사도' (Expression Similarity)를 제안함으로써, 대상의 얼굴의 표정과 가장 가깝게 만들 수 있는 적당한 수의 얼굴의 움직임을 가진 표정을 하나씩 얼굴조합모델에서 찾는다. 본 제안 기술에 의해 대상과 표정 유사도가 높으면서 상호간 중복성이 없는 표정들이 별도의 추가 변수없이 (Non-parametrically) 구해질 수 있음을 입증하였다. 실험을 통해 상호 중복성이 없는 표정을 조합모델에서 선택하는 것이 임의의 관측된 점을 대상으로 얼굴을 예측했을 때, 관측되지 않은 점에 대해서도 더 정확하게 예측함을 보였다. 중복성을 최소화 함과 동시에 대상과 표정 유사도를 높여 얼굴을 표현하는 얼굴조합모델 각각의 의미를 살릴 수 있음을 증명하였다. 또한 표정 얼굴조합모델의 계수를 예측하는 기존 방법 (Baseline) 및 최신 기술과 비교했을 때, 이미지 상에 있는 대상의 얼굴을 더 정확하게 표현하고 예측하는 것을 확인하였다.