애니메이션을 위한 지능형 립씽크 조형 시스템 연구 = A Development on the Korean Lip-Sync Synthesis Design System for Facial Animation

다국어 초록 (Multilingual Abstract)

Korean Lip-sync Synthesis Design(KLSD) System is developed for facial animation in this study. This system generate Korean lip-sync, correspond to voice and text. Facial animation classify emotional expression animation and dialogue animation. Emotional expression animation consist of universal element except cross-cultural difference. However, dialogue animation must think about language differences. If Korean were applied by other countries suggested lip-sync synthesis method like American or Japanese, cause distort of cognition because auditory and visual information incongruous. Korean automatic pronunciation generate, HMM algorithm for time segment and facial feature's three dimensional motion definition are used to solve the problem. KLSD system also can be applied interactive facial animation. Moreover, this is preceding study to interactive interface's basic component using avatar. In future, It can widely used to application avatar in virtual reality and interface design.

국문 초록 (Abstract)

캐릭터의 페이셜애니메이션(facial animation)을 위한 한국어 립싱크 합성 체계를 연구하여, 말소리에 대응하는 자연스러운 립싱크를 자동적으로 생성하도록 하는 지능형 조형 시스템(KLSD System)을 연구하였다. 페이셜애니메이션은 크게 나누어 감정 표현을 위한 표정 애니메이션과 대화 시 입술 모양의 변화를 중심으로 하는 대화 애니메이션으로 구분할 수 있다. 표정 애니메이션의 경우 약간의 문화적 차이를 제외한다면 거의 세계 공통의 보편적인 요소들로 이루어지는 반면 대화 애니메이션의 경우는 언어에 따른 차이를 고려해야 한다. 이와 같은 문제로 인해 지금처럼 영어권 및 일어권에서 제안되는 음성에 따른 립싱크 합성방법을 한국어에 그대로 적용하면 청각 정보와 시각 정보의 부조화로 인해 지각의 왜곡을 일으킬 수 있다. 본 연구에서는 이와 같은 문제점을 해결하기 위해 표기된 텍스트를 한국어 발음열로 변환, HMM 알고리듬을 이용한 입력 음성의 시분할, 한국어 음소에 따른 얼굴 특징점의 3차원 움직임을 정의하는 과정을 거쳐 텍스트와 음성를 통해 3차원 대화 애니메이션을 생성하는 한국어 립싱크 조형 시스템을 개발 실제 3차원 캐릭터 애니메이션 과정에 적용하도록 하였다. 또한 본 연구는 즉시 적용이 가능한 3차원 캐릭터 애니메이션뿐만 아니라 아바타(avatar)를 활용한 동적 인터페이스의 요소기술로서 사용될 수 있는 선행연구이기도 하다. 나아가 인간적인 상호작용성이 강조되고, 보다 편한 인간적 대화 방식의 휴먼 인터페이스로 그 미래적 양상이 변화할 것으로 예측되는 아바타 혹은 디지털액터를 활용한 인터페이스 디자인과 가상현실 분야에도 보다 폭넓게 활용될 수 있다. 정진오Jinoh Chung신동선Dong Sun Shin성균관대학교 영상학과Sungkyunkwan Univ. Dept. of Film, TV and Multimedia아주대학교 의과대학 해부학교실Ajou Univ. School of Medicine, Dept. of Anatomy

참고문헌 (Reference)

1 이용동, "휴먼인터페이스를 위한 음절분류에 따른 얼굴영상의 합성" 5 (5): 433-437, 1992

2 정진오, "한국어 립씽크를 위한 3D 디자인 시스템 연구" 2 : 362-369, 2006

3 이건상, "음성인식" 한양대학교 출판부 2001

4 "문교부 고시, 문화부 공고, 국어 어문규정집"

5 John Lasseter, "Principles of Traditional Animation Applied to 3D Computer Animation" 21 (21): 35-44, 1987

6 Igor S. Pandzic, "MPEG-4:Facial Animation" Wiley 2002

7 L. R. Rabiner, "Fundamentals of Speech Recognition" Prentice-Hall Inc. 1993

8 P. Ekman, "Emotion in the Human Face System" Cambridge University Press 1982

9 George Maestri, "Digital Character Animation" New Riders Press 1996

10 K. F. Lee, "Contex-dependent phonetic hidden Markov models for speaker-independent continuous speech recognition" 38 (38): 599-609, 1990

11 B. Fasel, "Automatic facial expression analysis : a survey" 36 : 259-275, 2003