모바일 증강현실에서 키네틱 타이포그래피를 활용한 감정 표현 연구

다국어 초록 (Multilingual Abstract)

While augmented reality has long attracted a lot of attention as the next-generation platform, it has become more pervasive and familiar than ever before in the recent years when augmented reality has been applied to mobile devices. The augmented reality contents currently being presented are attracting users' interests and attention as they are unfamiliar with the style of the information given by the new media, but augmented reality offers a new level of experience that blends reality and virtual beyond mere visual surprise or interest. Starting from these points, this study aims to explore the new ways of text communication that reflect the characteristics of the augmented reality.
First, the concept of the augmented reality was organized for this, the media characteristics of mobile augmented reality were examined through prior research, and the content was classified and examined based on the method of expression to enhance the virtual in the augmented reality environment. This showed that the interaction between users, user experiences, and virtual objects, that is, the organic relationships of these three aspects, will be the major feature in communication in augmented reality.
In addition, kinetic typography, which can express the meanings and oral characteristics of the characters at the same time, focused on the function of the expression of emotions, and the cases of kinetic typography used in communication through interactive media were analyzed. Compared to the early examples of the interactive media, the latest contents were incorporating new technologies that allow the users to enter the users' emotions more naturally in the way of data input, and the displays that represent output data were also developing in various forms. Kinetic typography has use for a variety of applications and it’s expanding in line with the emergence of new media, which will be used more widely in the recently emerging augmented reality.
Based on the above, how to express kinetic typography based on technology to implement augmented reality, how to utilize the time of augmented reality and space covering the user context, events, environment, and the interface methods that allow the user behaviors and emotions to be more naturally connected to kinetic typography were studied. In addition, experiments and studies have been conducted to effectively utilize the functions of emotional expressions through kinetic typography in a new media environment called the mobile augmented reality.
The final piece proposed by combining the contents of the study is EmoTypo, an augmented reality message app developed based on the media and functional characteristics of the mobile augmented reality. The app tracks the user's location with a GPS and augments the user-generated message to its GPS. At this time, it tracks the three-dimensional space and recognizes the plane through the rear camera of the mobile device, which at the same time extracts the emotions from the user's facial expressions recognized by the front camera and applies the corresponding kinetic effect to the message. As such, EmoTypo can record the feelings or special messages about a "location" in the environment of the augmented reality, which can enter the "emotions" at the time into the system more naturally to create messages that reflect the user's context.
This study showed that kinetic typography in the mobile augmented reality can be used in a variety of ways according to the user's emotion and location, which is meaningful in that it proposed a new method of communication combining mobile augmented reality and kinetic typography.

국문 초록 (Abstract)

증강현실은 차세대 플랫폼으로 오랜 시간 동안 주목받아 왔지만 모바일 기기에 증강현실이 접목되었던 최근 몇 년 동안 그 어느 때보다 대중들에게 널리 보급되고 친숙해졌다. 현재 선보이고 있는 증강현실 콘텐츠들은 새로운 매체가 주는 정보 양식의 생소함으로 사용자의 흥미와 관심을 끌고 있지만, 증강현실은 단순한 시각적 놀라움이나 흥미 유발을 넘어서 현실과 가상이 혼합되는 새로운 차원의 경험을 제공한다. 본 연구는 이러한 지점에서 출발하여 증강현실의 특성이 반영된 새로운 문자 커뮤니케이션 방법을 모색하는 것을 목적으로 한다.
먼저 이를 위해 증강현실의 개념을 정리하고, 선행연구를 통해 모바일 증강현실의 매체적 특성을 고찰하였으며, 증강현실 환경에서 가상을 증강시키는 표현 방식을 기준으로 콘텐츠를 분류하여 살펴보았다. 이를 통해 증강현실에서의 커뮤니케이션은 사용자와 사용자 환경과 가상 객체 간의 상호작용, 즉 세 가지 측면의 유기적인 관계성이 주요한 특징이 될 것임을 알 수 있었다.
아울러 문자의 의미와 구술적 특성을 동시에 표현할 수 있는 키네틱 타이포그래피를 감정 표현 기능을 중심으로 살펴보고, 키네틱 타이포그래피가 인터랙티브 미디어를 통해 커뮤니케이션에 활용된 사례들을 분석하였다. 인터랙티브 미디어 초창기 사례들과 비교해서 최근에 선보인 콘텐츠들은 데이터 입력 방식에서 사용자의 감정을 좀 더 자연스럽게 입력할 수 있는 새로운 기술들을 접목하고 있었으며, 출력 데이터를 표현하는 디스플레이도 다양한 형태로 발전하고 있었다. 키네틱 타이포그래피는 새로운 미디어의 등장에 발맞춰 다양하게 응용, 확장되고 있으며 최근 대두된 증강현실에서도 더욱 폭넓게 활용될 것이다.
위의 내용들을 바탕으로 증강현실 구현 기술에 따른 키네틱 타이포그래피의 표현 방법을 제시하고, 사용자의 맥락, 사건, 환경 등을 아우르는 증강현실의 시공간을 활용하는 법, 그리고 사용자의 행동이나 감정이 키네틱 타이포그래피에 좀 더 자연스럽게 연결될 수 있는 인터페이스 방식들을 연구하였다. 또한 모바일 증강현실이라는 새로운 미디어 환경에서 키네틱 타이포그래피의 감정 표현 기능을 효과적으로 활용하기 위한 실험 연구를 수행하였다.
연구 내용을 종합하여 제안한 최종 작품은 모바일 증강현실의 매체적, 기능적 특성을 바탕으로 발전시킨 증강현실 메시지 앱 EmoTypo이다. 이 앱은 사용자의 위치를 GPS로 추적하여 사용자가 제작한 메시지를 해당 GPS에 증강시킨다. 이때 모바일 기기의 후면 카메라를 통해 3차원 공간을 추적하고 평면을 인식하며, 동시에 전면 카메라에 의해 인식된 사용자의 표정에서 감정을 추출하고 그에 어울리는 키네틱 효과를 메시지에 적용한다. 이처럼 EmoTypo는 어떤 ‘장소’에서의 느낌이나 특별한 메시지를 증강현실 환경에 기록할 수 있으며, 그때의 ‘감정’을 좀 더 자연스럽게 시스템에 입력하여 사용자의 맥락을 반영하는 메시지를 제작할 수 있다.
본 연구는 모바일 증강현실에서의 키네틱 타이포그래피가 사용자의 감정, 장소 등에 맞춰서 다양하게 활용될 수 있다는 것을 보여주었으며, 모바일 증강현실과 키네틱 타이포그래피를 결합한 새로운 커뮤니케이션 방식을 제안했다는데 의의가 있다.