사용자의 감성에 동조화된 로봇의 감정 표현 디자인 및 구현

조흥목(Jo Heungmok),김태완 (Kim Taiwan),박태근(Park Taekeun) 한국디지털디자인학회 2010 디지털디자인학연구 Vol.10 No.4

지난 일정 기간 동안 로봇이 다양한 응용을 위하여 개발되면서 로봇의 기능과 외관이 지속적으로 바뀌고 있다. 로봇은 크게 산업용 로봇 전문적 서비스 로봇 개인적 서비스 로봇으로 분류될 수 있는데 본 논문에서는 개인적 서비스 로봇 중에서 감정 표현이 가능한 콘텐츠 로봇을 개발하고자 한다. 본 논문에서 구현되는 로봇은 사용자의 감성에 반응하기 위하여 사람들의 터치로부터 사용자의 감성을 파악하고 행복 슬픔 화남 긴장 평상 감정 중에서 적절한 감정 표현을 표현하도록 구현된다. 콘텐츠 로봇의 다양한 수준의 감정 표현을 위하여 본 논문에서는 이상에서 언급한 5가지 감정을 56가지의 세부 감정으로 분류한 뒤 각각의 세부 감정에 대한 눈과 입의 모양과 팔 다리 귀의 움직임을 디자인한다. 본 논문에서 개발되는 콘텐츠 로봇은 최근 관심을 받고 있는 개인적 서비스 로봇분야에서 사용자의 감성에 반응하는 콘텐츠 로봇의 디자인에 도움이 될 수 있을 것으로 기대된다. Robots have been developed for many different applications and their design are changing. Basically robots may be categorized into industrial robots professional service robots and personal service robots. In this paper we develop a content robot which can express emotion and is one of the personal service robots. In order to understand user's affection the content robot has five touch sensors and according to the recognition result the robot chooses and expresses the proper emotion among happiness sadness anger frustration and neutral state. We additionally divide the five emotions into 56 detailed emotions so that the content robot can express more detailed emotion and then we design not only the shape of its eyes and nose but also the movement of its arms feet and long ears. Our content robot is expected to be useful for design of a personal service robot that can affiliate to the user's affection.

컬러 트레킹을 이용한 인터렉티브 프로젝션 전시물의 사용성과 조도의 관계성 연구

김태완(Kim Taiwan),조흥목(Jo Heungmok) 한국디지털디자인학회 2009 디지털디자인학연구 Vol.9 No.4

컴퓨터의 고속 성장은 여러 분야에 큰 변화를 가져왔다. 전시 문화 예술 분야 에도 변화를 주고 있으며 컴퓨터를 사용한 전시물이 증가하고 있는 추세이다. 이로 인하여 멀티미디어기반의 전시물도 비약적으로 성장하였고 그 결과 인터렉티브한 프로젝션 전시물이 디지털미디어 분야에서 주류를 이루고 있다. 이러한 인터렉티브 프로젝션 전시물들은 카메라를 이용한 color tracking과 프로젝션 디스플레이를 주로 사용하는 경우가 많으며 이의 사용성은 전시공간의 환경과 밀접한 관계를 가진다. 본 연구는 카메라를 이용한 color tracking과 프로젝션 디스플레이 전시물의 사용성에 전시공간의 환경요소 중 조도가 미치는 영향에 대한 연구이다. MAX/MSP/Jitter를 사용한 "디지털피아노"를 구현하고 실험대상자를 통해 실험한 결과를 분석하여 color tracking을 이용한 인터렉티브 프로젝션 전시물의 전시공간의 최적의 조도범위를 도출해 낸다. The rapid growth of computer has brought about a big change in various fields. It gives a change to the display culture and arts and computer displays are growing. Accordingly the multimedia basis display grows swiftly and as the result interactive projection displays became the mainstream in the digital media field. These interactive projection displays mainly use the color tracking that uses a camera and the projection display and their use has close correlation with the environment of exhibition space. This study aims to examine the effect of illuminance among environmental factors of exhibition space on color tracking with a camera and the usability of projection display exhibits. The study implements "digital piano" with MAX/MSP/Jitter and obtains the maximum illuminance range of the exhibition space for interactive projection displays that use color tracking by analyzing the result of test.

영상인식 기반 인터랙티브 디지털 콘텐츠 구현 및 사용 편의성 분석

김태완(Kim Taiwan),김승훈(Kim Seunghoon),조흥목(Jo Heungmok),박태근(Park Taekeun) 한국디지털디자인학회 2011 디지털디자인학연구 Vol.11 No.1

기술의 발전과 더불어 사용자들은 키보드 마우스 조이스틱과 같은 전통적인 인터페이스 장치에서 벗어나 디지털 콘텐츠와의 다양한 인터랙션을 가능하게 하는 인터페이스 장치를 요구하기 시작하였다. 이러한 사용자의 요구를 충족시키기 위하여 최근에는 사용자의 움직임을 인식하여 디지털 콘텐츠와의 인터랙션을 가능하게 하는 인터페이스 장치 또는 인터랙션 방법들이 연구되고 있다. 사용자의 움직임인식을 기반으로 한 인터랙션 방법은 장치기반 방법과 영상인식 기반 방법으로 분류할 수있다. 고가의 장비를 필요로 하는 장치기반 방법과 달리 영상인식 기반 방식에서는 카메라를 통해 입력된 영상에서 색상과 특장점 등을 추출하여 사용자의 움직임을 인식한다. 따라서 영상인식 기반 방식은 장치기반 방법에 비하여 정밀한 움직임 측정은 어렵지만 저사양의 컴퓨터에서도 동작할 뿐만 아니라 고가의 장비가 필요 없다는 장점을 가진다. 본 논문은 영상인식 기반 방식을 사용하여 인터랙티브 디지털 콘텐츠인 "가상 윈도우"를 구현한다. "가상 윈도우"는 사용자의 얼굴 움직임에 따라 1인칭 시점으로 디스플레이 화면전체에 보이는 3D가 상현실과 인터랙션하는 디지털 콘텐츠이다. 영상인식 기반 인터랙티브 디지털 콘텐츠의 사용 편의성을 알아보기 위해 기존 연구의 사례를 통하여 사용 편의성 평가 항목을 도출한다. 도출된 평가항목을 "가상 윈도우"에 적용하여 영상인식 기반 방법을 사용한 인터랙티브 디지털 콘텐츠의 사용 편의성을 분석한다. Together with technical development users began to require interface devices that enable various interactions with digital contents beyond the traditional interface devices such as keyboards mouse and joy sticks. To satisfy such demands of users interface devices or interaction methods have been recently studied which enable the interaction with digital contents by recognizing the movement of users. Interaction methods based on recognition of movement of users can be classified into the device based method and image recognition based method. Different from device based method requiring expensive equipment image recognition based method recognizes the movement of users by extracting colors features and advantages from the images input through camera. Accordingly image recognition based method is difficult to measure movement precisely than device based method butit has advantage in that it not only operates in computers with low specification but also require no expensive equipment. This thesis implements "Virtual Window" an interactive digital contents using the image recognition based method.'Virtual window' is the digital contents that interact with 3D virtual reality shown in full display screen from the viewpoint of first person according to movement of user's face. This study identifies the items of evaluation of convenient use through the cases of existing studies to examine the convenient use of interactive digital contents based on imagerecognition using the'Virtual Window'. By applying the items of evaluation drawn this study analyzes the convenient use of interactive digital contents using the image recognition based method

다중 컬러 공간과 두 대의 카메라를 이용한 손 인식 기반 핸드 마우스 구현

서병문(Suh Byung moon),조대성(Cho Dae sung),조흥목(Jo Heung mok) 한국디지털디자인학회 2010 디지털디자인학연구 Vol.10 No.3

손의 동작을 인식하여 콘텐츠와 인터랙션 할 수 있는 사용자 인터페이스에 대한 관심이 증대되고 있다. 그러나 단일 컬러 공간에서 손 영역을 인식하는 경우 피부색과 유사한 배경색의 존재 유무에 따라 배경과 손을 정확하게 구별할 수 없는 문제점이 발생하고 있다. 이를 해결하기 위하여 본 논문에서는 웹 카메라와 적외선 카메라를 사용하는 손 인식 방법을 제안하고 이를 이용한 핸드 마우스 어플리케이션을 구현한다. 제안하는 방법에서는 웹 카메라로 입력된 영상을 RGB 공간과 HSV 공간에서 순차적으로 필터링 하여 피부색 영역을 검출한다. 또한 적외선 카메라로 입력된 영상으로부터 적외선 카메라 앞에 있는 물체로부터 반사되어 돌아오는 적외선의 상대적인 깊이정보를 사용하여 손 영역을 검출한다. 마지막으로 이상에서 추출된 피부색 영역과 손 영역의 교집합을 구함으로써 피부색과 유사한 배경색으로 부터 입력 받고자 하는 손 영역을 분리한다. 제안하는 방법의 성능을 확인하기 위하여 붉은색 상의를 입고 손을 가슴 앞쪽에 위치시킨 후 핸드 마우스 어플리케이션을 사용하였다. 실험 결과 웹 카메라만 사용할 경우 손 영역 추출이 어려웠으나 제안한 방법에 기반한 핸드 마우스 어플리케이션을 이용할 경우 윈도우 상의 인터넷 익스플로러를 정확하게 제어할 수 있었다. 본 논문에서 개발된 핸드 마우스 어플리케이션은 IPTV나 박물관 등에 전시될 인터랙티브 콘텐츠에 활용될 수 있을 것으로 기대된다. In recent years an enhanced user interface for human-content interaction by hand gesture recognition has gained attention. However in the case of the recognition in a single color space it is not simple to accurately extract a hand from its background. In this paper we propose a hand recognition method using an infrared camera and a web camera and we implement a hand mouse application based on the proposed hand recognition method. The proposed method sequentially performs color filtering in HSV after in RGB color space with the input image from the web camera and detects skin regions. In addition it extracts and utilizes the relative depth information from the image captured by the infrared camera to detect hand regions. Finally the method extracts a hand region from its background containing colors similar to the skin color by computing the common region of the extracted skin and hand regions. For experimental tests we test the hand mouse application with wearing a red shirt and positioning hand in front of our chest. As a result we found that it is hard to extract the exact hand region from our shirt when we use only a web camera but that we can control Internet Explorer with the hand mouse application when we use both an infrared camera and a web camera. We believe that the hand mouse application can be applied to the interactive contents in IPTV or museum.