Kinect 센서와 Greenfoot을 이용한 NUI 프로그래밍 지도방법 사례 연구

장원영,김성식 한국교원대학교 교육연구원 2014 敎員敎育 Vol.30 No.4

This case study is on the teaching method of NUI programming using Kinect sensor and Greenfoot. A touch based user interface of smartphone contributed to popularity of smart devices and was opportunity to confirm how important the user experience is in terms of innovation of the product. Furthermore, it’s significant that Microsoft Kinect sensor gives us applicability of human’s motion recognition technology to everyday life. But we have to program in C++, C# to implement NUI software using Kinect sensor. Especially it is very difficult for middle and high school students to program. So we used the Java educational tool, Greenfoot. Greenfoot is an educational development environment highly specialized for the development of interactive, graphical applications. It is based on the Java programming language. Using Greenfoot and Kinect sensor, the students from high school age could develop engaging and interesting programs, such as games and simulations with NUI quickly and easily while learning fundamental object-oriented programming concepts. 스마트폰에서 시작한 혁신적인 사용자 인터페이스는 사람의 자연스러운 동작을 인식하는 NUI(Natural User Interface)로 발전하여 앞으로 모든 가전제품의 기본적인 사용자 경험으로 자리 잡을 것으로 예상된다. 본 연구는 교육용 Java 개발도구인 Greenfoot과 마이크로소프트 Kinect 센서를 이용하여 NUI 프로그래밍을 지도하는 방법을 사례 중심으로 모색하였다. 본 연구에 참여한 학생들을 대상으로 총 30차시를 지도한 후 NUI에 대한 이해와 분석, 한계점 인식, 그리고 NUI 프로그램 제작에 대한 자기효능감에 대해 1:1 심층 면담을 실시하였다. 연구 결과, 중・고등학생들도 어렵지 않게 고품질의 NUI 프로그램을 제작할 수 있고, 이 과정에서 객체지향 프로그래밍의 개념과 혁신적인 사용자 인터페이스에 대한 가능성을 탐색하였으며, NUI 프로그래밍에 대해 긍정적으로 인식하고 있음을 확인할 수 있었다.

프레젠테이션을 위한 NUI기반 웨어러블 컴퓨터 디자인 연구

김은아,안인희,김숙진 한국차세대컴퓨팅학회 2016 한국차세대컴퓨팅학회 논문지 Vol.12 No.6

최근 인간과 컴퓨터의 관계가 점점 더 긴밀해지면서 웨어러블 컴퓨터는 신체적 편리성을 위한 영역에서 소통을 위한 영역으로까지 확장되고 있다. 첨단산업사회에서 소통의 방법으로 채택되는 대표적인 방법인 프레젠테이션은 발표자 의 비언어적 요소가 매우 중요한 요소로 작용한다. 따라서 본 연구의 목적은 프레젠테이션의 효과를 높이기 위하여 NUI(Natural User Interface)를 기반으로 IT기술과 웨어러블 의상의 융합을 위한 디자인 개발을 목적으로 한 다. 본 연구의 내용 및 방법은 프레젠테이션을 위한 NUI기반 웨어러블 컴퓨터 프로토타입을 설계하고 의상을 제작 한다. 또한 제작된 프로토타입 의상의 디자인을 소통성, 전문성, 흥미성, 편리성, 심미성을 기준으로 분석한다. 이에 따른 본 연구의 결과로 착용자의 자연스러운 행동이 가능하도록 NUI를 기반으로 하는 기기의 선택과 결합, 의상의 융합을 통하여 프레젠테이션의 효과를 극대화할 수 있는 디자인을 제시하였다. As the relation between human beings and the computers becomes closer and closer, the wearable computer not only plays a role in the area of physical convenience but also expands to the area of communication. Presentation is one of the representative ways of communication in this advanced industrial society. Presenter’s nonverbal elements play important roles in a presentation. The purpose of this study is to develop a design to integrate IT technology and wearable computer clothes based on NUI (Natural User Interface) to increase the effect of a presentation. The prototype of wearable computer and clothes based on NUI for a presentation is designed. The design of the manufactured prototype clothes is designed with the perspectives of communication, specialty, interest, convenience and aesthetics. As a result of this study, a design is suggested to maximize the effect of a presentation through the selection, the combination and the integration of NUI based devices and clothes that enable the person who wears them to behave naturally.

직관적인 핸드 모션에 기반한 NUI/NUX 프레임워크

이광형 ( Gwanghyung Lee ),신동규 ( Dongkyoo Shin ),신동일 ( Dongil Shin ) 한국인터넷정보학회 2014 인터넷정보학회논문지 Vol.15 No.3

내츄럴 유저 인터페이스는 마우스, 키보드, 펜과 마커를 이용하지 않는 신체를 이용한 자연스런 모션 인터페이스이다. 지금까지 대표적인 동작 인식 방법은 마커를 이용하는 방식이었고 그 인식 방법은 각 마커의 좌표를 상대적인 데이터로 입력 받아 데이터베이스에 각 좌표 값을 저장하는 것이었다. 그러나 정확한 동작을 인식하기 위해서는 더 많은 마커들이 필요하고 그 마커들을 붙이는 것과 데이터들을 처리하는 데에 상당한 시간이 걸린다. 또, NUI/NUX 프레임워크를 개발하면서, 가장 중요한 직관성을 배제한 개발로 사용상에 문제가 생겼고 계속해서 사용자에게 암기만을 강요하고 있다. 이 문제를 보완하기 위해, 본 논문에서는 마커를 이용하지 않았고 남녀노소 누구나 다룰 수 있도록 구현했다. 또, 목소리, 신체 동작, 얼굴 표정 등을 동시에 인식하는 멀티모달 NUI/NUX 프레임 워크를 설계했고, 직관적인 손동작을 인식하는 것과 모니터에 그것을 매핑하기 위해 새로운 마우스 이벤트 알고리즘을 제안했다. 우리는 사용자들이 쉽고 직관적으로 핸드마우스 이벤트를 다루도록 구현했다. The natural user interface/experience (NUI/NUX) is used for the natural motion interface without using device or tool such as mice, keyboards, pens and markers. Up to now, typical motion recognition methods used markers to receive coordinate input values of each marker as relative data and to store each coordinate value into the database. But, to recognize accurate motion, more markers are needed and much time is taken in attaching makers and processing the data. Also, as NUI/NUX framework being developed except for the most important intuition, problems for use arise and are forced for users to learn many NUI/NUX framework usages. To compensate for this problem in this paper, we didn`t use markers and implemented for anyone to handle it. Also, we designed multi-modal NUI/NUX framework controlling voice, body motion, and facial expression simultaneously, and proposed a new algorithm of mouse operation by recognizing intuitive hand gesture and mapping it on the monitor. We implement it for user to handle the “hand mouse”operation easily and intuitively.

멀티터치 인터페이스 회의시스템 구축 방안 연구

장석주,박선희,최태준 한국인터넷방송통신학회 2014 한국인터넷방송통신학회 논문지 Vol.14 No.5

IT산업의 발달은 현대사회에 큰 변화를 가져왔다. 그 변화는 모든 분야에 적용되어 생활을 점점 더 편리하 게하고, 업무는 더 효율적으로 빠른 처리가 가능하게 하면서 사람들을 편리한 삶으로 이끌고 있다. 이러한 변화의 중 심에는 인터페이스가 크게 작용하고 있으며, 점점 발전해 현재는 사용자 행동기반의 인터페이스 NUI(Natural User Interface)기술을 사용 중에 있다. NUI는 별도의 입력 장치 없이 터치, 제스쳐 등의 자연스러운 행동을 통해 시스템과 소통할 수 있도록 하는 기술이다. 그 중 스마트 폰은 NUI 기술을 적용한 대표적인 디바이스이다. 스마트폰 뿐만 아 니라 NUI 기술은 키오스크, 대형 테이블 등의 터치스크린에 적용하여 문화, 국방 ,광고 산업 등 다양한 분야로 개발 및 활용 중에 있다. 이에 본 연구에서는 NUI기술을 활용하여 멀티 터치 테이블 기반의 멀티 터치 회의 시스템을 구 축하여 기존의 회의 방식을 개선할 수 있는 효율적인 시스템을 제안한다. The development of the IT industry brought major changes in modern society. That change applies in all areas, that life is more and more convenient. work is more efficient, handling quickly and that make convenient life. Interface is a big factor in the center of these changes. that is more and more development and there is currently using NUI technology. NUI technology is not necessary that discrete input device. and that use natural behavior like touch, gesture. among them, the smart phone device is a representative of appllying the NUI technology. smart phone as well as NUI technology applies kiosk, big table and that use Various fields, such as culture, defense, and advertising industries. In this research, development multi-touch table based multi-touch meeting system. and proposal efficient system possible improvements about Existing meeting system.

사용자의 신체적 특징과 뇌파 집중 지수를 이용한 가상 모니터 개념의 NUI/NUX

전창현 ( Chang-hyun Jeon ),안소영 ( So-young Ahn ),신동일 ( Dong-il Shin ),신동규 ( Dong-kyoo Shin ) 한국인터넷정보학회 2015 인터넷정보학회논문지 Vol.16 No.6

Human-Computer Interaction(HCI)에 대한 관심도가 높이지면서, HCI에 대한 연구도 활발히 진행되고 있다. 이와 더불어 사용자의 몸짓이나 음성을 이용하는 Natural User Interface/Natural User eXperience(NUI/NUX)에 대한 연구도 활발히 진행되고 있다. NUI/NUX의 경우, 제스처 인식이나 음성 인식 등의 인식 알고리즘이 필요하다. 하지만 이러한 인식 알고리즘은 전처리, 정규화, 특징 추출과 같은 단계를 거쳐야하기 때문에 구현이 복잡하고, 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다. 최근에는 NUI/NUX 개발 도구로 Microsoft 사의 Kinect가 개발되어 개발자와 일반인들에게 많은 관심을 받고 있고, 이를 이용한 다양한 연구가 진행 중에 있다. 본 저자들의 이전 연구에서도 사용자의 신체적 특징을 이용하여 뛰어난 직관성을 가진 핸드 마우스를 구현하였다. 하지만 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다. 본 연구에서는 Kinect를 통해 사용자의 신체적 특징을 실시간으로 추출하고, 이를 이용해 가상 모니터라는 새로운 개념을 추가한 핸드 마우스 인터페이스를 설계하고 구현하였다. 가상 모니터는 사용자의 손으로 마우스를 제어할 수 있는 가상의 공간을 의미한다. 이를 통해 가상 모니터 상의 손의 좌표를 실제 모니터 상의 좌표로 정확하게 매핑(mapping)이 가능하다. 가상 모니터를 사용함으로써 이전 연구의 장점인 직관성을 유지하고, 단점인 정확도를 높일 수 있다. 추가적으로 뇌파 집중 지표를 이용해 사용자의 불필요한 행동을 인식하여 핸드 마우스 인터페이스의 정확도를 높였다. 제안하는 핸드 마우스의 직관성과 정확성을 평가하기 위하여 10대부터 50대까지 50명에게 실험을 하였다. 직관성 실험 결과로 84%가 1분 이내에 사용방법을 터득하였다. 또한 동일한 피실험자에게 일반적인 마우스 기능(드래그, 클릭, 더블클릭)에 대해 정확성 실험을 한 결과로 드래그 80.9%, 클릭 80%, 더블 클릭 76.7%의 정확성을 보였다. 실험 결과를 통해 제안하는 핸드 마우스 인터페이스의 직관성과 정확성을 확인하였으며, 미래에 손으로 시스템이나 소프트웨어를 제어하는 인터페이스의 좋은 예시가 될 것으로 기대된다. As growing interest in Human-Computer Interaction(HCI), research on HCI has been actively conducted. Also with that, research on Natural User Interface/Natural User eXperience(NUI/NUX) that uses user`s gesture and voice has been actively conducted. In case of NUI/NUX, it needs recognition algorithm such as gesture recognition or voice recognition. However these recognition algorithms have weakness because their implementation is complex and a lot of time are needed in training because they have to go through steps including preprocessing, normalization, feature extraction. Recently, Kinect is launched by Microsoft as NUI/NUX development tool which attracts people`s attention, and studies using Kinect has been conducted. The authors of this paper implemented hand-mouse interface with outstanding intuitiveness using the physical features of a user in a previous study. However, there are weaknesses such as unnatural movement of mouse and low accuracy of mouse functions. In this study, we designed and implemented a hand mouse interface which introduce a new concept called `Virtual monitor` extracting user`s physical features through Kinect in real-time. Virtual monitor means virtual space that can be controlled by hand mouse. It is possible that the coordinate on virtual monitor is accurately mapped onto the coordinate on real monitor. Hand-mouse interface based on virtual monitor concept maintains outstanding intuitiveness that is strength of the previous study and enhance accuracy of mouse functions. Further, we increased accuracy of the interface by recognizing user`s unnecessary actions using his concentration indicator from his encephalogram(EEG) data. In order to evaluate intuitiveness and accuracy of the interface, we experimented it for 50 people from 10s to 50s. As the result of intuitiveness experiment, 84% of subjects learned how to use it within 1 minute. Also, as the result of accuracy experiment, accuracy of mouse functions (drag(80.4%), click(80%), double-click(76.7%)) is shown. The intuitiveness and accuracy of the proposed hand-mouse interface is checked through experiment, this is expected to be a good example of the interface for controlling the system by hand in the future.

NUI를 활용한 가상현실 박물관 전시 디자인 연구

이대겸,김원,윤여경 한국상품문화디자인학회 2020 상품문화디자인학연구 Vol.62 No.-

With the advent of the 4th industrial revolution, many changes are taking place in the social paradigm. Among them, virtual reality technology is receiving the most attention, which is deeply related to the current social situation. Entering 2020, the spread of Corona 19 around the world has established a non-contact, non-face-to-face culture in our daily lives. Schools conduct online classes to prevent infectious diseases, and companies recommend working from home.In addition, exhibition halls, museums, and other cultural arts fields are also looking for ways to view the works in a non-face-to-face manner. Until now, research on virtual reality and augmented reality has been relatively much progressed, but studies applying these to museum exhibition design are insufficient. we consider the types of exhibitions in the virtual reality museum exhibition design according to the exhibition types of David Dean. Third, it analyzes the virtual reality museum design into sense, emotion, cognition, action, and relationship according to Burnsmeet's experience factors. Fourth, through case studies, we present the direction of NUI design suitable for the virtual reality museum exhibition design. Through the previous process, the following research results were derived. First, the exhibition design of a virtual reality museum corresponds to a “concept-oriented” type of exhibition by David Dean. Also, most of the interactions consist of basic gestures using a hand controller. Second, in the sensational part, sight and hearing are used a lot, and it was produced as a technique to express the sense of presence.There was a lot of first-person viewing, mainly viewed by individuals, and communication with other people was impossible. Third, the virtual reality museum exhibition design should be designed with an appropriate combination of body, body motion, voice interface, and natural interfaces and interactions utilizing the five senses. This study is meaningful in that it suggested the development plan of NUI design as a basic study to broaden the empirical perspective of virtual reality museum exhibition design in terms of user characteristics and empirical factors. 4차 산업혁명 시대가 도래함에 따라 사회 패러다임에도 많은 변화가 일어나고 있다. 그중에서도 가상현실 기술이 가장 큰 주목을 받고 있는데 이는 현재 사회적 상황과도 깊은 연관이 있다. 2020년도에 들어서면서 전 세계적으로 코로나19가 확 산되어 우리의 일상 속에 비접촉, 비대면 문화가 자리잡게 되었다. 전염병 예방을 위해 학교는 온라인 수업을 진행하고, 회 사는 재택근무를 권장하고 있다. 뿐만 아니라 전시장, 박물관을 비롯한 문화예술 분야에서도 비대면으로 작품을 관람할 수 있는 방법을 찾고 있다. 현재까지 가상현실과 증강현실에 대한 연구는 비교적 많이 진행되었으나 이를 박물관 전시 디자인 에 적용시킨 연구는 미비하다. 따라서 본 연구는 사용자의 특성을 사용자 경험 차원에서 새롭게 해석하여 가상현실 박물관 전시 디자인에서 사용자 경험요인을 확장시키는 가이드라인을 제공하는 데 그 목적이 있다. 연구 방법은 첫째, 선행연구 및 문헌들을 통해 NUI의 개념과 특성, 가상현실의 개념, 인터랙션 및 박물관에 대한 패러다임을 살펴본다. 둘째, 데이비드 딘의 전시유형에 따라 가상현실 박물관 전시 디자인의 전시 유형을 고찰한다. 셋째, 번스미트의 경험요소에 따라 가상현실 박물관 디자인을 감각, 정서, 인지, 행동, 관계로 분석한다. 넷째, 사례연구를 통하여 가상현실 박물관 전시 디자인에 걸맞 은 NUI 디자인의 방향성을 제시한다. 앞선 과정을 통해 다음과 같은 연구결과를 도출하였다. 가상현실 박물관 전시 디자인 은 첫째, 데이비드 딘의 전시유형으로 볼 때 ‘개념지향형’에 해당한다. 또한 대부분의 인터랙션이 핸드 컨트롤러를 이용한 기본적인 제스처로 구성되어 있다. 둘째, 감각적인 부분에서는 시각, 청각을 많이 활용하고 있으며, 현존감을 표현하는 기 법으로 제작되었다. 주로 개인이 시청하는 1인칭 관람이 많았으며, 다른 사람과 소통은 불가했다. 셋째, 가상현실 박물관 전시 디자인은 신체, 몸동작, 음성 인터페이스 등의 적절한 조합과 오감을 활용한 자연스러운 인터페이스 및 인터랙션으로 디자인되어야 한다. 본 연구는 사용자 특성과 경험적 요인 차원에서 가상현실 박물관 전시 디자인의 경험적 시각을 넓히는 기초연구로서 NUI 디자인의 발전 방안을 제시하였다는 데 그 의의가 있다.

Virtual Clay Art에서 립모션과 아두이노를 이용한 터치감

윤유창,진성아 사단법인 인문사회과학기술융합학회 2018 예술인문사회융합멀티미디어논문지 Vol.8 No.2

Researches with the aim of improving interaction, have been carried out to enhance fidelity of virtual reality technology through NUI (natural user interface). NUI is a good example that links the user's natural behavior to the interaction. The NUI has the advantage of controlling content without attaching additional equipment to the hands or body. However, it is also fact that there are limitations in providing such experiences. Using natural interaction and haptic technology, realistic touch will give users immersive and exciting experience in virtual reality. In this paper, we proposed a more realistic virtual environment by adding a touch to the desired clay art figures using Leap Motion in virtual reality clay art experience environment. In order to provide a sense of touch, Arduino was developed as a glove for natural motion, Leap Motion interaction and a sense of heterogeneity. By overcoming the limits of physical touch that can not be provided by a simple Leap Motion interaction, the fidelity of the virtual reality is enhanced by adding immersion and interactivity to the user. 가상현실 기술의 충성도를 높이기 위해서 고도화된 인터렉션을 제공하는 연구들이 수행되고 있다. 사용자의 자연스러운 행동을 인터렉션과 연결시키는 NUI 인터페이스가 좋은 사례이다. NUI는 별도의 장비를 손이나 신체에 부착하지 않고도 콘텐츠를 제어할 수 있는 장점이 있다. 하지만 사실과 같은 체험을 제공하는데 한계가 있는 것도 사실이다. 자연스런 인터랙션과 함께 햅틱 기술을 이용하여 사실적인 터치감을 부여해 준다면 사용자가 가상현실을 체험하는데 몰입감과 흥미를 더해 줄 것이다. 본 연구에서는 가상현실 클레이 아트 체험환경에서 립모션을 이용하여 원하는 클레이 아트 피규어를 제작 시 터치감을 더해 줌으로 좀 더 실감적인 가상환경을 구축하였다. 터치감을 제공하기 위해 아두이노를 이용하여 자연스런 행동인 립모션 인터렉션과 이질감이 없도록 장갑형태로 개발하였다. 단순한 립모션 인터렉션에서는 제공하지 못하는 물리적 터치감의 한계를 극복하여 사용자에게 몰입감과 상호작용성을 더함으로 가상현실의 충성도를 고도화하였다.

안구운동 패턴을 이용한 인지적 의도와 정서적 의도 파악 및 추론

박형규(Hyeonggyu Park),이상일(Sangil Lee),이민호(Minho Lee),곽호완(Ho-wan Kwak) 한국HCI학회 2014 한국HCI학회 학술대회 Vol.2014 No.2

의도는 무엇을 하려는 생각이나 계획으로 행동 전에 나타나는 태도를 통해 예측할 수 있다. 인간과 컴퓨터/기계의 상호작용이 증가하고 Natural User Interface(NUI)가 여러 디지털 기기에서 사용되고 있다. NUI는 음성이나 눈짓등을 이용하기 때문에 무엇보다 편리성이 높다는 장점이 있지만 다른 UI에 비해 정확성이 떨어진다. 이런 이유로 NUI를 처음 접하는 사용자들은 재미와 편리함을 느낄 수 있지만 사용도중에 오류가 발생하거나 사용자의 의도에 맞지 않게 작동하면 오히려 불편함을 느끼게 된다. NUI가 완전한 인터페이스로 사용되기 위해서는 컴퓨터나 기계가 사용자의 의도를 파악할 필요성이 있다. 본 연구에서는 안구운동패턴을 활용하여 인지적 의도와 정서적 의도를 구분 및 추론 할 수 있는지 알아보았다. 실험 결과 연구 1에서 인지적 의도와 정서적 의도는 평균 응시점 수, 평균 응시시간, 평균 동공크기 차이로 구분할 수 있었다. 그러나 의도와 같은 정신적 요소에 대한 개인성으로 인해 판별 정확도가 다소 낮게 나타나는 문제점이 발견되었다. 연구 2에서는 개인 별 반복측정을 통해 인지적 의도와 정서적 의도 조건에서 향상된 판별 정확도를 확인할 수 있었고 평균 응시점 수와 평균 응시시간을 분석하여 실험 참가자가 선택한 의도를 추론할 수 있었다. 연구 1, 2의 결과를 종합해보면 평균 응시점 수와 평균 응시시간 등과 같은 안구운동 측정치를 사용하여 사용자의 의도를 구분할 수 있으며 개인 별로 수집된 데이터를 활용하여 의도추론까지 가능함을 알 수 있었다. 이러한 연구 결과는 NUI 사용환경에서 사용자의 의도를 파악하여 효율적인 디지털 기기 사용이 가능하도록 하고 자동차나 산업전반, 일상생활에서도 유용하게 사용될 수 있을 것이다. The aim of this study is to figure out and infer the cognitive intent and affective intent by analyzing eye movement patterns. A human being usually has intent that is an idea or plan to do something. While human-computer/machine interaction increase and natural user interface is used in many digital devices, the necessity that the computer or instrument grasps the user intent is gradually enlarged. In this study, the condition of intent exists is divided into cognitive intent and affective intent. Experiment 1 verify that average fixation count, average fixation duration, average pupil size show significant differences in each intent condition. But the discrimination accuracy is slightly low because of personality of mental factor as intent. Experiment 2 show that discrimination accuracy is improved through repeatedly measured personal data and it is possible to infer user cognitive intent and affective intent by using personal eye movement patterns. These results offer a method to figure out and infer human intent. And it is valuable to use not only digital devices, computer but automobile, industrial machinery and tools, articles in daily use in HCI/HMI for using NUI.

다중제어시스템 개발을 통한 에듀테인먼트 접목

이창조(Chang-Jo Lee),박선희(Seon-Hui Bak),최태준(Tae-Jun Choi) 한국엔터테인먼트산업학회 2015 한국엔터테인먼트산업학회논문지 Vol.9 No.1s

스마트 디스플레이의 발달은 다양한 융복합 형태의 콘텐츠 개발로 정보화 사회에 큰 변화를 가져왔으며, 엔터테인먼트 산업에 적용하여 활용 중에 있다. 콘텐츠 개발에는 스마트 디스플레이의 UI(User Interface)기술 중 하나인 NUI(Natural User Interface) 기술을 사용하고 있으며, 이 기술은 현재 단순 스마트폰 기기를 벗어나 삼성전자에서 개발한 스마트 TV의 음성인식 기반 시스템 제어/조작, 미네소타 대학의 Kinect와 의료분야를 접목한 정신장애 아동 진단용 의료기기 개발 등 여러 방면에서 사용되고 있다. 이처럼 NUI기술을 활용한 스마트 디스플레이는 교육, 업무, 게임, 마케팅, 복지 등 다양한 목적과 기능을 가진 양방향, 참여형 플랫폼으로 발전하고 있다. 이에 본 연구에서는 사용자 경험 UX와 사용자 행동기반 인터페이스 NUI기술을 활용한 스마트 디스플레이인 멀티 터치 테이블에 다중 제어 시스템을 개발하여 멀티 터치 기능의 효과를 확인하고, 에듀테인먼트 콘텐츠에 접목하여 효용성이 있는지에 대해 살펴보았다. The development of smart display brought big changes in the Information Society due to the development of various forms of content. and this applies to Entertainment Industry that use. development technology of these smart display used NUI technology that one of UI technology. It is not simple when used NUI technology. for example, Speech recognition based on Samsung"s Smart TV system control / operation, Kinect of Minnesota college medical diagnostic medical device for mentally disabled children applying to a machine being used in many ways, including development. The technology, evolving into interactive and participative content. It is being developed Education, game, marketing and various purposes such as welfare, work under development. In this research, we make multiple control system of multi-touch table that based user experience UX and based user behaviors interface NUI. The purpose of this researh is finding its effectiveness when combine of a multi-touch technology and the edutainment.

NUI가 적용된 체감형 게임의 사용자 심전도 분석에 의한 스트레스 측정 알고리즘 연구

이현주,신동일,신동규 한국게임학회 2013 한국게임학회 논문지 Vol.13 No.5

NUI(Natural User Interface)는 별도의 입출력 장치 없이 사용자 자신의 음성/신체부위 등을 사용하여 주변 디지털 기기를 제어할 수 있도록 하는 기술이다. 본 논문에서는 NUI가 적용된 스마트 공간에서 신체를 직접적으로 사용하는 체감형 게임을 실행하는 사용자를 대상으로 연구를 진행하였다. 게임 사용자의 스트레스 발생 여부를 알아내기 위하여 게임 시행 전과 후로 나누어 각각 60초에 걸쳐서 심전도를 측정하였고, 측정된 신호를 개량된 Random Forest 알고리즘으로 분석하였다. 교사학습 방식에 의한 실험을 위하여 사용자는 자신의 스트레스 발생 여부를 별도로 입력하여 저장하도록 하였으며, 실험결과 개량된 알고리즘이 기존의 알고리즘보다 1.04% 높은 정확도를 보여주었다. NUI(Natural User Interface) allows users to directly interact with surrounding digital devices using their voices or body motions without additional input/output interface devices. Our study has been carried out on human users who play a tangible game with body motions in the NUI-applied smart space. ECG was measured for 60 seconds duration before and after playing the game to determine user stress levels, and the measured signals were analyzed through an improved Random Forest algorithm. In order to experiment by a supervised learning, users additionally input whether or not the user felt stress. Moreover, the improved algorithm showed 1.04% higher accuracy than existing algorithm.