멀티모달 인터랙션 모델 유형 분석을 통한 사용자중심 모델 제안

정의철(Eui-Chul Jung),진송은(Songyin Chen) 한국HCI학회 2020 한국HCI학회 학술대회 Vol.2020 No.2

멀티모달인터랙션은 원활한 소통을 위해 방법으로 언어학에서 출발하여, 최근 인터랙션 디자인분야에서 적극 활용되고 있다. 특히, 음성기반 인터랙션의 등장으로 GUI 가 주류였던 인터랙션 모달리티가 다양해지면서 연구가 활발해지고 있다. 본 연구는 사용자 중심 관점에서, 다양한 모달리티 활용을 설명할 수 있는 멀티모달 모델을 제안하여 인터랙션 디자인 연구 기반 제공을 목적으로 한다. 연구목적 달성을 위한 연구방법으로는, 멀티모달 인터랙션 모델 선행연구 고찰을 문헌을 중심으로 진행하였다. 모델은 1) 시스템 구조 및 개발을 위한 목적, 2) 멀티모달 요소 및 인터페이스 가능성 설명을 위한 목적, 3) 멀티모달 구성 효과 및 평가 목적의 세가지 유형으로 구분할 수 있었다. 유형분석을 통하여, 사용자중심 관점으로 멀티모달 인터랙션을 구성한 모델은 상대적으로 연구가 부족하다는 것을 파악할 수 있었다. 따라서, 멀티모달 인터렉션 디자인 사례 조사를 통해 사용자 관점에서 장점을 정리하였다. 1) 효과적 정보 전달 관점, 2) 집사/비서 역할의 관점, 3) 상황에 따른 효과적 모달리티 적용의 장점이 있다는 것을 파악하였다. 문헌고찰과 사례분석을 바탕으로, 사용자중심 멀티모델 인터랙션 모델을 제안하였다. 본 모델을 활용하여 멀티모달 인터랙션 디자인 컨셉 및 시나리오 발굴에 활용할 수 있을 것으로 기대한다.

반자율주행 맥락에서 AI 에이전트의 멀티모달 인터랙션이 운전자 경험에 미치는 효과

서민수(Min-soo Suh),홍승혜(Seung-Hye Hong),이정명(Jeong-Myeong Lee) 한국콘텐츠학회 2018 한국콘텐츠학회논문지 Vol.18 No.8

대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다. As the interactive AI speaker becomes popular, voice recognition is regarded as an important vehicle-driver interaction method in case of autonomous driving situation. The purpose of this study is to confirm whether multimodal interaction in which feedback is transmitted by auditory and visual mode of AI characters on screen is more effective in user experience optimization than auditory mode only. We performed the interaction tasks for the music selection and adjustment through the AI speaker while driving to the experiment participant and measured the information and system quality, presence, the perceived usefulness and ease of use, and the continuance intention. As a result of analysis, the multimodal effect of visual characters was not shown in most user experience factors, and the effect was not shown in the intention of continuous use. Rather, it was found that auditory single mode was more effective than multimodal in information quality factor. In the semi-autonomous driving stage, which requires driver s cognitive effort, multimodal interaction is not effective in optimizing user experience as compared to single mode interaction.

대면적 윈드쉴드 형 헤드 업 디스플레이와 차량용 멀티모달 NUI 인터페이스

김명섭(Myeongseop Kim),여도현(Dohyeon Yeo),김원(Won Kim),이지은(Jieun Lee),조경원(Kyungwon Cho),김승준(SeungJun Kim) 한국HCI학회 2019 한국HCI학회 학술대회 Vol.2019 No.2

NUI (Naturalistic User Interface) 기술의 발전으로, 차량을 위한 중앙 터치 콘솔, 음성인식, 에어 제스처 등을 조합한 새로운 운전자 인터페이스를 개발하고 사용자 경험을 향상하기 위한 인터랙션 연구가 진행되고 있다. 운전 작업을 진행중에도 사용할 수 있는 인포테인먼트 기기가 다양해지고 이로 인한 산만운전 이슈가 심화됨에 따라, 본 연구는 기존의 중앙 터치 콘솔 시스템의 단점을 해결하고 음성 명령과 핸들 기반 터치 제스처를 융합한 멀티모달 NUI 인터랙션을 지원하는 운전자 인터페이스를 제시하고자 한다. 본 연구에서는 모션 플랫폼을 포함한 가상의 주행 시뮬레이션 테스트베드를 구축하였고 NASA-TLX 와 CSUQ (Computer System Usability Questionnaire)를 사용하여 피실험자의 작업 워크로드와 경험적 사용성을 평가했다. 그 결과, 차량 윈드쉴드 형 대면적 헤드 업 디스플레이와 연계하여 핸들기반 터치 제스처 명령과 음성 명령을 조합한 멀티모달 NUI 인터페이스가 기존의 터치 스크린 기반중앙 콘솔 보다 통계적으로 유의하게 운전자 워크로드를 감소시키고 운전 효율을 향상함을 보였다.

멀티모달 실감 경험 I/O 인터랙션 시스템 개발

박재언 ( Jae Un Park ),황민철 ( Min Cheol Whang ),이정년 ( Jung Nyun Lee ),허환 ( Hwan Heo ),정용무 ( Yong Mu Jeong ) 한국감성과학회 2011 감성과학 Vol.14 No.4

The purpose of this study is to develop the multi-modal interaction system. This system provides realistic and an immersive experience through multi-modal interaction. The system recognizes user behavior, intention, and attention, which overcomes the limitations of uni-modal interaction. The multi-modal interaction system is based upon gesture interaction methods, intuitive gesture interaction and attention evaluation technology. The gesture interaction methods were based on the sensors that were selected to analyze the accuracy of the 3-D gesture recognition technology using meta-analysis. The elements of intuitive gesture interaction were reflected through the results of experiments. The attention evaluation technology was developed by the physiological signal analysis. This system is divided into 3 modules; a motion cognitive system, an eye gaze detecting system, and a bio-reaction sensing system. The first module is the motion cognitive system which uses the accelerator sensor and flexible sensors to recognize hand and finger movements of the user. The second module is an eye gaze detecting system that detects pupil movements and reactions. The final module consists of a bio-reaction sensing system or attention evaluating system which tracks cardiovascular and skin temperature reactions. This study will be used for the development of realistic digital entertainment technology.

인텔리전트 에이전트와의 멀티모달 인터랙션을 위한 열 피드백

김세영(Seyeong Kim),남택진(Tek-Jin Nam) 한국HCI학회 2018 한국HCI학회 학술대회 Vol.2018 No.1

인공 지능 기술의 발달로 인텔리전트 에이전트에 관한 관심과 서비스가 증가하고 있다. 인텔리전트 에이전트는 주로 실용적인 도움을 주는 기술로 여겨지지만, 사용자에게 감성적 측면에서의 만족을 제공할 가능성 또한 가진다. 하지만 기존의 인텔리전트 에이전트와의 인터랙션 방식은 음성이나 텍스트 같은 언어적 요소에 국한되어있어 풍부한 정보/컨텐츠를 전달에 어려움이 있고, 현실감을 재현하고 높은 몰임감을 유도하는 데 한계를 가진다. 본 연구에서는 이러한 한계를 극복하고 인텔리전트 에이전트의 감성적 측면의 사용성을 극대화하고자 열을 매개체로 한 멀티모달 인터랙션 방법을 제시한다. 열은 일반적인 촉각 매체와 다르게 긍정적인 감정을 불러일으키는 속성, 비방해적이고 자연스러운 속성 및 현실감을 증대하는 속성을 가진다는 점에서 인텔리전트 에이전트의 촉각 피드백 매체로서 다양한 가능성을 가진다. 본 연구에서는 열 피드백의 효과 및 가능성을 보다 구체적으로 탐색하기 위해, 프로토타입을 개발해 실험을 진행하였다. 실험 결과 열피드백이 음성 정보를 풍부하게 이해하는 데 도움을 주었고, 감성 경험을 증진해 줄 수 있었음을 확인하였다.

소방 체험을 위한 VR 기반 멀티모달 인터랙션 시스템

허용해(Yong Hae Heo),김쾌남(KweaNam Kim),이혜선(Hye-Sun Lee),김상연(Sang-Youn Kim) 한국HCI학회 2020 한국HCI학회 학술대회 Vol.2020 No.2

지능형 도시의 3 Screen Play를 지원하는 멀티모달 인터페이스 환경에 관한 연구

김미연(Kim, Mi-Yun) 대한건축학회 2012 대한건축학회논문집 Vol.28 No.3

Due to rapid urbanization and high-tech development, the city is transforming into a new form filled with information and real-time consumption of Web 3.0-based information has emerged as an important consumer trend. Reasonable consumption, which is beyond simple consumption. that enhances the quality of life individuals such as leisure, lifestyle, and environment has emerged as the new trend. As online real-time manner, and the tendency to identify the information they need in a short time through real-time search and to consume products, service, and experience real-timely has increased. This study aims to build an information environment to provide an interface that meets the aesthetic sensibilities of the users, is easy to use according to the purpose of the information, is easy to access anytime and anywhere in the upcoming near future in an intelligent city. Ultimately, the purpose is to find ways to appropriately use the multi-modal interface for building the information environment of the intelligent city that enables 3 Screen Play, which is based on the concept of interactivity that connects people to the built environment. Through the multi-modal interface, considering the characteristics of intelligent cities, this study purposes the smooth distribution of information.

시각장애인의 미술 작품 감상 접근성을 높이는 다중감각 인터랙션의 설계 및 평가

박경빈,조성기,정찬호,최효진,홍태림,정재호,양창준,왕처우,조준동,이상원 한국감성과학회 2020 감성과학 Vol.23 No.1

This study suggests multisensory interaction techniques to help visually impaired people appreciate and understand artworks through non-visual senses such as tactile, auditory, and olfactory senses. A user study was conducted on the basis of a qualitative interview about the experience of appreciating artwork through the multisensory interaction system to visually impaired people so as to verify the development of the interaction techniques. The user test shows that the multisensory interactions in artwork generally not only help them appreciate and understand it but also give them satisfaction through artwork appreciation. However, it also indicates that some multisensory interactions caused the visually impaired people confusion and could not be perceived during the appreciation. On the basis of these outcomes, implications in this study are as follows. This study has contributed to providing specific development guidelines and indicators of non-visual multisensory interactions as a technical alternative to improve accessibility to cultural and artistic activities for the visually impaired. Furthermore, this study is expected to contribute to building a technical background, which can provide comprehensive sensory experiences with not only blind people but also non-blind people such as children and the elderly through universal interaction techniques beyond existing visual-oriented fragmentary experience.

Imaginary Soundscape 기반의 딥러닝을 활용한 회화와 음악의 매칭 및 다중 감각을 이용한 융합적 평가 방법

정하영,김영준,조준동 한국융합학회 2020 한국융합학회논문지 Vol.11 No.11

In this study, we introduced the technique of matching classical music using deep learning to design soundscape that can help the viewer appreciate painting and proposed an evaluation index to evaluate how well matching painting and music. The evaluation index was conducted with suitability evaluation through the Likeard 5-point scale and evaluation in a multimodal aspect. The suitability evaluation score of the 13 test participants for the deep learning based best match between painting and music was 3.74/5.0 and band the average cosine similarity of the multimodal evaluation of 13 participants was 0.79. We expect multimodal evaluation to be an evaluation index that can measure a new user experience. In addition, this study aims to improve the experience of multisensory artworks by proposing the interaction between visual and auditory. The proposed matching of painting and music method can be used in multisensory artwork exhibition and furthermore it will increase the accessibility of visually impaired people to appreciate artworks. 본 연구에서는 회화 감상에 도움이 되는 사운드스케이프를 구성하기 위해 딥러닝 기술을 활용하여 클래식 음악을 매칭하는 기술을 소개하고 회화와 음악 매칭이 얼마나 잘 되었는지에 대해 평가할 수 있는 평가 지표를 제안한다. 평가 지표는 리커드 5점 척도를 통한 적합도 평가와 멀티모달 측면의 평가로 진행하였다. 회화와 음악 매칭에 대해 13명의 실험 참가자의 적합도 평가의 점수는 3.74/5.0 이었고, 또한 13명의 실험 참가자의 멀티모달 평가에서 회화와 음악 매칭의 코사인 유사도의 평균은 0.79였다. 멀티모달적 평가는 새로운 사용자 경험을 측정할 수 있는 평가 지표가 될 것으로 기대된다. 또한 본 연구를 통해 시각과 청각의 인터랙션을 제안함으로써 다중감각 예술작품 경험을 향상시키고자 하였다. 본 연구에서 제안된 회화와 음악 매칭이 다중감각 예술작품 전시에서 활용되며 더 나아가 이는 시각 장애인들의 예술작품 감상에 대한 접근성을 높일 수 있을 것이라 기대한다.

Study on Multimodal Tactile Interface using Wearable Technology for Virtual Reality Environment

Jiyoung Kang(강지영) 한국디지털콘텐츠학회 2020 한국디지털콘텐츠학회논문지 Vol.21 No.3