음성 합성을 이용한 연령별 대화형 에이전트 설계

백형우(Hyoung Woo Baek),박찬미(Chan Mi Park),이정연(Jung Yeon Lee),김진우(Jin Woo Kim) 한국HCI학회 2019 한국HCI학회 학술대회 Vol.2019 No.2

대화형 에이전트가 대중화됨에 따라 대화형 에이전트의 역할이 사용자의 편리성 뿐만 아니라 고령자 등의 특정 그룹을 위한 정서적 상호작용의 대상으로 확대되고 있다. 대화형 에이전트가 이러한 정서적 상호작용의 역할을 제대로 수행하기 위해서는 사용자와의 신뢰도 및 친밀도 형성이 중요하며 신뢰도와 친밀도에는 대화형 에이전트의 나이가 영향을 미칠 수 있음에도 현재까지 대화형 에이전트는 20 대 여성으로 제한되고 있다. 본 연구에서는 이와 같은 한계점을 개선하기 위해 Tacotron 기술을 통해 연령별 음성을 합성하고 60 대와 20 대 대상의 인터뷰를 통해 신뢰도와 친밀도를 측정하였다. 그 결과 60 대와 20 대 참가자 모두 60 대의 목소리에 더 높은 신뢰감을 느꼈으며, 행동적 친밀감의 경우 60 대의 대화형 에이전트 목소리는 60 대와 20 대 참가자 모두에게 부정적인 영향을 미쳤지만 반대로 20 대의 대화형 에이전트 목소리는 긍정적인 영향을 미쳤다. 또한, 정서적 친밀도의 경우에도 60 대와 20 대 참가자 모두 20 대의 목소리를 선호하는 것으로 나타났다. 이를 통해 기능을 위한 에이전트에는 60 대의 목소리, 대화형 에이전트에는 20 대의 목소리가 더 적절하다는 것을 확인할 수 있었다.

대화형 에이전트의 추천 전략이 음성쇼핑경험에 미치는 영향에 관한 연구: 대화 주도권과 제품 유형을 중심으로

김정현,최준호 사이버커뮤니케이션학회 2018 사이버 커뮤니케이션 학보 Vol.35 No.4

As the agent of the AI speakers takes a more active role in the comparison, search, and recommendation process in the voice shopping, it is imperative to design a proper conversation strategy with the consideration of the limitation on the amount of information and mode of media that the agent can deliver to users. This study tested the effects of the recommendation strategies of conversational agent (user initiative or mixed initiative) in the context of voice shopping on the attitudes towards the agent and the intention to continuous use. Also, it investigated the interaction effect between the product types and initiative strategies. The results of experimental study showed that in the voice shopping condition mixed initiative strategy had more positive effects on the perception of social presence, likability, and intention of continuous use of the agent. However, there was no interaction effect between conversation initiative strategies and product types. The results imply that the conversational agent needs to adopt mixed-initiative strategy with which the agent actively engages in shopping process to achieve user’s shopping goal like a personal shopper, in order to secure user satisfaction and continuous use of the service. 인공지능 스피커를 이용한 음성 쇼핑에서 제품의 비교, 탐색, 추천 과정을 에이전트가 진행할 것으로 예상되면서, 사용자에게 전달할 수 있는 정보량과 양식의 제약을 고려한 에이전트의 대화 전략 선택이 매우 중요하다. 이 연구에서는 음성 쇼핑 환경에서 대화형 에이전트의 제품 추천이 사용자 주도 전략 또는 상호 주도 전략 간에 에이전트에 대한 태도와 지속 이용 의도에 미치는 영향을 검증하였다. 또한, 제품 유형와 에이전트의 대화 주도권 전략 간에 상호작용 효과가 있는지 조사하였다. 실험 조사 분석 결과, 음성 쇼핑 환경에서 상호 주도 전략이 사용자 주도 전략보다 에이전트에 대한 사회적 실재감과 호감도, 그리고 향후 이용의도에 긍정적 영향을 더 미치는 것으로 나타났다. 그러나 대화 주도권 전략과 제품 유형 간에는 유의미한 상호작용 효과가 나타나지 않았다. 이 결과는 대화형 에이전트가 퍼스널 쇼퍼와 같이 사용자의 쇼핑 목적 달성을 위해 적극 개입하는 상호 주도 전략으로 설계되는 것이 사용자의 만족과 지속 이용에 더 효과적임을 나타낸다.

고령자를 위한 대화형 에이전트의 디자인 전략 : 자기 결정 이론을 기반으로 한 디자인 요소 탐색을 위한 필드 연구

박중신,윤정미,황우호,강윤영,고현정,김보리,홍세준,김건하,김진우 한국디지털콘텐츠학회 2019 한국디지털콘텐츠학회논문지 Vol.20 No.5

In this study, we developed an interactive agent 'Sammy' for promoting the conversation of the elderly based on an exploratory study. We visited the home of 23 elderly people over 65 years old and observed some phenomena when the conversation agent and the elderly talk in the home through the Wizard of Oz method. Especially, we explored the relationship between dialogue case and agents' utterance strategies in terms of involvement, structure, and autonomy support in the context of inducement and restriction of utterance. Based on the results of exploratory research, we derived six guidelines for interactive agent' design for the elderly. Using these guidelines, we developed 'Sammy', an interactive agent in the form of a messenger-based chatbot. 본 연구에서는 고령자의 대화를 증진시키기 위한 에이전트를 개발하기 위해 고령자를 위한 대화형 에이전트가 가져야 할 대화 디자인 요소를 탐색적 연구를 바탕으로 도출하고, 이를 적용한 대화형 에이전트 ‘새미’를 개발하였다. 65세 이상 고령자 23인의 가정을 직접 방문하여 위자드 오브 오즈(Wizard of Oz) 방법을 통해 고령자의 가정 내에서 대화형 에이전트와 고령자가 대화할 때 어떤 현상들이 나타나는지 관찰하였다. 특히 발화 유도와 발화 제한의 상황에서 관여, 구조, 자율성지지 측면의 에이전트의 발화 전략이 발화 현상과 어떤 관계가 있는지 대화 사례를 바탕으로 탐색하였으며 탐색결과를 종합하여 고령자를 위한 대화형 에이전트 디자인을 위한 6가지 가이드라인을 도출했다. 도출된 가이드라인을 바탕으로 메신저 기반의 챗봇 형태인 대화형 에이전트 ‘새미’를 개발하였다.

음성 에이전트 상호작용에서 선행 발화가 사용자 경험에 미치는 영향 - 스마트홈 맥락에서 대화 유형 조건을 중심으로 -

강예슬,나경화,최준호 국제문화기술진흥원 2021 The Journal of the Convergence on Culture Technolo Vol.7 No.1

이 연구는 스마트 홈 환경에서 대화 주제 유형에 따라 음성 에이전트의 선행 발화 방식이 사용자 경험에 미치 는 효과를 확인하고자 하였다. 과제 중심적 대화와 관계 중심적 대화의 두 가지 대화 유형을 바탕으로, 스마트 스피 커의 발화 방식을 선행 발화와 후행 발화로 구분하여 네 가지 시나리오를 제작하였다. 온라인 실험을 진행하여 총 62 명의 참가자를 발화 방식에 따라 두 그룹으로 나누어, 대화 유형의 두 가지 시나리오를 진행하게 하고, 호감도, 심리 적 저항감, 지각된 지능의 사용자 경험 요인을 측정하였다. 실험 결과, 대화 유형 중 과제 중심적 대화에서 호감도의 주효과가 나타났고, 발화 방식에서 선행 발화에 대한 심리적 저항감의 주효과가 나타났다. 선행 발화 방식은 과제 중 심적 대화에서 호감도와 지각된 지능을 높이는 효과를 보였다. The study aim to test the effect of voice agent’s preceding utterance type on the user experience in the smart home contexts by conversation types. Based on two types of conversation (task-oriented vs. relationship-oriented conversations) and two types of utterance (preceding vs. response utterances), four different scenarios were designed for experimental study. A total of 62 participants were divided into two groups by utterance type, and exposed to two scenarios of the conversation types. Likeability, psychological reactance, and perceived intelligence were measured for the user experience of conversational agent. The result showed main effects of likeability in task-oriented conversations, and of psychological reactance in preceding utterances. The interaction effect demonstrated that preceding conversation improved the likeabilitty and perceived intelligence in the task-oriented conversations.

대화형 에이전트의 성능 개선을 위한 사용자 발화에 관한 탐색적 연구

최혜민(Hyuimin Choi),조광수(Kwangsu Cho) 한국HCI학회 2018 한국HCI학회 학술대회 Vol.2018 No.1

본 연구는 대화형 에이전트의 성능 개선을 위해 실제 인간 사용자의 발화를 수집하여 분석하였다. 이를 위해 사용자의 발화에서 의도를 파악하는 것이 중요하다. 효과적인 대화형 에이전트를 개발하기 위해 사용자의 구어체발화에 특화된 다양한 언어처리 및 언어 이해 요소들을 이해하고자 하였다. 음악서비스에 한정해 사용자 발화를 수집함으로써 본 연구가 확인한 것은 두가지였다. 첫째, 사용자의 의도와 발화가 일치하는지의 여부를 알아보았다. 둘째, 사용자의 발화문을 분석하여 많은 비중을 차지한 형태소가 무엇인지 알아보았다. 그 결과 사용자들은 대화형 에이전트를 사용할 때 기능 및 목적과 관련된 직접적인 키워드로 요청문을 발화하지만, 감정 상태나 처해진 상황에 따라 발화하는 것을 확인하였다. 이러한 불일치 발화문은 에이전트가 이해하지 못할 가능성이 크다. 본 연구결과는 대화형 에이전트 설계 시 사용자의 감정상태와 상황을 고려해야 한다는 시사점을 가진다.

스마트홈 대화형 인터페이스의 의인화 효과

홍은지(Eunji Hong),조광수(Kwangsu Cho),최준호(Junho Choi) 한국HCI학회 2017 한국HCI학회 논문지 Vol.12 No.1

이 연구는 인간성의 개념과 구성 요인들을 스마트 홈 맥락에서 대화형 에이전트에 적용하여, 의인화의 수준과 인터랙션 유형이 사용자 감성 경험과 향후 이용 의도에 미치는 효과를 알아보고자 하였다. 실험연구를 통한 분석 결과 의인화의 고-저 수준과 인터랙션의 음성-채팅 유형은 친밀도, 호감도, 향후 이용 의도에 영향을 미치는 것으로 나타났다. 즉, 의인화 수준이 높고, 음성 인터랙션인 경우 대화형 에이전트를 더 친밀하고 호감이 가며 향후에도 계속해서 이용하고 싶은 대상으로 평가하였다. 또한, 의인화의 고-저 수준과 관계없이, 채팅에 비해 음성 인터랙션이 심리적 저항감이 낮았다. 향후 이용 의도에 대해서 의인화 수준과 인터랙션 유형의 상호작용 효과가 발견되었다. 즉, 채팅 인터랙션은 의인화의 효과가 나타나지 않은 반면, 음성 인터랙션의 경우 의인화의 효과가 나타났다. 따라서, 음성 대화형 스마트홈 에이전트는 의인화 수준을 높이는 방향으로 설계가 되어야 사용자들의 지속적 이용을 기대할 수 있다. Applying the concept and components of human nature to the conversational agent in the smart home context, this study investigated the effects of the level of anthropomorphism and interaction type on the emotional user experiences and future use intention. The results of experiment study showed that the high-low condition of anthropomorphism and the voice-chatting interaction type have impacts on the perceived closeness, likability, and future use intention. That is, people evaluate the conversational agent as more close, likable, and useful when they perceive more human nature components and when in the voice interaction mode. Psychological resistance was lower in the voice than in the chatting mode regardless of the level of anthropomorphism. The results also demonstrated an interaction effect of anthropomorphism and interaction type on the future use intention: the effect of anthropomorphism existed only in the voice interaction mode. It leads to the conclusion that a conversational agent with the voice recognition interface should be designed with the higher level of human nature components for the continuous use.

자율주행 중 돌발상황에서 대화형 음성 에이전트의 의인화 수준에 따른 사용경험 비교

권미지(Mi Ji Kwon),우민선(Min Sun Woo),김향경(Hyang Kyung Kim),김민주(Min Joo Kim),손유경(Yu Gyeong Son),박동건(Donggun Park),김용민(Yong Min Kim) 한국HCI학회 2023 한국HCI학회 학술대회 Vol.2023 No.2

인공지능 기술의 발전과 함께 자율주행 차량 내 대화형 음성 에이전트(Conversational voice agent, CVA) 시스템이 적극적으로 도입되고 있다. CVA는 음성 사용자 인터페이스(Voice user interface, VUI)를 기반으로 사용자의 명령을 이해하고 정보를 전달하는 기능을 수행하며 최근에는 의인화 기법을 적용하여 사용자와 공감하고 친구처럼 대화할 수 있는 역할로도 그 기능이 확대되고 있다. 의인화 기법의 적용은 그 차원 및 수준에 따라 사용자 경험에 미치는 영향이 다를 수 있다. 특히, 자율주행 상황은 다양한 주행 맥락을 포함하고 있으므로 이에 대한 CVA 의 의인화 적용 연구가 지속적으로 필요하다. 본 연구는 인간 본성(Human nature, HN) 및 음성 특성을 고려하여 CVA 의 의인화 수준을 조작하여 신뢰감과 지각된 의인화에 미치는 영향을 조사하였다. 그 결과 의인화 수준이 신뢰감과 지각된 의인화에 유의한 영향을 미쳤고, 지각된 의인화에서는 HN 특성과 음성 특성 간의 교호작용이 확인되었다. 본 연구는 자율주행 중 급정거 상황에 대해 두 차원의 의인화 수준에 따른 영향을 파악하였다는 점에서 의의를 가진다.

CfA 경험 모델을 적용한 대화형 TV 인터랙션 설계

최지호(Jiho Choi),여준희(Junhee Yeo),이현철(Hyeoncheol Lee),장세훈(Saehun Jang),양경인(Kyungin Yang),박시화(Sihwa Park),최진해(Jinhae Choi) 한국HCI학회 2013 한국HCI학회 학술대회 Vol.2013 No.1

본 연구는 스마트 TV 를 위한 대화형 음성 인터랙션을 설계하기 위해, 선행연구에서 도출된 인간 대 인간 대화 패턴을 인간 대 TV 로 전환하여 TV 와 커뮤니케이션 할 때 발생하는 패턴을 검증하고 시사점을 도출하였다. 이를 위해 선행연구를 바탕으로 가설적인 태스크 별 인터랙션 모델을 구성하였고, Wizard of Oz 방법을 이용하기 위한 프로토타입을 제작하여 실험을 통해 가설을 검증하였다. 이 결과, 커뮤니케이션 과정 중 대화가 일어나는 시점과 이 때 TV 가 사용자의 요청에 대응하는 세 가지 방식을 규정하고, 각 방식의 사용 전략과 장단점을 도출하였다. This research is postulated in order to design proper conversational voice interaction for TV. The research is focused on verifying significant patterns between human and TV and finding essential implication. Based on the earlier research, we defined theoretical interaction models for key tasks and validated them using Wizard of Oz prototype. We defined the times when on-going conversational interaction is needed as opposed to short, one way command and three key ways how TV should respond depending on various situations. Lastly, we formulated strategy upon evaluating pros and cons of each method.

반자율주행 맥락에서 AI 에이전트의 멀티모달 인터랙션이 운전자 경험에 미치는 효과

서민수(Min-soo Suh),홍승혜(Seung-Hye Hong),이정명(Jeong-Myeong Lee) 한국콘텐츠학회 2018 한국콘텐츠학회논문지 Vol.18 No.8

대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다. As the interactive AI speaker becomes popular, voice recognition is regarded as an important vehicle-driver interaction method in case of autonomous driving situation. The purpose of this study is to confirm whether multimodal interaction in which feedback is transmitted by auditory and visual mode of AI characters on screen is more effective in user experience optimization than auditory mode only. We performed the interaction tasks for the music selection and adjustment through the AI speaker while driving to the experiment participant and measured the information and system quality, presence, the perceived usefulness and ease of use, and the continuance intention. As a result of analysis, the multimodal effect of visual characters was not shown in most user experience factors, and the effect was not shown in the intention of continuous use. Rather, it was found that auditory single mode was more effective than multimodal in information quality factor. In the semi-autonomous driving stage, which requires driver s cognitive effort, multimodal interaction is not effective in optimizing user experience as compared to single mode interaction.

인공지능 스피커의 정서별 감정발화에 따른 사용성 평가

장지혜(Jang JiHye),주다영(Da Young Ju) 한국HCI학회 2019 한국HCI학회 학술대회 Vol.2019 No.2

최근 AI 스피커를 통해 대화형에이전트의 보급률이 높아지고 있으나, 이 기기의 일상적인 대화 능력이 부족하다는 점이 부각되고 있고, 이는 대화형 에이전트와의 감성적 관계 형성에 방해요소가 될 수 있다. 인간과 깊은 의사소통을 위해 감정적 표현이 필요하다는 선행연구를 바탕으로, 본 논문에서는 여러 정서를 갖고, 이를 표출하는 AI 스피커에 대한 사용성 평가 및 분석을 하였다. 이에 따라 감정표현을 하는 AI 스피커에 대한 사용성은 성별, 나이, 보유 여부 등과 상관성이 낮았고, 죄책감에 대해 감정표현을 하는 AI 스피커의 사용성이 비교적 낮았다. 또한 AI 스피커와의 관계 형성 가능 여부를 묻는 가치성 척도와 다른 사용성 척도들은 상관성을 보였지만, 경멸에 대한 감정 표현의 가치성과 유용성의 상관성은 낮았다. 이러한 결과를 통해 정서별로 AI 스피커의 감정표현에 대해 개인마다 다른 선호를 보인다는 점과 각 정서의 종류에 따라 사용자가 선호하는 AI 스피커의 감정 표현 정도가 다르다는 점 확인하여, AI 스피커의 감정표현에 대한 사용자 개인 맞춤화의 필요성을 제시한다. 이를 통해 사용자에게 맞춤화된 감정 표현을 하는 AI 스피커가 사용자의관계 형성에 용이하고, 나아가 친밀한 관계로 발전할 수 있음을 시사한다.