대화형 AI 에이전트의 사용자 몰입 요인 : 캐릭터 기반 챗봇 서비스를 중심으로 = User Engagement Factors in Conversational AI Agents : Focusing on Character-Based Chatbot Services -

다국어 초록 (Multilingual Abstract)

This study originates from the observation that in the current paradigm shift of conversational AI
agents from 'functional tools' to 'social companions,' technological performance improvement
does not necessarily lead to user engagement. As AI performance becomes standardized, there is
a lack of practical guidelines for service designers on what key factors drive continuous user
engagement and what to prioritize.
Therefore, this study aimed to identify the relative importance and priority of multidimensional
factors affecting user engagement in 'character-based' conversational AI agents. Based on a review
of prior research (e.g., Svikhnushina & Pu, 2022; Pal et al., 2023; Chen et al., 2022), an AHP
(Analytic Hierarchy Process) model was designed with five Level 1 factors ('Emotional Bond,'
'Narrative Engagement,' 'Usability & Performance,' 'Trust & Safety,' 'Control & Transparency')
and 14 sub-factors. Valid responses were collected from 11 experts and quasi-experts in the
HCI/UX field for AHP analysis.
The analysis results (C.R. = 0.1158) showed that among the Level 1 factors, 'C4. Trust & Safety'
- 42 -
(46.6%) emerged as the top-priority factor, surpassing all others. This was followed by 'C3.
Usability & Performance' (19.8%) and 'C5. Control & Transparency' (18.8%). 'C1. Emotional
Bond' (8.5%) and 'C2. Narrative Engagement' (6.3%) had relatively lower importance.
In the comprehensive priority analysis of the 14 sub-factors, 'Trust & Safety' related factors ranked
highest: 1st 'Accuracy (Hallucination Suppression)' (23.1%), 2nd 'Harmful Content Suppression'
(11.9%), and 3rd 'Privacy Protection' (11.6%). This suggests that securing technical trust,
specifically accuracy and safety, is the fundamental prerequisite for the AI to function as a social
companion and establish an emotional bond with users.
Notably, in the relational aspect of AI, direct emotional expressions like 'Empathy' (13th, 1.8%)
and 'Intimacy' (14th, 1.3%) were ranked lowest. In contrast, factors that form the basis of a
persona's reliability, such as 'Character Consistency Maintenance' (4th, 10.8%) and 'Context
Awareness' (remembering the user) (7th, 5.4%), were valued much more highly. Furthermore,
'Personalization' (5th, 7.7%) was ranked higher than 'Response Speed' (6th, 6.8%) and 'Ease of
Use' (8th, 5.2%), confirming that customized experiences are a key competitive advantage in an
era of standardized performance.
This study empirically demonstrates that users' emotional satisfaction is achieved not merely
through direct emotional expressions, but only when (2) 'Consistency' (a non-breaking persona)
and (3) 'Context Awareness' (remembering past interactions) are combined upon the solid
foundation of (1) 'Trust' (ethical safety and accuracy). This provides strategic priorities for AI
service design and holds academic and practical significance for AI chatbot research as it shifts
from a 'performance-centric' to a 'relationship-centric' focus.

국문 초록 (Abstract)

본 연구는 대화형 AI 에이전트의 패러다임이 기능적 도구에서 사회적 동반자로 이 동하는 현시점에서, AI의 기술적 성능 향상이 반드시 사용자 몰입으로 이어지지는 않는다는 문제의식에서 출발하였다. 최근 AI 성능이 상향 평준화됨에 따라, 사용자 의 지속적인 몰입을 유도하는 핵심 요인이 무엇이며 서비스 설계자가 무엇을 우선 해야 하는지에 대한 실무적 가이드라인이 부족한 실정이다. 이에 본 연구는 대화형 AI 에이전트의 사용자 몰입에 영향을 미치는 다차원적 요 인들의 상대적 중요도와 우선순위 규명하는 것을 목적으로 하였다. 이를 위해 선행 연구(Svikhnushina & Pu, 2022; Pal et al., 2023; Chen et al., 2022 등) 고찰을 바탕으로, '정 서적 유대', '서사적 몰입', '사용성·성능', '신뢰·안전', '통제·투명성'을 1계층 상위 요인으로, 하위에 총 14개의 세부 요인을 갖는 AHP(분석적 계층 프로세스) 계층 모델을 설계하였다 . HCI/UX 분야 전문가 및 준전문가 11명의 유효 응답을 수집하 여 AHP 분석을 수행하였다. 분석 결과(전체 C.R. = 0.1158), 1계층 요인 중 'C4. 신뢰·안전' (46.6%) 이 다른 모든 요인을 압도하는 1순위 핵심 요인으로 나타났다. 2위는 'C3. 사용성·성능 '(19.8%), 3위는 'C5. 통제·투명성'(18.8%) 순이었으며, 'C1. 정서적 유대'(8.5%) 와 'C2. 서사적 몰입'(6.3%)은 상대적으로 중요도가 낮았다. 14개 세부 요인의 종합 우선순위 분석 결과, 1순위 '정확성(할루시네이션 억 제)'(23.1%), 2순위 '유해 발화 억제'(11.9%), 3순위 '프라이버시 보호'(11.6%) 로, '신뢰·안전' 관련 요인들이 최상위를 차지했다. 이는 AI가 '사회적 동반자'로서 사 용자와 정서적 유대를 형성하기 위해서는, 우선적으로 '정확성'과 '안전성'이라는 기 술적 신뢰가 담보되어야 함을 시사한다. 즉, 기본적인 성능과 윤리적 안전망이 확보 되지 않은 상태에서는 사용자가 AI에게 마음을 열거나 몰입할 수 없음을 실증적으 로 보여준다. 주목할 점은, AI의 관계적 측면에서 직접적인 감정 표현인 '공감·감정이입'(13위, 1.8%)이나 '친밀감'(14위, 1.3%)은 최하위 중요도를 보인 반면, 페르소나의 신뢰 기반인 '캐릭터 일관성 유지'(4위, 10.8%) 와 사용자를 기억하는 '맥락 이해'(7위, 5.4%) 가 훨씬 더 중요하게 평가되었다는 점이다. 또한 '개인화'(5위, 7.7%)가 '응 답 속도'(6위, 6.8%)나 '사용 편의성'(8위, 5.2%)보다 중요하게 나타나, 성능 상향 평준화 시대에 맞춤형 경험이 핵심 경쟁력임을 확인하였다. 본 연구는 AI 에이전트 설계 시, 사용자의 정서적 만족은 단순한 감정적 언어 표현 이 아니라 (1)윤리적으로 안전하고 정확한 '신뢰'라는 토대 위에서, (2)페르소나가 붕괴하지 않는 '일관성'과 (3)이전 대화를 기억하는 '맥락 이해'가 결합될 때 비로소 달성됨을 실증적으로 규명하였다.

목차 (Table of Contents)

• 제1장. 서론 1
• 제2장. 이론적 배경 6
• 2.1. 대화형 AI 에이전트의 패러다임 변화 6
• 2.2. AI 에이전트의 페르소나와 사용자 몰입 8
• 2.3. 캐릭터 챗봇의 사용자 몰입을 위한 다차원적 요인 10
• 2.3.1 사회ㆍ정서적 품질 요인 10
• 2.3.2 기능ㆍ신뢰 품질 요인 12
• 2.4. 연구 방법론으로서의 AHP 고찰 15
• 2.5. 요약 및 선행 연구의 한계 16
• 제3장. 연구 설계 18
• 제4장. 실증 분석 22
• 4.1. 실증 분석 22
• 4.1.1 데이터 수집 22
• 4.1.2 데이터 스크리닝 및 표본 특성 24
• 4.2. 분석 설계 26
• 4.3. 실험 결과 27
• 4.3.1 1계층 요인 분석 결과 27
• 4.3.2 2계층 요인 분석 결과 29
• 제5장. 결론 33
• 5.1. 연구의 요약 33
• 5.2. 본 연구의 의의 34
• 5.2.1 학술적 의의 34
• 5.2.2 실무적 의의 36
• 5.3. 본 연구의 한계 37
• 참고문헌 39
• Abstract 41