(The) Effects of Recommendation Relevance and Explainability on User Trust and Reliance in Conversational AI Recommendation Systems : A Trust Calibration Perspective

국문 초록 (Abstract)

생성형 인공지능（Generative Artificial Intelligence, AI） 추천 시스템이 소비자 의사결정 과정에 점차 깊이 활용됨에따라, 사용자들은 쇼핑 및 제품 선택 상황에서 AI 기반 추천에 더욱 의존하는 경향을 보이고 있다. 기존 연구들은 추천 관련성（recommendation relevance）과 설명가능성（explainability）이 사용자 신뢰 형성에 중요한 역할을 한다는 점을 강조해 왔다. 그러나 이러한 기술적 특성이 사용자 신뢰와 의존행동（reliance behavior）에 어떠한 영향을 미치는지에 대해서는 아직 체계적인 연구가 부족한 실정이다. 특히 추천 관련성이 낮은 상황에서도 설명정보가 사용자 의존행동을 증가시키는지에 대한 연구는 상대적으로 제한적이다.
이에 본 연구는 AI 추천 시스템 환경에서 추천 관련성,설명가능성, 사용자 신뢰 및 의존행동 간의 관계를 분석하였다. 또한 신뢰 보정（Trust Calibration） 이론을 바탕으로, 낮은 추천 관련성 조건에서 나타날 수 있는 잠재적 과도의존 위험（Potential Overreliance Risk）을 함께 탐색하였다.
본 연구는 대화형 AI 쇼핑 어시스턴트가 무선 이어폰 제품을 추천하는 상황을 기반으로 시나리오 실험을 수행하였다. Study 1 에서는 추천 관련성（높음/낮음）과 설명가능성（설명 있음/설명 없음）을 조작한 2×2 집단 간 실험설계를 적용하였다. Study 2 에서는 낮은 추천 관련성 조건에 초점을 맞추어, 추천 품질이 충분하지 않은 상황에서도 설명정보가 사용자 신뢰와 의존행동을 증가시키는지를 추가적으로 분석하였다.
연구 결과, 추천 관련성과 설명가능성은 모두 사용자 신뢰와 의존행동에 유의한 정（+）의 영향을 미치는 것으로 나타났다. 또한 사용자 신뢰는 시스템 특성과 의존행동 간의 관계를 매개하는 것으로 확인되었다. 반면 추천 관련성과 설명가능성 간의 상호작용 효과는 유의하지 않았으며, 이는 두 기술적 특성이 상호 강화효과를 형성하기보다는 독립적으로 사용자 반응에 영향을 미친다는 점을 시사한다.
특히 Study 2 결과에 따르면, 낮은 추천 관련성 조건에서도 설명정보는 사용자 신뢰와 의존행동을 유의하게 증가시키는 것으로 나타났다. 또한 Mean ± 1 SD 분류 방법을 활용한 추가 분석 결과, 높은 의존집단（High Reliance Group）은 낮은 의존집단（Low Reliance Group）에 비해 더 높은 수준의 신뢰와 설명가능성 인식을 보였다. 로지스틱 회귀분석 결과에서도 사용자 신뢰와 설명가능성은 높은 의존 상태（High Reliance Status）를 유의하게 예측하는 요인으로 확인되었다.
신뢰 보정 관점에서 볼 때, 추천 관련성이 낮음에도불구하고 비정상적으로 높은 의존행동을 보이는 사용자는 잠재적 과도의존 위험을 가질 수 있으며, 이는 사용자의 의존행동과 추천 시스템의 실제 역량 간 불일치를 의미할 수 있다.
종합적으로 본 연구는 생성형 AI 추천 시스템에 대한 사용자 의존행동이 단순히 추천 품질에 의해서만 결정되는 것이 아니라, 설명 메커니즘과 주관적 신뢰에 의해서도 영향을 받을 수 있음을 보여준다. 또한 본 연구 결과는 낮은 추천 관련성 환경에서 사용자 의존행동과 잠재적 과도의존 위험을 이해하는 데 있어 신뢰 보정의 중요성을 강조한다.

다국어 초록 (Multilingual Abstract)

As generative artificial intelligence （AI） recommendation systems become increasingly integrated into consumer decision -making processes, users are relying more heavily on AI-generated recommendations in shopping and product selection contexts. Previous studies have emphasized the importance of recommendation relevance and explainability in enhancing user trust. However, limited research has systematically examined how these technological characteristics jointly influence user trust and reliance behavior. In particular, little attention has been given to whether explanation information may increase user reliance even when recommendation relevance is low.
To address this issue, this study investigates the relationships among recommendation relevance, explainability, user trust, and reliance behavior in AI recommendation systems. In addition, drawing on Trust Calibration Theory, this study examines potential overreliance risk under low recommendation relevance conditions.
This research employed a scenario-based experimental design using a conversational AI shopping assistant recommending wireless earbuds. Study 1 adopted a 2 × 2 between-subjects experimental design by manipulating recommendation relevance （high vs. low） and explainability （with explanation vs. without explanation）. Study 2 focused on low recommendation relevance conditions to examine whether explanation information still increases user trust and reliance behavior when recommendation quality is insufficient.
The results indicate that both recommendation relevance and explainability significantly increase user trust and reliance behavior. User trust was also found to mediate the relationships between system characteristics and reliance behavior. However, the interaction effect between recommendation relevance and explainability was not significant, suggesting that the two technological characteristics influence user responses independently rather than producing a synergistic effect.
More importantly, Study 2 revealed that explanation information significantly increased user trust and reliance behavior even under low recommendation relevance conditions. Additional analyses based on the Mean ± 1 SD classification method showed that users in the High Reliance Group reported significantly higher levels of trust and explainability than those in the Low Reliance Group. Logistic regression analysis further indicated that trust and explainability significantly predicted High Reliance Status. From a trust calibration perspective, users who exhibited unusually high reliance despite low recommendation relevance may be considered to have potential overreliance risk, reflecting a possible mismatch between reliance behavior and the actual capability of the recommendation system.
Overall, this study suggests that user reliance on generative AI recommendation systems is not determined solely by actual recommendation quality, but is also influenced by explanation mechanisms and subjective trust. The findings further highlight the importance of trust calibration in understanding user reliance behavior and potential overreliance risk under low recommendation relevance conditions.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Research Background 1
• 1.2 Research Necessity 3
• 1.3 Research Objectives 4
• 1.4 Thesis Structure 5
• Chapter 2. Literature Review 8
• 2.1 Generative Artificial Intelligence and Conversational Recommendation Systems 8
• 2.2 Trust in AI Recommendation Systems 9
• 2.2.1 The Concept of Trust 9
• 2.2.2 Trust in Automation 10
• 2.3 Technological Characteristics of AI Recommendation Systems 11
• 2.3.1 Explainability 12
• 2.3.2 Recommendation Relevance 13
• 2.4 Reliance Behavior in AI Recommendation Systems 14
• 2.4.1 Definition of Reliance Behavior 14
• 2.4.2 The Relationship Between Trust and Reliance Behavior 15
• 2.5 Trust Calibration and Overreliance Risk 16
• 2.5.1 The Concept of Trust Calibration 16
• 2.5.2 Overreliance Risk under Low Recommendation Relevance Conditions 17
• 2.6 Individual Difference Factors 19
• 2.6.1 User AI Experience 19
• 2.6.2 Product Knowledge 19
• Chapter 3. Study 1: Effects of Recommendation Relevance and Explainability on Trust and Reliance 21
• 3.1 Research Hypotheses 21
• 3.1.1 The Effect of Recommendation Relevance 21
• 3.1.2 The Effect of Explainability 22
• 3.1.3 The Mediating Role of Trust 22
• 3.2 Research Design 23
• 3.3 Sample and Data Collection 25
• 3.4 Measurement of Variables 26
• 3.5 Data Analysis Methods 27
• 3.6 Results of Study 1 28
• 3.6.1 Sample Characteristics 28
• 3.6.2 Reliability Analysis 29
• 3.6.3 Exploratory Factor Analysis 30
• 3.6.4 Manipulation Checks 32
• 3.6.5 Descriptive Statistics Analysis 33
• 3.6.6 Two-Way ANOVA and HC3 Robustness Tests 35
• 3.6.7 Mediation Analysis 37
• Chapter 4. Study 2: High Reliance under Low Recommendation Relevance Conditions 40
• 4.1 Research Hypotheses 40
• 4.1.1 The Effect of Explainability under Low Recommendation Relevance Conditions 41
• 4.1.2 The Effect of Explainability on High Reliance Status 42
• 4.1.3 The Effect of Trust on High Reliance Status 43
• 4.1.4 The Effect of AI Experience on High Reliance Status 43
• 4.1.5 The Effect of Product Knowledge on High Reliance Status 44
• 4.2 Research Design 44
• 4.3 Sample and Data Collection 46
• 4.4 Measurement of Variables 47
• 4.5 Data Analysis Methods 48
• 4.6 Results of Study 2 50
• 4.6.1 Reliability Analysis 50
• 4.6.2 Exploratory Factor Analysis 51
• 4.6.3 Group Difference Analysis under Low Recommendation Relevance Conditions 53
• 4.6.4 High and Low Reliance Group Analysis 54
• 4.6.5 Logistic Regression Analysis of High Reliance Status 57
• Chapter 5. Discussion 60
• 5.1 Main Findings 60
• 5.2 Integrated Discussion 62
• Chapter 6. Conclusion 66
• 6.1 Theoretical Implications 66
• 6.2 Practical Implications 67
• 6.3 Limitations and Future Research Directions 69
• REFERENCES 72
• QUESTIONNAIRE REFERENCE 77
• ABSTRACT IN KOREAN 79
• APPENDIX 82