LLM 기반 대화형 콘텐츠 추천 경험 디자인 : OTT 서비스를 중심으로 = Designing User Experiences for LLM-based Conversational Content Recommendation: Focusing on OTT Services

국문 초록 (Abstract)

OTT 서비스의 급격한 성장과 콘텐츠의 과잉 공급은 사용자에게 풍요로 움을 제공하는 동시에, 무엇을 볼지 결정하지 못하는 의사결정의 어려움 을 야기하고 있다. 기존의 알고리즘 기반 추천 시스템은 데이터에 기반한 높은 예측 정확도를 제공해왔으나, 사용자의 순간적인 맥락이나 복합적인 의도를 파악하고 이에 대해 설득력 있는 설명을 제공하는 데에는 한계를 보여왔다. 최근 대두된 대규모 언어 모델(Large Language Model, LLM) 은 이러한 한계를 극복하고, 사용자와의 자연스러운 상호작용을 통해 능 동적인 추천 경험을 제공할 수 있는 새로운 대안으로 주목받고 있다. 이에 본 연구는 OTT 서비스 환경에서 사용자가 느끼는 탐색의 피로도를 낮추고 만족스러운 의사결정을 돕기 위해, LLM 기반 대화형 추천 시스템 의 핵심 UX 디자인 요구사항을 도출하고 제안하는 것을 목적으로 한다. 이를 위해 문헌 연구를 통해 대화형 추천 시스템과 LLM의 특성을 고찰 하였으며, 사용자 관찰 연구를 수행하여 방황하는 사용자가 LLM을 활용 해 콘텐츠를 탐색하는 과정에서의 전략적 행동과 잠재된 니즈를 분석하였 다. 다이어리 스터디와 심층 인터뷰를 통해 수집된 데이터를 분석한 결과, 사용자는 모호한 탐색 초기 단계에서 시스템의 주도적인 리드를 기대하 며, 추론 과정을 확인하여 신뢰를 형성하고자 하는 경향을 보였다. 또한, 대화가 지속됨에 따라 누적되는 맥락 정보를 선별적으로 통제하기를 원했 으며, 단순한 정보 나열보다는 자신의 상황과 감정에 부합하는 설득적 설 명을 통해 선택의 확신을 얻고자 함을 확인하였다. 이러한 분석 결과를 바탕으로 본 연구는 LLM 기반 대화형 추천 시스템 을 위한 5가지 핵심 디자인 요구사항을 제안하였다. 첫째, 능동적으로 대 화를 주도하며 사용자를 파악하여 추천해야 한다. 둘째, 추론 과정을 제시 하고, 사용자가 이를 조정할 수 있도록 해야 한다. 셋째, 추천 설명은 사 용자의 상황에 따라 선택에 확신을 가질 수 있는 방향으로 제시되어야 한 다. 넷째, 사용자가 추천 맥락 정보를 통제할 수 있어야 한다. 다섯째, 사 용자가 자신의 취향을 인식하고 언어화하여 확장할 수 있도록 도와야 한 다. 도출된 디자인 요구사항의 유효성을 검증하기 위해 프로토타입을 제 작하여 사용자 평가를 진행하였으며, 그 결과 제안된 디자인이 신뢰도, 투 명성, 그리고 추천 수용 의도 면에서 긍정적인 만족도를 보이는 것을 확 인하였다. 본 연구는 LLM이라는 새로운 기술적 도구를 OTT 콘텐츠 추천이라는 구체적 맥락에 접목하여, 사용자 중심의 LLM 기반 대화형 추천 시스템의 디자인 요구사항을 도출하였다는 데에 의의가 있다. 본 연구에서 제안한 디자인 요구사항은 향후 LLM 기술을 접목한 다양한 콘텐츠 추천 서비스 기획 및 디자인 과정에서 기초적인 가이드라인으로 활용될 수 있을 것이 다.

다국어 초록 (Multilingual Abstract)

The rapid growth of over-the-top (OTT) services and the oversupply of content have provided users with abundant choices while simultaneously causing decision fatigue when selecting what to watch. Traditional algorithm-based recommender systems have achieved high predictive accuracy through data-driven approaches. However, they often fall short in understanding users' situational contexts or complex intentions and in providing persuasive explanations tailored to these needs. Recently, large language models (LLMs) have emerged as a promising alternative, offering natural, interactive capabilities that can enable more active and adaptive recommendation experiences. This study aims to identify and propose key user experience (UX) design requirements for LLM-based conversational recommender systems to reduce users’ exploration fatigue and support more satisfying decision-making in OTT service environments.
To this end, the study first reviews existing literature to examine the characteristics of conversational recommender systems and LLMs. Then, a user observation study was conducted to analyze users’ strategic behaviors and latent needs during content exploration using LLMs. Through a diary study and in-depth interviews, the analysis revealed that users often expect the system to take the lead during the early stages of vague exploration, seek transparency in the reasoning process to build trust, and desire selective control over the accumulation of contextual information during the conversation. Moreover, users preferred persuasive explanations aligned with their current situations and emotions over mere factual listings to gain confidence in their choices.
Based on these findings, the study proposes five core design requirements for LLM-powered conversational recommendation systems:
(1) the system should proactively lead the dialogue to understand and guide the user;
(2) it should present its reasoning process and allow users to adjust it;
(3) recommendation explanations should instill confidence by aligning with the user’s context;
(4) users should be able to selectively control contextual information during the conversation; and
(5) the system should support users in recognizing, articulating, and expanding their own preferences.
A prototype reflecting these requirements was developed and evaluated with users, and the results confirmed positive responses in terms of trust, transparency, and recommendation acceptance.
This research contributes by applying LLMs as a novel technological tool within the specific context of OTT content recommendation, and by identifying user-centered design principles for conversational recommender systems. The proposed design requirements can serve as foundational guidelines for future services incorporating LLMs in content recommendation scenarios.

목차 (Table of Contents)

• 제 1장. 서론 2
• 1.1 연구 배경 및 목적 2
• 1.2 연구 방법4
• 제 2장. 이론적 배경 9
• 2.1 추천 시스템 9
• 2.2 대화형 추천 시스템 11
• 2.3 LLM 기반 대화형 추천 시스템 12
• 2.4 추천 시스템과 UX14
• 2.4.1 추천 시스템의 핵심 UX 요인 15
• 2.4.2 대화형 추천 시스템의 핵심 UX 요인 16
• 2.4.3 LLM 기반 대화형 추천 시스템 연구 동향 18
• 제 3장. LLM 기반 대화형 추천 경험 탐색을 위한 사용자 관찰 연구 22
• 3.1 사용자 관찰 연구 목적 22
• 3.2 사용자 관찰 연구 방법 22
• 3.2.1 참여자 선정22
• 3.2.2 연구 설계 24
• 3.2.3 데이터 수집29
• 3.2.4 데이터 분석29
• 3.3 사용자 관찰 연구 결과 31
• 제 4장. 사용자 전략 분석을 통한 UX 설계 요구 도출 36
• 4.1 LLM 기반 대화형 추천 시스템 디자인 요구사항 36
• 제 5장. LLM 대화형 추천 시스템 디자인 제안 44
• 5.1 디자인 워크숍 44
• 5.1.1 디자인 워크숍 목적 44
• 5.1.2 디자인 워크숍 설계 및 진행45
• 5.1.3 디자인 워크숍 결과 48
• 5.2 프로토타입 설계 및 구현52
• 제 6장. LLM 기반 대화형 추천 시스템 디자인 검증 60
• 6.1 프로토타입 평가 목적60
• 6.2 프로토타입 평가 방법60
• 6.2.1 프로토타입 평가 설계61
• 6.2.2 프로토타입 평가 데이터 수집 및 분석66
• 6.3 프로토타입 평가 결과66
• 제 7장. 결론 및 향후 연구 과제 74
• 7.1 연구 결론 74
• 7.2 한계점 및 향후 연구 과제 75
• 참고문헌 78
• ABSTRACT 82