OTT 서비스의 사용자 경험 평가 지표 개발 및 적용 = Development and Application of User Experience Evaluation Metrics for OTT Services

국문 초록 (Abstract)

본 연구의 목적은 OTT 서비스의 이용 맥락과 특성을 반영한 사용자 경험 평가 지표 체계를 개발하고, 그 실효성을 실증적으로 검증하는 데 있다. 기존 사용자 경험 평가 지표는 일반적인 디지털 서비스나 인터페이스 사용성 중심으로 구성되어 있어, 추천 기반 콘텐츠 탐색, 개인화된 시청 환경, 장기 이용 관계 형성 등 OTT 서비스 고유의 경험 특성을 충분히 반영하는 데 한계가 있었다. 이에 본 연구는 OTT 서비스에 특화된 사용자 경험 평가 지표 체계를 체계적으로 정립하고자 하였다.
연구는 문헌 연구–사용자 관찰 연구–FGI 및 전문가 검증–지표 적용 실험의 단계적 절차를 통해 수행되었다. 먼저 선행 연구를 통해 도출한 사용자 경험 평가 지표를 어피니티 다이어그램 기법으로 구조화하고, 이를 사용성(Usability), 사용자 가치(User Value), 사용자 수용도(User Acceptance)의 상위 체계로 구성된 UVA 프레임워크로 분류하였다. 이후 셀프에스노그라피와 사후 인터뷰를 포함한 사용자 관찰 연구를 통해 문헌 기반 지표의 실제 사용 맥락 적합성을 검증하고, 탐색용이성과 콘텐츠 번역 품질과 같은 신규 OTT 특화 지표를 추가 도출하였다. 이후 FGI와 전문가 검토를 통해 지표의 정의와 구성 타당성을 보완하여 최종 25개 평가 지표를 확정하였다.
개발된 지표 체계의 실효성을 검증하기 위해 아마존프라임, 넷플릭스, 티빙, 왓챠플레이의 네 가지 OTT 서비스를 대상으로 사용자 경험 평가 실험을 실시하였다. HCI 및 서비스디자인 연구자 10명을 대상으로 스마트폰 기반 OTT 모바일 애플리케이션 사용 과업을 수행하게 한 후, 프리드먼 검정과 맨휘트니 검정을 통해 서비스 간 차이를 분석하였다. 분석 결과, 콘텐츠 다양성, 콘텐츠 최신성, 사용자 맞춤형 유연성, 사회적 관계성, 지속성, 추천 의도 등 일부 핵심 지표에서 서비스 간 통계적으로 유의미한 차이가 확인되었으며, 이는 각 OTT 서비스의 UX 특성과 개선 과제를 구체적으로 드러내는 근거로 작용하였다.
본 연구는 OTT 서비스 사용자 경험을 사용성 차원을 넘어 가치와 수용의 단계로 확장하여 구조적으로 설명할 수 있는 UVA 기반 평가 지표 체계를 제안했다는 점에서 학문적 의의를 가진다. 또한 개발된 지표와 지표 기반 디자인 가이드라인은 기존 OTT 서비스의 UX 진단과 개선, 그리고 신규 서비스 설계 및 검증 과정에서 활용 가능한 실무적 도구로 기여할 수 있을 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to develop a user experience (UX) evaluation framework tailored to OTT services and to empirically verify its effectiveness. Existing UX evaluation metrics have largely focused on general digital services and interface usability, which limits their ability to capture OTT-specific experience characteristics such as recommendation-driven content discovery, personalized viewing environments, and long-term service engagement. To address this limitation, this study proposes an OTT-specific UX evaluation framework that reflects the contextual characteristics of OTT services.
The study employed a multi-stage research process consisting of a literature review, user observation study, focus group interviews (FGI) with experts, and an empirical application of the developed metrics. First, UX evaluation indicators extracted from prior studies were organized using an affinity diagram method and structured under the UVA framework, comprising Usability, User Value, and User Acceptance. Next, a user observation study incorporating self-ethnography and post-interviews was conducted to examine the contextual validity of literature-based indicators and to identify additional OTT-specific UX factors, including ease of navigation and localization quality. The indicators were further refined through expert reviews and FGI, resulting in a final set of 25 UX evaluation metrics.
To validate the effectiveness of the proposed framework, a comparative UX evaluation was conducted across four OTT services—Amazon Prime Video, Netflix, TVING, and Watcha Play. Ten HCI and service design researchers participated in smartphone-based OTT mobile application tasks and evaluated their experiences using the developed metrics. Friedman tests and Mann–Whitney U tests were applied to analyze differences among services. The results revealed statistically significant differences in key UX indicators such as content diversity, content recency, customization flexibility, social relatedness, stickiness, and word-of-mouth intention, demonstrating the discriminative power of the proposed metrics.
This study contributes academically by proposing a structured UX evaluation framework that explains OTT user experience beyond usability, incorporating value perception and acceptance as sequential stages. Practically, the developed metrics and accompanying UX design guidelines can be applied as diagnostic and decision-support tools for improving existing OTT services and evaluating new service designs.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구 배경 및 목적 1
• 2. 연구 범위 및 절차 2
• II. 이론적 배경 5
• 1. 사용자 경험 평가 지표의 이해 5
• 1) 사용성의 다양한 정의와 구조 5
• 2) 사용성 평가의 종류 및 한계 8
• 3) 사용자 경험 평가의 개념 및 종류 10
• 4) 사용자 경험 평가 체계를 위한 관련 모델 및 구조 13
• 2. OTT 서비스의 이해 17
• 1) OTT 서비스의 개념 및 특성 17
• 2) OTT 서비스 시장 동향 및 서비스 유형 18
• 3) OTT 서비스 유형별 UX 관련 시사점 20
• 3. OTT 서비스의 사용자 경험 평가 지표 22
• III. 연구 방법 25
• 1. 전체 연구 절차 및 단계별 개요 25
• 2. 사용자 경험 평가 지표 개발 26
• 3. 사용자 경험 평가 지표 검증 27
• 4. 사용자 경험 평가 지표 적용 28
• 5. 사용자 경험 평가 지표 활용 28
• IV. 사용자 경험 평가 지표 개발 30
• 1. 연구 방법 30
• 1) 연구 설계 30
• 2) 문헌 연구 31
• 3) 사용자 관찰 연구 : 셀프 에스노그라피 32
• 4) 초기지표체계 기반 정성분석 33
• 5) FGI 및 전문가 검토 34
• 2. 사용자 경험 평가 지표 수집 35
• 1) 문헌 연구 35
• 2) 사용자 관찰 연구 : 셀프 에스노그라피 50
• 3. 사용자 경험 평가 지표 체계 정립 56
• 1) 지표 체계 정립 과정 56
• 2) 지표 체계 정립 결과 58
• 4. 소결 70
• V. 사용자 경험 평가 지표 검증 72
• 1. 연구 방법 72
• 2. 사용자 경험 평가 파일럿 테스트 및 설문 구성 73
• 3. 사용자 경험 평가 통계 결과 및 분석 75
• 1) 사용성 카테고리 요인분석 결과 77
• 2) 사용자 가치 카테고리 요인분석 결과 78
• 3) 전문가 합의를 통한 반응성 지표의 재분류 80
• 4. 최종 OTT 서비스 사용자 경험 평가 지표 도출 82
• 5. 소결 83
• Ⅵ. 사용자 경험 평가 지표 적용 85
• 1. 연구 방법 85
• 2. 사용자 경험 평가 지표 적용 연구 설계 86
• 3. 결과 분석 및 비교 91
• 4. 소결 102
• Ⅶ. 사용자 경험 평가 지표 활용 106
• 1. 연구 방법 106
• 2. 지표를 활용한 효과적인 사용자 경험 평가 방안 제안 107
• 3. 사용자 경험 평가 지표 활용 : 디자인 가이드라인 수립 109
• 4. 소결 123
• Ⅷ. 결론 125
• 1. 연구 요약 및 주요 결과 125
• 2. 연구 가치 및 기여 127
• 1) 학문적 기여 127
• 2) 실무적 기여 128
• 3. 연구 한계 및 추후 연구 방안 129