포토 및 텍스트 단서 마이닝을 적용한 멀티모달 온라인 리뷰의 설득력에 관한 연구 : 홍콩 호텔산업에 대한 실증 연구 = The Persuasiveness of Multimodal Online Reviews Using a Hybrid Approach to Mining Photo and Text Cues: Empirical Anaysis of the Hong Kong Hotel Industry

국문 초록 (Abstract)

관광 전자상거래의 발전에 따라, 온라인을 통한 호텔 예약이 소비자들이 선택하는 주요 수단으로 부상하였다. 전통적인 예약 방식과 달리, 온라인으로 호텔을 예약하는 소비자는 호텔의 품질을 직접적으로 확인할 수 없다. 그러므로 기업(호텔)에서 공식적으로 제공하는 정보나 소비자가 생성한 온라인 리뷰를 기반으로 호텔에 대한 인식이 형성된다.
멀티모달 리뷰 콘텐츠가 온라인 리뷰의 설득 효과를 향상함으로 온라인 리뷰에 대한 수요가 지속적으로 증가하고 있다. 하는 이유는 멀티모달 리뷰 콘텐츠가 온라인 리뷰의 설득 효과를 강화하기 때문이다. 텍스트와 포토 정보에 내재된 유용성 단서는 소비자에게 의사결정 지원을 제공한다. 비록 멀티모달 온라인 리뷰가 소비자 의사결정에서 점점 더 중요한 역할을 수행하고 있으나, 그 작동 메커니즘에 대한 기존 연구의 설명은 여전히 제한적이다. 특히 선행 연구들은 온라인 리뷰의 표층적 특성(예: 평점, 길이), 정보 출처의 특성(신뢰도, 리뷰어 경험), 그리고 단일 정보 모달의 속성(예: 가독성, 감정 경향)에 보다 집중해 왔다. 그러나 멀티모달 정보 환경에서 플랫폼과 호텔은 온라인 리뷰 유용성에 영향을 미치는 요인을 정확히 파악해야만 효과적인 리뷰 관리가 가능하다. 이에 본 연구는 호텔 산업의 멀티모달 온라인 리뷰를 연구 대상으로 설정하고, 소비자의 정보 수용에 영향을 미치는 요인을 탐색하고자 한다.
체험형 상품의 맥락에서 리뷰 포토의 품질은 단순히 선명도나 구도의 수준에 의해 결정되는 것이 아니라, 체험 정보를 전달하는 능력(감각 단서)에 의해 더욱 좌우된다. 포토가 시각, 촉각, 미각 등 다양한 감각적 심상을 자극할수록 정보 수용자는 심리적 시뮬레이션을 형성하기 쉬워지며, 그 결과 리뷰의 전반적인 지각 가치를 높이게 된다. 선행연구에서는 포토 생동성에 대한 탐색이 상대적으로 간과되어 왔다. 본 연구는 이러한 한계를 보완하기 위해, 리뷰 포토에 포함된 오감 단서를 통합적으로 정량화하여 리뷰 포토 생동성 변수로 구성하였다. 인간의 뇌는 텍스트보다 시각 정보를 훨씬 빠르게 처리하므로, 포토 정보는 정보 수용자의 휴리스틱 정보 처리 경로를 더욱 쉽게 활성화한다. 따라서 ‘생동성이 높은 포토’가 소비자로 하여금 호텔 체험의 실제 수준을 보다 정확하게 판단하도록 돕고, 나아가 리뷰의 유용성을 제고할 수 있다고 본다. 이러한 관점에 따라, 본 연구는 리뷰 포토 속 시각, 청각, 촉각, 후각, 미각의 오감 단서에 주목하며, 다음과 같은 연구 문제를 제시한다.
연구문제: 리뷰 포토에 포함된 오감 단서는 리뷰의 유용성에 어떠한 영향을 미치는가?
방대한 양의 리뷰 텍스트를 마주할 때, 그 내용 속에 내재된 잠재적 토픽을 추출하는 것은 소비자의 핵심 관심사를 체계적으로 식별하는 데에 도움이 된다. 이에 반해, 핵심 토픽을 포함한 리뷰 내용은 잠재적 소비자에게 중요한 참고 자료를 제공한다. 이러한 관점에 따라 본 연구는 다음과 같은 연구문제를 제시한다.
연구문제: 호텔 온라인 리뷰에는 어떠한 잠재적 토픽이 존재하는가?
토픽 분포를 기반으로 파생 지표를 구성하면 텍스트 정보의 품질을 보다 정확하게 평가할 수 있다. 텍스트 정보는 언어를 매개로 한 명시적 정보로서, 그 표현 방식은 뚜렷한 의미 경계와 논리적 구조를 지닌다는 특징이 있다. 따라서 텍스트 정보는 정보 수용자의 체계적 정보 처리 경로를 더욱 쉽게 유발한다. 리뷰가 포괄하는 토픽의 수는 정보의 풍부성을 나타내며, 풍부한 정보는 정보 수용자가 의사결정을 내릴 때의 인지적 부담을 줄여준다. 또한, 관련 리뷰가 고빈도 토픽 이외에 새로운 토픽을 제시할 경우, 신규 토픽은 기존 정보 틀을 넘어서는 인지적 증분(cognitive increment)을 제공함으로써 소비자의 주의 집중과 지각된 정보 가치를 효과적으로 높인다. 이러한 논의에 기반하여, 본 연구는 다음과 같은 연구문제를 제시한다.
연구문제: 리뷰의 포괄성과 참신성은 리뷰 유용성에 긍정적인 영향을 미치는가?
휴리스틱–체계적 정보 처리 모형(HSM)에 근거하여, 본 연구는 텍스트와 포토를 각각 정보 수용자의 체계적 처리 경로와 휴리스틱 처리 경로에 대응시켰다. 리뷰 텍스트의 토픽 포괄성과 참신성은 이성적 단서의 논리적 가치를 반영하는 반면, 리뷰 포토 생동성 단서는 감각적 단서의 체험적 가치를 나타낸다. 기존 연구들은 주로 텍스트 또는 포토의 효과를 개별적으로 분석해 왔으며, 두 정보 유형이 통합되는 과정에서 나타날 수 있는 상호작용 관계를 간과하였다. 이에 본 연구는 다음과 같은 연구문제를 제시한다.
연구문제: 리뷰 포토 생동성과 리뷰 텍스트의 품질 단서(포괄성 및 참신성)는 어떻게 상호작용하여 리뷰 유용성에 영향을 미치는가?
본 논문은 다음과 같은 과정을 거쳤다. 첫째, 본 논문은 멀티모달 온라인 리뷰와 리뷰 유용성의 개념을 명확히 정의하고, 관련 연구 성과를 체계적으로 정리하여 기존 연구의 한계를 발견하였다. 둘째, 포토와 텍스트 특성 추출 방법에 관한 선행 문헌을 정리함으로써, 본 연구의 방법론적 기반을 마련하였다. 셋째, 본 연구는 멀티모달 온라인 리뷰에서 소비자의 정보 수용을 유발하는 핵심 단서에 초점을 맞추었다. 연구는 휴리스틱-체계적 모델, 그리고 매체 풍부성 이론에 기반하여 멀티모달 온라인 리뷰의 정보 처리 및 수용의 연구 프레임워크를 구축하였다. 넷째, 본 논문은 리뷰 텍스트 포괄성, 참신성, 그리고 리뷰 포토 생동성 단서라는 세 가지 관점을 통해 멀티모달 온라인 리뷰의 특징이 리뷰 유용성에 미치는 영향을 탐색하였다. 또한 세 변수의 개념과 연구 동향을 체계적으로 정리하였다. 다섯째, 포토의 오감 단서와 텍스트의 품질 단서에 관한 선행 연구를 검토하고, 이를 기반으로 연구 모형을 구성하며 연구문제를 제시하였다. 여섯째, 본 연구는 크롤링 프로그램을 개발하여 TripAdvisor에 게시된 홍콩 5성급 호텔의 리뷰 27,943건(202,603개 문장)과 포토 93,676장을 연구 표본으로 수집하였다. 일곱째, 본 연구는 비지도 학습 기법인 BERTopic 모델링을 활용하고 대규모 언어모델 방법을 결합하여 텍스트 차원에서 리뷰가 포함하는 토픽을 추출하였다. 또한 과학계량방법을 바탕으로 정보 수용자의 체계적 처리 단서를 구성하였다. 본 논문은 대규모 언어모델 프롬프트 엔지니어링을 활용하여 리뷰 포토의 의미적 서술 텍스트를 생성하고, 이를 기반으로 Word2Vec 모델을 학습시켜 포토로부터 오감 단서를 추출하였다. 여덟째, 계량경제학적 모델을 구축하고, 음이항 회귀분석, 조절효과 분석, 그리고 강건성 검증을 통해 연구문제를 실증적으로 검증하였다. 아홉째, 추가 분석으로 호텔 가격에 따라 연구 표본을 분류하여, 서로 다른 가격대의 호텔 소비자들이 정보 단서에 대해 어떠한 선호 차이를 보이는지를 탐색하였다. 마지막으로, 분석 결과를 바탕으로 연구 결론을 도출하고, 이론적 기여와 실무적 시사점의 관점에서 본 연구의 경영학적 의미를 종합적으로 논의하였다.
본 연구의 주요 연구 결과는 다음과 같다. 첫째, 호텔 온라인 리뷰로부터 ‘서비스’, ‘경험’, ‘행사’, ‘식음료’, ‘객실’, ‘호텔 시설’, ‘호텔 위치’, ‘호텔 스타일’ 등 8개의 핵심 토픽을 추출하였다. 둘째, 호텔 리뷰 텍스트의 이성적 단서 포괄성과 참신성은 모두 리뷰 유용성에 유의한 정(+)의 영향을 미친다. 셋째, 호텔 리뷰 포토의 감각적 단서, 시각, 청각, 촉각, 미각 감각 단서는 모두 리뷰 유용성에 유의한 정(+)의 영향을 미치지만, 후각 감각 단서는 유의한 영향을 보이지 않았다. 넷째, 리뷰 포토 생동성이 낮는 경우, 텍스트 포괄성이 리뷰 유용성에 유의한 정(+)의 영향을 미친다. 다섯째, 리뷰 포토 생동성이 높은 경우, 텍스트 참신성이 리뷰 유용성에 유의한 정(+)의 영향을 미친다. 여섯째, 럭셔리 5성급 호텔 리뷰 표본에서는 토픽의 참신성이 리뷰 유용성에 유의한 정(+)의 영향을 미쳤으나, 가성비 5성급 호텔 표본에서는 그 효과가 통계적으로 유의한 영향을 미치지 않았다.
본 연구는 기존 멀티모달 리뷰 연구의 한계를 극복하고자, BERTopic 및 멀티모달 LLM을 융합한 하이브리드 분석 방법론을 통해 리뷰 포토에 내재된 오감 단서와 텍스트 단서의 복합적 영향력을 실증적으로 규명하였다. 이러한 분석을 통해 휴리스틱–체계적 모델의 이론적 범위를 확장하여, 텍스트 품질 단서가 체계적 처리를, 포토 감각 단서가 휴리스틱 처리를 유도하는 정보 의사결정 프레임워크를 제시함으로써 감각 마케팅 및 정보 처리 이론에 대한 새로운 학술적 통찰을 제공한다. 나아가 이러한 이론적 규명을 바탕으로, 본 연구는 온라인 리뷰 관련 주요 이해관계자들에게 실효성 있는 시사점을 제공한다. 실무적으로 온라인 플랫폼은 AI 모델을 활용하여 콘텐츠 일치성과 참신성을 갖춘 리뷰를 우선 추천함으로써 탐색 경험을 향상시킬 수 있으며, 오피니언 리더는 고품질 텍스트와 적절한 포토 감각 단서를 결합하여 정보 전달 효율성을 극대화해야 한다. 궁극적으로 호텔 경영자는 소비자의 의사결정 메커니즘을 이해하고 리뷰 포토에 감각 요소를 추가하도록 장려함으로써 온라인 구전 관리 전략을 효과적으로 정교화하는 데 기여할 수 있다.

다국어 초록 (Multilingual Abstract)

With the development of tourism e-commerce, online hotel booking has emerged as a primary means of consumer choice. Unlike traditional booking methods, consumers booking hotels online cannot directly verify the hotel's quality. Therefore, their perceptions of a hotel are formed based on information officially provided by the company (hotel) or online reviews generated by consumers.
Demand for online reviews continues to grow as multimodal review content enhances the persuasive power of online reviews. This is because multimodal review content enhances the persuasive power of online reviews. Usefulness cues embedded in text and photo information provide consumers with decision support. Although multimodal online reviews are playing an increasingly important role in consumer decision-making, existing research on their operational mechanisms remains limited. In particular, previous research has focused on surface-level characteristics of online reviews (e.g., rating, length), information source characteristics (e.g., credibility, reviewer experience), and attributes of a single information modality (e.g., readability, emotional tendencies). However, in a multimodal information environment, platforms and hotels must accurately understand the factors that influence the usefulness of online reviews to manage reviews effectively. This study examines multimodal online reviews in the hotel industry and explores factors that influence consumers' acceptance of information.
In the context of experiential products, the quality of review photos is determined not simply by clarity or composition, but rather by their ability to convey experiential information (sensory cues). The more a photo stimulates various sensory imagery, including visual, tactile, and gustatory, the more easily information recipients form psychological simulations, thereby enhancing the overall perceived value of the review. Previous research has relatively overlooked the exploration of photo vividness. To address this limitation, this study quantitatively assesses the five sensory cues in review photos and constructs a review photo vividness variable. Because the human brain processes visual information much faster than text, visual information more readily activates the recipient's heuristic information-processing pathways. Therefore, "highly vivid photos" can help consumers more accurately assess the true quality of their hotel experience and, ultimately, enhance the usefulness of reviews. Based on this perspective, this study focuses on the five sensory cues—visual, auditory, tactile, olfactory, and gustatory—in review photos and poses the following research question:
Research Question: How do the sensory cues contained in review photos affect the usefulness of reviews?
When confronted with a large volume of review text, extracting potential topics embedded in the content can help systematically identify key consumer interests. Conversely, reviewing content that covers key topics provides valuable reference material for potential consumers. Based on this perspective, this study poses the following research question:
Research Question: What potential topics exist in hotel online reviews?
Developing derived indicators based on topic distribution can more accurately assess the quality of textual information. Textual information is explicit information mediated by language, characterized by distinct semantic boundaries and logical structures. Therefore, textual information facilitates systematic processing of information for information recipients. The number of topics covered in a review indicates information richness, and rich information reduces the cognitive burden on information recipients when making decisions. Furthermore, when related reviews present new topics beyond high-frequency topics, these new topics effectively increase consumers' attention and perceived information value by providing cognitive increment beyond the existing information framework. Based on this discussion, this study poses the following research questions:
Research Question: Do review comprehensiveness and novelty
positively impact review usefulness?
Based on the heuristic-systematic information processing model (HSM), this study maps text and photos to the information recipient's systematic and heuristic processing pathways, respectively. Review text's topic comprehensiveness and novelty reflect the logical value of rational cues, while review photo vividness cues reflect the experiential value of sensory cues. Previous studies have primarily analyzed the effects of text or photos individually, overlooking the interactive relationships that may emerge when the two information types are integrated. Therefore, this study poses the following research question: How do review photo vividness and review text quality cues (comprehensiveness and novelty) interact to influence review usefulness?
This paper underwent the following steps. First, it clearly defined the concepts of multimodal online reviews and review usefulness, systematically organized related research findings, and identified limitations in existing research. Second, it established a methodological foundation for this study by reviewing prior literature on methods for extracting photo and text features. Third, this study focused on key cues that drive consumer acceptance of information in multimodal online reviews. Based on the heuristic-systematic model and media richness theory, the study established a research framework for information processing and acceptance in multimodal online reviews. Fourth, this paper explored the impact of multimodal online review characteristics on review usefulness through three perspectives: review text comprehensiveness, novelty, and review photo vividness cues. Furthermore, it systematically summarized the concepts and research trends of these three variables. Fifth, we reviewed prior research on sensory cues in photos and quality cues in text. Based on this, we developed a research model and presented research questions. Sixth, we developed a crawling program to collect 27,943 reviews (202,603 sentences) and 93,676 photos of five-star hotels in Hong Kong posted on TripAdvisor. Seventh, we used BERTopic, an unsupervised learning technique, combined with large language modelling to extract review topics at the text level. Furthermore, we developed systematic processing cues for information recipients using scientometric methods. This paper used large-scale language model prompt engineering to generate semantic, descriptive text from review photos and trained a Word2Vec model on this text to extract sensory cues from the photos. Eighth, we constructed an econometric model and empirically tested our research questions using negative binomial regression, moderating effect analysis, and robustness testing. Ninth, we conducted additional analyses by categorizing the study sample by hotel price to explore differences in preferences for information cues among hotel consumers in different price ranges. Finally, we concluded from the analysis results and comprehensively discussed the management implications of this study, considering both theoretical contributions and practical implications. The main findings of this study are as follows. First, eight core topics were extracted from online hotel reviews: "Service," "Experience," "Events and Celebrations," "Dining and Cuisine," "Room," "Hotel Facilities," "Location and Surroundings," and "Style and Ambience." Second, both the comprehensiveness and novelty of hotel review text significantly positively impacted review usefulness. Third, sensory cues in hotel review photos—visual, auditory, tactile, and gustatory—had a significant positive impact on review usefulness, whereas olfactory cues did not. Fourth, when review photo vividness was low, text comprehensiveness significantly positively impacted review usefulness. Fifth, when review photo vividness was high, text novelty had a significant positive effect on review usefulness. Sixth, in a sample of luxury five-star hotel reviews, topic novelty had a significant positive effect on review usefulness. Still, in a sample of value-for-money five-star hotels, the effect was not statistically significant.
To overcome the limitations of existing multimodal review research, this study empirically elucidated the combined influence of sensory and textual cues inherent in review photos through a hybrid analytical methodology that combines BERTopic and multimodal LLM. This analysis expands the theoretical scope of the heuristic-systematic model, proposing an information decision-making framework in which textual quality cues drive systematic processing and photo sensory cues drive heuristic processing. This provides new scholarly insights into sensory marketing and information processing theory. Furthermore, based on these theoretical findings, this study offers practical implications for key stakeholders involved in online reviews. In practice, online platforms can enhance the browsing experience by leveraging AI models to prioritize reviews that are consistent in content and novel. Opinion leaders should maximize information delivery efficiency by combining high-quality text with appropriate photo sensory cues. Ultimately, hotel managers can effectively refine their online word-of-mouth management strategies by understanding consumer decision-making mechanisms and encouraging the inclusion of sensory elements in review photos.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제1절 연구배경 1
• 제2절 연구목적 및 필요성 6
• 제3절 연구방법 및 범위 10
• 제 2 장 이론적 배경 14
• 제1절 멀티모달 온라인 리뷰 14
• 제2절 상관 이론 17
• 1. 휴리스틱-체계적 이론 17
• 2. 매체 풍부성 이론 19
• 제3절 리뷰 유용성 22
• 1. 리뷰 유용성의 개념 22
• 2. 리뷰 유용성 결정요인 25
• 제4절 리뷰 특성 추출방법에 관한 연구 30
• 1. 리뷰 텍스트 특징 추출방법 30
• 2. 리뷰 포토 특징 추출방법 34
• 제5절 리뷰 텍스트 포괄성 36
• 1. 리뷰 텍스트 포괄성 개념 36
• 2. 리뷰 텍스트 포괄성 선행연구 38
• 제6절 리뷰 텍스트 참신성 41
• 1. 리뷰 텍스트 참신성 개념 41
• 2. 리뷰 텍스트 참신성 선행연구 44
• 제7절 리뷰 포토 생동성 47
• 제 3 장 연구모형 및 문제 51
• 제1절 연구모형 51
• 제2절 연구문제 54
• 1. 리뷰 포토에 포함된 오감 단서와 리뷰 유용성 54
• 2. 호텔 리뷰의 잠재적 토픽 58
• 3. 리뷰 텍스트의 품질와 리뷰 유용성 59
• 4. 온라인 리뷰의 포토 단서와 텍스트 단서의 상호작용 효과 60
• 제 4 장 연구방법 및 절차 62
• 제1절 데이터 수집 62
• 제2절 데이터 전처리 69
• 제3절 리뷰 텍스트에 관한 변수 조작적 정의 및 측정 방법 72
• 1. BERTopic 방법을 활용한 토픽 마이닝 72
• 2. LLM을 활용한 토픽 라벨링 프롬프트 엔지니어링과 차원 분류 73
• 3. 리뷰 텍스트 포괄성 및 참신성의 조작적 정의 75
• 제4절 리뷰 포토에 관한 변수 조작적 정의 및 측정 방법 77
• 1. LLM 기반 포토 해석 77
• 2. Word2Vec 모델 기반 감각 단서 추출 방법 79
• 제5절 통제변수 89
• 제6절 계량경제적 분석 모형 92
• 제 5 장 분석결과 95
• 제1절 기술통계분석 95
• 제2절 상관관계분석 97
• 제3절 모형검증 결과 98
• 1. 리뷰 텍스트 품질 및 포토 생동성이 리뷰 유용성에 미치는 영향 98
• 2. 리뷰 포토 생동성의 조절효과 검증 100
• 제4절 강건성 검증 103
• 제5절 추가 분석 108
• 제 6 장 결론 111
• 제1절 토론 111
• 제2절 시사점 115
• 1. 이론적 시사점 115
• 2. 실무적 시사점 116
• 제3절 한계점 및 향후 연구 118
• 참고문헌 119
• ABSTACT 137