A Study on Perceived Quality of Applications Applying LLM: A Case Study of ChatGPT Applied App Speak = LLM을 적용한 애플리케이션의 인지된 품질 평가에 대한 연구: ChatGPT를 도입한 스픽의 사례를 중심으로

다국어 초록 (Multilingual Abstract)

The integration of disruptive Artificial Intelligence (AI) technologies, such as OpenAI’s ChatGPT, has a profound influence on user expectations and perceptions, leading to complex dynamics in perceived service quality. This study aims to delve into these dynamics by investigating user perceptions and evaluations of an AI-based English tutoring mobile application that has integrated the GPT-4 technology.
This research conducted an in-depth analysis of user reviews obtained from the Google Play Store, employing a range of metrics, including topic modeling methodologies, to assess the reviews comprehensively. This robust analytical approach enabled us to meticulously decode user feedback, extract salient characteristics, and understand the impact these aspects have on the overall assessment of the application's quality.
Our findings suggest that the integration of ChatGPT in the application resulted in elevated user expectations, particularly in terms of its usefulness and enjoyment. Intriguingly, this heightened anticipation was found to have a counterproductive effect on their assessments of the app's performance and service quality. Users' perceived quality was observed to be negatively influenced when the actual performance did not align with the heightened expectations, demonstrating the critical role of expectation management when integrating such disruptive technologies. Furthermore, ChatGPT can be utilized to amplify the scale of user-generated content within a platform, signifying its role as a platform game-changer.
Despite certain limitations inherent to the study, such as the lack of a control group and the single-platform focus of review collection, this research contributes significantly to the extant body of knowledge. It offers a valuable foundation for future research into understanding user perceptions and evaluations of AI-integrated services across various platforms and applications.
In summary, the present study provides vital insights into the complex dynamics of user expectations and perceived quality in the context of game-changer technology-based applications. It highlights the significance of managing customer expectations, optimizing the balance between usefulness and enjoyment, and ultimately delivering a service that is not only technologically advanced but also meaningful and beneficial to the end-users.

국문 초록 (Abstract)

혁신적인 인공 지능 (AI) 기술인 OpenAI의 ChatGPT 기술의 활용은 사용자 기대와 인식에 깊은 영향을 미쳐 서비스의 인지된 품질(Perceived quality)에 복잡한 역학을 초래한다. 이 연구는 GPT-4 AI 기술을 접목한 AI 기반 영어 튜터링 모바일 애플리케이션에 대한 사용자 인식과 평가를 조사하여 이러한 역학관계를 조사하는 것을 목표로 한다.
이 연구는 Google Play Store에서 얻은 사용자 리뷰를 바탕으로 깊이 있는 분석을 수행하였으며, 토픽 모델링 방법론을 포함한 다양한 지표를 사용하여 리뷰를 평가한다. 이런 접근법은 사용자 피드백을 철저히 분석하고, 주요 특징을 추출하며, 이러한 측면들이 애플리케이션의 품질 평가에 미치는 영향을 이해하는데 도움이 된다.
연구 결과는 ChatGPT의 애플리케이션 활용이 특히 그 유용성(Usefulness)과 즐거움(Enjoyment)에 대한 사용자의 기대치를 높였다는 것을 제안한다. 흥미롭게도, 이러한 높아진 기대치는 앱의 성능과 서비스 품질에 대한 그들의 평가에 역효과를 미쳤다. 실제 성능이 높아진 기대치와 일치하지 않을 때 사용자의 인지된 품질이 부정적으로 영향을 받았다는 것이 관찰되었는데, 이는 이러한 혁신 기술을 활용할 때 기대치 관리의 중요성을 보여준다. 또한, ChatGPT는 플랫폼 내에서 사용자 생성 콘텐츠의 규모를 증가시키는 데 활용될 수 있으며, 이는 ChatGPT가 플랫폼 게임 체인저 역할을 수행한다는 것을 의미한다.
대조군의 부재와 단일 플랫폼에서만 리뷰 수집이 되었다는 연구의 한계에도 불구하고, 이 연구는 AI 서비스의 사용자 기대와 평가에 대한 이해를 위한 향후 연구의 중요한 기반이 될 수 있다는 점에서 기여를 한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Section 1-1. Background and Importance of Research 1
• Section 1-2. Purpose of Research 4
• Section 1-3. Structure of the Paper 6
• Chapter 2. Theoretical Background 7
• Section 2-1. Perceived Quality 7
• Section 2-2. Platform Game Changer 10
• Section 2-3. LDA Topic Modeling 13
• Chapter 3. Hypotheses Development 15
• Section 3-1. User Expectation and Perceived Quality 15
• Section 3-2. Volume and Diversity of the Contents 16
• Chapter 4. Methodology 18
• Section 4-1. Research Framework 18
• Section 4-2. Data Collection and Preprocessing 18
• Section 4-3. LDA Topic Modeling 22
• Section 4-4. Measurement of Customer Expectation 26
• Section 4-5. Sentiment Analysis 28
• Section 4-6. Gap Analysis 29
• Chapter 5. Analysis and Results 31
• Section 5-1. TF-IDF and Topic Modeling 31
• Section 5-2. Perceived Quality 35
• Section 5-3. Volume of User Generated Contents 42
• Section 5-4. Diversity of User Generated Contents 44
• Chapter 6. Discussions 47
• Section 6-1. Findings and Implications 47
• Section 6-2. Contributions and Future Research 48
• Section 6-3. Limitations 49
• Chapter 7. Conclusion 52
• References 54
• 국문 요지 61