LLM 추천자 시스템에서 사용자 성향에 따른 프롬프트 선택에 관한 연구

다국어 초록 (Multilingual Abstract)

With the rapid development of Large Language Models (LLMs), their outstanding zero-shot text processing and generation capabilities, even without separate fine-tuning, are expanding their application scope. Consequently, LLMs have begun to be utilized in recommendation systems, performing personalized recommendations and content ranking based on user profile information. However, most research on LLM-based recommendation systems operates as an augmenter (LLM-as-Augmenter) to traditional recommendation models, rather than as a recommender (LLM-as-Recommender). However, because the role of the LLM-as-Augmenter is performed in conjunction with existing recommendation models, the cold-start problem inherent in traditional recommendation models persists. In contrast, this paper focuses on the LLM-as-Recommender ranking recommendation system that overcomes the cold-start problem by leveraging its extensive inherent content understanding.
Research on utilizing LLMs as recommenders is still in its infancy, and concerns about hallucination and inherent implicit bias within the model itself are key issues in recommender systems. In particular, popularity bias in LLMs is problematic because they only recommend generally popular items, without considering users' personalized item preferences. This leads to a significant difference in recommendation quality compared to traditional recommendation models, depending on the detailed sensitive attributes (SST) of the user profiles included in the prompts. If uniform profile-based recommendations were made to all users regardless of their item preferences, this could result in lower recommendation quality for certain user groups. Therefore, in this paper, we predict user item preferences based on the item interaction history in the user profile and selectively incorporate user-SST information into the LLM prompts to mitigate the deterioration in recommendation quality caused by LLM popularity bias. The proposed method was validated through the LLM-as-Recommender ranking evaluation, demonstrating improved recommendation quality across various demographic groups.

국문 초록 (Abstract)

거대 언어 모델(large language models, LLMs)이 급속하게 발전하면서, LLM의 별도의 파인 튜닝(fine-tuning) 없이도 뛰어난 제로-샷(zero-shot) 텍스트 처리 및 생성 능력은 응용 범위가 점점 넓어지고 있다. 이에 따라, LLM은 추천 시스템(recommendation system) 분야에서도 사용자 프로필 정보를 바탕으로 개인화된 추천 및 콘텐츠(content) 순위화(ranking) 작업을 수행하는 LLM 추천자(LLM-as-recommender)가 등장한다. 하지만, LLM 기반 추천 시스템 연구는 LLM을 추천자가 아닌 전통적인 추천 모델에 보조적인 증강자(LLM-as-augmenter)로서 작동하는 사례가 대부분을 차지한다. 그러나, LLM 증강자는 역할은 기존 추천 모델과 결합하여 이루어지기 때문에, 전통적인 추천 모델에서 발생하는 콜드 스타트(cold-start) 문제가 여전히 존재한다. 반면, 본 논문에서는 방대하게 내재된 콘텐츠 이해력을 통해 콜드 스타트 문제를 극복할 수 있는 LLM 추천자 방식 순위화 추천 시스템에 초점을 둔다.
LLM을 추천자로서 활용하는 연구는 현재 초기 단계이며, 환각(hallucination)에 대한 우려나 모델 자체에 내재된 암묵적인 편향(bias)이 추천 시스템에서 주요 문제로 지적된다. 그 중, 프롬프트에 사용자 민감 속성(sensitive attributes, SST) 정보를 입력할 때 LLM이 인기 아이템 위주의 추천을 하도록 유도되어 사용자의 개인화된 아이템 선호 방향을 고려하지 않는 점이 문제가 된다. 이는 모든 사용자에 대해 인기 아이템 선호 성향과 무관하게 일괄적인 프롬프트 기반 추천이 특정 사용자 그룹에는 오히려 추천 품질이 하락하는 결과를 유도한다. LLM이 사전에 학습한 콘텐츠가 대부분 인기 아이템에 편중된 점이 원인 중 하나이다. 이에 따라, 본 논문에서는 사용자 프로필의 아이템 상호작용 기록을 기반으로 사용자의 인기 아이템 선호 성향을 예측해서, 사용자 성향에 따라 프롬프트에 사용자 민감 속성 정보를 선택적으로 포함하는 프롬프트 엔지니어링을 제안한다. 제안하는 방법은 실험을 통해 다양한 인구통계 그룹에서 LLM의 추천 순위 예측 성능을 개선한다.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 1 절 연구 배경 및 목적 1
• 제 2 절 연구 내용 2
• 제 2 장 관련 연구 3
• 제 1 절 전통적인 추천 시스템 연구 방향 3
• 제 2 절 LLM 증강자 기반 추천 시스템 5
• 제 3 장 선택적 SST 프롬프트 엔지니어링 7
• 제 4 장 실 험 11
• 제 1 절 실험 데이터 11
• 제 1 항 사용자 인구통계 그룹 12
• 제 2 항 암묵적 피드백(Implicit Feedback) 13
• 제 2 절 실험 평가 방식 15
• 제 1 항 후보군(Candidate Set) 구성 16
• 제 2 항 평가지표 18
• 제 3 절 실험 환경 및 파라미터 19
• 제 4 절 실험 결과 및 분석 20
• 제 5 장 결 론 25
• 참고문헌 26
• Abstract 28