대규모 언어 모델(LLM) 기반 프롬프트 엔지니어링을 활용한 멀티모달 감성 인식체계의 설명 가능성 향상 연구: 면접 영상 데이터를 중심으로 = Enhancing Explainability of a Multimodal Emotion Recognition System Using Large Language Model-Based Prompt Engineering: A Study Based on Interview Video Data

국문 초록 (Abstract)

본 연구는 대규모 언어 모델（LLM） 기반 프롬프트 엔지니어링과 구조화된 감성 데이터 처리 기법을 통합하여 멀티모달 감성 인식 시스템의 설명 가능성을 향상하는 것을 목적으로 합니다.
최근 텍스트, 음성, 시각 정보를 결합한 멀티모달 접근법은 감성 인식 과제에서 높은 성능을 달성하고 있지만, 인터뷰 분석과 같은 실제 응용 환경에서는 해석 가능성이 부족하다는 한계가 있습니다. 이러한 한계를 해결하기 위해 본 연구는 마르코프 정보원, 지배 감성 추출, 감성 전이 분석, 모달리티 간 불일치 탐지를 활용하여 원시 멀티모달 감성 데이터를 구조화된 형태로 변환하는 프레임워크를 제안합니다.
정제된 데이터를 기반으로 체계적으로 설계된 일련의 프롬프트를 LLM에 적용하여 사람이 이해할 수 있는 감성 분석 보고서를 생성합니다. 제안된 접근법은 탐지된 감성 상태뿐만 아니라 해당 감성이 나타난 원인, 시간에 따른 변화 양상, 모달리티 간 불일치까지 설명할 수 있도록 합니다.
인터뷰 영상 데이터를 활용한 실험 결과, 제안된 방법은 데이터 전처리를 수행하지 않은 제로샷 프롬프팅 및 연쇄적 사고 프롬프팅과 비교하여 생성 결과의 일관성, 관련성, 해석 가능성을 향상하는 것으로 나타났습니다. 본 연구는 높은 성능의 감성 인식과 실제 활용을 위한 설명 가능성 사이의 격차를 줄이는 데 기여하며, 실제 감성 분석 응용 분야에 적용할 수 있는 확장 가능한 프레임워크를 제시합니다.

목차 (Table of Contents)

• I. 서론 ··················································· 1
• 1. 연구 배경 및 목적 1
• 2. 논문의 차별점 4
• 3. 논문의 구성 5
• II. 배경 연구 ············································ 6
• 1. 멀티모달 감성 인식 6
• 2. 설명가능성을 위한 통계적 감성 인식 10
• 3. 마르코프 정보원 12
• 4. 프롬프트 엔지니어링 15
• 5. LLM모델의 표 해석 방법 26
• Ⅲ. 방법론 ·············································· 28
• 1. 원천 데이터 수집 28
• 2. 데이터 후처리 알고리즘 29
• 3. 프롬프트 구성 37
• Ⅳ. 실험 결과 ··········································· 46
• 1. 실험 개요 46
• 2. 실험 설계 48
• 3. 실험 결과 49
• Ⅴ. 요약 및 결론 ······································· 55
• 1. 본 연구의 시사점 및 요약 55
• 2. 본 연구의 한계점 56
• 참고문헌 ················································ 57
• Abstract ················································ 65