Detecting depression on video logs using a machine learning approach = 소셜 미디어 영상 기반 우울증 예측 머신러닝 모델

다국어 초록 (Multilingual Abstract)

Detecting depression on social media has received significant attention. Developing a depression detection model helps screen depressed individuals who may need proper treatment. While prior work mainly focused on developing depression detection models with social media posts, including text and image, little attention has been paid to how videos on social media can be used to detect depression. To this end, I propose a depression detection model that utilizes both audio and video features extracted from the vlogs (video logs) on YouTube. I first collected vlogs from YouTube and annotated them into depression and non-depression. I then analyze the statistical differences between depression and non-depression vlogs. Based on the lessons, I build a depression detection model that learns audio and visual features, achieving high accuracy. I believe this model helps detect depressed individuals on social media at an early stage so that individuals who may need appropriate treatment can get help.

국문 초록 (Abstract)

우울증은 현대사회에서 가장 심각하게 대두되고 있는 정신 질환 중 하나로 증상에 대해 늦은 자가 인식 및 사회적인 인식 때문에 환자들의 시기적절한 치료에 어려움을 겪고 있는 것으로 알려져 있다. 이에 본 연구에서는 일상 생활에서 vlog 형식으로 영상을 녹화하여 스스로 우울증 여부를 진단하는 XGBoost 기반 예측 모델을 제안한다. 이를 위해 키워드 검색을 통한 유튜브 vlog 데이터를 수집하고, vlog 포맷에 맞는 어노테이션 작업을 통해 최종적인 데이터셋을 구축하였다. 통계적인 분석을 통해 우울증이 있는 사람과 그렇지 않은 사람의 음성과 얼굴 표정에서 유의미한 차이가 있음을 확인하였다. 또한, 제안한 모델에 음성과 얼굴 표정으로부터 얻은 피처를 학습하여, 정확도 69.08%, 재현율 78.45%, F1 Score 73.98%의 성능을 보였다. 추가적으로, 음성과 얼굴 표정 피처의 독립적인 영향력을 확인하기 위해 각각의 피처로 모델을 학습하는 실험과 젠더 간의 차이를 확인하기 위한 실험을 진행하였다. 이 연구 결과는 SNS 상의 영상을 토대로 개인의 우울증을 사전 진단하거나 치료에 활용될 수 있을 것이다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Related work 3
• 2.1. Depression Detection using Social Media Data 3
• 2.2. Depression Detection using Video 4
• 3 Methodology 5
• 3.1. Data Collection 5
• 3.2. Data Annotation 6
• 3.3. Feature Extraction 7
• 3.3.1. Audio Features 7
• 3.3.2. Visual Features 8
• 3.4. Depression Detection Model 9
• 4 Analysis 11
• 4.1. Audio Features 12
• 4.1.1. Loudness and Fundamental frequency (F0) 12
• 4.1.2. Harmonics-to-Noise Ratio (HNR) 12
• 4.1.3. Jitter & Shimmer 12
• 4.1.4. Second Formant (F2) 13
• 4.1.5. Hammarberg Index 13
• 4.1.6. Spectral Flux 14
• 4.2. Visual Features 15
• 5 Experiments 16
• 5.1. Experimental Settings 16
• 5.2. Model Performance 17
• 5.2.1. Overall Performance 17
• 5.2.2. Modality-based analysis 17
• 5.2.3. Gender-based analysis 18
• 5.3. Important Features on Depression Detection 19
• 6 Conclusion 21
• References 22
• 초 록 29