AI 감정 인식 기반 참여형 사원 관리 엣지 시스템 개발 = Development of an AI Emotion Recognition-based Edge System for Participatory Employee Management

국문 초록 (Abstract)

신입 직원의 높은 조기 이직률은 조직의 생산성과 지속 가능성을 위협하는 심각한 문제로 지적되고 있다. 기존의 온보딩 프로그램은 개인의 감정 상태를 실시간으로 반영하지 못하며, 일률적인 방식으로 인해 구성원의 참여를 유도하는 데 한계가 존재했다. 따라서, 본 논문에서는 이러한 문제를 해결하기 위해 AI 감정 인식과 더불어 게이미피케이션 전략을 융합한 “구성원 참여형 조직 관리 엣지 시스템”을 설계하고 개발하였다. 제안하는 시스템은 NVIDIA Jetson Orin Nano 엣지 디바이스 상에서 모든 AI 추론과 Flask/Socket.IO 기반 웹 서버를 통합하여 설계하였다. 특히, 엣지 환경에서 최적의 표정 분석 성능을 확보하기 위하여 CNN+LSTM, ResNet50, ConvNeXt 등 다양한 딥러닝 아키텍처를 비교 실험하였으며, 음성 분석에는 Wav2Vec2 (Transformer) 모델을 적용하여 멀티모달(Multimodal) 감정 인식을 구현하였다. 또한, 강화학습(Q-learning) 에이전트는 ‘현재 감정’과 ‘누적 랭크’를 ‘상태(State)’로 입력받아 사용자에게 개인 맞춤형 미션을 추천한다. 사용자가 미션에 대한 피드백을 제공하면, 해당 피드백이 ‘보상(Reward)’으로 반영되어 Q-테이블이 업데이트되고, 점수와 랭크가 갱신되는 참여형 선순환 구조로 구현하였다.
실험 결과, 음성 감정 인식 모델은 한국어 데이터 세트 기준 86.2%의 높은 검증 정확도를 달성하였다. 얼굴 감정 인식 모델의 경우, 실제 환경의 변동성을 반영한 RAF-DB 데이터 세트를 활용하여 성능을 검증한 결과, ConvNeXt(RGB) 모델이 88.1%의 정확도를 기록하며 비교 모델 중 가장 우수한 최고 성능(SOTA, State-of-the-Art)급 성능을 입증하였다. 최종적으로, 모든 AI 모듈과 구성원 참여형 로직이 엣지 디바이스 환경에서 지연 없이 안정적으로 통합되어 작동함을 확인하였다.
본 논문에서는 실시간 감정 데이터를 조직 관리에 활용하는 새로운 접근법을 제시함으로써, 복잡한 AI 서비스를 저전력 엣지 디바이스에서 성공적으로 구현하여 해당 기술의 실용성을 검증하였다.

다국어 초록 (Multilingual Abstract)

High early turnover rates among new employees pose a significant challenge to organizational productivity and sustainability. Existing onboarding programs fail to reflect individual emotional states in real-time and have limitations in inducing member engagement due to their uniform approach.To address these issues, this paper designs and develops a “Participatory Organizational Management Edge System” that integrates AI-driven emotion recognition with gamification strategies. The proposed system is designed to monolithically handle all AI inference and a Flask/Socket.IO-based web server on an NVIDIA Jetson Orin Nano edge device. Specifically, to secure optimal facial expression analysis performance in an edge environment, comparative experiments were conducted using various deep learning architectures such as CNN+LSTM, ResNet50, and ConvNeXt. For voice analysis, a Wav2Vec2 (Transformer) model was applied to implement multimodal emotion recognition.
Furthermore, a Reinforcement Learning (Q-learning) agent uses the detected ‘current emotion’ and ‘cumulative rank’ as the ‘State’ to recommend personalized missions to the user. When the user provides feedback on the mission, it is reflected as a ‘Reward’ to update the Q-table, refreshing the score and rank, thereby implementing a participatory virtuous cycle structure.
Experimental results showed that the voice emotion recognition model achieved a high validation accuracy of 86.2% on a Korean dataset. For the facial emotion recognition model, performance was verified using the RAF-DB dataset, which reflects real-world variability. As a result, the ConvNeXt (RGB) model recorded an accuracy of 88.1%, demonstrating superior SOTA (State-of-the-Art) level performance among the compared models. Finally, it was confirmed that all AI modules and participatory logic operate stably and consistently without latency in the edge device environment.
By presenting a novel approach that utilizes real-time emotional data for organizational management, this study verifies the practicality of successfully deploying complex AI services on low-power edge devices.

목차 (Table of Contents)

• Ⅰ. 서론 (Introduction) 1
• 1. 연구 배경 1
• 1.1 높은 직원 이직률과 조직의 손실 1
• 1.2 기존 신규 입사자 지원 프로그램의 한계 2
• 1.3 AI 감정 인식과 참여형 피드백 시스템의 활용 가능성 4
• 2. 필요성 5
• 2.1 감정 분석 기반 개인 맞춤형 지원 필요성 5
• 2.2 AI 및 데이터 기반 접근 방식의 필요성 6
• 3. 연구 목표 7
• 3.1 감정 인식 기반 직원 이직률 개선 시스템 개발 8
• 3.2 AI를 활용한 맞춤형 미션 추천 모델 구축 8
• 3.3 Jetson Orin Nano를 활용한 실시간 감정 분석 및 피드백 제공 9
• Ⅱ. 관련 연구 동향 11
• 1. 얼굴 및 음성을 활용하는 감정 인식 기술 11
• 1.1 얼굴 인식을 활용한 감정 분석 11
• 1.2 음성 인식을 활용한 감정 분석 12
• 1.3 딥러닝 기반 감정 인식 모델의 발전 13
• 1.3.1 하이브리드 모델 (CNN+LSTM) 13
• 1.3.2 심층 잔차 네트워크 (ResNet) 14
• 1.3.3 차세대 컨볼루션 네트워크 (ConvNeXt) 14
• 2. 엣지 AI 및 NVIDIA Jetson 15
• 2.1 AI 엣지 시스템 15
• 2.2 NVIDIA Jetson Orin Nano 16
• 3. Jetson Orin Nano를 활용하는 엣지 시스템 구축 16
• 3.1 Jetson Orin Nano를 이용한 얼굴 및 음성 감지 및 감정 분석 16
• 3.2 Jetson Orin Nano와 서버 간 데이터 연동 17
• 4. 감정 인식 기반 추천 및 중재 서비스 18
• 4.1 콘텐츠 추천 시스템의 현황과 한계 18
• 4.2 텍스트 기반 헬스케어 중재 시스템의 한계 19
• Ⅲ. AI 감정 인식 기반 구성원 참여형 조직 관리 엣지 시스템 20
• 1. 제안 시스템 아키텍처 20
• 1.1 시스템의 5대 핵심 구성 요소 20
• 1.2 시스템 아키텍처 데이터 흐름 22
• 2. 사용 시나리오 및 흐름도 24
• 3. 감정 인식을 위한 AI 모델 설계 27
• 3.1 표정 기반 감정 인식 모델 27
• 3.1.1 초기 접근: 하이브리드 모델 (CNN+LSTM) 27
• 3.1.2 성능 고도화: 심층 잔차 네트워크 (ResNet50) 29
• 3.1.3 최종 모델: 차세대 컨볼루션 네트워크 (ConvNeXt) 30
• 3.2 음성 기반 감정 인식 모델 (MFCC+CNN 및 Wav2Vec2) 31
• 3.3 멀티모달 융합 전략 (Multimodal Fusion Strategy) 33
• 4. 강화학습 기반 미션 추천 시스템 구현 (Q-learning) 34
• Ⅳ. 실험 및 결과 (Experiment & Result) 38
• 1. 실험 환경 38
• 1.1 하드웨어 및 소프트웨어 38
• 1.2 데이터 수집 및 학습 환경 39
• 1.2.1 얼굴 감정 데이터 세트 (Fer2013, RAF-DB) 40
• 1.2.2 음성 감정 데이터 세트 (RAVDESS, 한국어 데이터 세트) 41
• 2. AI 모델 학습 및 결과 43
• 2.1 표정 기반 감정 인식 모델 43
• 2.1.1 초기 모델 실험 (FER2013의 한계 검증) 43
• 2.1.2 고성능 모델 실험 (RAF-DB 및 ResNet50, ConvNeXt) 47
• 2.1.3 모델 성능 종합 비교 및 선정 50
• 2.2 음성 기반 감정 인식 모델(MFCC+CNN) 50
• 2.3 최종 인식 모델 선정 (Wav2Vec2) 51
• 2.4 강화학습 기반 맞춤형 미션 추천(Q-learning) 56
• 3. 시스템 통합 및 성능 평가 57
• 3.1 멀티모달 감정 인식 및 융합 평가 57
• 3.2 강화학습(Q-learning) 피드백 루프 검증 58
• 3.3 사용자 시나리오별 기능 평가 59
• 3.4 엣지 AI 시스템 성능 평가 60
• Ⅴ. 결론 및 향후 연구 방향 62
• 1. 결론 62
• 2. 한계점 및 향후 연구 방향 63
• 참고문헌 65