감정 분류를 이용한 표정 연습 보조 인공지능

김동규(Dong-Kyu Kim),이소화(So Hwa Lee),봉재환(Jae Hwan Bong) 한국전자통신학회 2022 한국전자통신학회 논문지 Vol.17 No.6

본 연구에서는 감정을 표현하기 위한 표정 연습을 보조하는 인공지능을 개발하였다. 개발한 인공지능은 서술형 문장과 표정 이미지로 구성된 멀티모달 입력을 심층신경망에 사용하고 서술형 문장에서 예측되는 감정과 표정 이미지에서 예측되는 감정 사이의 유사도를 계산하여 출력하였다. 사용자는 서술형 문장으로 주어진 상황에 맞게 표정을 연습하고 인공지능은 서술형 문장과 사용자의 표정 사이의 유사도를 수치로 출력하여 피드백한다. 표정 이미지에서 감정을 예측하기 위해 ResNet34 구조를 사용하였으며 FER2013 공공데이터를 이용해 훈련하였다. 자연어인 서술형 문장에서 감정을 예측하기 위해 KoBERT 모델을 전이학습 하였으며 AIHub의 감정 분류를 위한 대화 음성 데이터 세트를 사용해 훈련하였다. 표정 이미지에서 감정을 예측하는 심층신경망은 65% 정확도를 달성하여 사람 수준의 감정 분류 능력을 보여주었다. 서술형 문장에서 감정을 예측하는 심층신경망은 90% 정확도를 달성하였다. 감정표현에 문제가 없는 일반인이 개발한 인공지능을 이용해 표정 연습 실험을 수행하여 개발한 인공지능의 성능을 검증하였다. In this study, an artificial intelligence(AI) was developed to help with facial expression practice in order to express emotions. The developed AI used multimodal inputs consisting of sentences and facial images for deep neural networks (DNNs). The DNNs calculated similarities between the emotions predicted by the sentences and the emotions predicted by facial images. The user practiced facial expressions based on the situation given by sentences, and the AI provided the user with numerical feedback based on the similarity between the emotion predicted by sentence and the emotion predicted by facial expression. ResNet34 structure was trained on FER2013 public data to predict emotions from facial images. To predict emotions in sentences, KoBERT model was trained in transfer learning manner using the conversational speech dataset for emotion classification opened to the public by AIHub. The DNN that predicts emotions from the facial images demonstrated 65% accuracy, which is comparable to human emotional classification ability. The DNN that predicts emotions from the sentences achieved 90% accuracy. The performance of the developed AI was evaluated through experiments with changing facial expressions in which an ordinary person was participated.

얼굴 영상 특성의 분석에 기반한 직업군 분류 기법

조석현,이석룡 한국정보과학회 2014 데이타베이스 연구 Vol.30 No.3

With the development of face recognition techniques using computer vision, various face matching methods have been studied to locate a specific face from a database. Furthermore, more sophisticated face recognition methods have been developed such as positive/nonpositive facial expression analysis, emotional facial expression recognition, and gender identification. In this paper, we present a classification method that predicts an occupational class for person whose occupation is not known, based on the analysis of geometrical face image features. First, we extract the facial feature information from face images and store them into a database. A facial feature data set is divided into two disjoint sets: training and test set. Next, we generate a classification model through machine learning using the training data set, and then verify the performance of the model using the test data set. In this study, we utilize well-known classification algorithms, i.e, neural network, k-NN(k-nearest neighbor), support vector machine(SVM), and decision tree to generate the classification model. We have verified each method, and the experimental results show that our classification models achieve the considerable classification accuracy. 컴퓨터 비전을 이용한 얼굴 인식 기술이 발전함에 따라 영상 속의 인물이 데이터베이스에 저장된 인물중 누구인지를 판별하는 기술들이 연구되고 있고, 여기에서 한걸음 더 나아가 긍정/부정 등의 표정 인식, 감정 인식, 성별 인식 등의 보다 정교한 얼굴 인식 기술들이 활발하게 연구되고 있다. 본 연구에서는 얼굴의 기하학적인 영상 특징 (geometrical image feature)을 분석하여 대상 인물의 직업군을 예측하는 방법을 제시한다. 먼저, 직업군이 알려진 사람들의 얼굴 영상 특징 정보를 추출하여 데이터베이스에 저장한 후, 학습용 데이터세트 (training data set)와 검증용 데이터 세트 (test data set)로 분할한다. 다음으로, 학습용 데이터 세트를 사용하여 기계 학습을 통한 분류 모델을 생성한 후, 검증용 데이터 세트를 사용하여 분류 모델의 성능을 검증한다. 본 연구에서 사용한 분류 알고리즘은 널리 알려진 신경망(neural network), k-NN(k-nearest neighbor), SVM (support vector machine) 및 의사결정트리(decision tree)이며, 실험을 통하여 각 분류 모델의 성능을 비교 분석하였고 이 중 일부는 상당한 수준의 분류 정확도를 보여 주었다.

다양한 배경에서 도형과 색상을 활용한 얼굴 검출

이창현(Chang-Hyun Lee),이현지(Hyun-Ji Lee),이승현(Seung-Hyun Lee),오준택(Joon-Taek Oh),박승보(Seung-Bo Park) 한국컴퓨터정보학회 2021 韓國컴퓨터情報學會論文誌 Vol.26 No.7

본 논문에서는 영상 속 인물을 탐지하고 얼굴 영역을 검출하는 방법을 제안하며, 이 방법은 2가지 작업으로 구성한다. 첫째, 서로 다른 두 명의 인물을 구분하여 프레임 내 인물의 얼굴 위치를 탐지한다. 빠른 탐지를 위해 영상 내 물체를 실시간으로 검출하는 YOLO(You Only Look Once)를 이용하여 얼굴의 위치를 탐지하고 객체탐지상자로 나타낸다. 둘째, 객체탐지상자를 바탕으로 정확한 얼굴 면적을 검출하기 위해 3가지 영상처리 방법을 제시한다. 각 방법은 검출 도형으로 추정한 영역에서 추출한 HSV 값을 이용하여 인물의 얼굴 영역을 검출하였으며 검출 도형의 크기와 모양을 바꾸어 각 방법의 정확도를 비교하였다. 각 얼굴 검출 방법은 신뢰성 검증을 위해 비교 데이터와 영상처리 데이터로 비교 및 분석하였다. 그 결과 원형, 직사각형, 분할 직사각형 방법 중 분할된 직사각형 방법을 사용했을 때 87%로 가장 높은 정확도를 달성하였다. In this paper, we propose a method for detecting characters in images and detecting facial regions, which consists of two tasks. First, we separate two different characters to detect the face position of the characters in the frame. For fast detection, we use You Only Look Once (YOLO), which finds faces in the image in real time, to extract the location of the face and mark them as object detection boxes. Second, we present three image processing methods to detect accurate face area based on object detection boxes. Each method uses HSV values extracted from the region estimated by the detection figure to detect the face region of the characters, and changes the size and shape of the detection figure to compare the accuracy of each method. Each face detection method is compared and analyzed with comparative data and image processing data for reliability verification. As a result, we achieved the highest accuracy of 87% when using the split rectangular method among circular, rectangular, and split rectangular methods.

The Facial Expression Recognition using the Inclined Face Geometrical Information

Dadong Zhao,Mousavinezhad, S. Hossein,Jeong-Young Song 한국정보기술학회 2012 한국정보기술학회논문지 Vol.10 No.12

한국 텔레비전 대담방송 영상에 있어서의 발화자 등장 비율 -표정을 기준으로-

손영석 한국언어연구학회 2022 언어학연구 Vol.27 No.2

This study aimed to measure the rate of speaker appearances by examining video footage of individualized interviews from the television program, Tales of Modern Korean History: TV Autobiographies. The appearance rate was calculated based on the possibility of observing the speaker’s facial expressions. Speakers appeared in approximately 80 per cent of all conversations, however, the ratio varied according to the role of the speaker and type of speech. The conversations were classified into three speech categories: expressing agreement, questioning, and expressing neutral opinions. The rate of expression of agreement was the lowest compared to the other categories while the rate for questioning was similar to that of expression of neutral opinions. Moreover, the rate of speaker appearance for all categories was higher for the interviewee than the interviewer. The proportion of a person’s appearance within the video footage also differs for the interviewer and interviewee, with a full body shot of the speaker often used at the beginning of the questioning process. Additional studies need to be conducted on other television programs, to confirm the generalization of this trend specific to Korean interview-based television programs.

국내 문화 예술 콘텐츠 관람객 대상 비 몰입 상태 및 감정 인식 학습 데이터셋 연구

이지원,백호길,송인규,임찬형 융복합지식학회 2023 융복합지식학회논문지 Vol.11 No.4

In the realm of performing arts content services, the immersion and emotions experienced by consumers play a crucial role in sustaining the continuous success of content, and can be used as an indicator to determine the completeness of content and services by comparing it with the service planning intention. Recently, research using AI-based image classification models has been actively conducted to measure consumers' immersion and emotional states. However, existing datasets consist of information collected from subjects in an immersed state, making it difficult to discern non-immersive states, and are composed mostly of Westerners, so it is difficult to train the model to learn the characteristic differences based on race and culture. Therefore, this study compared and analyzed the results derived by training the model using a self-dataset constructed by preprocessing collected Korean, foreign, and mixed image datasets for emotions and non-immersion states to measure the immersion state of Korean visitors and use it to evaluate quantitative satisfaction with the content.

Classification of Autism Spectrum Disorder Based on Facial Images Using the VGG19 Algorithm

Wandi Yusuf Kurniawan,Putu Harry Gunawan Korean Institute of Information Scientists and Eng 2024 Journal of Computing Science and Engineering Vol.18 No.1

표정 분류에 기반한 감정 인식을 위한 열화상 데이터베이스의 유용성 평가

이지민(Ji-Min Lee),안영은(Young-Eun An),김민구(Min-Gu Kim),반성범(Sung Bum Pan) 한국정보기술학회 2022 한국정보기술학회논문지 Vol.20 No.2

Residual Blocks-Based Multi-Tasking Convolutional Neural Network for Age, Gender, and Race Classification

Khasanova Nodira Gayrat Kizi,Bong-Kee Sin 한국멀티미디어학회 2024 멀티미디어학회논문지 Vol.27 No.4

Vision Transformer 기반 얼굴 연령 분류 기법의 성능 분석

박준휘(Junhwi Park),김남중(Namjung Kim),박창준(Changjoon Park),이재현(Jaehyun Lee),곽정환(Jeonghwan Gwak) 한국컴퓨터정보학회 2024 한국컴퓨터정보학회 학술발표논문집 Vol.32 No.1