합성 블록 어텐션 모듈을 이용한 운동 동작 인식 성능 분석 = Performance Analysis of Exercise Gesture-Recognition Using Convolutional Block Attention Module

국문 초록 (Abstract)

최근, 실시간으로 카메라를 통해 동작을 인식하는 기술의 연구가 많이 진행되고 있다. 기존의 연구들에서는 사람의 관절로부터 특징을 추출하는 개수가 적기 때문에 동작 분류의 정확도가 낮은 한계점들이 있다. 본 논문에서는 이러한 한계점들을 해결하기 위해 움직일 때 변하는 관절의 각도를 특징 추출하여 계산하는 알고리즘과 이미지 분류 시에 정확도가 높은 CBAM(Convolutional Block Attention Module)을 사용한 분류모델을 제안한다. AI Hub에서 제공하는 피트니스 자세 이미지로부터 5가지 운동 동작 이미지를 인용하여 분류 모델에 적용한다. 구글에서 제공하는 그래프 기반 프레임워크인 MediaPipe 기법을 사용하여, 이미지로부터 운동 동작 분류에 중요한 8가지 관절 각도 정보를 추가적으로 추출한다. 추출한 특징들을 모델의 입력으로 설정하여, 분류 모델을 학습시킨다. 시뮬레이션 결과로부터 제안한 모델은 높은 정확도로 운동 동작을 구분하는 것을 확인할 수 있다.

다국어 초록 (Multilingual Abstract)

Gesture recognition analytics through a camera in real time have been widely studied in recent years. Since a small number of features from human joints are extracted, low accuracy of classifying models is get in conventional gesture recognition studies. In this paper, CBAM (Convolutional Block Attention Module) with high accuracy for classifying images is proposed as a classification model and algorithm calculating the angle of joints depending on actions is presented to solve the issues. Employing five exercise gestures images from the fitness posture images provided by AI Hub, the images are applied to the classification model. Important 8-joint angles information for classifying the exercise gestures is extracted from the images by using MediaPipe, a graph-based framework provided by Google. Setting the features as input of the classification model, the classification model is learned. From the simulation results, it is confirmed that the exercise gestures are classified with high accuracy in the proposed model.

참고문헌 (Reference)

1 이정현, "전이 학습과 어텐션(Attention)을 적용한 합성곱 신경망 기반의 음성 감정 인식 모델" 한국정보과학회 47 (47): 665-673, 2020

2 김미경, "스켈레톤 벡터 정보와 RNN 학습을 이용한 행동인식 알고리즘" 한국방송∙미디어공학회 23 (23): 598-605, 2018

3 김규민, "딥러닝 기반 실시간 손 제스처 인식" 한국멀티미디어학회 22 (22): 424-431, 2019

4 선영규, "기계학습 기반의 실시간 이미지 인식 알고리즘의 성능" 사단법인 한국위성정보통신학회 12 (12): 69-73, 2017

5 Z. Cao, "OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields" 43 (43): 172-186, 2021

6 R. R. Koli, "Human action recognition using deep neural networks" 376-380, 2020

7 J. W. Park, "Egocentric activity recognition based on shot-movements aggregation using LSTM and fusion" Korea Advanced Institute of Science and Technology 2018

8 J. Park, "CBAM:Convolutional block attention module" 3-19, 2018

9 J. Park, "BAM:Bottleneck attention module" 2018

10 K. W. Kim, "AI-based activity recognition from early-stage motion" University of Korea 2020

11 "AI Hub"

12 최한석, "3D 콘텐츠 제어를 위한 키넥트 기반의 동작 인식 모델" 한국콘텐츠학회 14 (14): 24-29, 2014