OpenPose기반 딥러닝을 이용한 운동동작분류 성능 비교

손남례,정민아 (사)한국스마트미디어학회 2023 스마트미디어저널 Vol.12 No.7

Recently, research on behavior analysis tracking human posture and movement has been actively conducted. In particular, OpenPose, an open-source software developed by CMU in 2017, is a representative method for estimating human appearance and behavior. OpenPose can detect and estimate various body parts of a person, such as height, face, and hands in real-time, making it applicable to various fields such as smart healthcare, exercise training, security systems, and medical fields. In this paper, we propose a method for classifying four exercise movements - Squat, Walk, Wave, and Fall-down - which are most commonly performed by users in the gym, using OpenPose-based deep learning models, DNN and CNN. The training data is collected by capturing the user's movements through recorded videos and real-time camera captures. The colle cted dataset undergoes preprocessing using OpenPose. The preprocessed dataset is then used to train the proposed DNN and CNN models for exercise movement classification. The performance errors of the proposed models are evaluated using MSE, RMSE, and MAE. The performance evaluation results showed that the proposed DNN model outperformed the proposed CNN model.

발전변동량을 고려한 SVR기반 제주도지역의단기풍력발전량예측

손남례,양승학 한국차세대컴퓨팅학회 2018 한국차세대컴퓨팅학회 논문지 Vol.14 No.2

In recent years, sustainable electricity production is essential for low-carbon green growth in Korea, and wind power generation is potentially unlimited, and is rapidly growing worldwide. However, due to intermittency and volatility, wind power generators have difficulties in efficiently storing and integrating wind power generation with current electric power grids. In order to cope with that, many studies are being carried out to predict wind speed and power. The models used to predict wind energy are divided into three categories: Numerical Weather Prediction, statistical methods, and Artificial Intelligence methods. In this paper, we propose a method to efficiently estimate short-term wind power generation of wind turbine by extracting features of wind direction and wind speed, characteristics of wind, selecting variables based on time-series data characteristics, and learning machine based on SVR. To verify the accuracy and feasibility of the proposed method, we estimate the power generation using the wind farm data of A, B, C region in Jeju Island. Experimental results show that the prediction method of short-term wind power generation using the proposed method is superior to the conventional method. 최근 한국의 저탄소 녹색 성장을 위해서는 지속 가능한 전기 생산이 필수적이고, 특히 풍력발전에너지는 잠재적으로무제한이므로 전 세계적으로 빠르게 성장하고 있다. 그러나 풍력발전기는 간헐성 및 변동성으로 인하여 풍력발전에너지를 효율적으로 저장하고, 전기전력그리드와 통합하는 데 어려움이 있다. 이를 대처하기 위해 풍속과 전력 예측을 위한 많은 연구가 수행중이다. 풍력발전에너지를 예측하는데 사용되는 모델은 NWP(Numerical Weather Prediction), 통계적 방법, 인공지능 방법 같이 3가지로 구분된다. 본 논문은 바람의 특성인 풍향과 풍속의 특징을추출하고, 시계열데이터 특성을 반영하여 변수를 선택한 후, SVR 기반으로 기계학습하여 풍력발전기의 단기풍력발전량을 효율적으로 예측하는 방법을 제안한다. 제안한 방법의 정확도와 타당성을 검증하기 위하여 제주도 A, B, C 지역의 풍력발전단지 데이터를 사용하여 발전량을 예측한다. 실험결과, 제안한 방법을 이용한 단기풍력발전예측 방법이 기존 방법보다 우수하였다.

하이브리드 모델을 이용하여 중단기 태양발전량 예측

손남례 한국산업융합학회 2023 한국산업융합학회 논문집 Vol.26 No.4

Solar energy forecasting is essential for (1) power system planning, management, and operation, requiring accurate predictions. It is crucial for (2) ensuring a continuous and sustainable power supply to customers and (3) optimizing the operation and control of renewable energy systems and the electricity market. Recently, research has been focusing on developing solar energy forecasting models that can provide daily plans for power usage and production and be verified in the electricity market. In these prediction models, various data, including solar energy generation and climate data, are chosen to be utilized in the forecasting process. The most commonly used climate data (such as temperature, relative humidity, precipitation, solar radiation, and wind speed) significantly influence the fluctuations in solar energy generation based on weather conditions. Therefore, this paper proposes a hybrid forecasting model by combining the strengths of the Prophet model and the GRU model, which exhibits excellent predictive performance. The forecasting periods for solar energy generation are tested in short-term (2 days, 7 days) and medium-term (15 days, 30 days) scenarios. The experimental results demonstrate that the proposed approach outperforms the conventional Prophet model by more than twice in terms of Root Mean Square Error (RMSE) and surpasses the modified GRU model by more than 1.5 times, showcasing superior performance.

후보벡터 분류에 의한 영상 에러 복원

손남례,이귀상,Son, Nam-Rye,Lee, Guee-Sang 한국정보처리학회 2003 정보처리학회논문지B Vol.10 No.2

이동 통신 채널과 같은 저대역 통신망에서는 비디오 전송을 위해서는 높은 압축율을 갖는 부호화 방법들이 사용된다. 본 논문에서는 저대역 폭 통신을 위한 비디오 부호화 표준인 H.263 부호화를 기반으로 전송도중 손상된 움직임 벡터의 복원기법을 제안하고 실험하였다. 공간적으로 인접한 블록간에는 움직임 벡터의 상관성이 높기 때문에 손실블록 또한 이 블록들과 움직임이 비슷할 가능성이 높다. 이러한 특성을 이용하여 손실블록의 주변블록 중에서 같은 방향으로 움직임을 갖는 블록들로 구성된 동일 움직임 영역을 추출하고, 이 블록들을 이용하여 손실블록의 움직임벡터를 복구한다. 본 논문에서 제안한 알고리즘은 정확한 손실블록의 움직임 벡터를 찾아 거의 완벽하게 복원하기도 하지만 정확한 움직임벡터를 찾지 못한 경우에는 주변블록과 가장 비슷한 움직임벡터를 찾아서 에러를 은닉하는 효과가 있다. 제안한 방법으로 복원한 영상은 전체적으로 눈에 거슬리는 오류가 생기지 않으므로 주관적인 화질이 좋았다. 또한 객관적인 척도인 PSNR 측면에서는 영상의 움직임 정도에 따라 기존 BMA 방법보다 약 0.5㏈∼l㏈까지의 향상이 있었다. In transmitting compressed video bit-stream over Internet, packet loss causes error propagation in both spatial and temporal domain, which in turn leads to severe degradation in image quality. In this paper, a new approach for the recovery of lost or erroneous Motion Vector(MV)s by classifying the movements of neighboring blocks by their homogeneity is proposed. MVs of neighboring blocks are classified according to the direction of MVs and a representative value for each class is determined to obtain the candidate MV set. By computing the distortion of the candidates, a MV with the minimum distortion is selected. Experimental results show that the proposed algorithm exhibits better performance in many cases than existing methods.

H.264 동영상 부호기를 위한 Feedback 버퍼 제어 방식

손남례,이귀상,Son Nam Rye,Lee Guee Sang 한국정보처리학회 2004 정보처리학회논문지B Vol.11 No.6

Since the H.264 encoding adopts both forward prediction and hi-direction prediction modes and exploits Variable Length Coding(VLC), the amount of data generated from video encoder varies as Flaying time goes by. The fixed bit rate encoding system which has limited transmission channel capacity uses a buffer to control output bitstream It's necessary to control the bitstream to maintain within manageable range so as to protect buffer from overflow or underflow. With existing bit amount control algorithms, the $\lambda_{MODE}$ which is relationship between distortion value and quantization parameter often excesses normal value to end up with video error. This paper proposes an algorithm to protect buffer from overflow or underflow by introducing a new quantization parameter against distortion value of H.264 video data. The test results of 6 exemplary data show that the proposed algorithm has the same PSNR as and up to 8% reduced bit rate against existing algorithms. H.264 부호화 기법은 단방향 및 양방향 예측 모드를 채택하고 있으며, 가변 길이 부호화를 사용하기 때문에 비디오 부호기에서 발생되는 데 이터량은 시간에 따라 변한다. 전송채널 용량이 제한된 고정 비트율 부호기에서는 출력 비트량을 제어하기 위해 버퍼가 사용되는데, 버퍼가 넘치거나(overflow) 고갈되는 것(underflow)을 막기 위해 발생 비트량을 적절한 영역 내에서 제한해야 한다. 기존의 비트량 제어방법 에서는 영상데이터의 왜곡 값과 양자화 계수간의 $\lambda_{MODE}$가 정규 값을 벗어나기 때문에 화질이 열화 된다. 본 논문에서는 H.264 동영상의 왜곡 값에 대한 새로운 양자화 계수론 도출하여 피드백 함으로써 버퍼의 넘침이나 고갈을 방지할 수 있는 알고리즘을 제안하였다. 제안한 기법을 6개의 실험데이터에 적용한 견과 PSNR 값은 기존 방법에서와 비슷하면서도 비트율은 최대 8%까지 감소하였다.

수정된 ALA 클러스터링 알고리즘을 이용한 손실된 움직임 벡터 복원 방법

손남례,이귀상,Son, Nam-Rye,Lee, Guee-Sang 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.7

To transmit a video bit stream over low bandwith, such as mobile, channels, encoding algorithms for high bit rate like H.263+ are used. In transmitting video bit-streams, packet losses cause severe degradation in image quality. This paper proposes a new algorithm for the recovery of missing or erroneous motion vectors when H.263+ bit-stream is transmitted. Considering that the missing or erroneous motion vectors are closely related with those of neighboring blocks, this paper proposes a temporal-spatial error concealment algorithm. The proposed approach is that missing or erroneous Motion Vectors(MVs) are recovered by clustering the movements of neighboring blocks by their homogeneity. MVs of neighboring blocks we clustered according to ALA(Average Linkage Algorithm) clustering and a representative value for each cluster is determined to obtain the candidate MV set. By computing the distortion of the candidates, a MV with the minimum distortion is selected. Experimental results show that the proposed algorithm exhibits better performance in subjective and objective evaluation than existing methods. 이동통신 채널과 같은 저대역 통신망에서는 비디오 전송을 위해서 H.263+와 같이 압축율이 높은 부호화 방법이 사용된다. 저대역폭을 통해 고압축 비디오 비트스트림을 전송할 경우, 패킷이 손실되면 영상의 품질이 심각하게 떨어진다. 본 논문에서는 H.263+ 부호화영상이 전송될 때 손상되는 움직임 벡터의 복원기법을 제안하였다. 본 논문에서는 손실된 블록의 움직임 벡터는 인접한 블록의 움직임 벡터와 높은 상관성을 갖는 다는 사실에 착안하여, 시공간적 오류은닉(Temporal-Spatial Error Concealment) 방법을 제안한다. 제안된 방법에서는 손실된 모션벡터를 인접한 블록의 움직임을 클러스터링하여 복원한다. 인접한 블록의 모션벡터는 ALA(Average Linkage Algorithm) 클러스터링 알고리즘에 따라 클러스터링되며, 각 클러스터의 대표값을 계산하여 후보 움직임 벡터 집합을 얻은 다음, 이들 후보의 움직임의 왜곡정도를 계산하여 왜곡이 최소인 움직임 벡터를 선택한다. 제안한 방법으로 복원한 영상의 화질에 대한 객관적, 주관적 평가에서 개선된 결과를 확인하였다.

화면간 영상 변화량을 고려한 H.264/AVC 비트율 제어 방법

손남례,이귀상,Son Nam-Rye,Lee Guee-Sang 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.3

In this work, a new rate control algorithm for transmission of H.264/AVC video bit stream through CBR(constant bit rate) channel is proposed. The proposed algorithm predicts target bit rate and MAD(mean of absolute difference) for current frame considering image complexity variance between neighboring backward and current images. In details, respective linear regression analysis for MAD and encoded bit rate against image complexity variance produce correlation parameters. Additionally, it uses frame skip technique to maintain bit stream within a manageable range and protect buffer from overflow or underflow. Implementation and experimental results show that the proposed algorithm can provide accurate bit allocation, and can effectively visual degradation after scene changes. Also our proposed algorithm encodes the video sequences with less frame skipping compared to the existing rate control for H.264/AVC. H.264/AVC 표준은 기존의 부호화 기법보다 뛰어난 압축성능 때문에 비디오 데이터의 압축과 전송에 널리 응용될 것으로 전망된다. 그러나 H.264/AVC 표준도 기존의 비디오 압축표준과 마찬가지로 가변길이부호화방식을 따르기 때문에, 동영상을 부호화할 때 발생하는 데이터 량은 시간의 흐름에 따라 큰 폭으로 변할 수 있다. 이 때문에 PSTN이나 ISDN 망과 같이 대역폭이 고정된 네트워크를 통해 비디오 스트림을 전송하고자 할 경우에는 부호기로부터 출력되는 비트량을 제어할 필요가 있다. 본 논문에서는 전송율이 고정된 비디오 전송채널 환경에서 H.264/AVC 부호화 기법으로 압축된 영상 데이터를 전송할 때 필요한 새로운 비트율 제어방식을 제안한다. 제안하는 비트율 제어방식은 우선 화면간 영상 변화량 따른 프레임당 목표비트량과 MAD간의 관계를 선형회귀분석기법을 이용하여 분석한 다음, 이를 기반으로 프레임 단위로 효율적인 비트율 제어 방법을 제안한다. 실험결과 화면간 움직임이 많은 영상의 경우 기존의 비트율 제어 방법이 채널 전송에 부적합할 정도로 비트량을 초과하지만, 제안한 방법은 채널 전송에 적합하게 효율적으로 부호화한다. 또한 프레임 스킵 방법은 기존의 비트율 제어 방법에 비하여 제안한 방법이 평균 $1{\sim}15%$ 감소하였다.

중국, 일본 수출을 위한 한국 전통 대표 식품에 대한 레시피 분석

손남례,정상원,한규상 한국차세대컴퓨팅학회 2018 한국차세대컴퓨팅학회 논문지 Vol.14 No.5

최근 한국전통식품은 편리하고 간편하게 섭취할 수 있도록 상품화 되어 세계로 수출되고 있다. 특히 한국전통식품은 우리나라에 지리적으로 인접한 중국 및 일본을 대상으로 선호도가 높은 대표 대표식품에 대한 레시피 연구 및 개발 이 필요하다. 따라서 본 논문에서는 중국, 일본에서 한국전통식품에 대한 대표식품에 대하여 중국, 일본 포털 사이 트를 이용하여 국가별로 레시피를 검색하고 수집한다. 국가별로 수집된 레시피는 레시피 DB를 구축하여 레시피 종 류별로 어떤 재료가 얼마나 사용되었는지 분석하고 시각화한다. 국가별로 분석된 레시피는 향후 중국, 일본에서 한 국전통식품을 상품화하는데 기초자료로 활용할 수 있도록 할 것이다. Recently, Korean traditional foods have been commercialized and exported to the world because they can be conveniently and easily ingested. In particular, it is necessary to study and develop recipe for representative foods with high preference in China and Japan which are geographically close to Korea. Therefore, this paper retrieves and collects recipes for representative foods of Korean traditional foods in China and Japan using country portal sites in China and Japan. The recipe collected for each country is constructed with a recipe database to analyze and visualize what materials are used for each type of recipe. The recipe analyzed by country will be used as basic data for commercializing Korean traditional food in China and Japan in the future.

A Prediction Method for Short-Term Wind Power Generation using Feature Vector Extraction of Wind Direction and Wind Speed in Jeju Island

손남례 한국차세대컴퓨팅학회 2017 한국차세대컴퓨팅학회 논문지 Vol.13 No.6

In this paper, we propose a wind power forecasting method that takes into consideration wind characteristics to improve the accuracy of wind power prediction. The proposed method involves extracting wind characteristics and predicting power generation. Correlation analysis of power generation amount, wind direction, and wind speed is performed for extracting wind characteristics. Based on the correlation between the wind direction and the wind speed, the feature vector is extracted by clustering using the K-means method. In the prediction part, machine learning is performed using the SVR (support vector regression) that generalizes the SVM (support vector machine) so that an arbitrary real value can be predicted. To verify the accuracy and feasibility of the proposed method, we used the data collected from three different locations of the Jeju Island wind farm. Experimental results show that the error of the proposed method is better than that of existing wind power generation methods.

장면전환에 효율적인 H.264/AVC 비트율 제어 기법

손남례,신윤정,이귀상 대한전자공학회 2007 電子工學會論文誌-SP (Signal processing) Vol.44 No.1

H.264/AVC 표준은 기존의 부호화 기법보다 뛰어난 압축 성능 때문에 비디오 데이터의 압축과 전송에 널리 응용될 것으로 전망된다. 그러나 H.264/AVC 표준도 기존의 비디오 압축표준과 마찬가지로 가변길이부호화 방식을 따르기 때문에, 동영상을 부호화할 때 발생하는 데이터량은 시간의 흐름에 따라 큰 폭으로 변한다. 이 때문에 PSTN이나 ISDN 망과 같이 대역폭이 고정된 네트워크를 통해 비디오 비트 스트림을 전송하고자 할 경우에는 부호기로부터 출력되는 비트량을 제어할 필요가 있다. 본 논문에서는 전송율이 고정된 비디오 전송채널 환경에서 H.264/AVC 부호화 기법으로 압축된 영상 데이터를 전송할 때 장면전환에 효율적인 비트율 제어 방식을 제안한다. 즉, 제안하는 비트율 제어 방식은 장면 전환과 같이 움직임이 많은 부분에서는 이전 프레임과 현재 프레임간의 움직임 변화량을 예측하여 움직임의 양에 따라 2차원 RD 모델 식을 수정하여 프레임 단위로 비트량을 효율적으로 제어하는 방법이다. 또한 장면전환이 많은 영상일 경우에 버퍼의 넘침을 방지하기 위해서 효율적인 프레임 스킵 방법을 제안한다. 실험 결과는 화면간 움직임이 많은 영상의 경우, 기존의 비트량 제어 방법이 채널 전송에 부적합할 정도로 비트량을 초과하지만, 제안한 방법은 채널 전송에 적합하게 효율적으로 부호화한다. 또한 기존 비트율 방법보다 제안한 방법의 프레임 스킵 개수가 적어 화면간의 끊김 현상이 줄었다. In recent years, rate control is an important technique in real time video communication applications using H.264/AVC. Many existing rate control algorithms employ the quadratic rate-distortion model, which is determine the target bits for each P frame. In this paper, a new rate control algorithm for transmission of H.264/AVC video bit stream through CBR(Constant Bit Rate) channel is proposed. The proposed algorithm predicts an adaptive QP(Quantization Parameter) for improving video distortion, due to high motion and abruptly scene change, which target bit rate and MAD(Mean of Absolute Difference) for current frame considering image complexity variance between previous and current frames. Additionally, it uses frame skip technique to maintain bit stream within a manageable range and protect buffer from overflow or underflow. Experimental results show that the proposed method gives a quality improvement of about 0.5dB when compared to previous rate control algorithm. Also our proposed algorithm encodes the video sequences with less frame skipping compared to the existing rate control for H.264/AVC