장단기 메모리 네트워크와 최소 평균 제곱 적응 필터를 활용한 능동 진동 제어 기법의 시스템 식별 성능 비교 연구

정호진,김혜진,김형모,조해성,김중관 한국항공우주학회 2023 韓國航空宇宙學會誌 Vol.51 No.7

This paper presents a comparative study of active vibration control methods through system identification. The focus is on optimizing the transfer function coefficients of the Least Mean Squares (LMS) adaptive filter and the data-based identification and prediction algorithm for hidden state with Long-Short Term Memory (LSTM). To compare the performance of the two system identification methods, a simple low pass system is used, and both methods show appropriate system identification and prediction performance with 0.005, 0.008 RMSE value with training data and 21dB, 27dB PSD reduction compared to original test data, respectively. This paper also shows system identification and data prediction performed for the rotor hub and control surfaces of a medium-sized rotary-wing aircraft, Using ABAQUS data. The results showed that the LMS adaptive filter achieved a 0.035 RMSE value with training data and a 8.78dB PSD decrease compared to the original test data, indicating appropriate system identification and prediction performance. However, the long-term memory structure experienced overfitting during training, indicating the need for network structure optimization. 최소 평균 제곱 (least mean squares, LMS) 적응형 필터의 전달 함수 계수 최적화와 장단기 메모리의 데이터 기반 hidden state 식별 및 예측 알고리즘을 활용하여 시스템 식별을 통한 능동 진동 제어 방법에 대한 비교 연구를 수행하였다. 두 시스템 식별 방법의 비교를 위해 단순 저역 통과 시스템을 먼저 고려하였으며, 두 방법 모두 적절하게 시스템 식별을 수행하여 훈련 데이터는 각각 0.005, 0.008의 RMSE 값을 보였으며 시험 데이터는 원 신호 대비 21dB, 27dB의 PSD 감소 효과를 보여 적절한 예측 성능을 보였다. 마지막으로 ABAQUS를 활용하여 중형 회전익 항공기의 로터 허브와 조종석에 대한 시스템 식별 및 데이터 예측을 수행하였다. 그 결과 LMS 적응형 필터는 0.035의 RMSE 값, 원 신호 대비 8.78dB의 PSD 감소를 보여 적절한 시스템 식별과 예측 성능을 확인하였으나 장단기 메모리 구조는 훈련 중 과적합 현상이 발생하여 네트워크 구조 최적화가 필요함을 확인하였다.

특징점과 장단기 메모리를 활용한 순환 신경망 기반 사고 감지 시스템

최원홍,권창덕,유병수,김민형,민준기 한국정보과학회 2023 정보과학회 컴퓨팅의 실제 논문지 Vol.29 No.7

사고 상황에서의 빠른 조치는 인적, 물적 손실을 최소화하는 가장 효과적인 방법이다. 그러나 관리 감독이 부족한 작업환경에서는 빠르게 사고를 감지하고 조치하기 어렵다. 이러한 문제를 해결하기 위해 인공지능을 활용한 낙상 감지 시스템이 개발되었다. 그러나 작업 현장의 특성상 낙상 감지만으로는 모든 사고를 감지하기에 부족하다. 따라서, 본 논문에서는 낙상뿐만 아니라 기절 등 분류 기준을 추가한 사고 감지 시스템을 제안한다. 본 연구에서는, 사고 발생 여부를 탐지할 수 있는 시스템을 구현하였다. 구현된 시스템은 우선 Mediapipe를 이용하여 영상에서 특징점을 추출하고, 장단기 메모리(Long Short Term Memory: LSTM)을 기반한 순환 신경망(Recurrent Neural Network: RNN)을 이용하여 사고를 식별하였다. 자체 실험 결과, 구현 시스템이 낙상 상태뿐만이 아닌 기절 상태 또한 사고로 감지하면서도 우수한 정확도를 보였다.

장단기메모리를 활용한 선박 운임 예측 모델

김동균,최정석 해양환경안전학회 2021 해양환경안전학회 학술발표대회 논문집 Vol.2021 No.06

장단기 메모리를 이용한 수소 연료 전지 자동차의 에너지 관리 전략 연구

양동호(Dongho Yang),엄기백(Kiback Eom),김민재(Minjae Kim) 한국자동차공학회 2023 한국자동차공학회 학술대회 및 전시회 Vol.2023 No.11

Impact-Echo 신호와 장단기 메모리에 기반한 교량 결함 탐지

오병두(Byoung-Doo Oh),최형(Hyung Choi),김영진(Young Jin Kim),진원종(Won Jong Chin),김유섭(Yu-Seop Kim) Korean Institute of Information Scientists and Eng 2021 정보과학회논문지 Vol.48 No.9

PSC box girder bridges comprise various elements, of which the tendon is the most important. The tendon is exceedingly vulnerable to defects such as corrosion. So, to protect it, it is inserted into the duct and then poured concrete. However, because the inner diameter of the duct is exceedingly narrow, there is a high probability that a cavity can occur with even a minor mistake. Thus, defects are identified through the professional interpretation of signals obtained using non-destructive testing. However, this requires high cost and much time. Additionally, it is difficult to accurately identify the internal state of the concrete structure. Thus, this study intends to apply Long Short-Term Memory. In this case, the Impact-Echo method, which is often used for concrete structures, is used as an input feature. And the characteristics of the structure (concrete thickness, depth of duct, distance between the hitting point and the measuring point) are used for learning. And, the frequency component of the IE signals is additionally used. As a result, the proposed model in this study can confirm approximately 88.56% accuracy.

유사하거나 동일한 폐수처리공정에서의 전이학습 적용 유무에 따른 심층학습 알고리즘의 성능 평가

김재일,서상익,안용태,기서진 대한환경공학회 2024 대한환경공학회지 Vol.46 No.3

"본 연구에서는 두 개의 인지도가 높은 심층학습 알고리즘을 사용하여 하나의 폐수처리공정에서 다른 폐수처리공정으로의 전이학습의 적용 가능성을 평가하였다. 구체적으로는, 전이학습을 위한 벤치마크 알고리즘으로4개및 3개의 은닉층으로 각각 구성된 합성곱 신경망과 장단기 메모리를 사용하였다. 심층학습과 전이학습을 위해 (진주와 청주시에 위치한) 동일한 처리공정을 가지는 2개의 폐수처리시설로부터 2018년부터 2022년까지 총 5년간의입력 데이터가 제공되었다. 모델의 성능 평가는 평균제곱오차를 기준으로 2개 심층학습과 더불어 2개의 다른 전이학습 적용 방법(사전 훈련된 모델에서 개발된 모든 은닉층을 사용하는 방법과 다수의 은닉층 중 마지막 은닉층만을 훈련에 사용하는 방법)을 채택하여 수행되었다. 평가 결과, 유량 및 생물화학적 산소요구량과 같은 종속 변수에관계없이 합성곱 신경망과 장단기 메모리의 성능은 상대적으로 유사한 것으로 조사되었으며, 다만 유량 변수의 낮은 변동성으로 인하여 생물화학적 산소요구량에 비해 유량 예측의 정확도가 다소 높은 것으로 평가되었다. 기존모델의 모든 은닉층을 사용한 전이학습 기법을 두 가지 벤치마크 알고리즘에 적용한 결과 두 알고리즘 모두 유량에 한정하여 예측 성능이 다소 향상되는 것으로 조사되었다. 또한, 다른 전이학습 기법을 사용한 경우에도 벤치마크 알고리즘의 예측 정확도에는 큰 변화가 없는 것으로 평가되었다. 전이학습의 잠재적인 활용 방안으로는 데이터부족으로 인해 심증학습 기반의 신규 예측 모델 개발이 어려운 타겟 도메인에 (소스 도메인에서 개발된) 기존 모델의 신속한 재사용이 포함될 수 있을 것으로 판단된다." "This study assessed the feasibility of transfer learning from one wastewater treatment process to another using two popular deep learning algorithms. Specifically, convolutional neural network (CNN) and long short-term memory (LSTM), which consisted of four and three hidden layers, respectively, were used as benchmark algorithms for transfer learning. Input data for both deep learning and transfer learning were provided from two wastewater treatment plants with identical treatment trains in series (located in Jinju and Cheongju City) over the five-year period from 2018 to 2022. Performance evaluation was also done not only against two deep learning algorithms but also against those adopting two transfer learning strategies, one for freezing all hidden layers developed from the pre-trained model and the other for training the last hidden layer only among multiple ones, with respect to Mean Squared Error (MSE). We found that the performance of both CNN and LSTM was relatively comparative regardless of dependent variables, discharge and biochemical oxygen demand (BOD), whereas the prediction accuracy of both algorithms was slightly higher for discharge than for BOD due to its low variability. When transfer learning which froze all hidden layers of the existing model was applied to two benchmark algorithms, the predictive performance of both algorithms was found to slightly improved only for discharge. Also, there was no measurable variation in the prediction accuracy of benchmark algorithms using the other transfer learning approach. Potential applications of transfer learning include the rapid reuse of the existing models (developed from source domains) for target domains which are hard to develop new prediction models due to the lack of data in deep learning."

Application of Informer for time-series NO2 prediction

Hye Yeon Sin(신혜연),Minchul Kang(강민철),Joonsung Kang(강준성) 한국컴퓨터정보학회 2023 韓國컴퓨터情報學會論文誌 Vol.28 No.7

본 논문에서는 딥러닝 시계열 예측 모형을 평가한다. 최근 연구에 따르면 이 모형은 ARIMA와 같은 기존 예측 모형보다 성능이 우수하다고 결론짓는다. 그 중 히든 레이어에 이전 정보를 저장하는 순환 신경망이 이를 위한 예측 모형 중 하나이다. 네트워크의 그래디언트 소실 문제를 해결하기 위해 LSTM은 데이터 흐름의 반대 방향으로 숨겨진 레이어가 추가되는 BI-LSTM과 함께 순환 신경망 내부의 작은 메모리로 사용된다. 본 논문은 서울의 2018년 1월 1일부터 2022년도 1월 1일까지의 NO2 자료에 대해 Informer의 성능을 LSTM, BI-LSTM, Transformer와 비교하였다. 이에 실제 값과 예측값 사이의 평균 제곱근 오차와 평균 절대 오차를 구하였다. 그 결과 Test 데이터 (2021.09.01.~2022.01.01.)에 대해 Informer는 다른 방법에 비해 가장 높은 예측 정확도 (가장 낮은 예측 오차: 평균 제곱근 오차: 0.0167, 평균 절대 오차: 0.0138)를 보여 타 방법에 비해 그 우수성을 입증하였다. Informer는 당초 취지와 부합되게 다른 방법들이 갖고 있는 장기 시계열 예측에 있어서의 문제점을 개선하는 결과를 나타내고 있다. In this paper, we evaluate deep learning time series forecasting models. Recent studies show that those models perform better than the traditional prediction model such as ARIMA. Among them, recurrent neural networks to store previous information in the hidden layer are one of the prediction models. In order to solve the gradient vanishing problem in the network, LSTM is used with small memory inside the recurrent neural network along with BI-LSTM in which the hidden layer is added in the reverse direction of the data flow. In this paper, we compared the performance of Informer by comparing with other models (LSTM, BI-LSTM, and Transformer) for real Nitrogen dioxide (NO2) data. In order to evaluate the accuracy of each method, mean square root error and mean absolute error between the real value and the predicted value were obtained . Consequently, Informer has improved prediction accuracy compared with other methods.

물리검층자료를 활용한 딥러닝 기반 수포화도 예측

지민수,권서윤,박가영,민배현,Nguyen Xuan Huy 한국자원공학회 2021 한국자원공학회지 Vol.58 No.3

This study develops a surrogate model to predict water saturation from well log data using neural-network-based deep learning algorithms. The model performance is evaluated by comparing the water saturation estimates obtained using deep learning algorithms and Archie’s law. The surrogate model evaluates the water saturation of a target reservoir using four well-log data types (density, porosity, resistivity, and gamma ray). Long Short-Term Memory (LSTM) is employed as the deep neural network algorithm, and its performance is compared with that of a multi-layer artificial neural network. Prediction via the LSTM based model showed outstanding results with the coefficient of determination above 0.7. Sensitivity analysis is conducted through sequence tuning, switching of well type, and k-fold cross-validation. The applicability of the model has been validated for the Volve oilfield in the North Sea and an offshore oilfield in Vietnam. 이 연구는 다양한 물리검층자료를 학습한 딥러닝 알고리듬을 이용하여 저류층의 수포화도를 예측하는 대리 모델을 구축한다. 딥러닝 알고리듬으로 계산한 수포화도 추정치를 Archie 방정식 결과와비교함으로써 개발 모델의 성능 평가를 수행하였다. 이 연구는 4가지 물리검층자료(밀도, 공극률, 비저항, 감마선)를 심층신경망의 입력인자로 활용하여 수포화도를 평가하였다, 심층신경망 기법으로는 장단기메모리학습법을 사용하였으며 전형적인 다층 인공신경망과의 비교를 통해 성능을확인하였다. 장단기메모리학습법을 기반으로 수포화도를 예측한 결과, 결정계수의 값이 0.7 이상으로 우수한 성능을 보이는 것으로 확인하였다. 모델의 민감도 분석으로는 시퀀스 조정, 유정 역할전환, k-폴드 교차검증을 시행하였다. 모델의 적용 가능성은 북해 Volve 유전과 베트남 해상 유전에적용하여 성능을 검증하였다.

양방향 장단기 기억과 시계열 교차검증을 이용한 철근 가격의 장기예측에 관한 연구

이용성(Lee, Yong-Seong),김경환(Kim, Kyung-Hwan) 대한건축학회 2022 대한건축학회논문집 Vol.38 No.5

This study proposes a long-term prediction method of rebar price using deep learning techniques such as a bidirectional long and short-term memory (Bi-LSTM), a recursive method, and a time series cross-validation. Among recurrent neural network (RNN) models, Bi-LSTM provides the best prediction performance for small time series data such as monthly rebar price when applied. The recursive method uses the short-term prediction result as an input value for predicting the next time point data, which can repeatedly be used for making long-term predictions. Time-series cross-validation enables more stable prediction accuracy by enhancing learning that may be lacking in small time series data. By applying these deep learning techniques, this study predicts the monthly rebar price for up to 5 months and compares it with the previous study. As a result, it has been found that the average accuracy increases, and the deviation of the predicted values decreases.

Application of Multifactor Model to Stock Market Index Prediction using Multi-Task Deep Learning

김하영,구형건,임준범,정계은,유재인 한국재무관리학회 2018 財務管理硏究 Vol.35 No.4

A multifactor model, extracting the common factors in returns and then tests whether expected returns are explained by the cross-sections of the loadings of security returns on the factors, have been popularly studied in cross-sectional return predictability in an efficient stock market. We deploy a long short-term memory (LSTM) networks in a multifactor model using individual stock returns in predicting out-of-sample return of the S&P 500 composite index from December, 2007 to December, 2010. We find that a LSTM network, a state-of-the art technique for sequence learning outperforms a factor regression by principal components. The outperformance, measured by the mean squared errors, is clear in predicting composite returns during the most recent financial crisis (January, 2008-June, 2009) when the LSTM is trained by data after dimensionality reduction by various autoencoders including denoising, and contractive autoencoder. Furthermore, we suggest a unique architecture of a multitasking network, consolidating an autoencoder and a LSTM network, resulting the best performance in application of a AE+LSTM network to a multifactor model.