Bi-LSTM 하이퍼파라미터 최적화를 위한 PSO 적용 연구

김우성 건국대학교 정보통신대학원 2025 국내석사

본 논문은 침입 탐지 시스템(Intrusion Detection System, IDS)의 탐지 성능 향상을 목적으로, 양방향 장단기 메모리(Bidirectional Long Short-Term Memory, Bi-LSTM) 신경망의 하이퍼파라미터를 입자 군집 최적화(Particle Swarm Optimization, PSO) 알고리즘을 통해 자동 조정하는 기법을 제안한다. 기존 IDS는 고정된 규칙 기반의 탐지 방식에 의존하거나 하이퍼파라미터 설정을 수작업에 의존함에 따라, 다양한 공격 유형에 대한 적응성과 탐지 정확도에서 한계를 보이는 경우가 많다. 본 연구에서는 Bi-LSTM 기반의 딥러닝 모델을 기반으로 하되, 데이터 불균형 문제를 완화하기 위해 오버샘플링 기법을 적용하였으며, 분류기 단계에서는 eXtreme Gradient Boosting(XGBoost)을 활용하고 소프트 보팅 방식을 통해 앙상블 모델을 구성하였다. 특히, PSO를 활용하여 Bi-LSTM의 핵심 하이퍼파라미터를 자동으로 최적화함으로써, 수작업 기반 탐색 방식보다 효율적인 성능 개선을 도모하였다. 제안된 모델은 UNSW-NB15 데이터셋을 기반으로 실험 및 평가를 수행하였으며, 정확도, 정밀도, 재현율, F1-score 등 주요 성능 지표에서 PSO 적용 전 대비 유의미한 향상을 확인하였다. 또한, 데이터셋 내 상대적으로 적은 비율을 차지하는 소수 클래스 공격 유형에 대해서도 향상된 탐지 성능을 보였다. 이는 PSO 기반 하이퍼파라미터 최적화가 IDS 성능 고도화에 효과적인 접근임을 시사한다. A Study on Applying PSO for Bi-LSTM Hyperparameter Optimization Kim, Woo-seong Department of Convergence Information Technology Graduate School of Information and Communications, Konkuk University This paper proposes an approach to optimize the hyperparameters of a Bidirectional Long Short-Term Memory (Bi-LSTM) neural network using Particle Swarm Optimization (PSO) to enhance the performance of Intrusion Detection Systems (IDS). Conventional IDS models often depend on static rule-based detection mechanisms or manually tuned hyperparameters, resulting in limited adaptability and suboptimal accuracy when addressing diverse types of cyberattacks. In this study, a Bi-LSTM-based deep learning model is employed, with an oversampling technique applied to alleviate data imbalance issues. For the classification stage, an ensemble model is constructed using eXtreme Gradient Boosting (XGBoost) with a soft voting strategy. Notably, PSO is utilized to automatically optimize key hyperparameters of the Bi-LSTM model, leading to improved performance compared to manual tuning methods. The proposed model is evaluated using the UNSW-NB15 dataset, demonstrating significant improvements in key performance metrics such as accuracy, precision, recall, and F1-score. Furthermore, the model shows enhanced detection capabilities for minority class attack types within the dataset. These results indicate that PSO-based hyperparameter optimization is an effective strategy for improving IDS performance. Keywords: IDS, Bi-LSTM, PSO, XGBoost, Hyperparameter Optimization, Minority Class Detection

인공신경망을 이용한 쌀 가격 예측모델 개발과 국제통상 시사점 : LSTM, Bi-LSTM을 중심으로

오유미 목포대학교 경영행정대학원 2023 국내석사

쌀은 우리나라의 주식이자 식량 안보의 핵심으로 농업에서 차지하는 비중이 크다. 그러나 낮은 국제 경쟁력으로 인해 유리한 국제통상 협상을 어렵게 할 뿐 아니라 시장 개방 시 가장 많은 피해가 예상되는 산업이기도 하다. 이에 따라 정부는 국내 쌀 가격 안정화를 위해 쌀 보조금과 관련하여 정책을 마련하고 있다. 이러한 정책을 효과적으로 운용하기 위해서는 정확도 높은 쌀 가격 예측이 필요하다. 본 연구는 기존에 가격 예측 모델로 이용되었던 인공지능 모델인 LSTM 모델을 양방향으로 진행시킨 Bi-LSTM 모델을 기존 LSTM 모델과 비교하여 연구를 진행하였다. 변수로는 쌀 20kg의 상중 등품 도매가격 평균가와 전국 일조시간, 최저기온, 강수량 평균값을 사용하였다. 한국농수산물식품유통공사와 기상청의 2012년 1월 1일부터 2022년 9월 19일까지 데이터를 수집하여 이용하였다. Root Mean Square Error을 이용하여 오차율을 비교한 결과 LSTM 모델과 Bi-LSTM 모델 모두 80%~90% 사이의 정확도를 보였다. 분석 결과는 다음과 같다. 먼저 The LSTM 모델에서는 2022년 9월 20일 쌀 가격이 45,641원에서 점차 하락하여 2022년 12월 31일 44,536원으로 낮아지는 것으로 나타났다. 이후 가격은 더 하락하여 2023년 4월 22일에는 29,978원으로 하락하고, 2023년 5월 11일에 27,547원으로 최저를 기록하는 것으로 나타났다. 그리고 점차 상승하여 2023년 9월 19일에는 47,073원으로 2022년 보다 더 높아질 것으로 예측되었다. The Bi-LSTM model에서는 2022년 9월 20일 쌀 가격이 42,140에서 시작한 후 별다른 변화가 없다가 10월 초에 41,814원으로 소폭 하락한 후 10월 11일에 다시 42,777원으로 회복되는 것으로 나타났다. 이후 2023년 3월 20일 41,110원, 4월 3일 41,385원 등 일부 기간에 소폭 하락하는 것으로 나타났으나, 전반적으로는 4만1천-3천원 사이를 유지하는 것으로 나타났다. 두 모델 예측도는 비슷하였으나 가격의 변동에서는 극명한 예측 차이를 보이는 것으로 나타났다. 본 연구는 다음의 시사점을 갖는다. 첫째, Bi-LSTM을 이용한 쌀 가격 예측 모형의 제시이다. 기존의 인공신경망 모형인 LSTM에 비해 Bi-LSTM의 예측률은 별다른 차이가 없었으나 가격변동은 더 효율적으로 추정할 수 있음이 확인되었다. 두 번째는 효과적인 쌀 시장 격리 시점에의 활용이다. 본 연구의 쌀값 변동의 패턴에 의하면, 10월 초, 3월 말에 가격이 하락하였다. 따라서 9월 말과 3월 초에 정부가 쌀을 매입한다면 가격 안정화에 도움이 될 것이다. 마지막으로 쌀 가격 안정화를 통한 자유무역 촉진 기반 마련에의 기여이다. 쌀값의 변동에 선제적으로 대응함으로써 쌀 가격을 안정적으로 유지함으로써 보다 유리한 입장에서 국제통상 협상을 진행함으로써 자유무역의 촉진에 기여할 수 있다. Rice is Korea's staple food and as a key role in food security accounts for a large portion of agriculture. However, due to its low international competitiveness, it is not only difficult to negotiate favorable international trade, but also the industry that is expected to suffer the most damage when the market is opened. Accordingly, the government has prepared policies related to rice subsidies to stabilize domestic rice prices. In order to effectively operate these policies, it is necessary to predict rice prices with high accuracy. This study is designed to develop the prediction model of price rice comparing the Bi-LSTM model with the LSTM model which is an artificial intelligence model that is previously used as a price prediction model. The bi-LSTM model is a bi-direction model of the LSTM model. As variables, the average wholesale price of upper and middle-grade products of 20kg of rice, the national sunshine hours, the minimum temperature, and the average values ​​of precipitation are used. Data are collected and used from January 1, 2012 to September 19, 2022 by the Korea Agro-Fisheries&Food Trade Corporation and the Korea Meteorological Administration. As a result of checking the error rate with Root Mean Square Error, both the LSTM model and the Bi-LSTM model showed accuracy between 80% and 90%. The results are as follows. The LSTM model showed that the price of rice gradually decreased from 45,641 won on September 20, 2022 to 44,536 won on December 31, 2022. After that, the price fell further, falling to 29,978 won on April 22, 2023, and recording the lowest at 27,547 won on May 11, 2023. And it is predicted to rise gradually and on September 19, 2023, it will be 47,073 won, higher than in 2022. In the Bi-LSTM model, the price of rice started at 42,140 on September 20, 2022, there was no significant change, then it fell slightly to 41,814 won in early October, and then recovered to 42,777 won on October 11. After that, it was found to decrease slightly in some periods, such as 41,110 won on March 20, 2023 and 41,385 won on April 3, but overall it was found to remain between 41,000 and 3,000 won. The two models had similar predictive values, but there was a clear difference in price fluctuations. This study has the following implications. First, a rice price prediction model using Bi-LSTM is presented. Compared to LSTM, the existing artificial neural network model, there was no significant difference in the prediction rate of Bi-LSTM, but it was confirmed that price fluctuations could be estimated more efficiently. The second is the use of an effective rice market isolation policy. According to the pattern of rice price fluctuations in this study, the price fell in early October and late March. Therefore, if the government buys rice in late September and early March, it will help stabilize prices. Lastly, it contributes to laying the groundwork for promoting free trade through stabilizing rice prices. By preemptively responding to fluctuations in rice prices, it is possible to contribute to the promotion of free trade by conducting international trade negotiations in a more advantageous position by maintaining rice prices stably.

딥러닝 모델의 PM 2.5 예측성능비교 : LSTM, GRU, 양방향 LSTM (서울, 대전, 부산시를 대상으로)

김용빈 서울시립대학교 일반대학원 2023 국내박사

본 연구에서는 우리나라 대표 도시인 서울, 대전, 부산시의 PM 2.5 미세먼지 농도 변화를 인근 중국도시들의 PM 2.5 데이터의 포함여부에 따라 관찰하였다. 데이터 분석 기간은 2014년 5월 16일 9시부터 2021년 12월 31일 23시까지로, 1시간 간격의 데이터를 기준으로 하였다. 측정소 오류 등으로 발생하는 누락 데이터는 MICE (Multivariate Imputation by Chained Equations) 알고리즘으로 처리하였으며, 분석 데이터의 활용 당위성을 확보하기 위하여 데이터간의 인과관계를 Granger Causality Test를 수행하였다. 우리나라 서울, 대전, 부산시의 PM2.5변화에 영향을 주는 인과요인으로 중국 5개 도시(베이징, 텐진, 상하이, 칭다오, 선양)의 PM2.5 농도와 우리나라 도시별 기상 및 대기오염 변수와의 인과관계를 파악하였다. 그리고 인과관계에 있는 기상, 대기오염물질들을 예측 모델에 활용하였다. 예측 모델은 딥러닝 모델인 LSTM (Long-Short Term Memory), GRU (Gated Recurrent Unit), Bi-LSTM (Bidirectional LSTM) 들로 설정하였으며, 한 달(720 hour)의 데이터 세트에 기반하여 1시간 후, 3시간 후, 6시간 후, 12시간 후, 24시간 후, 48시간 후, 72시간 후를 예측하고 성능을 비교하여 도시의 시간별 적합모델을 각각 제시하였다. 분석 결과, 세 가지 딥러닝 모델은 3시간 이내의 단기예측에서 R2 value가 약 0.8 로 높은 성능을 유사하게 보였다. 그리고 24시간 이내의 예측에서는 R2 value가 약 0.7 로 여전히 높은 예측 성능을 보였다. 특히, 과거 및 미래 시간 정보를 모두 모델 예측에 사용하는 Bi-LSTM 모델은 24시간 이후 장기 예측에서도 R2 value가 약 0.4 ~ 0.6의 예측 정확도를 나타냈다. 또한, 중국 5개 도시의 PM 2.5 값을 분석에 활용한 모델의 성능을 비교하였다. 단기예측의 R2 value는 중국도시를 포함하면 약 0.901 ~ 0.919, 중국도시를 포함하지 않으면 0.871 ~ 0.886 으로 나타났으며, 장기 예측의 R2 value는 중국도시를 포함하면 약 0.609 ~ 0.685, 중국도시를 포함하지 않으면 0.572 ~ 0.587 로 나타났다. 서울, 대전, 부산시의 PM2.5 농도 예측에서 인근 중국 도시의 PM2.5 값을 활용하는 것이 중요하며 서울, 대전, 부산 순으로 예측 성능이 저하됨에 따라 중국의 영향의 크기는 서울, 대전, 부산 순임을 확인할 수 있었다. 끝으로 미세먼지 저감 조치를 시행한 시기에서의 서울, 대전, 부산시의 예측 성능도 장단기 모두 살펴보았다. 저감조치 시기의 단기 예측은 R2 value가 약 0.801 ~ 0.885로 나타났으며, 전체 기간의 R2 value인 약 0.901 ~ 0.916 보다 다소 낮았으나 여전히 높은 예측성능을 보여주고 있었다. 또한 장기 예측은 R2 value가 약 로 나타났으며, 전체 기간의 R2 value인 약 0.901 ~ 0.916 보다 다소 낮았으나 여전히 높은 예측성능을 보여주고 있었다. 본 연구를 통해 도시별로 PM2.5 농도변화에 영향을 미치는 기상, 대기오염물질 변수의 인과요인을 규명하고 예보 기간별로 서로 다른 모델을 설계함으로써 정부가 지역별 차별화된 모델을 각각 구축함으로써 대기오염 대책을 마련할 수 있도록 하였다. 즉, 서울은 장단기 모두 Bi-LSTM 모델이 적합하고, 대전은 6시간 이내의 단기예측에서는 LSTM모델, 6시간 이후의 예측에서는 Bi-LSTM 모델이 적합하였으며, 부산은 1시간 예측에서는 GRU모델, 이후에는 Bi-LSTM 모델이 적합한 것으로 나타났다. 본 연구에서의 학술적, 정책적 기여는 우리나라 대표 도시인 서울, 대전, 부산시의 PM 2.5 농도 변화에 영향을 주는 인과관계 요인들은 중국 5대 도시의 PM 2.5 농도 변화, 각 도시별 기상 변수들과 대기오염 변수들임을 도출하였고, 3시간 이내가 가장 인과관계가 강함을 예측성능을 통해서도 확인하였다. 그리고 인과관계에 있는 데이터를 LSTM, GRU, Bi-LSTM 딥러닝 모델에 적용한 것이다. 선행연구와 같이 우리나라의 PM2.5 예측에서도 LSTM, GRU 모델은 단기에서 높은 성능을 보였으며 Bi-LSTM 모델은 장단기 모두에서 높은 성능을 나타냈다. 더구나 우리나라 PM 2.5 의 예측 성능을 높이려면, 영향을 주는 인근 중국도시의 PM2.5 농도변화를 활용하는 것이 중요함을 확인하였으며, 딥러닝 모델은 고농도 미세먼지 저감 대책이 시행된 시기의 결과에서도 여전히 높은 정확도롤 보임을 확인하였다. 본 연구를 통해, 우리나라 도시마다 예측 시간대별로 각기 다른 모델을 설계한다면 지역별 높은 예측 성능을 바탕으로 정부는 대기오염 대책을 선제적으로 마련할 수 있을 것이다. In this study, changes in the concentration of PM 2.5 in Korea's representative cities, Seoul, Daejeon, and Busan, were observed depending on whether the PM 2.5 data of nearby Chinese cities was included. The data analysis period was from 9:00 on May 16, 2014 to 23:00 on December 31, 2021, based on data at 1-hour intervals. Missing data caused by measurement station errors were processed with the MICE (Multivariate Imputation by Chained Equations) algorithm, and the Granger Causality Test was performed to determine the causal relationship between the data to ensure the justification for using the analyzed data. Causal factors affecting changes in PM2.5 in Seoul, Daejeon, and Busan, Korea, between PM2.5 in five Chinese cities (Beijing, Tianjin, Shanghai, Qingdao, and Shenyang) and meteorological and air pollution variables in each city in Korea relationship was understood. In addition, weather and air pollutants in a causal relationship were used in the prediction model. The prediction model was set with deep learning models such as LSTM (Long-Short Term Memory), GRU (Gated Recurrent Unit), and Bi-LSTM (Bidirectional LSTM), and after 1 hour based on a data set of 1 month (720 hours), after 3 hours, after 6 hours, after 12 hours, after 24 hours, after 48 hours, after 72 hours, and by comparing performance, suitable models for each city were presented. As a result of the analysis, the three deep learning models showed similar high performance with an R2 value of about 0.8 in short-term prediction within 3 hours. And in the prediction within 24 hours, the R2 value was about 0.7, which still showed high prediction performance. In particular, the Bi-LSTM model, which uses both past and future time information for model prediction, showed prediction accuracy of about 0.4 to 0.6 in R2 value even in long-term prediction after 24 hours. In addition, the performance of models using the PM 2.5 of 5 cities in China was compared for analysis. The R2 value of short-term prediction was about 0.901 ~ 0.919 including Chinese cities and 0.871 ~ 0.886 without including Chinese cities, and the R2 value of long-term prediction was about 0.609 ~ 0.685, including Chinese cities. If not, it was 0.572 ~ 0.587. In predicting PM2.5 in Seoul, Daejeon, and Busan, it is important to use the PM2.5 of nearby Chinese cities. I was able to confirm that it was pure. Lastly, the prediction performance of Seoul, Daejeon, and Busan during the time when fine dust reduction measures were implemented was also examined in both the short and long term. The short-term prediction of the reduction action period showed an R2 value of about 0.801 ~ 0.885, which was slightly lower than the R2 value of about 0.901 ~ 0.916 of the entire period, but still showed high predictive performance. In addition, the long-term prediction showed an R2 value of about , which was slightly lower than the R2 value of about 0.901 ~ 0.916 for the entire period, but still showed high predictive performance. Through this study, the causal factors of meteorological and air pollutant variables that affect PM2.5 change in each city are identified, and different models are designed for each forecast period so that the government can establish air pollution countermeasures by establishing differentiated models for each region. made it possible to provide That is, in Seoul, the Bi-LSTM model was suitable for both the short and long term, and for Daejeon, the LSTM model was suitable for short-term prediction within 6 hours and the Bi-LSTM model was suitable for prediction after 6 hours. showed that the Bi-LSTM model was suitable. Academic and policy contributions in this study are that the causal factors that affect changes in PM 2.5 in Seoul, Daejeon, and Busan, which are representative cities in Korea, are changes in PM 2.5 in China's five largest cities, meteorological variables and air pollution variables in each city. It was derived, and it was also confirmed through predictive performance that the causal relationship was the strongest within 3 hours. And causal data was applied to LSTM, GRU, and Bi-LSTM deep learning models. As in previous studies, in Korea's PM2.5 prediction, the LSTM and GRU models showed high performance in the short term, and the Bi-LSTM model showed high performance in both the short and long term. Moreover, in order to improve the prediction performance of PM 2.5 in Korea, it was confirmed that it is important to utilize changes in the PM2.5 in neighboring Chinese cities that affect it, and the deep learning model is still High accuracy was confirmed. Through this study, if different models are designed for each forecasting time period for each city in Korea, the government will be able to preemptively prepare air pollution measures based on high forecasting performance for each region.

Automatic Sleep Stage Detection Using a Multi-Channel Convolutional Bi-LSTM Network

Tabassum Islam Toma 국민대학교 일반대학원 2022 국내석사

수면 품질을 모니터링하기 위해 널리 사용되는 방법은 수면다원검사(PSG)를 통한 수면 단계 분류입니다. 기계 학습 및 딥러닝을 사용하여 수면 단계를 자동적으로 분류하는 기술이 크게 진전되었음에도 불구하고, 대부분 단일 채널의 뇌파(EEG), 안전도(EOG) 및 근전도(EMG) 신호 분석에 초점을 맞추고 있습니다. 자동적으로 수면 단계를 분류하는 표준 모델을 개발하는 것은 여전히 활발한 연구 주제입니다. 단일 채널의 신호를 사용하는 경우 데이터의 비효율성과 왜곡 문제로 인한 어려움을 종종 겪습니다. 반면에 다수 채널의 신호를 기반으로 하는 분류기는 이러한 문제를 완화하고 더 나은 성능을 달성할 수 있습니다. 그러나 다수 채널의 신호를 입력으로 하는 신경망 모델을 학습시키려면 그만큼 많은 계산 리소스가 요구되므로 성능과 계산 리소스 간의 균형을 무시할 수 없습니다. 본 논문에서는 자동 수면 단계 분류를 위해 PSG 기록의 여러 채널(EEG Fpz-Cz, EEG Pz-Oz, EOG, EMG)에서 수집된 데이터의 시공간적 특징을 효율적으로 활용할 수 있는 다중 채널 컨벌루션 양방향 LSTM(Bi-LSTM) 네트워크를 제안합니다. 먼저, 두 개의 서로 다른 PSG 기록 채널의 정보를 사용하여 이중 채널 컨벌루션 Bi-LSTM 네트워크 모듈을 훈련합니다. 그런 다음 수면 단계를 감지하기 위해, 전이 학습 개념을 사용하여 서로 다른 두 개의 이중 채널 컨볼루션 Bi-LSTM 네트워크 모듈을 결합합니다. PSG 기록의 두 채널에서 공간 특성을 추출하기 위해 이중 채널 컨볼루션 Bi-LSTM 모듈에 2계층 컨볼루션 신경망을 사용하였습니다. 이와 같이 추출된 공간 특징은 풍부한 시간적 상관 특징을 추출하고 학습하기 위해 결합되어 Bi-LSTM 네트워크의 모든 계층에 입력으로 제공됩니다. 본 연구에서는 Sleep EDF-20 및 Sleep EDF-78(Sleep EDF-20의 확장 버전) 데이터 세트를 사용하여 제안하는 모델의 성능을 평가하였습니다. EEG Fpz-Cz + EOG 모듈과 EEG Fpz-Cz + EMG 모듈로 구성된 모델이 Sleep EDF-20 데이터 세트에서 가장 높은 정확도(ACC), Kappa(Kp) 및 F1 점수(각각 91.44%, 0.89%, 88.69%)로 수면 단계를 분류하였습니다. 반면, Sleep EDF-78 데이터 세트에서는 EEG Fpz-Cz + EMG 모듈과 EEG Pz-Oz + EOG 모듈로 구성된 모델이 다른 조합에 비해 최고의 성능(ACC, Kp, F1 점수 값이 각각 90.21%, 0.86%, 87.02%)을 보여주었습니다. 그리고 제안하는 모델의 성능을 기존의 다른 연구들과 비교한 결과를 또한 제시하였습니다. Automatic identification of sleep stages is crucial for quality assessment of sleep as well as sleep disorder diagnosis. In the traditional clinical setup, sleep staging involves recording overnight polysomnogram (PSG) data from a subject and visual inspection of PSG data to determine sleep stages, which might consume significant amount of time leading to labor-exhaustive, expensive and prone to subjective error. Therefore, development of automatic sleep staging method has drawn a significant attention. With the advent in machine learning (ML) as well as deep learning (DL) techniques, researchers exerted tremendous effort to facilitate sleep staging utilizing ML or DL based techniques and pave the way for advancements in the ML or DL based sleep staging model. Generally, PSG recordings are captured from brain activity that consist of one channel electroencephalogram (EEG), electrocardiography (ECG), electrooculogram (EOG), also electromyogram (EMG). Significant studies are currently conducted for developing ML/DL based automated sleep stage classification algorithms focused on only one channel PSG dataset. None of them have been adopted as a standard model because of not achieving standard performance metrics. Hence, it is still an area of interest in the sleep research community to devise more efficient ML along with DL based automatically sleep stage identification method. The usage one channel information often results in inefficiencies and skewed data problem. Recently, several studies have shown that feeding multi-channel data as input in the DL models can overcome anticipated difficulties as well as attain highest results. Besides, it raises the concern of extensive amount of computing resources during model training. It has now become an indispensable task to trade-off between performance and computing resources in case of developing multi-channel input based classifier. In order to alleviate this challenge, we aim to introduce convolutional bidirectional long short-term memory (Bi-LSTM) framework with multi-channel inputs in this article which can learn and utilize the spatiotemporal characteristics obtained from various PSG recording for automatically detect stages of sleep. To avoid the usage of extensive computation resources, the overall training procedure has been split into two phases. A convolutional Bi-LSTM module with dual channel is created as well as trained using captured features by any combination of the two different PSG recording channels at first. The module is composed of two layers of convolutional neural network (CNN), which is aimed for extracting spatial characteristics from the two input channels. In addition, a Bi-LSTM model is formed in middle of two CNN layers which takes concatenated retrieved spatial features as input for learning temporal correlated information. At next, two trained modules have fused and transfer learning technique has employed circuitously to identify actual stages of the sleep. This study uses the Sleep EDF-20 as well as Sleep EDF-78 databases to evaluate and investigate the attained performance. For Sleep EDF-20 database, the EEG Fpz-Cz + EOG along with EEG Fpz-Cz + EMG module has highest values for accuracy (ACC), Kappa (Kp), and F1 score (e.g., 91.44%, 0.89, and 88.69%, respectively). As compared to other combinations, the model with EEG Fpz-Cz + EMG with EEG Pz-Oz + EOG modules performs better with ACC, Kp, and F1 score values of 90.21%, 0.86, and 87.02% in case of Sleep EDF-78 database. To illustrate efficacy of our suggested method, comparative analysis with present research is also presented.

Bi-LSTM과 Attention Mechanism을 결합한 감성 분석

영가기 신라대학교 신라대학교 일반대학원 2022 국내석사

인터넷 기술의 급속한 발전으로 많은 인터넷 사용자들이 소셜 네트워크 서비스를 통해 사용자 리뷰 등과 같은 감성적인 의견을 많이 포함하는 데이터를 생성하고 있다. 데이터로부터 사용자의 감성 상태를 분석하는 것이 연구의 주요 이슈가 되고 있다. 감성 분석은 일반적으로 한 단락의 텍스트에 표현된 감성 상태를 분석하는 것을 말한다. 본 논문에서는 자연어 처리 기술을 적용해 주관적인 감성 정보를 인식하고 감성을 예측한다. 먼저, 현재의 감성 분석 기술에 대한 조사 연구를 통해, 텍스트로부터 잠재적인 감성 정보를 발굴하는 방법을 연구하고, TextCNN, Bi-LSTM등의 모델을 사용하여 텍스트 데이터 감정 분류의 정확성을 향상시킨다. TextCNN과 Bi-LSTM을 각각 Attention을 결합하여 모델을 구축한다. 실험을 통하여 WeiBo 리뷰에 대한 예측 분석을 실시하고, 모든 결과를 교차 검증하여 모델의 예측 결과의 정확도를 높인다. 마지막으로, WeiBo 리뷰 데이터를 사용하여 해당 모델의 성능을 비교하고 모델의 유효성을 검증한다. 본고에서는 Bi-LSTM에 Attention을 가입함으로써 Bi-LSTM 모델의 정확도를 높이고 정확도는 96.8%를 달성하였으며, 테스트 손실률은 8%로 감소한다. With the rapid development of Internet technology, many Internet users are generating data containing a large amount of emotional opinions, such as user comments, through social networking services. Analyzing the emotional state of users from the data has become a major research problem. Sentiment analysis generally refers to analyzing the emotional state expressed by a text. In this paper, natural language processing techniques are applied to identify subjective sentiment information and predict sentiment. First, through research on the current sentiment analysis technology, a method of excavating potential emotional information from text is studied, and the accuracy of text data emotion classification is improved using models such as TextCNN and Bi-LSTM. TextCNN and Bi-LSTM are each combined with attention to build a model. Through experiments, predictive analysis is performed on WeiBo reviews, and all results are cross-validated to increase the accuracy of the model's prediction results. Finally, the WeiBo review data is used to compare the performance of the models and validate the models. In this paper, by subscribing attention to Bi-LSTM, the accuracy of the Bi-LSTM model was increased, and the accuracy was achieved to 96.8%, and the test loss rate was reduced to 8%.

수어인식을 위한 Bi-LSTM 기반 Self-Attention 메커니즘

이새봄 대전대학교 대학원 2025 국내박사

동작 인식 기술은 카메라와 센서를 통해 사람의 움직임을 분석하고 해석하는 기술로, 청각 장애인과 비장애인 간의 의사소통을 돕는 데 중요한 역할을 한다. 본 연구에서는 한국 수어(Korean Sign Language) 인식을 위한 다양한 딥러닝 모델을 설계하고 성능을 비교하였다. 이를 위해 CNN, LSTM, CNN+LSTM, Bi-LSTM+Self-Attention 모델을 구축하고, AI Hub에서 제공하는 수어 데이터셋을 활용해 학습 및 평가를 수행하였다. 또한, 키포인트 기반 데이터 증강 기법을 적용하여 모델의 일반화 성능을 향상시켰다. 실험 결과, Bi-LSTM+Self-Attention 모델이 97.5%의 인식률을 기록하며 비교 모델 중 가장 우수한 성능을 보였다. CNN, LSTM, CNN+LSTM 모델에 비해 10~20% 높은 정확도를 나타냈으며, 특히 복잡한 수어 동작에서 뛰어난 인식 성능을 보였다. 이는 Bi-LSTM의 양방향 특성과 Self-Attention 메커니즘이 결합되어 과거와 미래의 시간적 정보를 효과적으로 학습하고, Residual Connection을 통해 기울기 소실 문제를 완화한 결과로 분석된다. 향후 연구에서는 다양한 환경(조명, 배경, 의상 등)에서의 데이터 수집 및 실시간 수어 인식 시스템 개발을 목표로 한다. 이를 통해 수어 인식 기술이 청각 장애인의 원활한 의사소통을 지원하며, 동작 인식 기술 전반에 기여할 것으로 기대된다.

제조 빅데이터를 활용한 공정 소요 시간 예측에 관한 연구 : 프로세스 마이닝과 딥러닝 모델의 결합을 중심으로

이기홍 호서대학교 기술경영전문대학원 2023 국내박사

This study has developed an effective anomaly detection model that overcomes the limitations of traditional methods and includes various production paths and execution time information, in response to complex production processes within a smart factory environment. For this purpose, it proposes a methodology that utilizes dynamic recurrent neural networks to accurately model changing processes and predict potential anomalies. Particularly, this methodology contributes to process prediction and optimization by learning patterns from real-time data, and it can identify specific issues such as exceeding the average time required for assembly processes. The effectiveness of this methodology has been validated through experiments conducted under various production processes and conditions in smart factories, and it is expected to contribute to enhancing the competitiveness and product quality in the manufacturing industry. The potential for enhancing process transparency and efficiency has been identified through the application of process mining techniques and process mining project methodology (PMPM). In the process mining analysis phase, the focus was on analyzing event log data to identify bottlenecks and observe exceptional cases. The process data extracted in the analysis phase were subsequently applied to three major deep learning algorithms adopted in this study: DNN (deep neural network), LSTM (long short-term memory), and Bi-LSTM (bidirectional long short-term memory). Each algorithm's strengths and weaknesses were considered in the analysis, enabling the prediction of the total duration of the manufacturing process. Deep learning learns complex data patterns through multi-layer artificial neural networks, while LSTM and Bi-LSTM effectively handle long-term dependencies in sequence data using gate mechanisms. Particularly, Bi-LSTM is capable of recognizingmore complex patterns through bidirectional information. The performance of these models was evaluated using various metrics including accuracy, precision, recall, F1 score, and loss function. DNN and LSTM showed excellent performance, while Bi-LSTM demonstrated somewhat lower performance. It was revealed that the differences in performance could be influenced by various factors, including data complexity, noise, and sequence length. This research represents performance under limited conditions, therefore, further studies in various environments are necessary. Particularly, Bi-LSTM requires improvements in performance through hyperparameter tuning and structural optimization. Moreover, as optimal performance is not guaranteed in all situations, research on the appropriate model selection and parameter tuning is crucial. Future research directions include applying this study's approach to predicting various process behaviors and performance indicators. This will include research on solving the overfitting problem, improving prediction performance through the integration of unstructured data, enhancing the stability of predictions with cross-validation and ensemble techniques, and studying early detection and response strategies for anomalies. The development of a real-time data streaming anomaly detection and early warning system using the model developed in this study will be an important direction for future research. The results of this research have high applicability in various industries, including manufacturing, and can be used for anomaly prediction and root cause analysis, necessitating further in-depth research. 본 연구는 지능형 스마트팩토리 환경에서 복잡한 생산 프로세스에 대 응하기 위해, 전통적인 이상 탐지 방식의 한계를 극복하고 다양한 생산 경로 및 실행 시간 정보를 포함하는 효과적인 이상 상황 탐지 모델을 개 발하였다. 이를 위해, 동적 순환신경망을 활용하여 변화하는 프로세스를 정확하게 모델링하고 잠재적 이상 상황을 예측할 수 있는 방법론을 제안 한다. 특히, 이 방법론은 실시간 데이터의 패턴을 학습하여 프로세스 예측 및 최적화에 기여하며, 조립 공정의 평균 소요 시간 초과와 같은 구체적 인 문제를 식별할 수 있다. 실험을 통한 방법론의 효과성 검증은 스마트 팩토리의 다양한 생산 공정과 조건 하에서 수행되었으며, 이를 통해 제 조 산업의 경쟁력과 제품 품질 개선에 기여할 것으로 기대된다. 프로세스 마이닝 기법과 프로세스 마이닝 프로젝트 방법론(process pining project methodology, PMPM)을 통해 프로세스의 투명성 향상 및 효율성 증대의 잠재력을 확인하였다. 프로세스 마이닝 분석 단계에서는 이벤트 로그 데이터를 분석하여 병목 현상을 식별하고 예외적 사례를 관 찰하는데 주안점을 두었다. 분석 단계에서 도출된 프로세스 데이터는 이후 본 연구에서 채택한 세 가지 주요 딥러닝 알고리즘인 DNN(deep neural network) , LSTM(long short-term memory), 그리고 Bi-LSTM(bidirectional long short-term memory)에 적용되어 각각의 장단점을 고려하여 분석되었고 그 결과로 서 전체 제조 프로세스 소요 시간을 예측할 수 있었다. 딥러닝은 다층 인공 신경망을 통해 복잡한 데이터 패턴을 학습하며, LSTM과 Bi-LSTM은 시퀀스 데이터의 장기 의존성을 게이트 메커니즘 을 통해 효과적으로 처리한다. 특히, Bi-LSTM은 양방향 정보를 통해 더 복잡한 패턴 인식이 가능하다. 상기 모델들의 성능은 정확도, 정밀도, 재현율, F1 스코어 및 손실 함 수를 포함한 다양한 지표를 사용하여 평가되었다. DNN과 LSTM은 우 수한 성능을 보였지만, Bi-LSTM은 다소 낮은 성능을 보였다. 성능 차이 는 데이터의 복잡성, 노이즈, 시퀀스 길이 등 여러 가지 요소에 의해 영 향을 받아 변화할 수 있다는 점을 밝혀내었다. 이 연구는 제한된 조건 하에서의 성능을 나타내므로, 향후 다양한 환 경에서의 추가 연구가 필요하며, 특히 Bi-LSTM은 하이퍼파라미터 튜닝 과 구조 최적화를 통해 성능을 개선할 필요가 있다. 또한, 모든 상황에서 최적의 성능을 보장하지 않으므로, 적합한 모델 선택과 파라미터 튜닝에 대한 연구가 중요하다. 향후 연구 방향은 다양한 프로세스 행동과 성과 지표 예측에 본 연구의 접근법을 적용하는 것을 포함한다. 이는 과적합 문제 해결, 비정형 데이터 통합을 통한 예측 성능 향상, 교차 검증 및 앙상블 기법을 적용한 예측의 안정성 증진, 이상 징후의 조 기 발견 및 대응 전략에 대한 연구를 포함할 것이다. 본 연구에서 개발된 모델을 활용한 실시간 데이터 스트림에서의 이상 징후 감지 및 조기 경보 시스템 구축은 향후 연구의 중요한 방향이 될 것이다. 이 연구의 결과는 제조업을 비롯한 여러 산업 분야에서의 적용 가능성이 높으며, 이상 징후 예측 및 그 원인 파악에 활용될 수 있어, 더 욱 깊이 있는 연구가 진행될 필요가 있다.

딥러닝 알고리즘을 이용한 케이블지지교량의 구조응답 패턴 분석

민선기 대전대학교 대학원 2020 국내석사

In order to maintain the cable supported bridges in a reasonable way, long-term measurement data through the measurement system has been accumulated, but it is not utilized except to determine the abnormal signal measurement for the specific physical quantity of the main members. In addition, the long-term measurement data of cable supported bridges with 30~50 years design life is very low in terms of cost utilization. Therefore, in this study, the deep learning algorithm DNN (Deep Neural Network), which is based on artificial neural network theory, and Long Shot-Term Memory) and Bi-LSTM(Bidirectional Long Shot-Term Memory deep learning algorithm, which are specialized for time series data analysis In order to improve the usability based on long-term measurement data, and to evaluate the condition and performance of cable supported bridges and to effectively use the change characteristics analysis, the utility of the analysis method and the predicted structural response are analyzed through a pattern analysis model using measurement data. The effectiveness of this analytical method was examined by direct comparison with measurement data. Deep learning-based pattern analysis model was constructed by using the hourly average data of (GNSS) (2016.01.26-2016.08.01) of the ○○ bridge's temperature and horizontal displacement (GNSS) at the top of the pylon. Through the deep learning based algorithm, various models were constructed to evaluate the predictive performance through RMSE(Root Mean Square Error). The predictive performance of the deep learning based pattern analysis model was DNN (T5-HL3) = 2.675, LSTM (T5-HL1-SL7) = 1.578, and Bi-LSTM (T5-HL3-SL14) = 1.552. In case of the DNN model, the predictive performance index is lower than that of the LSTM and Bi-LSTM models, which are specialized for time series data analysis. In the case of the LSTM model, when the model is complex, the performance decreases due to overfitting. The LSTM model also showed a similar trend as the LSTM model. In this study, we developed a pattern analysis model based on the measurement data of cable supported bridges through various deep learning algorithms and directly compared with the actual measurement data to examine the effectiveness of the method and predictive patterns and quantitative figures very similar to the actual measurement data. Proved its effectiveness. Through deep learning-based pattern analysis model, the utilization of long-term measurement data is expected to improve the utilization of correction and recovery of missing section or measurement data, recognition and prediction of state change, abnormal signal, and soundness evaluation.

시계열 데이터 기반 심야 수요응답형 교통 수요 예측 연구

최수연 서강대학교 AI.SW대학원 2025 국내석사

세계 각 국가의 대도시 소비지출의 약 60%는 심야 시간대에 발생하는 것 으로 나타났다. 이러한 심야 시간대는 지역 경제 활성화에 있어 중요한 시기로, 이동권 확보는 심야 경제 기반을 마련하는 핵심 요소라 할 수 있다. 서울시 또한 심야 시간대 활동 인구가 존재하지만, 기존 대중교통은 주간 중심의 운행 체계에 최적화되어 있어, 이는 다양한 시민들에게 이동 불편과 경제적 부담을 초래하고 있다. 이에 따라 서울시에서는 심야시간대 교통난 해소와 이동권 확보를 위해 수요응답형 교통 (Demand Responsive Transport, DRT) 서비스의 도입을 적극 검토하고 있다. 이에 본 연구는 시 계열 예측 분석을 통해 수요응답형 교통(DRT) 서비스 도입에 필요한 수요 예측 모델을 제안한다. 서울시 심야 교통량 데이터와 기상 데이터를 활용하여 양방향 순환 신경 망 모델인 Bi-LSTM을 적용하였고, 앙상블 기반 모델인 XGBoost를 병행 학습하여 모델 간의 예측 성능을 비교하였다. 각 모델은 요일, 시간, 기온, 강수량 등 외생 변수의 시계열적 특성을 반영하였으며, 예측 정확도는 Bi- LSTM이 83.1%, XGBoost가 83.0%로 나타났다. 특히, XGBoost는 학습 속도가 빠르고 계산 효율성이 높아 실시간 예측 환경에 적합한 모델로 확인되었다. 이러한 결과를 바탕으로, 예측의 정밀도와 안정성이 요구되는 DRT 수요 예측에는 Bi-LSTM 모델이 적합하며, 실시간 대응이 필요한 운영 단계에서는 XGBoost 모델이 보다 효율적으로 활용될 수 있을 것이다. 시간대별 예측 분석 결과, 남산1호터널 방면이 심야의 가장 높은 교통량 을 보였고, 해당 지역이 DRT 서비스 도입이 우선적으로 고려되어야 할 핵심 지역으로 확인되었다. 대부분 시간대에서 모델의 예측값과 실젯값 간의 차이가 크지 않아, 이는 본 수요 예측 모델이 복잡하고 비선형적인 심야 교통 패턴을 효과적으로 반영할 수 있음을 시사한다. 향후 본 연구를 토대로, 실제 심야 교통 수요를 기반으로한 DRT 노선 설계 및 시뮬레이션 연구로 확장할 수 있을 것이다. 또한 실시간 지역별 인구 데이터 및 공휴일과 같은 비정형 수요 변동 요인을 반영함으로써 보다 현실적이고 운영 가능한 DRT 서비스 예측 시스템 구축에 기여할 수 있을 것으로 기대된다. 주제어: 서울시 심야 교통량, 수요응답형 교통(DRT), 시계열 예측 모델, , 순환 신경망 모델, 앙상블 모델, Bi-LSTM, XGBoost, 서울시, 이동권, Approximately 60% of consumer expenditures in major cities around the world occur during nighttime hours. This time period is considered a critical window for revitalizing the local economy, and ensuring mobility during these hours is a key factor in establishing the foundation for a nighttime economy. In Seoul, although there is a notable level of nighttime activity among the population, the existing public transportation system is optimized for daytime operations. As a result, many citizens experience inconvenience and increased transportation costs during the night. In response, the Seoul Metropolitan Government is actively considering the introduction of Demand Responsive Transport (DRT) services to address nighttime transportation challenges and enhance mobility rights. This study proposes a demand prediction model for DRT implementation through time-series analysis of nighttime traffic volume data in Seoul. Using both nighttime traffic data and weather variables such as temperature and precipitation, a Bi-LSTM (Bidirectional Long Short-Term Memory) model was applied for time-series prediction. Additionally, the ensemble-based XGBoost model was trained in parallel to compare prediction performance across models. Both models incorporated exogenous variables such as day of the week, time of day, temperature, and precipitation, capturing their temporal characteristics. The prediction accuracy of the Bi-LSTM model reached 83.1%, while XGBoost achieved 83.0%. Notably, XGBoost demonstrated advantages in terms of faster training speed and computational efficiency, indicating its suitability for real-time forecasting scenarios. Based on these results, the Bi-LSTM model is deemed more appropriate for high-precision and stable DRT demand prediction, whereas XGBoost is expected to be more effective in operational stages requiring real-time responsiveness. Time-segmented prediction analysis revealed that the Namsan No.1 Tunnel corridor recorded the highest volume of nighttime traffic, suggesting that this area should be prioritized for DRT service introduction. The minimal gap observed between predicted and actual values across most time periods indicates that the proposed models can effectively reflect the complex and nonlinear patterns of nighttime traffic. Future studies may build upon this research by designing and simulating DRT routes based on actual nighttime demand. Moreover, incorporating real-time population data and irregular demand factors such as public holidays could contribute to the development of a more practical and operationally feasible DRT forecasting system. Keywords: Nighttime traffic in Seoul, Demand Responsive Transport (DRT), time-series prediction model, ensemble model, Bi- LSTM, XGBoost, mobility rights, Seoul

기상기후 데이터와 인공신경망을 이용한 한강 잠수교 홍수위 예측모형 개발

조한민 강원대학교 방재전문대학원 2025 국내석사

기후변화로 인해 집중호우의 발생 빈도 및 강도가 증가하였고 이로 인한 홍수 피해가 매년 증가하고 있다. 또한 지역별 강수량, 유출량 및 증발산량을 변화시켜 예외적이던 홍수 및 가뭄 등의 발생빈도와 강도가 증가하고 도시화로 인한 불투수면적의 증가로 유출률이 변화하여 자연재난으로 인한 피해 범위 와 규모도 증가하고 있다. 이러한 변화는 정확한 유출량 산정 방법을 포함한 섬세한 홍수 분석 기술의 필요성을 의미한다. 그러나 다양한 유출량 산정 방법 들의 정확한 적용에 있어 설계자나 전문가들 사이에 주관적 견해가 개입되기 쉽다. 수자원 관리를 위해 주로 사용되는 물리 모형은 입력자료의 구축이 어렵고 매개변수 산정공식의 선정 등 사용자의 높은 이해도가 필요하기 때문에 유출량 산정에 있어 과대 혹은 과소 산정으로 이어질 수 있는 문제가 있다. 이는 사용자에 따라서 신뢰할 수 없는 결과가 도출될 수 있고 하천 수공구 조물의 설계와 치수안전성에 영향을 미치는 결과를 초래할 수 있다. 이러한 문제점을 보완하기 위하여 최근 수문자료의 길이가 늘어나면서 수자원분야에 서 인공지능(Artificial Inteligence, AI)의 활용도가 높아지고 있다. 한강 잠 수교는 한강 홍수에 대한 지표역할을 하는 중요한 다리로, 한강 잠수교 홍 수위 예측 모델 개발에 LSTM(Long Short-Term Memory), Bi-LSTM(Bidirectional-LSTM) 모델을 이용하였으며 10분단위의 강우, 팔당댐 방류량, 한강 잠수교 수위를 수집하였다. 강우는 기상청에서 AWS(용산, 중구,성동, 광진, 서초, 송파, 강동, 구리) 기상관측자료를 수집하였으며 한강홍수통 제소에서 한강 잠수교 수위를 수집하였다. 예측에 있어 호우에 따른 팔당댐 방 류를 고려하기 위해 팔당댐 방류량 자료를 수집하였다. 또한, 관측 수위를 잘 반영할 수 있는 인공지능 모델을 제안하기 위해 강동, 구리, 팔당댐에 2 시간, 성동, 광진, 서초, 송파 관측소에 1시간을 지체시간으로 적용하여 모델에 학습시켰다. 이후 각 모델의 홍수위 예측 결과를 비교 및 분석하 여 홍수위 예측모델을 개발하였다. Climate change has increased the frequency and intensity of intense rainfall, and the resulting flood damage is increasing every year. In addition, changes in regional precipitation, runoff, and evapotranspiration have increased the frequency and intensity of exceptional floods and droughts, and the increase in impervious area due to urbanization has altered runoff rates, increasing the scope and magnitude of damage from natural disasters. These changes point to the need for sophisticated flood analysis techniques, including accurate runoff estimation methods. However, the accurate application of various runoff estimation methods is prone to subjectivity among designers and experts. Physical models, which are often used for water resource management, have problems that can lead to over- or underestimation of runoff because the input data is difficult to build and requires a high level of user understanding, including the selection of parameterization formulas. This can lead to unreliable results depending on the user and affect the design and dimensional safety of river hydraulic structures. To compensate for these problems, the use of artificial intelligence (AI) in water resources is increasing as the length of hydrological data has recently increased. The Ministry of Environment (2020) announced that the number of flood warning points will be expanded from 75 to 223 points with the introduction of AI flood forecasting, and data-based models such as machine learning are being actively utilized. Therefore, this study used a machine learning model to predict the water level of the Han River Jamsoo bridge, and collected and selected rainfall events in July and August, when heavy rainfall is concentrated, from 2011 to 2023. LSTM (Long Short Term-Memory) and Bi-LSTM (Bidirectional-LSTM) were used as prediction models. The 10-minute rainfall and Paldang Dam discharge were used as training data, and both models were preprocessed with the same data. The models were then used to predict the water level of the Han River Jamsoo bridge six hours later, and the results were compared with observations. As a result of the analysis, it was determined that Bi-LSTM is more suitable for predicting the flood level of the Han River Jamsoo bridge, and it is expected to be highly useful for points other than the Han River Jamsoo bridge, providing a basis for real-time flood forecasting and safety operations.