LSTM과 Bi-LSTM을 사용한 비주기성 시계열 데이터 예측 성능 비교 분석

이주형,홍준기 사)한국빅데이터학회 2022 한국빅데이터학회 학회지 Vol.7 No.2

온라인 쇼핑의 대중화로 인해 많은 의류 상품이 온라인 쇼핑을 통해 소비된다. 의류 상품은 다른 상품과달리 판매량이 일정하지 않고 날씨의 변화에 따라 판매량이 변화하는 특징이 있다. 따라서 의류 상품의 머신 러닝을 적용한 효율적인 재고 관리 시스템에 대한 연구는 매우 중요하다. 본 논문에서는 의류 업체 ‘A’로부터 실제 의류 상품 판매량 데이터를 수집하고 판매량 데이터와 같은 시계열 데이터의 예측에 많이 활용되는 LSTM(Long Short-Term Memory)과 Bidirectional-LSTM(Bi-LSTM)의 학습에 사용하여 LSTM과 Bi-LSTM의 판매량 예측 효율을 비교 분석하였다. 시뮬레이션 결과를 통해 LSTM 기술 대비 Bi-LSTM은시뮬레이션 시간은 더 많이 소요되지만 의류 상품 판매량 데이터와 같은 비주기성 시계열 데이터의 예측 정확도가 동일하다는 것을 확인하였다.

LSTM 모형과 로지스틱 회귀를 통한 도시 침수 범위의 예측

김현일,한건연,이재영 대한토목학회 2020 대한토목학회논문집 Vol.40 No.3

Because of climate change, the occurrence of localized and heavy rainfall is increasing. It is important to predict floods in urban areasthat have suffered inundation in the past. For flood prediction, not only numerical analysis models but also machine learning–basedmodels can be applied. The LSTM (Long Short-Term Memory) neural network used in this study is appropriate for sequence data, butit demands a lot of data. However, rainfall that causes flooding does not appear every year in a single urban basin, meaning it is difficultto collect enough data for deep learning. Therefore, in addition to the rainfall observed in the study area, the observed rainfall in anotherurban basin was applied in the predictive model. The LSTM neural network was used for predicting the total overflow, and the resultof the SWMM (Storm Water Management Model) was applied as target data. The prediction of the inundation map was performed byusing logistic regression; the independent variable was the total overflow and the dependent variable was the presence or absence offlooding in each grid. The dependent variable of logistic regression was collected through the simulation results of a two-dimensionalflood model. The input data of the two-dimensional flood model were the overflow at each manhole calculated by the SWMM. According to the LSTM neural network parameters, the prediction results of total overflow were compared. Four predictive models wereused in this study depending on the parameter of the LSTM. The average RMSE (Root Mean Square Error) for verification and testingwas 1.4279 , 1.0079  for the four LSTM models. The minimum RMSE of the verification and testing was calculated as 1.1655 and 0.8797 . It was confirmed that the total overflow can be predicted similarly to the SWMM simulation results. Theprediction of inundation extent was performed by linking the logistic regression with the results of the LSTM neural network, and themaximum area fitness was 97.33 % when more than 0.5  depth was considered. The methodology presented in this study would behelpful in improving urban flood response based on deep learning methodology. 기후변화의 영향으로 국지성 및 집중호우에 대한 발생 가능성이 높아지는 시점에서 과거에 침수피해를 입은 도시 유역에 대하여 실제 호우에 대한 침수 양상을 예측하는 것은 중요하다. 이에 수치해석 기반 프로그램과 함께 기계학습을 이용한 홍수 분석에 대한 연구가 증가하고 있다. 본 연구에서 적용한 LSTM 신경망은 일련의 자료를 분석하는데 유용하지만, 딥 러닝을 수행하기 위하여 충분한 양의 자료를 필요로 한다. 그러나 단일 도시유역에 홍수를 일으킬 강우가 매년 일어나지 않기에 많은 홍수 자료를 수집하기에는 어려움이 있다. 이에 본 연구에서는 대상 유역에서관측되는 강우 외에 전국 단위의 실제 호우를 예측 모형에 반영하였다. LSTM (Long Short-Term Memory) 신경망은 강우에 대한 총 월류량을 예측하기 위하여 사용되었으며, 목표값으로 SWMM (Storm Water Management Model)의 유출 모의 결과를 사용하였다. 침수 범위 예측을위해서는 로지스틱 회귀를 사용하였으며, 로지스틱 회귀 모형의 독립 변수는 총 월류량이며 종속 변수는 격자 별 침수 발생 유무이다. 침수 범위자료는 SWMM의 유출 결과를 바탕으로 수행된 2차원 침수해석 모의 결과를 통해 수집하였다. LSTM의 매개변수 조건에 따라 총 월류량 예측결과를 비교하였다. 매개변수 설정에 따른 4가지의 LSTM 모형을 사용하였는데, 검증과 테스트 단계에 대한 평균 RMSE (Root Mean SquareError)는 1.4279 , 1.0079 으로 산정되었다. 최소 RMSE는 검증과 테스트에 대하여 각각 1.1656 , 0.8797 으로 산정되었으며, SWMM모의 결과를 적절히 재현할 수 있음을 확인하였다. LSTM 신경망의 결과와 로지스틱 회귀를 연계하여 침수 범위 예측을 수행하였으며, 침수심 0.5m 이상을 고려하였을 때에 최대 침수면적 적합도가 97.33 %으로 나타났다. 본 연구에서 제시된 방법론은 딥 러닝에 기반하여 도시 홍수 대응능력을 향상 시키는데 도움이 될 것으로 판단된다.

CNN-LSTM 조합모델을 이용한 영화리뷰 감성분석

박호연,김경재 한국지능정보시스템학회 2019 지능정보연구 Vol.25 No.4

Rapid growth of internet technology and social media is progressing. Data mining technology has evolved to enable unstructured document representations in a variety of applications. Sentiment analysis is an important technology that can distinguish poor or high-quality content through text data of products, and it has proliferated during text mining. Sentiment analysis mainly analyzes people's opinions in text data by assigning predefined data categories as positive and negative. This has been studied in various directions in terms of accuracy from simple rule-based to dictionary-based approaches using predefined labels. In fact, sentiment analysis is one of the most active researches in natural language processing and is widely studied in text mining. When real online reviews aren't available for others, it's not only easy to openly collect information, but it also affects your business. In marketing, real-world information from customers is gathered on websites, not surveys. Depending on whether the website's posts are positive or negative, the customer response is reflected in the sales and tries to identify the information. However, many reviews on a website are not always good, and difficult to identify. The earlier studies in this research area used the reviews data of the Amazon.com shopping mal, but the research data used in the recent studies uses the data for stock market trends, blogs, news articles, weather forecasts, IMDB, and facebook etc. However, the lack of accuracy is recognized because sentiment calculations are changed according to the subject, paragraph, sentiment lexicon direction, and sentence strength. This study aims to classify the polarity analysis of sentiment analysis into positive and negative categories and increase the prediction accuracy of the polarity analysis using the pretrained IMDB review data set. First, the text classification algorithm related to sentiment analysis adopts the popular machine learning algorithms such as NB (naive bayes), SVM (support vector machines), XGboost, RF (random forests), and Gradient Boost as comparative models. Second, deep learning has demonstrated discriminative features that can extract complex features of data. Representative algorithms are CNN (convolution neural networks), RNN (recurrent neural networks), LSTM (long-short term memory). CNN can be used similarly to BoW when processing a sentence in vector format, but does not consider sequential data attributes. RNN can handle well in order because it takes into account the time information of the data, but there is a long-term dependency on memory. To solve the problem of long-term dependence, LSTM is used. For the comparison, CNN and LSTM were chosen as simple deep learning models. In addition to classical machine learning algorithms, CNN, LSTM, and the integrated models were analyzed. Although there are many parameters for the algorithms, we examined the relationship between numerical value and precision to find the optimal combination. And, we tried to figure out how the models work well for sentiment analysis and how these models work. This study proposes integrated CNN and LSTM algorithms to extract the positive and negative features of text analysis. The reasons for mixing these two algorithms are as follows. CNN can extract features for the classification automatically by applying convolution layer and massively parallel processing. LSTM is not capable of highly parallel processing. Like faucets, the LSTM has input, output, and forget gates that can be moved and controlled at a desired time. These gates have the advantage of placing memory blocks on hidden nodes. The memory block of the LSTM may not store all the data, but it can solve the CNN's long-term dependency problem. Furthermore, when LSTM is used in CNN's pooling layer, it has an end-to-end structure, so that spatial and temporal features can be designed simultaneously. In combination with CNN-LSTM, 90.33% accuracy was measured. Thi... 인터넷 기술과 소셜 미디어의 빠른 성장으로 인하여, 구조화되지 않은 문서 표현도 다양한 응용 프로그램에사용할 수 있게 마이닝 기술이 발전되었다. 그 중 감성분석은 제품이나 서비스에 내재된 사용자의 감성을 탐지할 수 있는 분석방법이기 때문에 지난 몇 년 동안 많은 관심을 받아왔다. 감성분석에서는 주로 텍스트 데이터를이용하여 사람들의 감성을 사전 정의된 긍정 및 부정의 범주를 할당하여 분석하며, 이때 사전 정의된 레이블을이용하기 때문에 다양한 방향으로 연구가 진행되고 있다. 초기의 감성분석 연구에서는 쇼핑몰 상품의 리뷰 중심으로 진행되었지만, 최근에는 블로그, 뉴스기사, 날씨 예보, 영화 리뷰, SNS, 주식시장의 동향 등 다양한 분야에 적용되고 있다. 많은 선행연구들이 진행되어 왔으나 대부분 전통적인 단일 기계학습기법에 의존한 감성분류를 시도하였기에 분류 정확도 면에서 한계점이 있었다. 본 연구에서는 전통적인 기계학습기법 대신 대용량 데이터의 처리에 우수한 성능을 보이는 딥러닝 기법과 딥러닝 중 CNN과 LSTM의 조합모델을 이용하여 감성분석의 분류 정확도를 개선하고자 한다. 본 연구에서는 대표적인 영화 리뷰 데이터셋인 IMDB의 리뷰 데이터 셋을이용하여, 감성분석의 극성분석을 긍정 및 부정으로 범주를 분류하고, 딥러닝과 제안하는 조합모델을 활용하여극성분석의 예측 정확도를 개선하는 것을 목적으로 한다. 이 과정에서 여러 매개 변수가 존재하기 때문에 그수치와 정밀도의 관계에 대해 고찰하여 최적의 조합을 찾아 정확도 등 감성분석의 성능 개선을 시도한다. 연구결과, 딥러닝 기반의 분류 모형이 좋은 분류성과를 보였으며, 특히 본 연구에서 제안하는 CNN-LSTM 조합모델의 성과가 가장 우수한 것으로 나타났다.

Long Short-Term Memory에 기반한 한국어 언어모델 연구

이선정(Sunjeong Lee) 융복합지식학회 2020 융복합지식학회논문지 Vol.8 No.1

본고에서는 LSTM에 기반을 둔 한국어 언어모델에 관한 연구를 수행하였으며 GloVe를 사용하는 LSTM 기반 언어모델을 제안한다. 먼저 PTB 영어 코퍼스를 이용하여 전통적인 n-gram 방식의 통계적인 언어모델과 LSTM 기반의 언어모델을 비교하였고 그 결과 47.3%의 복잡도가 감소되는 효과를 얻었다. 한국어에 적용 실험을 위해서 기본 토큰 단위로 WPM (word-piece model)을 사용하였으며 통계적인 n-gram 언어모델과 LSTM 언어모델을 비교한다. 또한, LSTM 언어모델을 만들 때 GloVe를 단어 표현 벡터로 사용하는 방법을 제안하여 비교 연구도 수행하였다. 한국어 평가 코퍼스 10만 문장을 이용하여 성능 비교를 한 결과 LSTM 방식을 사용하였을 경우n-gram 방식보다 28.8%의 복잡도가 감소하였고 GloVe와 같이 사용할 경우 43.4%의 복잡도가 감소되었다. 영어와 한국어 코퍼스의 비교 실험으로 GloVe를 사용하는 LSTM 기반 언어모델의 제안이 우수하다는 것을 입증하였다. In this paper, we make a comparative study on the language model based on long short-term memory (LSTM) and propose a language model based on LSTM using GloVe as a word representation vector. For this purpose, traditional n-gram statistical language model is compared with LSTM language model using PTB English corpus. The experimental result yields that LSTM language model get the perplexity (ppl) reduction of 47.3% compared with traditional n-gram model. In order to expand this approach to Korean language, we design a language model of which basic unit is word-piece model (WPM). And we also make a comparative study of statistical language model and neural language model. Especially, we propose a LSTM language model using glove vector (GloVe) as a word representation vector. For our study, 100,000 Korean sentences are used as a test set. Our experimental result yields that LSTM language model get the reduction of 28.8% compared with n-gram language model and LSTM with GloVe get the reduction of 43.3%. In conclusion, we show that the proposed language model is good approach as a language model.

RCS Estimation using LSTM at High Frequency

Geumbi Park(박금비),Jinhwan Koh(고진환) 한국산학기술학회 2022 한국산학기술학회논문지 Vol.23 No.11

RCS 측정은 전자파의 산란과 반사가 필수적인 통신 시스템, 안테나 시스템, 항공기 설계에 도움이 되는 요소이다. 항공기나 선박 등 대형 물체에서 고주파 RCS 데이터를 얻기위해서는 측정 시간과 비용이 많이 들게된다. 이에 본 논문에서는 위와 같은 문제를 해소하고, RCS 측정 효율을 높이기 위하여 AI모델을 도입한다. AI 모델 중 Long Short Term Memory(LSTM)은 장기의존성 문제를 해결하는 장점을 가진다. 따라서 LSTM의 방법을 제안하며, LSTM의 모델에서 정확도를 더 높이고 시간을 단축하고자 병렬 LSTM모델을 제안한다. 컴퓨터 시뮬레이션 CST를 이용하여 RCS를 측정하고, Matlab을 사용하여 CST로 측정된 데이터 중 저주파대역을 데이터를 학습한 후, 고주파대역의 RCS를 LSTM와 병렬 LSTM 모델을 이용하여 추정하였다. 이후 LSTM 모델과 병렬 LSTM 모델의 추정값과 CST로 측정한 값을 비교하여, 허용 범위의 오차 값 이내의 결과를 통해 높은 정확도를 확인하였다. 결과는 CST로 측정하였을 때보다 LSTM과 병렬 LSTM을 사용하였을 때 시간이 크게 단축되었음을 보여주었다. RCS measurements are a helpful factor in the design of communication systems, antenna systems, and aircraft, where scattering and reflection of electromagnetic waves are essential. High-frequency RCS measurement time and expenses are relatively high in large objects, such as aircraft and ships. This paper introduces an AI model to solve the above problems and increase the RCS measurement efficiency. Among AI models, Long Short Term Memory (LSTM) has the advantage of solving the long-term dependence problem. Therefore, a method of LSTM and a parallel LSTM model are proposed to increase the accuracy further and reduce time in the model of LSTM. RCS was measured using a computer simulation CST, and low-frequency band data among CST-measured data was learned using Matlab. The RCS of the high-frequency band was estimated using LSTM and the parallel LSTM model. The estimated value of the LSTM model and the value measured by CST were compared with the estimated value of the parallel LSTM model. The high accuracy was confirmed through the results within the error value of the allowable range. In addition, the time was reduced significantly using LSTM and parallel LSTM than with CST.

변형된 Attention 메커니즘 기반의 LSTM을 통한 전력수요 예측 프레임웍

조영기(Youngki Jo),이현수(Hyunsoo Lee) 한국지능시스템학회 2020 한국지능시스템학회논문지 Vol.30 No.3

본 연구는 효율적인 스마트 그리드 시스템을 운용하기 위한 필수 불가결한 요소인 전력수요의 보다 정확한 예측을 그 대상으로 한다. 기존의 시계열적 방법론 및 인공신경망을 이용한 방법론 들이 전력수요 예측에 쓰이는 동안, 전력수요가 가지는 비선형적 요소 및 소수의 데이터 등이 그 이슈로 여겨져 왔다. 이를 해소하기 위하여, 본 연구는 두 개의 LSTM을 하나의 Attention Mechanism으로 연결한 변형된 Attention Mechanism 기반의 LSTM (MA-LSTM)을 제안한다. MA-LSTM은 기존의 시계열화되어 있는 데이터를 첫 번째 LSTM에 넣고, 여기서 추출된 attention 요소들을 두 번째 LSTM에 넣어 학습한 후, 최종적으로 Attentaion 레이어에서 결합하는 형태를 취한다. 이를 통하여 소수의 데이터를 가지고 보다 정확하게 특성에 기초하여 학습 및 예측하는 특징을 가진다. 본 연구에서는 실제 전력수요 데이터의 예측을 통하여, 제안된 프레임웍을 ARIMA 및 LSTM과 비교하여 그 우수성을 실험적으로 보여준다. This research focuses on an electricity demand forecasting framework, which is an essential component of an efficient smart grid system. While time-series analysis and neural network-based approaches have been applied, non-linearity and few number of data are considered main issues. In order to overcome these issues, the research proposes a Modified Attention-based Long Short Term Memory(MA-LSTM) which combines two LSTMs with one Attention layer. While the first LSTM handles the original data, the second LSTM module handles attention-based context features extracted from the data. Then, these are combined with an attention layer. For this manner, the more accurate features are trained with a small number of data in the proposed MA-LSTM. In order to show the effectiveness of MA-LSTM, the real electricity data forecasting is conducted and compared with ARIMA and LSTM methods.

특허문서의 상세한 설명을 이용한 특허 자동분류에 1D-Convolutional Layer를 적용한 모델의 성능비교

김성훈(Sunghoon Kim),김승천(Seungcheon Kim) 대한전자공학회 2022 전자공학회논문지 Vol.59 No.1

사용자 정의 클래스를 이용한 특허분류에 있어서 특허분류 관점에 따라 특허의 상세한 설명이 분류 관점에 중요한 역할을 하는 경우가 있다. 이러한 특허분류를 순환신경망을 사용해서 자동분류를 한다면 상세한 설명의 긴 길이로 인해 좋은 성능을 내지 못하는 경우가 발생한다. 이러한 긴 시퀀스를 가진 데이터를 분류에 적용하는 방법으로 1D Convolutional Layer를 이용해서 긴 시퀀스를 줄인 후 순환신경망에 적용하거나 1D Convolutional Layer만을 사용하는 모델을 이용하는 방법이 있다. 본 연구에서는 특허 문서의 상세한 설명을 이용해서 특허 분류의 성능을 측정하고자 한다. 기존의 순환신경망인 LSTM 모델, 1D Convolutional Layer를 거친 후 LSTM 모델에 적용하는 방법(1D Conv. LSTM), 그리고 1D Convolutional Layer 만을 사용하는 WaveNet을 사용하는 모델을 정의하였다. 시퀀스의 길이가 6,000이상인 3가지의 특허 데이터셋의 분류 성능을 3가지 모델에 적용하여 정확도를 비교하였다. WaveNet이 3가지 데이터셋에 대해서 가장 높은 정확도를 보였고, LSTM이 가장 낮은 정확도를 보였다. WaveNet은 다른 두 모델에 비해 검증 손실에서도 안정적인 추이를 보였다. 데이터셋 #1에서 WaveNet는 1D Conv. LSTM 에 비해 14.5%, LSTM에 비해 17% 높은 정확도를 기록하였다. 데이터셋 #2에서 WaveNet는 1D Conv. LSTM에 비해 3.1%, LSTM에 비해 9.8% 높은 정확도를 기록하였다. 데이터셋 #3에서 WaveNet과 1D Conv. LSTM 은 동일한 정확도를 기록하였고, LSTM에 비해 7.3% 높은 정확도를 기록하였다. 특허의 상세한 설명을 이용해서 만들어진 특허의 사용자 정의 클래스를 분류하는 경우 WaveNet은 기존의 순환신경망에 비해 적합한 모델이라고 판단된다. In patent classification using user-defined classes, the detailed description of a patent sometimes plays an important role in the classification point of view depending on the patent classification point of view. If such patent classification is automatically classified using a recurrent neural network, good performance may not be achieved due to the long length of the detailed description. As a method of applying the data having such a long sequence to classification, there is a method of reducing the long sequence by using a 1D convolutional layer and then applying it to a recurrent neural network or using a model using only the 1D convolutional layer. In this study, we intend to measure the performance of patent classification using detailed descriptions of patent documents. The existing LSTM model, which is a recurrent neural network, a method applied to the LSTM model after going through 1D convolutional layer (1D Conv. LSTM), and a model using WaveNet using only 1D convolutional layer were defined. The classification performance of three patent datasets with a sequence length of 6,000 or more was applied to three models to compare the accuracy. WaveNet showed the highest accuracy for the three datasets, and LSTM showed the lowest accuracy. WaveNet showed a stable trend in verification loss compared to the other two models. In dataset #1, WaveNet uses 1D Conv. Accuracy was recorded 14.5% higher than LSTM and 17% higher than LSTM. In dataset #2, WaveNet uses 1D Conv. The accuracy was 3.1% higher than that of LSTM and 9.8% higher than that of LSTM. WaveNet and 1D Conv. LSTM recorded the same accuracy, and 7.3% higher accuracy than LSTM. When classifying user-defined classes of patents made using detailed descriptions of patents, WaveNet is judged to be a more suitable model compared to the existing recurrent neural network.

해양관측부위 자료 기반 딥러닝 기술을 활용한 해양 혼합층 수온 예측

고관섭 ( Kwan-seob Ko ),변성현 ( Seong-hyeon Byeon ),김영원 ( Young-won Kim ) 대한원격탐사학회 2022 大韓遠隔探査學會誌 Vol.38 No.3

최근 한반도 주역 해역의 수온이 꾸준히 증가하고 있다. 수온변화는 어업생태계에 영향을 미칠 뿐만 아니라 해양에서의 군사작전과도 밀접히 연관되어 있다. 본 연구는 딥러닝 기술을 기반으로 하는 다양한 예측모델을 통해 단기간 수온예측을 시도함으로써 어떠한 모델이 수온예측분야에 더욱 적합한지를 제시하는 것에 목적을 두었다. 예측을 위해 사용한 데이터는 국립수산과학원에서 해양 관측부이를 통해 관측한 2016년부터 2020년까지 동해 지역(고성, 양양, 강릉, 영덕)의 수온 데이터이다. 또한 예측을 위한 모델로는 시계열 데이터 예측에 우수한 성능을 보이는 Long Short-Term Memory (LSTM), Bidirectional LSTM 그리고 Gated Recurrent Unit (GRU) 기법을 사용하였다. 기존 연구가 LSTM만을 활용하였던데 반해 이번 연구에서는 LSTM 외에 다양한 기법을 적용함으로써 각 기법의 예측 정확도와 수행시간을 비교하였다. 연구결과, 1시간 예측을 기준으로 모든 관측지점에서 Bidirectional LSTM과 GRU 기법이 실제값과 예측값의 오차가 가장 적은 것으로 확인되었으며, 학습시간에 있어서는 GRU가 가장 빠른 것으로 확인되었다. 이를 통해, 예측 오차를 줄이면서 정확도를 향상하기 위한 수온예측에는 Bidirectional LSTM을 활용하고 대잠작전처럼 정확도 외에 실시간 예측이 필요한 분야에 있어서는 GRU 기법을 활용하는 방안이 더욱 적절할 것으로 판단된다. Recently, The sea water temperature around Korean Peninsula is steadily increasing. Water temperature changes not only affect the fishing ecosystem, but also are closely related to military operations in the sea. The purpose of this study is to suggest which model is more suitable for the field of water temperature prediction by attempting short-term water temperature prediction through various prediction models based on deep learning technology. The data used for prediction are water temperature data from the East Sea (Goseong, Yangyang, Gangneung, and Yeongdeok) from 2016 to 2020, which were observed through marine observation by the National Fisheries Research Institute. In addition, we use Long Short-Term Memory (LSTM), Bidirectional LSTM, and Gated Recurrent Unit (GRU) techniques that show excellent performance in predicting time series data as models for prediction. While the previous study used only LSTM, in this study, the prediction accuracy of each technique and the performance time were compared by applying various techniques in addition to LSTM. As a result of the study, it was confirmed that Bidirectional LSTM and GRU techniques had the least error between actual and predicted values at all observation points based on 1 hour prediction, and GRU was the fastest in learning time. Through this, it was confirmed that a method using Bidirectional LSTM wasrequired for water temperature prediction to improve accuracy while reducing prediction errors. In areas that require real-time prediction in addition to accuracy, such as anti-submarine operations, it is judged that the method of using the GRU technique will be more appropriate.

Comparison of physics-based and data-driven models for streamflow simulation of the Mekong river

Lee Giha,Jung Sungho,Lee Daeeop 한국수자원학회 2018 한국수자원학회논문집 Vol.51 No.6

최근 기후변화 및 유역개발로 인하여 메콩강 유역의 수문환경이 급격히 변화하고 있으며, 메콩강을 공유하는 국가의 수재해 예방 및 지속가능한 수자원개발을 위해서는 메콩강 주요지점에서의 유량 정보의 분석 및 예측이 요구된다. 본 연구에서는 물리적 기반의 수문모형인 SWAT과 데이터기반 딥러닝 알고리즘인 LSTM을 이용하여 메콩강 하류 Kratie 지점의 유출모의를 수행하고, 유출모의 정확도 및 두 가지 방법론의 장 ․ 단점을 비교 ․ 분석한다. SWAT 모형의 구축을 위해 범용 입력자료(지형: HydroSHED, 토지이용: GLCF-MODIS, 토양: FAO-Soil map, 강우: APHRODITE 등)을 이용하였으며 warming-up 및 매개변수 보정 후 2003~2007년 일유량 모의를 수행하였다. LSTM을 이용한 유출모의의 경우, 딥러닝 오픈소스 라이브러리인 TensorFlow를 활용하여 Kratie 지점기준 메콩강 상류 10개 수위관측소의 두 기간(2000~2002, 2008~2014) 일수위 정보만을 이용하여 심층신경망을 학습하고, SWAT 모형과 마찬가지로 2003~2007년을 대상으로 Kratie 지점에 대한 일수위 모의 후 수위-유량관계곡선식을 이용하여 유출량으로 환산하였다. 두 모형의 모의성능 비교 ․ 검토를 위하여 모의기간에 대해 NSE (Nash-Sutcliffe Efficiency)을 산정한 결과, SWAT은 0.9, LSTM은 보다 높은 0.99의 정확도를 나타내는 것으로 분석되었다. 메콩강과 같은 대유역의 특정 지점에 대한 수문시계열 자료의 모의를 위해서는 다양한 입력자료를 요구하는 물리적 수문모형 대신 선행시계열자료의 변동성을 기억 ․ 학습하여 이를 예측에 반영하는 LSTM 기법 등 데이터기반의 심층신경망 모형의 적용이 가능할 것으로 판단된다. In recent, the hydrological regime of the Mekong river is changing drastically due to climate change and haphazard watershed development including dam construction. Information of hydrologic feature like streamflow of the Mekong river are required for water disaster prevention and sustainable water resources development in the river sharing countries. In this study, runoff simulations at the Kratie station of the lower Mekong river are performed using SWAT (Soil and Water Assessment Tool), a physics-based hydrologic model, and LSTM (Long Short-Term Memory), a data-driven deep learning algorithm. The SWAT model was set up based on globally-available database (topography: HydroSHED, landuse: GLCF-MODIS, soil: FAO-Soil map, rainfall: APHRODITE, etc) and then simulated daily discharge from 2003 to 2007. The LSTM was built using deep learning open-source library TensorFlow and the deep-layer neural networks of the LSTM were trained based merely on daily water level data of 10 upper stations of the Kratie during two periods: 2000~2002 and 2008~2014. Then, LSTM simulated daily discharge for 2003~2007 as in SWAT model. The simulation results show that Nash-Sutcliffe Efficiency (NSE) of each model were calculated at 0.9(SWAT) and 0.99(LSTM), respectively. In order to simply simulate hydrological time series of ungauged large watersheds, data-driven model like the LSTM method is more applicable than the physics-based hydrological model having complexity due to various database pressure because it is able to memorize the preceding time series sequences and reflect them to prediction.

Wavelet Transform LSTM과 Multi-Head Attention의 결합모형을 이용한 주가 지수 예측

권희석,이민혁 한국경영과학회 2023 經營 科學 Vol.40 No.2

In this paper, we proposed a new deep learning forecasting model named WMA-LSTM (Wavelet Transform Multi-Head Attention LSTM) model that combines Wavelet Transform LSTM and Multi-Head Attention, The Wavelet Transform is used to denoise the input values, and LSTM and Multi-Head Attention are deep learning model for forecasting the time-series data. The market price, high price, low price, closing price, and trading volume data are used to forecast the next day’s price of the stock index in Korea, USA, and China(KOSPI, S&P500, HangSeng Index). The results show that our proposed model has the best forecasting performance among the seven comparative models(ARIMA, W-ARIMA, LSTM, A-LSTM, MA-LSTM, W-LSTM, and WA-LSTM) in all three markets. As a result, combining Wavelet Transform LSTM with Multi-Head Attention to increase stability improves forecasting performance.