Prediction of air quality index based on LSTM model with multivariable time series

하양 신라대학교 일반대학원 2021 국내박사

베이징과 서울은 지역별 대기질 지수(AQI)를 미리 예측함으로써 적절한 시기에 경고를 할 수 있는 위도 상관관계를 가지고 있으면 본 논문에서는 향후 10시간동안의 베이징과 서울의 단기 대기질 지수인 AQI를 예측하는 딥러닝 모델인 LSTM을 제시 한다. 베이징 관측소의 2015년과 서울 관측소의 2015년의 AQI 시계열 데이터세트에서 미세먼지 농도 데이터(주로 PM2.5·공기역학 지름이 2.5mm 미만인 미세먼지)와 같은 기간 공기 중의 기체 오염물질 데이터(주로 CO, NO2, O3, SO2)를 종합했다. 종합된 모든 데이터를 LSTM 학습을 위한 학습데이터와 학습된 LSTM의 평가를 위한 테스트 데이터로 나눈 후 LSTM을 학습시켜 대기질 지수 지표의 예측치를 얻었다. 본 논문에서는 데이터 특징이 다른 베이징 관측소와 서울 관측소의 데이터를 AQI 서열 모형에 입력하여 AQI 지표 예측 농도 값을 받아온다. 그 후 AQI 지표 예측 농도의 평균값을 각 도시의 전체 AQI 예측결과로 산출한다. LSTM의 학습정도를 평가하기 위하여 평균 제곱오차(MSE)를 정량적 근거로 사용하였으며, 평균 제곱오차가 가장 작은 모델을 반복적으로 사용하여 좋은 결과를 얻었다. This paper presents a deep learning model to predict the AQI in Beijing and Seoul, aims at predicting short-term air quality from 12:00 am to 10:00 am (10 hours) on January 1, 2016. The particle concentration data (mainly PM2.5, i.e., particles with aerodynamic diameter ≤ 2.5 mm) of Beijing and Seoul monitoring stations are considered. The data is then converted into the supervised learning format and normalized. The Long Short-Term Memory (LSTM) is then used for training to obtain the predicted values of AQI indicators. The representative stations provide the AQI sequences with different data characteristics which are then used in a model to obtain the predicted concentration values of the AQI indicators of the representative stations. We then calculate the average value as the overall AQI prediction result of Beijing and Seoul. The AQI time-series datasets were collected from monitoring stations in Beijing from 2015 and Seoul from 2015. the Mean Square Error (MSE) is used in the laboratory as a basis for experimental coordination and as a quantitative basis for predicting model capabilities. Our results suggest that the proposed model outperforms the loss rate of the RNN-based models and provides an accurate prediction of the future AQI.

Performance evaluation of classification algorithms for imbalanced dataset

왕문송 신라대학교 일반대학원 2021 국내박사

본 논문에서는 분류 알고리즘의 성능을 평가하기 위하여 이진형 불균형 데이터셋을 사용한다. 성능 평가를 위하여 F_Measure를 평가 지표로 사용한다. 다양한 불균형 데이터셋의 샘플링 방법을 비교하면 SMOTETomek 샘플링 방법이 불균형 데이터셋에 좋은 샘플링 효과가 있음을 알 수 있다. F_Measure의 평균값은 0.7601에 도달하여 랜덤 샘플링의 평균값 0.7503보다 높다. 다양한 불균형 수준의 불균형 데이터셋을 처리 할 때 Logistic, k-NN, Random Forest, 그리고 AdaBoost 알고리즘의 성능을 비교하고 분석한다. 실험에 따르면 다양한 샘플링 조건에서 AdaBoost 알고리즘의 F_Measure 평가 값이 0.8642 이상으로 유지된다. AdaBoost 알고리즘의 분류기 최적화를 기반으로 랜덤 포레스트를 분류기로 사용하는 RFAdaBoost 분류 알고리즘이 불균형 데이터셋을 처리 할 때 효율적인 성능을 나타낸다. SMOTETomek으로 데이터를 샘플링하고 처리한 불균형 데이터셋에 대하여 RFAdaBoost 알고리즘의 F_Measure는 평균 0.9499 이상으로 유지되어 AdaBoost 알고리즘 0.9143의 평균값보다 높다. SMOTETomek 샘플링을 기반으로 한 불균형 샘플 데이터셋에서 RFAdaboost의 분류 성능이 우수함을 보인다. In this paper, a binary imbalanced dataset is used to evaluate the performance of the classification algorithm. For performance evaluation, F_Measure is used as an evaluation index. Comparing various sampling methods for imbalanced dataset, it can be seen that the SMOTETomek sampling method has good sampling effect on imbalanced dataset. The average value of F_Measure reached 0.7601, which is higher than the average value of 0.7503 for the random sample. Through experiments, we compared and analyzed the performance of Logistic, k-NN, Random Forest and AdaBoost algorithms when processing imbalanced dataset with various levels of imbalance. According to experiments, the F_Measure evaluation value of the AdaBoost algorithm is maintained above 0.8642 under various sampling conditions. Based on the classifier optimization of the AdaBoost algorithm, the RFAdaBoost classification algorithm, which uses a random forest as a classifier, shows efficient performance when processing imbalanced dataset. For the imbalanced dataset sampled and processed by SMOTETomek, the F_Measure of the RFAdaBoost algorithm is maintained at an average of 0.9499 or higher, which is higher than the average value of 0.9143 of the AdaBoost algorithm. It is shown that RFAdaboost's classification performance is excellent in the imbalanced sample dataset based on SMOTETomek sampling.

Enhanced FAM method for image restoration

진용 신라대학교 일반대학원 2021 국내박사

Image restoration refers to the recovery of an underlying image from an observation corrupted by various types of noise. In digital forensic software, such an image restoration process should be noise-tolerant, robust, fast, and scalable. Among many existing models of associative memory, Fuzzy Associative Memory (FAM) is widely used in the implementation of such systems using a fuzzy Hebbian learning rule. Such methods are often based on max-min or max-product compositions for the synthesis of the weight matrix. The FAMs provide important advantages including noise tolerance, unlimited storage, and one-pass convergence nevertheless they have low capacity. FAM performance is also related to its ability to capture the content of each pattern and its association. Therefore, when the traditional FAM is applied to recover images, the recovery rate of images is high for the same individuals with different backgrounds, but low if the same individuals have the same background. To address this issue we propose a T_norm-based FAM technique. In fuzzy theory, the operations that can be applied to the value of the function to which they belong are T_norm (Triangular-norm) and T_conorm (Triangular-conorm). Here we apply the T_norm to improve the degree of repair for the FAM weighted value operation. To verify the performance of the proposed T_norm-based FAM method, we conduct experiments with 20 images. In our dataset, researchers conduct experiments with 20 images of objects damaged against the same background and 20 images of objects damaged against different backgrounds were tested.. For both cases, 90% recovery performance is achieved using the T_norm-based FAM method. This shows % recovery performance in the existing FAM. Nevertheless, the RMSE is high with the proposed T_norm-based FAM method and the existing FAM all recovered in the video. 영상 복원은 다양한 유형의 잡음에 의해 손상된 영상에서 원 영상으로 복원하는 것이다. 디지털 포렌식 소프트웨어에서 이러한 영상 복원 프로세스는 잡음에 강하고 견고하며 빠르며 확장이 가능해야한다. 영상 복원을 위한 많은 연상 메모리 모델 중에서 퍼지 연상 메모리(FAM : Fuzzy Associative Memory)는 가중치 행렬의 합성을 위해 Max-Min 또는 Max-Product 측면에서 Fuzzy Hebbian 학습 규칙을 사용하여 이러한 구조를 성공적으로 구현한 모델 중의 하나이다. 퍼지 연상 메모리는 소음 내성, 무제한 저장 및 원 패스 수렴을 비롯한 다양한 장점을 가지고 있다. FAM의 성능을 결정하는 중요한 속성은 각 패턴의 콘텐츠를 캡처하는 기능과 패턴의 연관성이다. 따라서 기존의 퍼지 연상 메모리(FAM)을 적용하여 이미지를 복원할 경우에는 같은 객체들에 대해서 배경이 다른 경우에는 영상의 복원 정도가 높지만 같은 객체들에 대해서 배경이 같은 경우에는 복원 정도가 매우 낮게 나타난다. 이러한 문제점을 개선하기 위하여 본 논문에서는 T_norm 기반 퍼지 연상 메모리 기법을 제안한다. 퍼지 이론에서 소속 함수의 값에 적용할 수 있는 연산으로 T_norm(Triangular-norm)과 T_conorm(Triangular-conorm)이 있다. 본 논문에서는 퍼지 연상 메모리의 가중치 연산에 T-norm을 적용하여 복원 정도를 개선한다. 제안된 T_norm 기반 FAM 방법의 성능을 확인하기 위하여 20개의 영상을 대상으로 학습한 후에 같은 배경에서 객체들의 영역 일부가 손실되거나 잡음이 있는 20개 영상과 다른 배경에서 객체들의 영역 일부가 손실되거나 잡음이 있는 20개 영상을 실험하였다. 두 경우에 대해서 제안된 T_norm 기반 FAM 방법에서는 90%의 복원 성능이 나타났고 기존의 FAM에선 40%의 복원 성능을 보였다. 그러나 제안된 T_norm 기반 FAM 방법과 기존의 FAM에서 모두 복원된 영상에서의 제곱근 평균 오차 (RMSE)는 제안된 T_norm 기반 FAM 높게 나타났다.

Implementation of music recommendation system based on collaborative filtering

허신우 신라대학교 일반대학원 2021 국내박사

Due to the rapid growth of the online music industry, there are plenty of music data generated. As a result, users are faced with a large amount of song information and it is difficult for users to find the music of interest fast. In this circumstance, it is necessary to have an effective music recommendation system that is capable to find the songs that users like fast and provide a pleasant experience. In this paper, a music recommendation system is designed and implemented to solve this problem. The proposed music recommendation system is quick to meet the user's needs and effective in showing the information of interest to the user. The recommendation system algorithm relies mainly on user preference to remove unnecessary data information and on filters to show the final result. Currently, collaborative filtering algorithms have been widely used in recommendation systems. The common problems with collaborative filtering include cold start and data scarcity. Though the existing recommendation systems provide information to users in a relatively short time, there remain some problems with the quality and efficiency of recommendation. In order to enhance the accuracy of music recommendation, the quality of recommended content is improved in this paper using the music popularity ranking and an optimized collaborative filtering method. Moreover, a hybrid recommendation method is proposed that improves the quality of recommendation and the diversity of content by combining music popularity ranking, user-based collaborative filtering method, and item-based collaborative filtering method. Then, a music recommendation system is implemented using the proposed hybrid recommendation method. 온라인 음악 산업의 급속한 발전으로 인하여 많은 음악 데이터가 생성되고 있다. 사용자들은 많은 양의 노래 정보에 직면하고 있으며 사용자가 관심 있는 음악을 빨리 찾기가 어렵다. 따라서 사용자가 좋아하는 곡을 빠르게 찾고 좋은 경험을 제공 할 수 있는 효과적인 음악 추천 시스템이 필요하다. 본 논문에서는 이러한 문제를 해결하기 위하여 음악 추천 시스템을 설계하고 구현한다. 음악 추천 시스템은 사용자의 요구를 빠르게 충족시킬 수 있고 사용자에게 관심 있는 정보를 효과적으로 보여준다. 추천 시스템 알고리즘은 주로 사용자의 선호도를 이용하여 불필요한 데이터 정보를 제거하며 필터링하여 최종 결과를 보여준다. 협업 필터링 알고리즘은 추천 시스템에서 널리 사용하고 있다. 협업 필터링이 가지고 있는 일반적인 문제는 콜드 스타트 ​​및 데이터 희소성 문제이다. 기존의 추천 시스템은 비교적 짧은 시간에 사용자에게 정보를 제공하지만 추천 품질 및 추천 효율성에 문제가 있다. 본 논문에서는 음악 추천의 정확성을 높이기 위해 음악 인기 순위와 최적화 된 협업 필터링 방법을 사용하여 추천 콘텐츠의 품질을 높인다. 본 논문에서는 음악 인기 순위, 사용자 기반 협업 필터링 방법과 아이템 기반 협업 필터링 방법을 혼합한 하이브리드 추천 방법을 제안하고 추천 품질과 콘텐츠 다양성을 향상시킨다. 그리고 제안한 하이브리드 추천 방법을 사용하여 음악 추천 시스템을 구현한다.

NLP Model Comparison for storytelling creation of specific genre

Cervant Ortega 신라대학교 일반대학원 신라대학교 2022 국내석사

본 논문의 주요 목표는 스토리텔링 텍스트 생성을 위한 최적의 모델을 발견하기 위해 책 장르에서 지정된 데이터를 사용하여 훈련된 세 가지 구별되는 모델을 비교하는 것이다. Diana Gabaldon의 로맨스 소설 “Outlander”와 Kiera Cass의 “Happily ever after”는 RNN 모델을 GRU 레이어로 훈련시키고 GPT-2 모델 124M 파라미터를 미세 조정하기 위해 선택되었다. 그러나 처음부터 완전히 훈련된 GPT-2 모델의 경우 100개의 로맨스 소설이 데이터 세트로 사용되었다. RNN 모델의 훈련 과정을 더 쉽게 만들기 위해 문자 대 정수 부호화가 사용되었다. 반면에 GPT-2 모델은 처음부터 구축되었으며 라이브러리 “Tokenizers”는 데이터를 토큰으로 인코딩하는 데 사용되었으며, 그런 다음 이를 훈련하고 출력 텍스트로 디코딩할 수 있었다. 클라우드 기반 타이핑 어시스턴트인 "Grammarly"는 문서를 비교하기 위해 사용되었으며, 문법 오류, 어휘 다양성, 흔하지 않은 영어 단어의 발견을 강조하였다. 또한 생성된 텍스트를 읽는 인간의 의견을 아는 것은 매우 중요하므로 Jose Villalobos의 평가 기준을 인간 분석의 측정 매개 변수로 작용했다. 이 논문 결과는 스토리텔링 생성을 위한 최상의 모델이 124M 매개 변수의 GPT-2이다. The goal of this work is to compare three distinct models trained using data specified by a book genre in order to discover the optimal model for the generation of storytelling texts. The romance novels "Outlander" by Diana Gabaldon and "Happily Ever After" by Kiera Cass were chosen to train the RNN model with a GRU layer, as well as to finetune the GPT-2 model of 124M parameters. However, for the GPT-2 model, which was trained from scratch, an amount of one hundred romance novels were used as the dataset. To make the training process easier for the RNN model, a character to integer codification was used. The GPT-2 model, on the other hand, was built from the ground up, and the library tokenizer was used to encode the data into tokens, which could then be trained and decoded into the output text. To compare the generated texts of the models, the cloud-based typing assistant "Grammarly" was used to find the highlighting grammar errors, vocabulary diversity, the discovery of uncommon English words and, the overall score. In addition, the opinion of a human reading the generated texts is critical, therefore, Jose Villalobos' assessment criteria served as the human analysis, measuring the coherence, cohesion and adequacy of the generated text. The findings yield fascinating results, proving that the best model for storytelling creation is the GPT-2 model of 124M parameters.

웹 서비스에서 공유되는 이미지 파일에 노출된 중요 개인정보의 자동검출 및 보호기법 연구 = A Study of Detection and Protection Method of Critical Personal Information Exposed in Image Files Shared in Web Services

지상곤 국방대학교 국방관리대학원 2021 국내석사