Bi-LSTM과 Attention Mechanism을 결합한 감성 분석

영가기 신라대학교 신라대학교 일반대학원 2022 국내석사

인터넷 기술의 급속한 발전으로 많은 인터넷 사용자들이 소셜 네트워크 서비스를 통해 사용자 리뷰 등과 같은 감성적인 의견을 많이 포함하는 데이터를 생성하고 있다. 데이터로부터 사용자의 감성 상태를 분석하는 것이 연구의 주요 이슈가 되고 있다. 감성 분석은 일반적으로 한 단락의 텍스트에 표현된 감성 상태를 분석하는 것을 말한다. 본 논문에서는 자연어 처리 기술을 적용해 주관적인 감성 정보를 인식하고 감성을 예측한다. 먼저, 현재의 감성 분석 기술에 대한 조사 연구를 통해, 텍스트로부터 잠재적인 감성 정보를 발굴하는 방법을 연구하고, TextCNN, Bi-LSTM등의 모델을 사용하여 텍스트 데이터 감정 분류의 정확성을 향상시킨다. TextCNN과 Bi-LSTM을 각각 Attention을 결합하여 모델을 구축한다. 실험을 통하여 WeiBo 리뷰에 대한 예측 분석을 실시하고, 모든 결과를 교차 검증하여 모델의 예측 결과의 정확도를 높인다. 마지막으로, WeiBo 리뷰 데이터를 사용하여 해당 모델의 성능을 비교하고 모델의 유효성을 검증한다. 본고에서는 Bi-LSTM에 Attention을 가입함으로써 Bi-LSTM 모델의 정확도를 높이고 정확도는 96.8%를 달성하였으며, 테스트 손실률은 8%로 감소한다. With the rapid development of Internet technology, many Internet users are generating data containing a large amount of emotional opinions, such as user comments, through social networking services. Analyzing the emotional state of users from the data has become a major research problem. Sentiment analysis generally refers to analyzing the emotional state expressed by a text. In this paper, natural language processing techniques are applied to identify subjective sentiment information and predict sentiment. First, through research on the current sentiment analysis technology, a method of excavating potential emotional information from text is studied, and the accuracy of text data emotion classification is improved using models such as TextCNN and Bi-LSTM. TextCNN and Bi-LSTM are each combined with attention to build a model. Through experiments, predictive analysis is performed on WeiBo reviews, and all results are cross-validated to increase the accuracy of the model's prediction results. Finally, the WeiBo review data is used to compare the performance of the models and validate the models. In this paper, by subscribing attention to Bi-LSTM, the accuracy of the Bi-LSTM model was increased, and the accuracy was achieved to 96.8%, and the test loss rate was reduced to 8%.

Sentiment Analysis of Vietnamese Text with PhoBERT- based Deep Classifiers and Ensemble Learning

Tran, Tao Anh 동국대학교 일반대학원 2023 국내석사

자연어 처리(NLP)는 인공 지능 분야에서 가장 잘 연구되었지만 도전적인 학문 중 하나입니다. 최근 몇 년 동안 NLP의 전례 없는 발전이 도입되어 감성 분석을 포함한 많은 NLP 하위 작업의 개선을 위한 새로운 가능성이 가능해졌습니다. 대규모 모델의 도입으로 이전에는 Computer Vision 전용으로 예약된 접근 방식이 이제 BERT 및 GPT와 같은 모델을 사용하여 NLP에 적용할 수 있습니다. 이러한 인기 있는 접근 방식 중 하나는 모델이 하나 또는 여러 언어의 일반적인 구문 기능을 이해하기 위해 대규모 코퍼스에서 사전 훈련된 다음 추가 다운스트림 특정 작업을 위해 미세 조정되는 Transfer Learning입니다. 포괄적인 데이터 세트 및 강력한 하드웨어와 함께 최첨단 결과를 생성하는 많은 창의적인 아키텍처와 정교한 미세 조정 기술을 보아왔습니다. 보다 구체적으로, 베트남어에 대해 사전 훈련된 최초의 공개 대규모 단일 언어 모델인 PhoBERT는 많은 베트남어 특정 작업을 해결하기 위한 기준 모델로 사용되었으며 다음과 같은 여러 작업에서 다국어 BERT 모델보다 더 나은 결과를 생성하는 것으로 입증되었습니다. 품사 태깅, 종속성 구문 분석, 명명된 엔터티 인식, 텍스트 분류, 자연어 추론 등. 본 연구에서는 베트남어 감성분석 과제에서 전이학습의 적용을 탐구한다. 베트남어용 BERT의 최첨단 사전 훈련 버전인 PhoBERT를 기준으로 여러 파이프라인으로 실험을 수행하여 모델을 미세 조정합니다. 저는 기본 PhoBERT를 3개의 심층 신경망 아키텍처인 LSTM(장기 기억 장치), RCNN(재귀 컨볼루션 신경망) 및 TextCNN과 결합합니다. 베트남어의 몇 가지 고유한 기능을 인식하고 베트남어 원어민으로서의 통찰력을 활용하고 일부 언어별 데이터 증강 기술을 배포하여 모델의 성능을 더욱 향상시킵니다. 또한 PhoBERT의 계층 선택을 탐색하고 앙상블 학습을 사용하여 고분산 문제를 완화하여 PhoBERT의 일부 약점을 해결합니다. NTC-SV, UIT-VSFC 및 UIT-VSMEC의 세 가지 벤치마크 데이터 세트를 사용하여 내 모델의 성능을 평가합니다. 각 데이터 세트에 대해 고유한 미세 조정 파이프라인으로 다국어 BERT 또는 단일 언어 PhoBERT를 활용하는 기존 구현과 비교를 그립니다. 연구의 주요 기여는 다음과 같이 요약된다. • 감성 분석을 위해 사전 훈련된 PhoBERT를 미세 조정하는 효과적인 파이프라인을 제안합니다. 파이프라인에는 다음이 포함됩니다: (1) 도메인 지식을 활용하여 베트남어에 맞게 조정된 데이터 증대 프로세스 설계, (2) PhoBERT 모델의 여러 변환기 레이어의 기능을 사용하여 데이터의 보다 포괄적인 표현 생성, (3) 다음을 위해 앙상블 학습 사용 PhoBERT의 높은 분산 특성을 완화하고 (4) 딥 러닝 모델의 힘을 활용하여 분류를 수행합니다. • 의미 있는 방식으로 새로운 교육 샘플을 생성하고, 미세 조정 프로세스의 효율성을 개선하고, 자원이 부족한 언어인 베트남어 문제를 해결하기 위해 언어별 데이터 증대에 대한 접근 방식을 소개합니다. 훈련 샘플 크기 또는 극단적인 클래스 불균형. • 나는 클래스 수와 데이터 분포가 다른 세 가지 데이터 세트에 대해 제안한 방법의 모든 측면의 효율성을 평가하기 위해 여러 실험을 수행합니다. 모든 데이터 세트에 대해 내 모델은 기존 방법과 비교하여 경쟁력 있는 결과를 생성합니다. 내 연구 결과에 따르면 파이프라인을 미세 조정하여 도메인별 지식을 성공적으로 활용하여 베트남 언어의 고유한 특성에 맞는 아키텍처와 프로세스를 실현할 수 있었습니다. 내 실험의 결과는 또한 내가 제안한 파이프라인을 일반화하고 베트남 NLP의 다른 많은 하위 도메인에 적용하여 향후 연구에서 더 높은 성능을 달성할 수 있음을 시사합니다. Natural Language Processing (NLP) is one of the most well-studied yet challenging disciplines in the field of Artificial Intelligence. In recent years, unprecedented advancements in NLP have been introduced, enabling new possibilities for improvements in many NLP subtasks including Sentiment Analysis. With the introduction of large-scale models, approaches that were formerly reserved only for Computer Vision are now applicable in NLP with models such as BERT and GPT. One such popular approach is Transfer Learning, where a model is pretrained on a large corpus to understand general syntactical features of one or multiple languages, and then fine-tuned for further down-steam specific tasks. Along with comprehensive datasets and powerful hardware, we have seen many creative architectures and sophisticated fine-tuning techniques that produce state-of-the-art results. More specifically, PhoBERT, the first public large-scale monolingual language model pre-trained for Vietnamese, has been used as the baseline model to solve many Vietnamese language-specific tasks, and proven to produce better results than multilingual BERT models in several tasks such as part-of-speech tagging, dependency parsing, named entity recognition, text classification, natural language inferencing etc. In this study, I explore the application of transfer learning in the task of Sentiment Analysis for Vietnamese language. Using PhoBERT, the state-of-the-art pretrained version of BERT for Vietnamese as the baseline, I conduct experiments with multiple pipelines to fine-tune the model. I combine the baseline PhoBERT with three deep neural networks architectures: long short-term memory (LSTM), recurrent convolutional neural networks (RCNN) and TextCNN. Recognizing some unique features of the Vietnamese language, I leverage my insights as a native Vietnamese speaker and deploy some language-specific data augmentation techniques to further improve the performance of my models. I also address some of PhoBERT’s weaknesses by exploring PhoBERT’s layer selection as well as employing ensemble learning to mitigate high variance issues. I evaluate the performance of my models using three benchmark datasets: NTC-SV, UIT-VSFC and UIT-VSMEC. For each dataset, I draw comparisons to existing implementations that also leverage either multilingual BERT or monolingual PhoBERT with their own unique fine-tuning pipelines. The key contributions of my study are summarized as follows. • I propose an effective pipeline to fine-tune pre-trained PhoBERT for Sentiment Analysis. The pipeline includes: (1) leveraging domain knowledge to design a data augmentation process tailored for the Vietnamese language, (2) using features from multiple transformer layers of PhoBERT model to yield more comprehensive representations of the data , (3) employ ensemble learning to mitigate PhoBERT’s high variance nature, and (4) harnessing the power of deep learning models to perform classification. • I introduce an approach to language-specific data augmentation to generate new training samples in a meaningful manner, help improve the efficiency of the fine-tuning process, and combat the problems of Vietnamese – a low-resource language – such as overfitting on small training sample size, or extreme class imbalance. • I conducted multiple experiments to evaluate the effectiveness of every aspect of my proposed method on three different datasets with distinct number of classes and data distributions. For all datasets, my models produce competitive results in comparison to existing methods. My findings indicate that, with my fine-tuning pipeline, I was able to successfully leverage domain-specific knowledge to realize architectures and processes tailored to the unique characteristics of Vietnamese language. The results of my experiments also suggest that my proposed pipeline can be generalized and applied in many other subdomains of Vietnamese NLP to achieve higher performance in future research.

SNS 메신저 피싱공격 방어를 위해 Text-CNN과 단계적 대응기법을 활용하는 지능적 챗봇 연구 = A Study of Intelligent Chatbot Security Assistant using Text-CNN and Multi-phase Defense Method against SNS Phishing Attacks

유진솔 국방대학교 국방관리대학원 2021 국내석사

문맥 임베딩과 트랜스포머 모델의 효과적인 결합을 통한 텐서공간모델 기반 문서분류

권순관 서울시립대학교 일반대학원 2024 국내석사

최근 텍스트 데이터의 폭발적인 증가와 텍스트 생성모델의 발전으로 SNS 데이터 및 리뷰 데이터의 감성 분류 가짜 뉴스 탐지 등 자동문서분류(Text Classification)의 중요성이 더욱 부각되고 있다. 본 논문에서는 보다 정확한 문서분류를 위해 문맥을 고려한 단어 임베딩(Contextual Word Embedding) 기반 텐서공간모델(Tensor Space Model)과 Transformer 모델을 효과적으로 결합한 멀티모달 딥러닝 아키텍처를 제안한다. 문서분류 성능을 높이기 위해서 문서분류 아키텍처는 의미, 문맥, 순서 정보를 동시에 고려하여 학습되어야 한다. 텐서공간모델은 하나의 문서를 단어-개념(Term-by-Concept) 행렬로 표현하는 것인데, 이는 다의어(Polysemy) 문제와 단어 순서 정보를 고려하지 않았다. 우리는 완벽한 문서분류를 지향하기 위해 텐서공간모델에 단어의 의미 정보와 문맥 정보를 포함시키면서 동시에 단어 순서 정보를 학습할 수 있는 2-채널 분류 아키텍처를 고안했다. 순서 정보를 학습하기 위해 자연어처리 기법에서 널리 사용되는 Transformer 모델을 활용했으며 결과적으로 우리가 제안한 아키텍처는 일종의 멀티 모달(Multimodal) 딥러닝 구조를 가진다. 우리는 6개의 영문 텍스트 데이터셋들을 활용하여 제안된 아키텍처의 성능 개선을 증명했다. Recently, the explosive increase in the amount of text data and the rapid spread of text generative models has caused automatic text classification for information (e.g., social data, review data, and fake news) to become increasingly important. This paper proposes a multimodal deep learning architecture that effectively combines contextual word embedding and the Transformer model under the tensor space representation model to achieve more reliable text classification. To improve text classification performance, the classification model must be trained to simultaneously consider semantic, context, and sequence information. The tensor space representation model represents a single document as a term-by-concept matrix that contains the semantic information of words; however, it does not accommodate the polysemy problem or word sequence information. To achieve near-perfect document classification, we propose a two-channel classification architecture that can learn all three: semantic, context, and sequence information of words under a tensor space model. In our approach, the Transformer model is utilized to learn word sequence information; as a result, our proposed architecture produces a multimodal learning model for text classification. Using six textual datasets, we demonstrate the performance improvement of our proposed multimodal text classification architecture.