Improving BERT-based Sentiment Analysis Model using Graph-based Ranking Mechanism

국문 초록 (Abstract)

문서 처리의 자동화에 대한 필요성이 대두됨에 따라 인공지능을 통한 자연어 처리(Natural Language Processing) 분야에서 연구가 활발하게 진행되고 있다. 본 연구에서는 자연어 처리 분야 중 특히 감정분석(Sentiment Analysis) 분야에서 그래프 기반의 순위화 메커니즘을 통해 추출한 형태소, 또는 요약 기반의 벡터인 GRAB vector(GRAph-Based vector)를 제안하고 이를 통해 기존의 BERT(Bidirectional Embedding Representations from Transformers)모델에 적용한다. 이를 통하여 더욱 강인하고 성능이 향상된 GRAB-BERT 모델을 제안한다. 또한, GRAB vector가 모델에 미치는 영향을 분석하기 위하여 재귀적 인공신경망(Recurrent Neural Network) 기반 모델들과 BERT 기반 모델에 시퀀스 입력 길이를 각각 다르게 학습한 경우 GRAB vector의 적용 여부에 따른 성능을 한국어와 영어에 대하여 분석한다. 결과적으로 형태소 단위로 추출된 벡터가 BERT와 같은 병렬적으로 문자를 처리하는 모델의 경우, 더욱 강인한 학습이 가능하며 성능이 향상됨을 보인다. 추가로, BERT 기반의 모델과 반대로 재귀적 인공신경망 기반모델들의 경우 형태소 기반이 아닌 그래프 기반 요약문 추출을 통한 벡터를 적용한 경우가 더 효과적임을 보인다.

다국어 초록 (Multilingual Abstract)

Due to the need for automated document processing, artificial intelligence research has been actively conducted in the field of natural language processing(NLP). In this paper, we propose the GRAB vector(GRAph-Based vector), which consists of vectorized keyword-based morphemes or summaries extracted from the graph-based ranking mechanism. Next, we applied the GRAB vector to the sentiment analysis task, which is an NLP task, and we proposed a more accurate and robust model, GRAB-BERT(GRAB vector-BERT model). Then, to analyze the effect of the GRAB vector on this model, we compared the performances of recurrent neural network models(RNNs) and BERT models with or without the application of the GRAB vector on both English and Korean text samples with different sequence sizes. Our results demonstrate that applying the GRAB vector to models such as BERT to process inputs in parallel improves the robustness of the model and its performance. Furthermore, unlike BERT-based models, RNN models are more effective when applying graph-based extracted summaries than when applying morpheme-based summaries.

목차 (Table of Contents)

• 요약
• Abstract
• 1. Introduction
• 2. Theoretical Background and Related Works
• 3. GRAB Model Architecture
• 4. Datasets
• 5. Experiments
• 6. Conclusions
• References

참고문헌 (Reference)

1 황상흠, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델" 한국전자거래학회 25 (25): 203-214, 2020

2 L. Page, "The PageRank citation ranking: Brining order to the web"

3 R. Mihalcea, "Textrank: Bringing order into text" 404-411, 2004

4 M. Abadi, "Tensorflow: Large-Scale Machine Learning on Heterogeneous Ststem"

5 A. Paszke, "PyTorch: An Imperative Style, High-Performance Deep Learning Library" 9015-, 2019

6 L. Park, "Naver sentiment movie corpus v1.0"

7 K. Shim, "Mach: A supersonic korean morphological analyzer" 2002

8 S. Hochreiter, "Long short-term Memory" 9 (9): 1735-1780, 1997

9 A. Mass, "Learning word vectors for sentiment analysis" 142-150, 2011

10 E. Kim, "KoNLPy: Korean natural language processing in Python" 1-4, 2014

11 F. Chollet, "Keras"

12 A. See, "Get to the point:Summarization with pointer-generator networks"

13 J. Chung, "Empirical evaluation of gated recurrent neural networks on sequence modeling"

14 J. Devlin, "Bert: Pre-training of deep bidirectional tranformers for language undersatnding"

15 A. Vaswani, "Attention is all you need" 5998-6008, 2017