Synthetic Data Generation Techniques using GPT-3 Model for Enhancing Imbalanced Sentiment Analysis|RISS 상세보기

다국어 초록 (Multilingual Abstract)

In the sentiment analysis field, the prevalence of imbalanced data has presented a significant challenge to achieving accurate classification performance, especially in the case of user-generated content. Usually, most sentiment analysis datasets have tended to over-represent popular sentiments while leaving minority sentiments underrepresented, resulting in classifiers that perform well on majority classes but poorly on minority ones. Previous approaches to addressing this imbalance, such as the use of Generative Adversarial Networks (GANs) for synthetic data generation, have shown potential but also limitations, indicating a need for more advanced and effective methods. This dissertation introduces an innovative approach to overcoming this challenge by leveraging the GPT-3 model, a state-of-the-art language model known for its advanced ability to generate human-like text across a vast array of applications. Recognized for its deep learning capabilities and extensive training on diverse data, GPT-3 offers a promising solution for generating synthetic data that can balance sentiment classes effectively. This study focused on two primary objectives: first, to generate good-quality synthetic data to balance the training dataset in imbalanced sentiment analysis scenarios using two distinct strategies—fine-tuning the GPT-3 model (GPT-FT) and employing a sentence-by-sentence generation technique (GPT-SS); and second, to improve sentiment classification performance with a balanced dataset using sophisticated deep learning models, including RNN, CNN, LSTM, BiLSTM, and GRU, with GloVe embeddings for feature extraction. The methodology employed in this study involved generating synthetic data using the GPT-3 model to address the specific needs of underrepresented classes within the Coursera review dataset, a widely recognized source of user-generated content in educational sentiment analysis. This synthetic data was then evaluated for its quality based on novelty, diversity, and the relevance with the Coursera review context. The results indicated that while both GPT-FT and GPT-SS methods were effective in enhancing classification performance, GPT-FT demonstrated a better ability to generate more novel and diverse synthetic data. However, GPT-FT also faced challenges such as the occasional generation of anomalous data, highlighting areas for further refinement. Conversely, GPT-SS was able to generate synthetic data without anomalies but encountered problems with high similarity among the generated data. Additionally, the evaluation of sentiment classification showed that GPT-FT achieved higher performance compared to GPT-SS. Conclusively, this dissertation demonstrated that synthetic data augmentation using GPT-3 can significantly improve sentiment analysis performance by addressing the imbalance in class distribution. The proposed methods, GPT-FT and GPT-SS, not only contributed to the field of sentiment analysis by providing more balanced datasets but also by offering insights into the effective generation and evaluation of synthetic data. The study suggests further research into more sophisticated anomaly detection and data similarity management techniques to enhance the quality of synthetic data. Overall, the research establishes a foundational approach for using advanced language models like GPT-3 to tackle prevalent issues in sentiment analysis and opens new avenues for exploring the application of synthetic data in other areas of text analytics.

번역하기

국문 초록 (Abstract)

감정 분석 분야에서, 데이터의 불균형은 특히 사용자 생성 콘텐츠의 경우, 정확한 분류 성능을 달성하는 데 중대한 도전이 되었다. 일반적으로 대부분의 감정 분석 데이터셋은 인기 있는 감정을 과대표현하는 경향이 있으며 소수 감정은 상대적으로 부족하게 표현되어, 다수 클래스에 대해서는 잘 작동하지만 소수 클래스에 대해서는 성능이 떨어지는 분류기를 만들게 된다. 이러한 불균형을 해결하기 위한 이전의 접근법들, 예를 들어 합성 데이터 생성을 위한 생성적 적대 신경망(GANs)의 사용은 잠재력을 보였지만 한계도 있음을 나타내며, 더 발전된 효과적인 방법이 필요함을 시사했다. 이논문은 GPT-3 모델을 활용하여 이러한 도전을 극복하는 혁신적인 접근법을 소개한다. GPT-3는 다양한 애플리케이션에서 인간과 같은 텍스트를 생성할 수 있는 탁월한 능력으로 알려진 최신 언어 모델이다. 깊은 학습 능력과 다양한 데이터에 대한 광범위한 훈련을 통해 인정받은 GPT-3는 감정 클래스를 효과적으로 균형 잡히게 할 수 있는 합성 데이터를 생성하는 유망한 해결책을 제공하였다. 이 연구는 두 가지 주요 목표에 중점을 두었다. 첫째, 불균형 감정 분석 시나리오에서 훈련 데이터셋을 균형잡히게 하기 위해 GPT-3 모델을 미세 조정하는 방법(GPT-FT)과 문장별 생성 기술(GPT-SS)을 사용하여 양질의 합성 데이터를 생성하는 것이다. 둘째, GloVe 임베딩을 특징 추출에 사용하면서 RNN, CNN, LSTM, BiLSTM, GRU 등 고급 딥러닝 모델을 사용하여 균형 잡힌 데이터셋으로 감정 분류 성능을 향상시키는 것이다. 이 연구에서 사용한 방법론은 교육 감정 분석에서 사용자 생성 콘텐츠의 널리 알려진 출처인 Coursera 리뷰 데이터셋 내 소수 클래스의 특정 요구를 해결하기 위해 GPT-3 모델을 사용하여 합성 데이터를 생성하는 것을 포함했다. 이 합성 데이터는 그 후 신규성, 다양성 및 일관성을 기준으로 그 품질이 평가되었다. 결과는 GPT-FT와 GPT-SS 방법 모두 분류 성능을 향상시키는 데 효과적이었지만, GPT-FT가 더욱 새롭고 다양한 합성 데이터를 생성하는 능력이 더 뛰어났음을 보여주었다. 그러나 때때로 이상 데이터 생성과 같은 문제도 발생하여 추가 개선이 필요한 영역을 강조했다. 반면에 GPT-SS는 이상 데이터 없이 합성 데이터를 생성할 수 있었지만 생성된 데이터 간에 높은 유사성을 보이는 문제가 있었다. 또한 감정 분류 평가는 GPT-FT가 GPT-SS에 비해 더 높은 성능을 달성했음을 보여주었다. 결론적으로, 이 논문은 GPT-3를 사용한 합성 데이터 증강이 클래스 분포의 불균형을 해결함으로써 감정 분석 성능을 크게 향상시킬 수 있음을 입증했다. 제안된 방법들, GPT-FT 및 GPT-SS는 감정 분석 분야에 더 균형 잡힌 데이터셋을 제공함으로써 기여할 뿐만 아니라, 합성 데이터의 효과적인 생성 및 평가에 대한 통찰을 제공한다. 연구는 합성 데이터의 품질을 향상시키기 위해 더 정교한 이상 감지 및 데이터 유사성 관리 기술에 대한 추가 연구를 제안한다. 전반적으로, 이 연구는 감정 분석에서 널리 있는 문제를 해결하기 위해 GPT-3와 같은 고급 언어 모델을 사용하는 기초적인 접근 방식을 확립하고, 다른 텍스트 분석 분야에서 합성 데이터의 활용을 탐구할 새로운 길을 열었다.

번역하기

감정 분석 분야에서, 데이터의 불균형은 특히 사용자 생성 콘텐츠의 경우, 정확한 분류 성능을 달성하는 데 중대한 도전이 되었다. 일반적으로 대부분의 감정 분석 데이터셋은 인기 있는 감...

목차 (Table of Contents)

I.Introduction 1
A.Background 1
B.Problem Formulation 3
C.Research Objective 4
D.Organization 5

I.Introduction 1
A.Background 1
B.Problem Formulation 3
C.Research Objective 4
D.Organization 5
II.Related Works 6
A.Text Generation 6
B.Imbalanced Sentiment Analysis 8
III.Sentiment Analysis with GPT-3 based Synthetic Data Generation 10
A.Imbalanced Dataset of Coursera Review 10
B.The Proposed Approach for Enhancing ImbalancedSentiment Analysis 11
1.GPT-FT: Fine-tuning GPT-3 based Synthetic Data Generation 13
2.GPT-SS: GPT-3 Sentence-by-Sentence Synthetic DataGeneration 23
C.Sentiment Classification using Deep Learning Models 31
IV.Evaluation of The Proposed Approach 39
A.The Evaluation of GPT-FT for Coursera Review Dataset 39
1.GPT-FT Generated Synthetic Data 39
2.Evaluation of GPT-FT Generated Synthetic Data 40
B.The evaluation of GPT-SS for Coursera Review Dataset 46
1.GPT-SS Generated Synthetic Data 46
2.Evaluation of GPT-SS Generated Synthetic Data 49
C.The Evaluation of Sentiment Classification 57
1.Distribution of Dataset for Sentiment Classification 57
2.Sentiment Classification Results 59
D.Discussion: GPT-FT and GPT-SS Comparison 63
V.Conclusion and Future Work 70
Bibliography 74
Abstract (in Korean) 83

참고문헌 (Reference)

1. Attention Is All You Need., A. Vaswani et al., arXiv 2023 AccessedOnline Available http//arxiv org/abs/1706.03762, , 2024

2. Language Models are Few-Shot Learners., T. B. Brown et al., arXiv Jul. 22,2020 AccessedOnline Availablehttp//arxiv org/abs/2005.14165, , 2024

3. Can GPT-3 Pass a Writer’s Turing Test?, J. Chun, K. Elkins and, vol. 5, no. 2, doi10.22148/001c.17212, , 2020

4. Not Enough Data? Deep Learning to the Rescue, A. Anaby-Tavor et al., arXiv Accessed 2024Online Availablehttp//arxiv org/abs/1911.03118, , 2019

5. The class imbalance problemA systematic study1, N. Japkowicz and, S. Stephen, Intell. Data Anal., vol. 6, no. 5, pp. 429–449, doi10.3233/IDA-2002-6504, , 2002

6. GPT-3Its Nature, Scope, Limits, andConsequences, M. Chiriatti, L. Floridi and, Minds Mach., vol. 30, no. 4, pp. 681–694, doi:10.1007/s11023-020-09548-1, , 2020

7. Data Imbalance Problem in Text Classification,in, G. Sun and, Y. Li, Y. Zhu, 2010 Third International Symposium on Information Processing, Qingdao,Shandong, ChinaIEEE, pp. 301–305. doi10.1109/ISIP.2010.47, , 2010

8. The surveyText generation models in deeplearning, T. Iqbal and, S. Qureshi, vol. 34, no. 6, pp. 2515–2528, doi10.1016/j. jksuci.2020.04.001, , 2022

9. 53 Aaron Courville - Deep Learningpre-pub version, Yoshua Bengio, Ian Goodfellow, -MIT Press pdf, , 2016

10. Dealing with Data Imbalance in TextClassification, C. Padurariu and, M. E. Breaban, vol. 159, pp. 736–745, doi:10.1016/j. procs.2019.09.229, , 2019