KoBERT와 KoGPT2 기반의 대형언어모델과 딥러닝을 통합한 리뷰 유용성 예측모형

김은미,남승진,김태이,홍태호 한국지능정보시스템학회 2024 지능정보연구 Vol.30 No.2

AI 기술이 산업 전반에서 광범위하게 적용되면서 텍스트 데이터 기반의 대형언어모델이 높은 관심을 받고 있다. 대형 언어모델은 번역, 챗봇, 콘텐츠 생성 등과 같은 자연어 처리 분야에서 활발히 연구되고 있으며, 이커머스 분야에서도 고객 데이터 분석을 위해 사용되고 있다. 제품 및 서비스에 대한 사용 경험을 기반으로 사용자가 직접 작성하는 온라인 리뷰는 고객분석을 위한 중요한 자료이며, 대형언어모델의 활용은 텍스트로 작성되어 있는 리뷰 데이터의 의미 파악을 보다 정확 하게 할 수 있도록 한다. 본 연구는 SVM, 1D-CNN, 2D-CNN, CNN-LSTM의 딥러닝 모델과 대형 언어 모델인 KoBERT 와 KoGPT2로 리뷰 유용성 예측모형을 구축하고, 이를 통합하여 텍스트 내의 복잡한 의미가 반영된 리뷰 유용성 예측모 형을 제안한다. 구글 지도의 리뷰 데이터를 활용하였으며, 딥러닝 기법에서는 CNN-LSTM의 예측 성과가 72.74%로 가장 우수한 것으로 나타났다. KoBERT와 KoGPT2의 대형언어모델은 73.22%와 75.74%로 기존의 머신러닝 기법의 예측 모델 보다 대형언어모델을 기반으로 한 예측 모형이 우수한 성능을 보였다. 본 연구에서 제안한 딥러닝 기법과 대형 언어 모델을 통합한 통합모형에서는 76.37%의 정확도로 예측성과를 향상시켰으며, 통합모형은 텍스트의 의미를 보다 정확하게 반영하고, 예측성과를 향상시키며 예측모형의 안정성을 높일 수 있다. As AI technology is widely applied across industries, text data-based large language models are gaining significant attention. Large language models are actively researched in natural language processing fields such as translation, chatbots, and content creation, and are also used for customer data analysis in e-commerce. Online reviews, which are written directly by customers based on their experiences with products and services, are crucial for customer analysis, and leveraging large language models can help better understand the meanings embedded in these text reviews. This study proposes a review helpfulness prediction model by integrating deep learning models such as SVM, 1D-CNN, 2D-CNN, CNN-LSTM, and large language models KoBERT and KoGPT2, thereby reflecting the complex semantics within the text. Experiment results indicate that the CNN-LSTM model showed the best prediction performance at 72.74%. The large language models KoBERT and KoGPT2 achieved 73.22% and 75.74%, respectively, showing that prediction models based on large language models performed better than traditional machine learning models. The integrated model, combining the deep learning techniques and large language models proposed in this study, improved prediction performance with an accuracy of 76.37%, indicating that the integrated model can more accurately reflect the text’s meaning, enhance prediction performance, and improve model stability.

KoGPT-2 언어 모델을 이용한 유아의 감정에 따른 동화 생성 시스템 설계

김현지(Hyeonji Kim),오유수(Yoosoo Oh) 한국HCI학회 2024 한국HCI학회 학술대회 Vol.2024 No.1

동화는 시공간적 제약을 많이 받는 유아들에게 간접적 삶의 경험을 제공한다. 간접적 삶의 경험은 유아들의 정서 발달에 영향을 끼친다. 본 논문은 유아들을 위한 동화 생성 시스템을 제안한다. 본 논문은 KoGPT-2 언어 모델을 적용하여 동화를 생성하고 영상 인식과 자연어 인식 모델을 적용하여 유아들의 감정을 분석한다. 제안된 시스템은 이미지 기반 영상처리와 언어기반 자연어처리를 통해 감정을 분석한다. 이미지 기반 감정 분석 모듈은 카메라를 통해 유아들의 표정 이미지를 수집하고 CNN+STN(Convolution Neural Network + Spatial Transformer Network) 구축하여 유아 표정 이미지에 대한 감정을 분석한다. 언어기반 감정 분석 모듈은 마이크를 통해 입력된 음성 데이터를 STT(Speech-To-Text)를 통해 변환하여 수집하고 KoBERT 언어 모델을 적용한 후 언어에서 획득 가능한 감정을 분석한다. 제안된 시스템은 이미지와 언어기반 감정 분석 모델을 융합하여 도출된 감정 결과를 기반으로 Fine-Tuning 한 KoGPT-2 언어 모델을 사용하여 동화를 생성한다. 생성된 동화는 TTS(Text-To-Speech)로 유아들에게 음성으로 들려주도록 제공된다.

KoBERT, KoGPT-2, KoBART 활용 및 하이퍼파라미터 최적화를 진행한 리뷰 감성분석 애플리케이션 구현

이민아,박연지,나준영,손채봉 한국디지털콘텐츠학회 2023 한국디지털콘텐츠학회논문지 Vol.24 No.11

User reviews and ratings available on application distribution platforms have a significant impact on the number of downloads an application receives, so developers rely on reviews to get feedback from users and update their applications. However, it is inconvenient to read all the reviews to know what users want. To improve this, we want to analyze the review dataset and show the results to developers. After cleaning the dataset, we proceeded to fine-tune the model by changing the hyperparameters. We created an initial dataset by crawling KakaoTalk and Instagram reviews, and conducted sentiment analysis using KoBERT, KoGPT-2, and KoBART models. We retrained each model with the purified dataset and changed the hyperparameters of the models to improve the learning. While the accuracy of sentiment analysis with the initial data was about 74%, we can see that the accuracy increased by about 15% to about 89% after data purification and model hyperparameter correction. We then developed an application to select and reference reviews using the model with the highest sentiment analysis performance. By using this application, we hope to help developers upgrade to improve user satisfaction.

사용자 의도 인식을 위한 KoGPT2기반 SSVEP를 활용한 Mind Sentencer 시스템

오성택(Seong-Taek Oh),서태웅(Tae-Woong Seo),박승민(Seung-Min Park) 한국전자통신학회 2024 한국전자통신학회 논문지 Vol.19 No.6

뇌-컴퓨터 인터페이스(BCI)는 언어 장애가 있는 개인을 돕는 데 유망한 결과를 보여왔다. Mind Speller라는 BCI 시스템은 사용자 의도 인식 기술을 평가하는 동시에 언어 능력을 상실한 사람들을 돕는 데 사용되어 왔다. 본 연구는 Mind Speller를 대규모 언어 모델(LLM) 기술과 통합하여 그 성능을 개선하는 방법을 제안한다. SSVEP 기반 Mind Speller와 한국어 언어 모델 KoGPT-2를 결합함으로써, 기존 Mind Speller에 비해 타이핑 속도를 향상시키는 것을 목표로 한다. 이 연구는 언어 능력을 상실한 개인들에게 실질적인 도움을 제공하고자 하였으며, 언어 장애가 있는 사람들에게 더 효율적이고 정확한 의사소통 도구를 제공할 수 있는 가능성을 모색한다. 본 논문에서 제안한 Mind Sentencer는 기존 Mind Speller보다 67% 향상된 문장 생성속도를 보인다. Brain-computer interfaces (BCIs) have shown promising results in assisting individuals with speech impairments. A BCI system called Mind Speller has been used to evaluate user intention recognition skills while also helping people with speech impairment. This study proposes a method to integrate Mind Speller with Large Language Model (LLM) techniques to improve its performance. By combining SSVEP-based Mind Speller with Korean language model KoGPT-2, we aim to improve typing speed compared to conventional Mind Speller. This study sought to provide practical assistance to individuals with speech impairment and seeks the possibility to provide more efficient and accurate communication tools to people with speech impairment. The Mind Sentencer proposed in this paper shows 67% improvement in sentence generation speed over the conventional Mind Speller.

딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류 - KoBERT와 KoGPT2를 중심으로 -

조희련,이유미,임현열,차준우,이찬규 국제한국언어문화학회 2021 한국언어문화학 Vol.18 No.1

부정적 감정 완화를 위한 BERGPT-chatbot

송윤경(Yun-Gyeong Song),정경민(Kyung-Min Jung),이현(Hyun Lee) 한국컴퓨터정보학회 2021 한국컴퓨터정보학회논문지 Vol.26 No.12

In this paper, we propose a BERGPT-chatbot, a domestic AI chatbot that can alleviate negative emotions based on text input such as ‘Replika’. We made BERGPT-chatbot into a chatbot capable of mitigating negative emotions by pipelined two models, KR-BERT and KoGPT2-chatbot. We applied a creative method of giving emotions to unrefined everyday datasets through KR-BERT, and learning additional datasets through KoGPT2-chatbot. The development background of BERGPT-chatbot is as follows. Currently, the number of people with depression is increasing all over the world. This phenomenon is emerging as a more serious problem due to COVID-19, which causes people to increase long-term indoor living or limit interpersonal relationships. Overseas artificial intelligence chatbots aimed at relieving negative emotions or taking care of mental health care, have increased in use due to the pandemic. In Korea, Psychological diagnosis chatbots similar to those of overseas cases are being operated. However, as the domestic chatbot is a system that outputs a button-based answer rather than a text input-based answer, when compared to overseas chatbots, domestic chatbots remain at a low level of diagnosing human psychology. Therefore, we proposed a chatbot that helps mitigating negative emotions through BERGPT-chatbot. Finally, we compared BERGPT-chatbot and KoGPT2-chatbot through ‘Perplexity’, an internal evaluation metric for evaluating language models, and showed the superity of BERGPT-chatbot.

KoGPT2를 이용한 쇼핑몰 리뷰 생성기

박규현(Gyu-Hyeon Park),권희연(Hee-Yun Kwon) 한국컴퓨터정보학회 2022 한국컴퓨터정보학회 학술발표논문집 Vol.30 No.1

이미지 캡션 및 재귀호출을 통한 스토리 생성 방법

전이슬,조동하,문미경 한국융합신호처리학회 2023 융합신호처리학회 논문지 (JISPS) Vol.24 No.1

The development of technology has achieved digital innovation throughout the media industry, including production techniques and editing technologies, and has brought diversity in the form of consumer viewing through the OTT service and streaming era. The convergence of big data and deep learning networks automatically generated text in format such as news articles, novels, and scripts, but there were insufficient studies that reflected the author's intention and generated story with contextually smooth. In this paper, we describe the flow of pictures in the storyboard with image caption generation techniques, and the automatic generation of story-tailored scenarios through language models. Image caption using CNN and Attention Mechanism, we generate sentences describing pictures on the storyboard, and input the generated sentences into the artificial intelligence natural language processing model KoGPT-2 in order to automatically generate scenarios that meet the planning intention. Through this paper, the author's intention and story customized scenarios are created in large quantities to alleviate the pain of content creation, and artificial intelligence participates in the overall process of digital content production to activate media intelligence.

다중 감정 분류 기반 감정 문장 생성을 이용한 챗봇 일기 서비스

조동우(Dongwoo Joe),연효진(Hyojin Yeon),김준호(Junho Kim),양예원(Yewon Yang),류덕산(Duksan Ryu),유철중(Chuljung Yoo) 한국정보기술학회 2023 Proceedings of KIIT Conference Vol.2023 No.6

LLM을 활용한 정밀금속가공 공정 암묵지, 가이드 챗봇에 관한 연구

장성수(Seongsu Jhang) 한국정보기술학회 2024 Proceedings of KIIT Conference Vol.2024 No.5