KoBERT를 이용한 기업관련 신문기사 감성 분류 연구7)

현지원,이준일,조현권 한국회계학회 2022 회계학연구 Vol.47 No.4

This study explores the accuracy level of the sentiment analysis of news article sentences from Korean newspaper, using KoBERT which is a modified version of BERT developed by Google. For comparison, we use MBERT which is the multilingual version of BERT, Google Sentiment Analysis provided through Google API, and dictionary based approach. This paper finds that the accuracy level of the sentiment classification based on KoBERT is the highest at 85.7%, achieving a significantly higher level of accuracy compared to the other three models. MBERT shows the next highest accuracy level at 77.5% and the other two models provide even lower accuracy rate. We further investigate whether the sentiment classification results obtained from these four models could predict future stock return. Using cumulative future stock returns for 3 or 5 days after the news on corporation publishes, we find that the sentiment score based on the sentiment classification from the KoBERT model predicts future return better than the other three models. Overall, these findings would serve as a reference for conducting further studies related to sentiment analysis on accounting and financial text. 이 연구에서는 Google에서 개발한 BERT에 기반한 KoBERT 모형을 사용하여 한국 신문기사의 감성분석 정확도를 테스트하였다. 비교를 위해, Google에서 다국어용으로 제시한 MBERT, Google에서 API를 통해 제공하는 Google Sentiment Analysis, 그리고 사전적 접근법 을 통한 감성분석 결과를 사용하였다. 감성분석 학습 결과, KoBERT를 사용한 경우가 85.7%의 정확도를 보여, 여타 모형의 정확도에 비해 상당히 높은 수준의 정확도를 달성하는 것을 확인하였다. 다른 모형의 경우, MBERT가 77.3%의 정확도로 KoBERT에 비해 상당히 낮은 결과를 보였으며 Google Sentiment Analysis와 사전적 접근법은 더욱 낮은 정확도를 보였다. 감성분석 결과가 실질적으로 의미있는 유용한 정보를 제공하는지 확인하기 위하여 뉴스가 나온 날짜를 기준으로 3일 후, 그리고 5일 후까지 주가수익률을 종속변수로 하여 회귀분석한 결과, KoBERT를 사용한 결과가 다른 결과에 비해 미래 수익률을 더욱 잘 예측하는 것을 발견하였다. 이와 같은 결과는 추후 회계⋅재무 분야의 텍스트에 대한 감성분석을 이용한 다양한 연구를 수행하는 데 참고가 될 것으로 기대한다.

한국어 반어 표현 탐지기

방승주,박요한,김지은,이공주 한국정보처리학회 2024 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.13 No.3

자연어 처리 분야에서 반어 및 비꼼 탐지의 중요성이 커지고 있음에도 불구하고, 한국어에 관한 연구는 다른 언어들에 비해 상대적으로 많이부족한 편이다. 본 연구는 한국어 텍스트에서의 반어 탐지를 위해 다양한 모델을 실험하는 것을 목적으로 한다. 본 연구는 BERT기반 모델인 KoBERT와 ChatGPT를 사용하여 반어 탐지 실험을 수행하였다. KoBERT의 경우, 감성 데이터를 추가 학습하는 두 가지 방법(전이 학습, 멀티태스크 학습)을적용하였다. 또한 ChatGPT의 경우, Few-Shot Learning기법을 적용하여 프롬프트에 입력되는 예시 문장의 개수를 증가시켜 실험하였다. 실험을수행한 결과, 감성 데이터를 추가학습한 전이 학습 모델과 멀티태스크 학습 모델이 감성 데이터를 추가 학습하지 않은 기본 모델보다 우수한 성능을보였다. 한편, ChatGPT는 KoBERT에 비해 현저히 낮은 성능을 나타내었으며, 입력 예시 문장의 개수를 증가시켜도 뚜렷한 성능 향상이 이루어지지않았다. 종합적으로, 본 연구는 KoBERT를 기반으로 한 모델이 ChatGPT보다 반어 탐지에 더 적합하다는 결론을 도출했으며, 감성 데이터의 추가학습이 반어 탐지 성능 향상에 기여할 수 있는 가능성을 제시하였다. Despite the increasing importance of irony and sarcasm detection in the field of natural language processing, research on the Koreanlanguage is relatively scarce compared to other languages. This study aims to experiment with various models for irony detection inKorean text. The study conducted irony detection experiments using KoBERT, a BERT-based model, and ChatGPT. For KoBERT, twomethods of additional training on sentiment data were applied (Transfer Learning and MultiTask Learning). Additionally, for ChatGPT,the Few-Shot Learning technique was applied by increasing the number of example sentences entered as prompts. The results of theexperiments showed that the Transfer Learning and MultiTask Learning models, which were trained with additional sentiment data,outperformed the baseline model without additional sentiment data. On the other hand, ChatGPT exhibited significantly lower performancecompared to KoBERT, and increasing the number of example sentences did not lead to a noticeable improvement in performance. Inconclusion, this study suggests that a model based on KoBERT is more suitable for irony detection than ChatG

미디어 텍스트 분석 기반의 공급망 리스크 모니터링 시스템의 개발

최동엽,서용원 한국생산관리학회 2023 한국생산관리학회지 Vol.34 No.4

오늘날의 기업들은 무역 갈등의 심화, 전염병, 경기 침체, 전쟁 및 각종 자연재해 등으로 인한 공급망 리스크에 노출되어 있다. 이러한 배경에서 공급망 리스크와 관련된 정보를 수집하고 동향을 파악하는 것의 중요성이 증대되고 있으며, 뉴스 기사와 같이 실시간으로 발생하는 미디어 텍스트를 분석하는 것은 공급망 리스크와 관련된 최신 정보를 빠르게 수집하는 유용한 방법으로 대두되고 있다. 하지만, 공급망 리스크와 관련된 텍스트를 분석하는 연구는 초기 단계이며, 최근 활용도가 증가하는 딥러닝 기반의 자연어 처리 기법을 적용한 텍스트 분석은 미비한 상황이다. 이에 본 연구에서는 뉴스 기사 분석을 활용하여 공급망 리스크와 관련된 정보를 수집, 도출하는 인공지능 기반의 공급망 리스크 모니터링 시스템을 개발한다. 이를 위해 사전 학습 언어모델인 KoBERT에 기반해 공급망 리스크 관련 기사만을 수집하는 필터링 모델을 수립하고, 수집된 기사의 공급망 리스크 유형을 LDA 토픽 모델링 기반으로 식별하여 학습 데이터를 구축하였다. 이후, BOW(Bag of Words)와 KoBERT를 사용한 딥러닝 기반의 공급망 리스크 분류 모델을 개발하여 수집된 기사의 공급망 리스크 유형을 예측하였다. 분석 결과, KoBERT 기반의 공급망 리스크 관련 기사의 필터링 정확도가 92.2%의 높은 성능을 보이는 것으로 나타났으며, 리스크 유형 분류 모델에서도 KoBERT 기반의 공급망 리스크 유형 분류 모델이 BOW 기반 모델에 비해 높은 분류 성능을 보이는 것을 확인하였다. Recently, companies are exposed to various supply chain risks such as intensified trade conflicts, epidemics, economic and geopolitical uncertainties, and natural disasters. Thus there is increasing importance in monitoring information related to supply chain risks. Analyzing real-time media texts, such as news articles, can be utilized for monitoring up-to-date information supply chain risks. However, researches regarding analyzing supply chain risk related text are in early stages, and researches to apply modern AI techniques such as deep learning-based natural language processing to supply chain risk texts are scarce. This study aims to develop a supply chain risk monitoring system that monitors and extracts information related to supply chain risks by analyzing news articles. To collect supply chain risk related articles a filtering model based on KoBERT is developed, of which risk types are identified based on LDA topic modeling to be utilized as the train data. To predict news articles’ risk types, two deep learning- based risk classification models are developed using BOW(Bag of Words) and KoBERT. The results showed high accuracy of KoBERT based model in filtering supply chain risk-related articles, and in the classification of supply chain risk types also KoBERT based model showed better performance than BOW based model.

딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류 - KoBERT와 KoGPT2를 중심으로 -

조희련,이유미,임현열,차준우,이찬규 국제한국언어문화학회 2021 한국언어문화학 Vol.18 No.1

이 연구에서는 '한국어 딥러닝 모델'이 '한국어 학습자의 쓰기 자료에 대한 한국어 교사의 평가 점수'를 어느 정도 유사하게 예측할 수 있는지 살펴보았다. 구체적으로 이 연구에서는 304편의 한국어 쓰기 자료와 각각에 대한 평가 점수를 KoBERT와 KoGPT2로 학습시킨 후 그것이 인간 채점자(한국어 교사)의 평가 점수를 어느 정도 유사하게 예측하는지 실험하였다. 학습 데이터는 주제에 따라 '직업'과 '행복'으로 구분하였고, 점수에 따라 4종 레이블을 부착하였다. 7겹 교차 검증을 통한 실험 결과, KoBERT에서는 '직업' 데이터에서 48.8%, '행복' 데이터에서 65.2%의 분류 정확도를 나타냈다. KoGPT2에서는 같은 데이터에 대해 각각 50.6%와 58.9%의 분류 정확도를 나타냈다. 더불어, 모든 주제를 통합한 데이터에서는 KoBERT와 KoGPT2에 대해 각각 54.5%와 46.5%의 분류 정확도를 확인할 수 있었다. 이 연구를 통해 한국어 쓰기 자료에 대한 자동 채점 시스템의 가능성을 확인할 수 있었다. 향후 GPT-3의 한국어 모델이 개발되는 등의 기술 발전이 이루어진다면, 이 연구에서 시도한 한국어 자동 채점 시스템도 충분히 가능할 것으로 기대한다. Automatic Score Range Classification of Korean Essays Using Deep Learning-based Korean Language Models-The Case of KoBERT & KoGPT2-. We investigate the performance of deep learning-based Korean language models on a task of automatically classifying Korean essays written by foreign students. We construct an experimental data set containing a total of 304 essays, which include essays discussing the criteria for choosing a job (‘job’), conditions of a happy life (‘happiness’), relationship between money and happiness, and definition of success. These essays were divided into four scoring levels, and using this 4-class data set, we fine-tuned two Korean deep learning-based language models, namely, KoBERT and KoGPT2, to use them in the automatic essay classification experiment. The 7-fold cross validation classification accuracies of ‘job’ and ‘happiness’ essays were 48.8% and 65.2% respectively for KoBERT, and 50.6% and 58.9% respectively for KoGPT2. Furthermore, the 7-fold cross validation classification accuracies of the integrated dataset that combined all essays were 54.5% and 46.5% for KoBERT and KoGPT2 respectively.

계층적 KoBERT를 활용한 SNS 문맥 기반 이모티콘 추천

김지현,김예림,변혜원 한국디지털콘텐츠학회 2023 한국디지털콘텐츠학회논문지 Vol.24 No.6

Emoji recommendation is an important task that assists users in finding appropriate emojis from thousands of candidates. Existing methods primarily focus on popular emojis related to user emotions in chat platforms. However, on SNS platforms, such as Instagram, emojis are often used to complement or emphasize the content of short uploaded posts rather than conveying emotions. This paper proposes a method for recommending emojis in Korean language posts on SNS platforms by understanding the context of the posts. We apply a hierarchical KoBERT model to capture the context of Korean posts and recommend a diverse range of emojis suitable for the content. We considered 616 emojis from 314 emoji categories for accurately conveying the context of SNS posts. We constructed the real-world dataset by collecting Instagram posts and developed the hierarchical KoBERT model to learn the hierarchical categories of emojis embedded within the texts. Experimental results validate the superior performance of the hierarchical KoBERT model in emoticon recommendation compared to DNN, LSTM, Bi-LSTM, and GRU models. 이모티콘 추천은 수천 개의 이모티콘들 중에서 사용자가 원하는 적절한 이모티콘을 용이하게 찾도록 도와주는 중요한 태스크이다. 기존의 이모티콘 추천 방법들은 채팅 플랫폼을 대상으로 하며 사용자들이 많이 사용하는 감정 이모티콘 위주로 추천한다. 그러나 인스타그램 등 SNS 플랫폼에서는 감정 전달보다는 업로드한 짧은 게시글의 내용을 보완하거나 강조하는 용도로 이모티콘을 사용하는 경향이 있다. 이 연구에서는 SNS 플랫폼에서 한국어 게시글의 문맥을 파악하여 이모티콘을 추천하는 새로운 방법론을 제안한다. 이모티콘 추천 문제에 계층적 KoBERT를 도입하여 한국어 게시글의 문맥을 파악하고 이에 적합한 다양한 이모티콘을 추천한다. 314개 이모티콘 카테고리에 속하는 616개의 이모티콘 추천은 SNS 게시글의 함축적인 단문을 보다 정확하게 전달하는데 유용하다. 인스타그램 게시글을 수집하여 실제 세계를 반영하는 데이터셋을 구성하고 각 텍스트에 삽입되어 있는 이모티콘의 계층적 카테고리를 학습하기 위해 계층적 KoBERT 모델을 구축한다. 실험 결과에서 DNN, LSTM, Bi-LSTM, GRU 모델과 비교하여 계층적 KoBERT 모델이 이모티콘 추천에서 높은 성능을 보이는 것을 검증하였다.

한국어 반어 표현 탐지기

방승주 ( Seung Ju Bang ),박요한 ( Yo-han Park ),김지은 ( Jee Eun Kim ),이공주 ( Kong Joo Lee ) 한국정보처리학회 2024 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.13 No.3

자연어 처리 분야에서 반어 및 비꼼 탐지의 중요성이 커지고 있음에도 불구하고, 한국어에 관한 연구는 다른 언어들에 비해 상대적으로 많이 부족한 편이다. 본 연구는 한국어 텍스트에서의 반어 탐지를 위해 다양한 모델을 실험하는 것을 목적으로 한다. 본 연구는 BERT기반 모델인 KoBERT와 ChatGPT를 사용하여 반어 탐지 실험을 수행하였다. KoBERT의 경우, 감성 데이터를 추가 학습하는 두 가지 방법(전이 학습, 멀티태스크 학습)을 적용하였다. 또한 ChatGPT의 경우, Few-Shot Learning기법을 적용하여 프롬프트에 입력되는 예시 문장의 개수를 증가시켜 실험하였다. 실험을 수행한 결과, 감성 데이터를 추가학습한 전이 학습 모델과 멀티태스크 학습 모델이 감성 데이터를 추가 학습하지 않은 기본 모델보다 우수한 성능을 보였다. 한편, ChatGPT는 KoBERT에 비해 현저히 낮은 성능을 나타내었으며, 입력 예시 문장의 개수를 증가시켜도 뚜렷한 성능 향상이 이루어지지 않았다. 종합적으로, 본 연구는 KoBERT를 기반으로 한 모델이 ChatGPT보다 반어 탐지에 더 적합하다는 결론을 도출했으며, 감성 데이터의 추가학습이 반어 탐지 성능 향상에 기여할 수 있는 가능성을 제시하였다. Despite the increasing importance of irony and sarcasm detection in the field of natural language processing, research on the Korean language is relatively scarce compared to other languages. This study aims to experiment with various models for irony detection in Korean text. The study conducted irony detection experiments using KoBERT, a BERT-based model, and ChatGPT. For KoBERT, two methods of additional training on sentiment data were applied (Transfer Learning and MultiTask Learning). Additionally, for ChatGPT, the Few-Shot Learning technique was applied by increasing the number of example sentences entered as prompts. The results of the experiments showed that the Transfer Learning and MultiTask Learning models, which were trained with additional sentiment data, outperformed the baseline model without additional sentiment data. On the other hand, ChatGPT exhibited significantly lower performance compared to KoBERT, and increasing the number of example sentences did not lead to a noticeable improvement in performance. In conclusion, this study suggests that a model based on KoBERT is more suitable for irony detection than ChatGPT, and it highlights the potential contribution of additional training on sentiment data to improve irony detection performance.

한국어 언어 모델을 활용한 보이스피싱 탐지 기능 개선

밀란두,박동주 한국정보처리학회 2022 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.11 No.10

Text classification task from Natural Language Processing (NLP) combined with state-of-the-art (SOTA) Machine Learning (ML) andDeep Learning (DL) algorithms as the core engine is widely used to detect and classify voice phishing call transcripts. While numerousstudies on the classification of voice phishing call transcripts are being conducted and demonstrated good performances, with the increaseof non-face-to-face financial transactions, there is still the need for improvement using the latest NLP technologies. This paper conductsa benchmarking of Korean voice phishing detection performances of the pre-trained Korean language model KoBERT, against multipleother SOTA algorithms based on the classification of related transcripts from the labeled Korean voice phishing dataset called KorCCVi. The results of the experiments reveal that the classification accuracy on a test set of the KoBERT model outperforms the performancesof all other models with an accuracy score of 99.60%. 보이스피싱 통화 내용을 탐지하고 분류하는데 핵심 엔진으로 최신 머신러닝(ML) 및 딥러닝(DL) 알고리즘과 결합된 자연어 처리(NLP)의 텍스트분류 작업이 널리 사용된다. 비대면 금융거래의 증가와 더불어 보이스피싱 통화 내용 분류에 대한 많은 연구가 진행되고 양호한 성과를 보이고있지만, 최신 NLP 기술을 활용한 성능 개선의 필요성이 여전히 존재한다. 본 논문은 KorCCVi라는 레이블이 지정된 한국 보이스 피싱 데이터의텍스트 분류를 기반으로 여러 다른 최신 알고리즘과 비교하여 사전 훈련된 한국어 모델 KoBERT의 한국 보이스 피싱 탐지 성능을 벤치마킹한다. 실험 결과에 따르면 KoBERT 모델의 테스트 집합에서 분류 정확도가 99.60%로 다른 모든 모델의 성능을 능가한다.

KoBERT, KoGPT-2, KoBART 활용 및 하이퍼파라미터 최적화를 진행한 리뷰 감성분석 애플리케이션 구현

이민아,박연지,나준영,손채봉 한국디지털콘텐츠학회 2023 한국디지털콘텐츠학회논문지 Vol.24 No.11

응용 프로그램 배포 플랫폼에서 제공되는 사용자 리뷰와 별점은 애플리케이션의 다운로드 횟수에 큰 영향을 미치기 때문에, 개발자들은 리뷰를 통해 사용자들의 피드백을 받아들이고 애플리케이션을 업데이트한다. 그러나 사용자가 원하는 것을 알기 위해서는 리뷰를 모두 읽어야만 하는 불편함이 있다. 이를 개선하기 위해 리뷰 데이터셋을 분석하고, 그 결과를 개발자에게 보여주려고 한다. 데이터셋을 정제한 후, 모델의 하이퍼파라미터 변경을 통한 파인튜닝을 진행하였다. 카카오톡과 인스타그램 리뷰를 크롤링해 초기 데이터셋을 생성하고, KoBERT와 KoGPT-2, KoBART 모델을 사용한 감성분석을 진행하였다. 정제한 데이터셋으로 각 모델 별 재학습을 진행해 보았고, 모델의 하이퍼파라미터를 변경해보며 학습을 진행하였다. 초기 데이터로 진행한 감성분석의 정확도가 약 74%가 나온 반면, 데이터 정제와 모델의 하이퍼파라미터 보정 후 정확도가 약 89%로 약 15% 증가함을 볼 수 있다. 그 후 감성분석 성능이 가장 높은 모델을 사용하여 리뷰를 선택해 참고할 수 있게 하고자 애플리케이션을 개발하였다. 해당 애플리케이션을 사용함으로써 개발자가 사용자의 만족도를 높이는 방향으로 업그레이드하도록 도움을 줄 것이라 기대한다. User reviews and ratings available on application distribution platforms have a significant impact on the number of downloads an application receives, so developers rely on reviews to get feedback from users and update their applications. However, it is inconvenient to read all the reviews to know what users want. To improve this, we want to analyze the review dataset and show the results to developers. After cleaning the dataset, we proceeded to fine-tune the model by changing the hyperparameters. We created an initial dataset by crawling KakaoTalk and Instagram reviews, and conducted sentiment analysis using KoBERT, KoGPT-2, and KoBART models. We retrained each model with the purified dataset and changed the hyperparameters of the models to improve the learning. While the accuracy of sentiment analysis with the initial data was about 74%, we can see that the accuracy increased by about 15% to about 89% after data purification and model hyperparameter correction. We then developed an application to select and reference reviews using the model with the highest sentiment analysis performance. By using this application, we hope to help developers upgrade to improve user satisfaction.

KoBert를 이용한 문학 감정분류

김지영,이대국,전수영 고려대학교세종캠퍼스 한국학연구소 2023 한국학연구 Vol.87 No.-

인공지능(AI) 기술을 중심으로 한 과학기술의 비약적인 발전으로 다양한 학문 분야에서 이를 시도하고 있다. 문학 영역에서도 인공지능을 활용해 문학 작품을 분석하고 생성하는 등 다양한 움직임을 보인다. 문학에서 감정은 중요하기 때문에 인공지능 기술이 감정을 어디까지 이해하고 있는지에 대한 확인이 필요하다. 따라서 본 논문에서는 최첨단 인공지능 감정 분석 모델인 KoBERT를 사용하여 한국어 문학 텍스트의 감정을 분류해 본다. 기존의 연구들과는 달리 모델의 성능을 평가하는 것에서 나아가, 감정 분류 결괏값 자체를 분석하고 개선점을 찾으려 한다. 이러한 분석은 향후 문학과 인공지능의 고도화된 융합 과정에서 인공지능이 갖추어야 할 역량을 재고하는 데 좋은 지표가 될 것이다. With AI's rapid advancements, its applications are being explored across various fields. Even AI is used to analyze and create literary works. Due to the importance of emotions in literature, it is necessary to confirm the extent to which AI technology understands emotions. This paper focuses on classifying emotions in Korean literary texts using KoBERT. Our approach not only evaluates the model's performance, but also analyzes the emotion classification results and seeks improvements. This analysis will be helpful in reconsidering the capabilities that AI must have in the future convergence of literature and AI.

KoBERT 기반의 통화내용 분석을 통한 보이스피싱 예방 서비스 개발 및 활용

양지훈(Jihoon Yang),이충훈(Choonghoon Lee),김성백(Seong Baeg Kim) 한국정보과학회 2023 정보과학회 컴퓨팅의 실제 논문지 Vol.29 No.5

보이스피싱(Voice Phishing) 근절을 위한 제도적, 기술적 노력에도 불구하고 지난 10년간 보이스피싱 발생 건수는 계속해서 증가하고 있다. 그 원인은 보이스피싱 수법의 다양화, 지능화, 교묘화 등으로 피해자들이 보이스피싱과 정상적인 통화를 점점 구분하기 어려워지기 때문이다. 보이스피싱을 탐지하기 위한 기법에 대한 연구는 있었지만, 보이스피싱 방지 효과성은 여전히 충분하지 않다. 이에 본 연구에서는 새로운 보이스피싱 예방 기법과 더불어 잠재적 피해자가 될 수 있는 일반인들의 보이스피싱 인지 능력을 제고할 보이스피싱 예방 교육콘텐츠를 제안한다. 딥러닝 기반의 KoBERT를 이용하여 실제 보이스피싱 통화 음성과 일반 통화 음성을 학습한 탐지 모델을 개발하는 한편, 통화내용을 분석하여 보이스피싱 위험도를 평가하고, 보이스피싱 예방 교육콘텐츠와 피해 발생 시 대처 방법을 제공하는 서비스를 개발하였다. 본 연구 개발 서비스는 보이스피싱 탐지와 예방 교육을 효과적으로 가능하게 함으로써 보이스피싱 피해를 줄이는 데 기여할 것으로 기대한다. Despite institutional and technological efforts to eradicate voice phishing, the number of cases of voice phishing has continuously increased over the past decade. This is because it has become increasingly difficult for victims to distinguish between voice phishing and normal calls due to the diversification, intelligence, and sophistication of voice phishing techniques. Although there are studies on techniques to detect voice phishing, the effectiveness of anti-voice phishing effectiveness is still inadequate. Therefore, in this study, along with a novel voice phishing prevention technique, we propose a voice phishing prevention education content that will enhance the voice phishing cognitive ability of the general public who can become potential victims. We have developed a voice phishing detection model that was trained by both the actual voice phishing call voice and the normal voice call voice, using deep learning-based KoBERT. Afterwards, we have developed a service that evaluates the voice phishing risk by analyzing the users call contents and provides voice phishing prevention education content and how to deal with it just in case of damage occurrence. We expect that our research development service will contribute to reducing the damage of voice phishing by enabling effective voice phishing detection and prevention education.