기업의 대형언어 모델(LLM)의 활용 사례 연구

최일호,이웅기,오현식 한국경영정보학회 2024 한국경영정보학회 정기 학술대회 Vol.2024 No.-

인공지능 기술이 빠른 속도로 발전하면서 기업에서는 인공지능 기술을 통하여 업무의 생산성과 효율성을 높이기 위한 시도를 하고 있다. 특히 언어모델은 대형언어모델(LLM)로 발전하면서 다양한 과업을 해결할 수 있게 되었으며 산업내 여러 직무에 활용되고 있다. 본 논문에서는 대형언어 모델(LLM)로 알려진 ChatGPT, Claude3, Llama3 등을 활용한 기능들이 기업내 업무 수행시 활용되는 사례를 알아보고 그 특징을 살펴본다. 이론적으로 기업 조직 내 업무에서 대형 언어 모델을 활용한 연구 동향을 살펴본다. 이를 바탕으로 기업에서의 대형 언어 모델 활용 사례를 수집, 분석한 결과 첫째, 대형 언어 모델은 임직원들에게 업무의 효율성을 높여주는 업무 도우미로서 활용될 수 있다. 둘째, 대형 언어 모델을 업무 자동화에 사용할 경우 기업의 비용 절감에 기여할 수 있다. 마지막으로는 즉각적이고 개인화된 챗봇 서비스를 고객에게 제공함으로써 고객 만족도를 높이는 도구로 활용될 수 있음을 확인할 수 있었다. 본 연구는 OpenAI사의 ChatGPT로 인하여 촉발된 기업들의 대형 언어 모델 적용, 활용에 대한 사례에 대하여 초점을 두고 연구를 진행하며 이를 통하여 기업들이 대형 언어 모델을 활용함에 있어서 성공의 가능성을 판단할 수 있는 기초 자료로 활용될 것을 기대한다.

통계적 모델에 기반을 둔 언어모델 적응에 대한 연구

이선정 한국차세대컴퓨팅학회 2016 한국차세대컴퓨팅학회 논문지 Vol.12 No.6

본 고에서는 MAP(maximum a priori) 추정에 기반을 둔 한국어 언어모델 적응을 제안한다. 먼저 언어모델을 위 한 기본 단위로 통계적 특징을 이용하는 WPM(word-piece model)을 제안한다. 이를 이용한 언어모델 적응 방법 으로 MAP 적응 알고리즘을 제안하였고 언어모델을 적응하지 않을 경우 및 전통적인 동적 주변 적응 방식과 비교하 였다. 성능 실험을 위해서 먼저 9천만 문장을 사용하여 베이스라인 언어 모델을 구했고 동일한 도메인에서 1천만 문장으로 시험한 결과 복잡도가 393.6 ppl(perplexity)을 구할 수 있었다. 베이스라인 언어 모델을 사용하여 SMS 분야로 시험한 결과가 적응 전 673.1 ppl에서 동적 주변적응을 하였을 경우에는 338.2 ppl, MAP 적응 알 고리즘을 사용한 경우에는 282.8 ppl이 되었다. 또한 동영상 강의 문장을 사용할 경우에도 적응 전에는 1340 ppl 을 보였으나 MAP 알고리즘에 의한 언어 적응 후에는 219.7ppl로 나왔다. 결론적으로 한국어에서 WPM을 기본 단위로 사용하고 MAP 언어모델 적응을 한 경우에는 베이스라인 언어모델의 복잡도보다 SMS, 동영상 각각의 도메 인에서 28.2%, 44.2% 감소되었다. In this paper, we propose a Korean language model adaptation based on maximum a priori (MAP) estimation. The word-piece model (WPM) based on the statistical characteristic is proposed to use as basic units for language model. And we have compared our proposed MAP adaption algorithm with dynamic marginal adaptation algorithm for our language model adaption as well as language model without adaptation. For this purpose, we have built a baseline language model using 90 million sentences, which yields the perplexity (ppl) of 393.6 when experimental 10 million sentences are used as test sentences in the same domain. In the domain of short message service (SMS), we get the ppl of 673.1 when the language adaptation is not applied. However we can get the ppl of 282.8 after MAP adaption algorithm, the ppl of 338.2 after dynamic marginal adaption algorithm, respectively. And in the domain of video lecture, we get the same trend of performance, in which the ppl of 1340 before language adaptation reduces to the ppl of 219.7 after MAP language adaptation. In conclusion, MAP language adaptation algorithm yields ppl reduction of 28.2 % in the domain of SMS, 44.2 % in the domain of video lecture, respectively.

한일 언어경관 연구의 현재와 향후 모델에 대한 연구

양민호 동국대학교 일본학연구소 2015 일본학 Vol.40 No.-

A study on the current and future model of the language landscape in Korea and Japan Yang, MinHo (Sungkyul Univ.) The purpose of this research is looking around the problem of language landscape and to find out solution that I've been thought. There are four models of the language landscape is as follows: The first model is standard model that are mentioned previous studies. Of course country or locational difference is existed, but the case of public post or sign in Korea and Japan that has formed as it stop without any adding language, if these are reached a certain standard. The second model has formed that is changing to user centered from supplier centered. you can see this pattern in tourist spot or wrapper of global food companies. The third model has formed that is possible to be added to new language continuously, as time passes. This model is applicable in emergency situation or disaster situation. The last model is a futureoriented patterns. This patterns are reverse pattern that the language is decreasing, but not increasing, any more. We can see this in new opening subway or new buildings are designed to new sensation. In new subways or brand new buildings are expressed by only pictogram that exposed concept very well, instead of decreasing linguistic expression. Through this research, we distinguished the language landscape models. There by, it seem to have substantially helped to many citizen who contact with language landscape everyday. 한일 언어경관 연구의 현재와 향후 모델에 대한 연구 양민호(성결대) 본 논문은 현재까지 본 연구자가 생각하는 언어경관의 문제점과 해결점을 살펴보고, 현재까지 이루어진 선행 연구를 토대로 향후 언어경관 모델을 예측해 보았다. 정리된 언어경관 모델은 다음과 같다. 첫 번째 모델은 기존의 연구에서도 언급된 언어경관의 표준모델이다. 국가나 지역적 차이는 있을 수 있겠지만, 한국과 일본의 공공 게시물의 경우 일정 수의 언어에 도달하게 되면 추가되는 언어 없이 그대로 멈추는 형태이다. 두 번째 모델은 유명 관광지, 글로벌 식품체인의 포장지 등에서 보이는 패턴으로 언어경관의 사용 주체가 업주를 비롯한 공급자 중심에서 물건을 사는 또는 수혜자 입장의 수요자 중심으로 바뀌어가고 있는 형태의 모델이다. 세 번째 모델은 특수 상황이나 재난 시 적용 가능한 패턴이다. 시간의 흐름에 따라 새로운 언어가 추가될 가능성이 있어 열린 언어경관 모델이다. 마지막 모델은 미래지향적 패턴이라고 할 수 있다. 언어가 늘어나지 않고 감소하는 역 패턴이다. 새로 개통된 지하철이나 새로운 감각으로 디자인된 신축 빌딩 등에서는 가능한 한 언어적 표현을 줄이고 있고, 개념이 잘 드러난 픽토그램만으로 표현하고 있는 현상이다. 이와 같이 언어경관 모델을 세분화하는 것이 언어경관을 접하는 시민들에게도 실질적 도움이 되리라 생각한다.

워드 임베딩과 품사 태깅을 이용한 클래스 언어모델 연구

정의석(Euisok Chung),박전규(Jeon-Gue Park) 한국정보과학회 2016 정보과학회 컴퓨팅의 실제 논문지 Vol.22 No.7

음성인식 성능 개선을 위한 언어모델의 기술적 진보는 최근 심층 신경망을 기반으로 한 접근방법으로 한 단계 더 진보한 모양새다. 그러나 연구되고 있는 심층 신경망 기반 언어모델은 대부분 음성인식 이후 리스코링 단계에서 적용할 수 있는 한계를 지닌다. 또한 대규모 어휘에 대한 심층 신경망 접근방법은 아직 시간이 필요하다고 본다. 따라서 본 논문은 심층 신경망 언어 모델의 단순화된 형태인 워드임베딩 기술을 음성인식 후처리가 아닌 기반 N-gram모델에 바로 적용할 수 있는 접근 방법을 찾는다. 클래스 언어모델이 한 접근 방법이 될 수 있는데, 본 연구에서는 워드 임베딩을 우선 구축하고, 해당 어휘별 벡터 정보를 클러스터링하여 클래스 언어모델을 구축 방법을 제시한다. 이를 기존 어휘기반 N-gram 모델에 통합한 후, 언어모델의 성능 개선 여부를 확인한다. 클래스 언어모델의 타당성 검증을 위해 다양한 클래스 개수의 언어모델 실험과 RNN LM과의 비교 결과를 검토한 후, 모든 언어모델의 성능 개선을 보장하는 품사 부착 언어모델 생성 방법을 제안한다. Recurrent neural network based language models (RNN LM) have shown improved results in language model researches. The RNN LMs are limited to post processing sessions, such as the N-best rescoring step of the wFST based speech recognition. However, it has considerable vocabulary problems that require large computing powers for the LM training. In this paper, we try to find the 1st pass N-gram model using word embedding, which is the simplified deep neural network. The class based language model (LM) can be a way to approach to this issue. We have built class based vocabulary through word embedding, by combining the class LM with word N-gram LM to evaluate the performance of LMs. In addition, we propose that part-of-speech (POS) tagging based LM shows an improvement of perplexity in all types of the LM tests.

언어모델은 언어표현을 유연하게 처리하는가? - 재난문자를 활용한 평가 -

이예빈,송상헌 연세대학교 언어정보연구원 2024 언어사실과 관점 Vol.62 No.-

이 연구는 사람이 비적형 문장(non-fully well-formed sentence)을 처리할 때 보이는 유연성(flexibility)을 언어모델에서도 관찰할 수 있는지를 분석하였다. 언어모델이 사람과 같은 수준의 언어 능력을 갖추었는지 평가하기 위해서는 비적형 문장과 같이 유연성을 요구하는 벤치마크의 도입이 필요하다. 이를 위해, 재난문자를 기반으로 적형문과 비적형문 쌍으로 구성된 542개의 데이터세트를 구축하였다. 언어모델의 평가 방식은 이해와 생성의 두 가지 방식으로 진행되었으며, 각각의 과업에 특화된 언어모델을 선정하였다. 이해 실험은 5종의 인코더 기반 언어모델(KLUE-RoBERTa, KoBERT, KR-BERT, mBERT, KoELECTRA)에 자연어 추론(Natural Language Inference) 과업을 적용하였다. 생성 실험은 디코더 기반 언어모델(ChatGPT-4)이 생성한 전보문에 대해 설문조사를 진행하였다. 실험 결과, 인코더 기반 언어모델은 비적형 문장을 처리하는 과정에서 일관되지 않은 결과를 나타냈고 디코더 기반 언어모델이 작성한 전보문은 사람이 작성한 전보문과 큰 차이를 보이지 않았다. This study investigates whether Korean language models can flexibly process non-fully well-formed sentences as they do fully well-formed sentences. For this purpose, we constructed a dataset of well-formed and telegraphic sentence pairs using disaster messages. We conducted two experiments utilizing this data: one with an understanding task on five encoder-based models (KLUE-RoBERTa, KoBERT, KR-BERT, mBERT, KoELECTRA) and the other with a generation task on a decoder-based model (ChatGPT-4). The results of the experiments revealed that language models show inconsistent performance in understanding and exhibit illogical patterns in generation, highlighting a gap between human language competence and language model's performance. Based on these findings, we propose the importance of robustness in language model evaluation methods and emphasize incorporating qualitative assessments to better reflect the complexity of human language. This study suggests that there remain significant challenges for language models to more accurately mimic human understanding and generation.

언어모델과 공공부문 행정혁신: 개념, 접근법 및 고려 사항

박정원,이규민,전대성,최재웅,이창용 고려대학교 정부학연구소 2024 정부학연구 Vol.30 No.1

정부의 비정형 데이터 제공 및 관리 체계가 확립되면서 언어모델을 활용한 공공부문 행정혁신 연구가 주목받고 있다. 하지만 언어모델을 활용할 필요가 있는 실효성 있는 문제의 발굴과 언어모델의 실질적 적용 방법에 대한 논의는 매우 미비한 실정이다. 본 연구는 언어모델에 대한 이해를 높이고 공공부문에서의 활용을 촉진하기 위한 목적으로 언어모델의 개념 및 접근법과 공공부문에서의 활용 사례를 소개하고, 언어모델 활용을 위한 주요 고려 사항을 제시한다. 먼저, 언어모델의 개념 및 접근법과 초거대 언어모델을 중심으로 최근 연구 동향을 설명한다. 다음으로, 과학기술 분야에 초점을 맞춰 공공부문에서의 언어모델 활용 사례를 소개한다. 마지막으로, 언어모델을 활용할 때 고려해야 하는 사항을 품질 제고 및 활용 영역 확장 관점에서 제시한다. 본 연구가 언어모델을 활용한 공공부문 행정혁신 연구에만 국한되는 것이 아니라, 행정학 및 정책학 분야에서 활용하는 텍스트 데이터 분석 방법론의 고도화와 다각화에 기여할 수 있기를 기대한다. With the establishment of a framework for managing unstructured data in the public sector, research on administrative innovation through language models is gaining attention. However, there is a lack of discussion regarding significant problems that necessitate the use of language models, as well as potentially applicable methods. This study aims to bridge this gap by delineating the concept and approaches of language models and presenting key considerations for their deployment in the public sector. Initially, we elucidate the concept and approaches of language models, focusing on recent research trends centered around large language models. Subsequently, we present examples of language model applications in the public sector, with a particular emphasis on the science and technology sectors. Lastly, we explore considerations for their deployment from the perspectives of quality improvement and the expansion of application areas. This study is expected to not only stimulate research on administrative innovation in the public sector through the use of language models, but also enhance and diversify text analysis methods employed in the fields of public administration and policy studies.

프라이버시 보호를 위한 오프사이트 튜닝 기반 언어모델 미세 조정 방법론

정진명,김남규 한국지능정보시스템학회 2023 지능정보연구 Vol.29 No.4

최근 구글의 BERT, OpenAI의 GPT 등, 언어모델(Language Model)을 사용한 비정형 텍스트 데이터에 대한 딥러닝 (Deep Learning) 분석이 다양한 응용에서 괄목할 성과를 나타내고 있다. 대부분의 언어모델은 사전학습 데이터로부터 범용적인 언어정보를 학습하고, 이후 미세 조정(Fine-Tuning) 과정을 통해 다운스트림 태스크(Downstream Task)에 맞추어 갱신되는 방식으로 사용되고 있다. 하지만 최근 이러한 언어모델을 사용하는 과정에서 프라이버시가 침해될 수 있다는 우려가 제기되고 있다. 즉 데이터 소유자가 언어모델의 미세 조정을 수행하기 위해 다량의 데이터를 모델 소유자에게 제공 하는 과정에서 데이터의 프라이버시가 침해될 수 있으며, 반대로 모델 소유자가 모델 전체를 데이터 소유자에게 공개하면 모델의 구조 및 가중치가 공개되어 모델의 프라이버시가 침해될 수 있다는 것이다. 이러한 상황에서 프라이버시를 보호하며 언어모델의 미세 조정을 수행하기 위해 최근 오프사이트 튜닝(Offsite Tuning)의 개념이 제안되었으나, 해당 연구는 제안 방법론을 텍스트 분류 모델에 적용하는 구체적인 방안을 제시하지 못했다는 한계를 갖는다. 이에 본 연구에서는 한글 문서에 대한 다중 분류 미세 조정 수행 시, 모델과 데이터의 프라이버시를 보호하기 위해 분류기를 추가한 오프사이트 튜닝을 적용하는 구체적인 방법을 제시한다. 제안 방법론의 성능을 평가하기 위해 AIHub에서 제공하는 ICT, 전기, 전자, 기계, 그리고 의학 총 5개의 대분야로 구성된 약 20만건의 한글 데이터에 대해 실험을 수행한 결과, 제안하는 플러그인 모델이 제로 샷 모델 및 오프사이트 모델에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인하였다. Recently, Deep learning analysis of unstructured text data using language models, such as Google’s BERT and OpenAI’s GPT has shown remarkable results in various applications. Most language models are used to learn generalized linguistic information from pre-training data and then update their weights for downstream tasks through a fine-tuning process. However, some concerns have been raised that privacy may be violated in the process of using these language models, i.e., data privacy may be violated when data owner provides large amounts of data to the model owner to perform fine-tuning of the language model. Conversely, when the model owner discloses the entire model to the data owner, the structure and weights of the model are disclosed, which may violate the privacy of the model. The concept of offsite tuning has been recently proposed to perform fine-tuning of language models while protecting privacy in such situations. But the study has a limitation that it does not provide a concrete way to apply the proposed methodology to text classification models. In this study, we propose a concrete method to apply offsite tuning with an additional classifier to protect the privacy of the model and data when performing multi-classification fine-tuning on Korean documents. To evaluate the performance of the proposed methodology, we conducted experiments on about 200,000 Korean documents from five major fields, ICT, electrical, electronic, mechanical, and medical, provided by AIHub, and found that the proposed plug-in model outperforms the zero-shot model and the offsite model in terms of classification accuracy.

Cross-Lingual Post-Training (XPT)을 위한 한국어 및 다국어 언어모델 연구

손수현,박찬준,이정섭,심미단,이찬희,박기남,임희석 한국융합학회 2022 한국융합학회논문지 Vol.13 No.3

It has been proven through many previous researches that the pretrained language model with a large corpus helps improve performance in various natural language processing tasks. However, there is a limit to building a large-capacity corpus for training in a language environment where resources are scarce. Using the Cross-lingual Post-Training (XPT) method, we analyze the method's efficiency in Korean, which is a low resource language. XPT selectively reuses the English pretrained language model parameters, which is a high resource and uses an adaptation layer to learn the relationship between the two languages. This confirmed that only a small amount of the target language dataset in the relationship extraction shows better performance than the target pretrained language model. In addition, we analyze the characteristics of each model on the Korean language model and the Korean multilingual model disclosed by domestic and foreign researchers and companies. 대용량의 코퍼스로 학습한 사전학습 언어모델이 다양한 자연어처리 태스크에서 성능 향상에 도움을 주는 것은 많은 연구를 통해 증명되었다. 하지만 자원이 부족한 언어 환경에서 사전학습 언어모델 학습을 위한 대용량의 코퍼스를 구축하는데는 한계가 있다. 이러한 한계를 극복할 수 있는 Cross-lingual Post-Training (XPT) 방법론을 사용하여 비교적 자원이 부족한 한국어에서 해당 방법론의 효율성을 분석한다. XPT 방법론은 자원이 풍부한 영어의 사전학습 언어모델의 파라미터를 필요에 따라 선택적으로 재활용하여 사용하며 두 언어 사이의 관계를 학습하기 위해 적응계층을 사용한다. 이를 통해 관계추출 태스크에서 적은 양의 목표 언어 데이터셋만으로도 원시언어의 사전학습 모델보다 우수한 성능을 보이는 것을 확인한다. 더불어, 국내외 학계와 기업에서 공개한 한국어 사전학습 언어모델 및 한국어 multilingual 사전학습 모델에 대한 조사를 통해 각 모델의 특징을 분석한다

러시아어의 시간과 언어상: [위 - 아래] 공간 지향 개념화에 대한 一考

이수현 한국슬라브어학회 2016 슬라브어연구 Vol.21 No.2

This article is devoted to the metaphorical conceptualization of time on the basis of space and the naive picture of the world (naivnaja kartina mira) in Russian. This paper raises questions as follow: Is time metaphorically conceptualized not only on the horizontal axis [front–back], but also on the vertical axis [up–down]? Where did a metaphorical concept [past–up] come from? Finally, how productive and relevant is this model in the contemporary Russian language? Specifically, the representation of time based on the metaphorical concept [up-down] was motivated by the empirical frame different from other languages such as Korean. It reveals the perception of time of Russian people and their own naive picture of the world. 본 논문에서는 시간의 선후 관계에 기반 한 단선적 시간의 <2차원적 공간 지향성 모델>과 직시적 관점과 공간 해석에 준거를 제공하는 <3차원적 공간 지향성 모델>로 나누어 공간에 기반 한 시간 모델이 어떻게 형성되는 지를 선행연구를 중심으로 살펴보았다. 본 논문의 관점에서 에반스의 모델링(직시성을 기준으로 <자아 기반 모델>과 <시간 기반 모델>로 구분), 불리기나와 슈멜료프의 언어상(앞-뒤가 과거-미래에 연결되는 방식에 따라 고전적 시간관과 현대적 시간관으로 구분), 아루튜노바의 모델링(불리기나와 슈멜료프의 언어상을 바탕으로 고전적 시간관을 세분화하여 <흐름 모델>과 고전적 관점의 <길 모델>로 구체화)은 경험적 인식의 틀과 물리적 시간의 흐름이라는 동일한 대상과 환경에서 각기 다른 측면을 강조한 범주화의 차이로 요약할 수 있다. 본 연구에서는 시간 선상의 앞-뒤 관계만을 고려한 기존의 연구들과는 달리 [앞-뒤] 외에 [왼쪽-오른쪽], [위-아래]의 공간 지향성 역시 시간의 공간 지향 모델링 안에서 함께 다루고자 하였다. 이에, <3차원 공간 지향성 모델>에서는 전·후 축뿐만 아니라 좌·우, 상·하 축을 기반 한 시간의 개념화에 대해 종합적으로 고찰하였다. 논문에서는 러시아어 시간의 언어상에 언어 보편적으로 확인되는 [앞-뒤] 공간 지향 모델이 주된 모델로서 개념화되어 있으며, 아울러 [위-아래] 모델 또한 러시아어의 특정적인 모델로서 구조화되어 있음을 제안하였다. 서론에서 강조한 바와 같이 인간은 객관적 물리적 세상을 자아중심적(egocentric)으로 해석하여 인식한다. 객관적 세계의 동일한 경험, 가령 시간이 가고, 강물이 흐르며, 해가 뜨고 지는 객관적 환경에서의 경험은 동일하지만, 일상의 경험에서 선택되고 개념적으로 구조화되는 단면과 양상은 각 언어마다 상이하다. 우리말에서는 [위-아래] 공간 지향적 시간 모델이 강물의 변화를 개념적으로 구조화하여 형성된데 반해, 러시아어에서는 태양이 뜨고 지는 하루의 시간 변화에 대한 경험을 [위-아래] 모델 형성의 개념적 기반으로 삼았다. 두 언어의 언어상이 갖는 상이한 이미지와 어감은 여기에서 비롯된다. 논문에서는 러시아어 시간 모델에서 그동안 간과하였던 수직적 축에 기반 한 현대 러시아어의 다양한 용례들을 확인함으로써 러시아어 언어상에서 특정적으로 나타나는 [위-아래] 축의 인식적 토대와 확장을 살필 수 있었다.

KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용

김동규,박장원,이동욱,오성우,권성준,이인용,최동원 한국지능정보시스템학회 2022 지능정보연구 Vol.28 No.2

대량의 말뭉치를 비지도 방식으로 학습하여 자연어 지식을 획득할 수 있는 사전학습 언어모델(Pre-trained Language Model)은 최근 자연어 처리 모델 개발에 있어 매우 일반적인 요소이다. 하지만, 여타 기계학습 방식의 성격과 동일하게 사전학습 언어모델 또한 학습 단계에 사용된 자연어 말뭉치의 특성으로부터 영향을 받으며, 이후 사전학습 언어모델이 실 제 활용되는 응용단계 태스크(Downstream task)가 적용되는 도메인에 따라 최종 모델 성능에서 큰 차이를 보인다. 이와 같은 이유로, 법률, 의료 등 다양한 분야에서 사전학습 언어모델을 최적화된 방식으로 활용하기 위해 각 도메인에 특화된 사전학습 언어모델을 학습시킬 수 있는 방법론에 관한 연구가 매우 중요한 방향으로 대두되고 있다. 본 연구에서는 금융 (Finance) 도메인에서 다양한 자연어 처리 기반 서비스 개발에 활용될 수 있는 금융 특화 사전학습 언어모델의 학습 과정 및그응용방식에대해논한다. 금융도메인지식을보유한언어모델의사전학습을위해경제뉴스, 금융상품설명서 등으로 구성된 금융 특화 말뭉치가 사용되었으며, 학습된 언어 모델의 금융 지식을 정량적으로 평가하기 위해 토픽 분류, 감성 분류, 질의 응답의 세 종류 자연어 처리 데이터셋에서의 모델 성능을 측정하였다. 금융 도메인 말뭉치를 기반으로 사전 학습된 KB-BERT는 KoELECTRA, KLUE-RoBERTa 등 State-of-the-art 한국어 사전학습 언어 모델과 비교하여 일 반적인 언어 지식을 요구하는 범용 벤치마크 데이터셋에서 견줄 만한 성능을 보였으며, 문제 해결에 있어 금융 관련 지식 을 요구하는 금융 특화 데이터셋에서는 비교대상 모델을 뛰어넘는 성능을 보였다.