BERT 모델과 지식 그래프를 활용한 지능형 챗봇

유소엽,정옥란 한국전자거래학회 2019 한국전자거래학회지 Vol.24 No.3

As artificial intelligence is actively studied, it is being applied to various fields such as image, video and natural language processing. The natural language processing, in particular, is being studied to enable computers to understand the languages spoken and spoken by people and is considered one of the most important areas in artificial intelligence technology. In natural language processing, it is a complex, but important to make computers learn to understand a person’s common sense and generate results based on the person’s common sense. Knowledge graphs, which are linked using the relationship of words, have the advantage of being able to learn common sense easily from computers. However, the existing knowledge graphs are organized only by focusing on specific languages and fields and have limitations that cannot respond to neologisms. In this paper, we propose an intelligent chatbotsystem that collects and analyzed data in real time to build an automatically scalable knowledge graph and utilizes it as the base data. In particular, the fine-tuned BERT-based for relation extraction is to be applied to auto-growing graph to improve performance. And, we have developed a chatbot that can learn human common sense using auto-growing knowledge graph, it verifies the availability and performance of the knowledge graph. 인공지능이 활발하게 연구되면서 이미지, 영상, 자연어 처리와 같은 다양한 분야에 적용되고 있다. 특히 자연어 처리 분야는 사람이 말하고 쓰는 언어들을 컴퓨터가 이해할 수 있도록 하기 위한 연구들이 진행되고 있고 인공지능 기술에서 매우 중요한 영역 중 하나로 여겨진다. 자연어 처리에서 컴퓨터에게 사람의 상식을 이해할 수 있도록 학습시키고 사람의 상식을 기반으로 결과를 생성하도록 하는 것은 복잡하지만 중요한 기술이다. 단어들의 관계를 이용해 연결한 지식 그래프는 컴퓨터에게 쉽게 상식을 학습시킬 수 있다는 장점이 있다. 하지만 기존에 고안된 지식 그래프들은 특정 언어나 분야에만 집중해 구성되어 있거나 신조어 등에는 대응하지 못하는 한계점을 갖고 있다. 본 논문에서는 실시간으로 데이터를 수집 및 분석하여 자동으로 확장 가능한 지식 그래프를 구축하고, 이를 기반 데이터로 활용하는 챗봇 시스템을 제안하고자 한다. 특히 자동 확장 그래프에 BERT 기반의 관계 추출 모델을 적용시켜 성능을 향상시키고자 한다. 자동 확장 지식 그래프를 이용해 상식이 학습되어 있는 챗봇을 구축하여 지식 그래프의 활용 가능성과 성능을 검증한다.

BERT와 지식 그래프를 이용한 한국어 문맥 정보 추출 시스템

유소엽,정옥란 한국인터넷정보학회 2020 인터넷정보학회논문지 Vol.21 No.3

Along with the rapid development of artificial intelligence technology, natural language processing, which deals with human language, is also actively studied. In particular, BERT, a language model recently proposed by Google, has been performing well in many areas of natural language processing by providing pre-trained model using a large number of corpus. Although BERT supports multilingual model, we should use the pre-trained model using large amounts of Korean corpus because there are limitations when we apply the original pre-trained BERT model directly to Korean. Also, text contains not only vocabulary, grammar, but contextual meanings such as the relation between the front and the rear, and situation. In the existing natural language processing field, research has been conducted mainly on vocabulary or grammatical meaning. Accurate identification of contextual information embedded in text plays an important role in understanding context. Knowledge graphs, which are linked using the relationship of words, have the advantage of being able to learn context easily from computer. In this paper, we propose a system to extract Korean contextual information using pre-trained BERT model with Korean language corpus and knowledge graph. We build models that can extract person, relationship, emotion, space, and time information that is important in the text and validate the proposed system through experiments. 인공지능 기술의 비약적 발전과 함께 사람의 언어를 다루는 자연어 처리 분야 역시 활발하게 연구가 진행되고 있다. 특히 최근에는 구글에서 공개한 언어 모델인 BERT는 대량의 코퍼스를 활용해 미리 학습시킨 모델을 제공함으로써 자연어 처리의 여러 분야에서좋은 성능을 보이고 있다. BERT에서 다국어 모델을 지원하고 있지만 한국어에 바로 적용했을 때는 한계점이 존재하기 때문에 대량의한국어 코퍼스를 이용해 학습시킨 모델을 사용해야 한다. 또한 텍스트는 어휘, 문법적인 의미만 담고 있는 것이 아니라 전후 관계, 상황과 같은 문맥적인 의미도 담고 있다. 기존의 자연어 처리 분야에서는 어휘나 문법적인 의미를 중심으로 연구가 주로 이루어졌다. 텍스트에 내재되어 있는 문맥 정보의 정확한 파악은 맥락을 이해하는 데에 있어 중요한 역할을 한다. 단어들의 관계를 이용해 연결한 지식그래프는 컴퓨터에게 쉽게 문맥을 학습시킬 수 있는 장점이 있다. 본 논문에서는 한국어 코퍼스를 이용해 사전 학습된 BERT 모델과 지식 그래프를 이용해 한국어 문맥 정보를 추출하는 시스템을 제안하고자 한다. 텍스트에서 중요한 요소가 되는 인물, 관계, 감정, 공간, 시간 정보를 추출할 수 있는 모델을 구축하고 제안한 시스템을 실험을 통해 검증한다.

소셜 카테고리를 이용한 추천 방법

유소엽 ( So-yeop Yoo ),정옥란 ( Ok-ran Jeong ) 한국인터넷정보학회 2014 인터넷정보학회논문지 Vol.15 No.5

최근 SNS가 이슈가 되고 다양한 분야에서 이를 이용한 연구가 활발하게 진행되고 있다. 특히 SNS 상에서 생성되는 여러 소셜 데이터를 기반으로 사용자의 관심사를 찾아내고 추천해 주는 시스템에 대한 연구가 대두되고 있다. 사용자의 관심과 선호도는 단순히 사용자가 작성한 글에서만 나타나는 것이 아니라, 친구와의 관계와 작성한 내용기반으로 분류되는 카테고리를 이용하여 파악될 수 있다. 본 논문에서는 사용자의 사회적 관계와 사용자가 작성한 소셜 데이터의 카테고리를 이용하여 사용자의 선호도를 자동으로 추출하고, 이를 기반으로 추천하는 방법을 제안한다. 그리고 실험을 통해 제안한 기법의 유효성을 검증한다. SNS becomes a recent issue, and many researches in various kinds of field are being done by taking advantage of it. Especially, there are many researches existed on the system that finds user`s interest and makes recommendation based on multiple social data generated on the SNS. User`s interest is not only revealed from the user`s writing but also from the user`s relationship with friends. This study proposes a recommendation method that extracts user`s interest by using social relationship and its categorization applies it to the recommendation. In this way, it can recommend user`s interest with category based on the writings by the user and furthermore it can apply the user`s relationship with his/her friends for more accurate recommendation. In addition, if necessary, the recommendation can be made by extracting any interest shared between the user and specific friends. Through experiments, we show that our method using social category can produce satisfactory result.

소셜 카테고리 기반 유튜브 추천 시스템

유소엽(So-Yeop Yoo),정옥란(Ok-Ran Jeong) 한국정보과학회 2014 한국정보과학회 학술발표논문집 Vol.2014 No.12

개인화된 소셜 검색 시스템

유소엽(So-Yeop Yoo),임재상(Jae-Sang Lim),정옥란(Ok-Ran Jeong) 한국정보과학회 2015 한국정보과학회 학술발표논문집 Vol.2015 No.12

사용자의 소셜 카테고리를 이용한 유튜브 동영상 추천 알고리즘

유소엽(SoYeop Yoo),정옥란(OkRan Jeong) Korean Institute of Information Scientists and Eng 2015 정보과학회논문지 Vol.42 No.5

With the rapid progression of the Internet and smartphones, YouTube has grown significantly as a social media sharing site and has become popular all around the world. As users share videos through YouTube, social data are created and users look for video recommendations related to their interests. In this paper, we extract users social category based on their social relationship and social category classification list using YouTube data. We propose the YouTube recommendation algorithm using the extracted users social category for more accurate and meaningful recommendations. We show experiment results of its validation.

소셜 미디어 콘텐츠 분석을 위한 프레임워크

유소엽(So-Yeop Yoo),박태수(Tae-Soo Park),정옥란(Ok-Ran Jeong) 한국정보과학회 2015 한국정보과학회 학술발표논문집 Vol.2015 No.6

뉴스 감성 분석을 이용한 딥러닝 기반 주가 예측에 대한 연구

강두원,유소엽,이하영,정옥란 한국컴퓨터정보학회 2022 韓國컴퓨터情報學會論文誌 Vol.27 No.8

Stock prices are influenced by a number of external factors, such as laws and trends, as well as number-based internal factors such as trading volume and closing prices. Since many factors affect stock prices, it is very difficult to accurately predict stock prices using only fragmentary stock data. In particular, since the value of a company is greatly affected by the perception of people who actually trade stocks, emotional information about a specific company is considered an important factor. In this paper, we propose a deep learning-based stock price prediction model using sentiment analysis with news data considering temporal characteristics. Stock and news data, two heterogeneous data with different characteristics, are integrated according to time scale and used as input to the model, and the effect of time scale and sentiment index on stock price prediction is finally compared and analyzed. Also, we verify that the accuracy of the proposed model is improved through comparative experiments with existing models. 주가는 거래량, 종가 등과 같은 숫자 기반의 내부적인 요인뿐만 아니라 법, 유행 등 여러 외부요인에 의해 영향을 받는다. 수많은 요인이 주가에 영향을 미치기 때문에 단편적인 주식 데이터만을 이용한 정확한 주가 예측은 매우 어려운 일이다. 특히 기업의 가치는 실제 주식을 거래하는사람들의 인식에 영향을 많이 받기 때문에 특정 기업에 대한 감성 정보가 중요한 요인으로 여겨진다. 본 논문에서는 시간적 특성을 고려한 뉴스 데이터의 감성 분석을 이용한 딥러닝 기반 주가예측 모델을 제안하고자 한다. 주식과 뉴스 데이터, 서로 다른 특성을 가진 2개의 이종 데이터를시간 크기에 따라 통합하여 모델의 입력으로 사용하며, 시간 크기와 감성 지표가 주가 예측에 미치는 영향에 대해 최종적으로 비교 및 분석한다. 또한 우리는 기존 모델과의 비교 실험을 통해제안 모델의 정확성이 개선되었음을 검증한다.

연속학습 기반의 대화형 AI agent

박채림,유소엽,정옥란 한국컴퓨터정보학회 2023 韓國컴퓨터情報學會論文誌 Vol.28 No.1

본 논문에서는 시간의 흐름에 따라 새로운 데이터를 지속적으로 학습하고 성장할 수 있는 연속학습 기반 대화형 AI 에이전트를 제안한다. 연속학습 기반 대화형 AI 에이전트는 태스크 관리자(Task Manager), 사용자 속성 추출(User Attribute Extraction), 자동 확장 지식 그래프(Auto-growing Knowledge Graph), 크게 3가지 요소로 구성된다. 태스크 관리자는 사용자와의 대화에서 새로운 데이터를 발견하면 이전에 학습한 지식을 통해 새로운 태스크를 생성한다. 사용자 특성 추출 모델은 새로운 태스크에서 사용자의 특성을 추출하고, 자동 확장 지식 그래프는 새로운 외부 지식을지속적으로 학습할 수 있도록 한다. 한정된 데이터셋을 기반으로 학습된 기존 대화형 AI 에이전트와 달리, 본 논문에서 제안하는 방법은 지속적인 사용자의 특성과 지식 학습을 기반으로 대화를 가능하게 한다. 연속학습 기술이 적용된 대화형 AI 에이전트는 사용자와의 대화가 축적될수록개인 맞춤형 대응이 가능하며, 새로운 지식에도 대응이 가능하다. 본 논문에서는 시간에 따른 대화 생성 모델의 성능 변화 실험을 통해 제안하는 방법의 가능성을 검증한다.

소셜 네트워크 기반 음악 추천 시스템

박태수,유소엽,정옥란 한국정보과학회 2014 한국정보과학회 학술발표논문집 Vol.2014 No.12