http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
KoGPT2를 활용한 P-tuning의 효과적 성능 향상 기법 연구
성열우,수라폰논상,안기택,김정길 한국정보과학회 2023 정보과학회 컴퓨팅의 실제 논문지 Vol.29 No.9
Recently, various models of natural language processing using deep learning have been introduced, and transformer-based pre-trained models, such as BERT and GPT, have become the basic models. Fine-tuning transformer-based deep learning models can achieve excellent performance by updating the parameters of the entire model. Meanwhile, the P-tuning method, which can improve performance by updating a small number of parameters, has been introduced. In this study, we propose a method of changing the prompt-encoder from the P-tuning method, which could achieve performance similar to the existing fine-tuning method, even if only a small number of parameters were updated by freezing the learning of the model parameters. KoGPT2 was used as the GPT-2 model for performance verification. As a result of classifying using NSMC and KorNLI datasets, the proposed method showed enhanced performance using NSMC and KorNLI datasets, with an improved accuracy of 4.56% and 11%, respectively, compared to the existing P-tuning method.
Google 오픈소스 프레임워크를 이용한 챗봇 구현 및 SNS 연동 연구
성열우 ( Yeol-woo Sung ),박대승 ( Daeseung Park ),김정길 ( Cheong-ghil Kim ) 한국정보처리학회 2021 한국정보처리학회 학술대회논문집 Vol.28 No.2
최근 인공지능 기술이 발전하면서, 일상에서 인공지능 기반 챗봇을 어렵지 않게 접할 수 있다. 챗봇 기술이 발전하면서, 챗봇을 구현하기 위한 다양한 챗봇 프레임워크가 등장하였다. Google 의 Dialogflow 는 최소한의 코딩으로 챗봇을 설계하고, 생성하기 위한 오픈소스 챗봇 프레임워크로 Facebook Messenger, Telegram, Slack 등 여러 메신저 플랫폼과 연동이 된다. 본 논문은 Dialogflow 를 이용한 프로토타입 챗봇 구현을 통하여 Dialogflow 의 특징인 Dialog(대화)의 Flow(흐름)를 만들기만 하면 이를 통해 챗봇을 만들어 지는 용이성 검증을 시행하였다.
단어그룹 확장 기법을 활용한 순환신경망 알고리즘 성능개선 연구
박대승,성열우,김정길 대한산업경영학회 2022 산업융합연구 Vol.20 No.4
Recently, with the development of artificial intelligence (AI) and deep learning, the importance of conversational artificial intelligence chatbots is being highlighted. In addition, chatbot research is being conducted in various fields. To build a chatbot, it is developed using an open source platform or a commercial platform for ease of development. These chatbot platforms mainly use RNN and application algorithms. The RNN algorithm has the advantages of fast learning speed, ease of monitoring and verification, and good inference performance. In this paper, a method for improving the inference performance of RNNs and applied algorithms was studied. The proposed method used the word group expansion learning technique of key words for each sentence when RNN and applied algorithm were applied. As a result of this study, the RNN, GRU, and LSTM three algorithms with a cyclic structure achieved a minimum of 0.37% and a maximum of 1.25% inference performance improvement. The research results obtained through this study can accelerate the adoption of artificial intelligence chatbots in related industries. In addition, it can contribute to utilizing various RNN application algorithms. In future research, it will be necessary to study the effect of various activation functions on the performance improvement of artificial neural network algorithms. 최근 인공지능(AI)과 딥러닝 발전으로 대화형 인공지능 챗봇의 중요성이 부각되고 있으며 다양한 분야에서 연구가 진행되고 있다. 챗봇을 만들기 위해서 직접 개발해 사용하기도 하지만 개발의 용이성을 위해 오픈소스 플랫폼이나 상업용 플랫폼을 활용하여 개발한다. 이러한 챗봇 플랫폼은 주로 RNN (Recurrent Neural Network)과 응용 알고리즘을 사용하며, 빠른 학습속도와 모니터링 및 검증의 용이성 그리고 좋은 추론 성능의 장점을 가지고 있다. 본 논문에서는 RNN과 응용 알고리즘의 추론 성능 향상방법을 연구하였다. 제안 방법은 RNN과 응용 알고리즘 적용 시 각 문장에 대한 핵심단어의 단어그룹에 대해 확장학습을 통해 데이터에 내재된 의미를 넓히는 기법을 사용하였다. 본 연구의 결과는 순환구조를 갖는 RNN, GRU (Gated Recurrent Unit), LSTM (Long-short Term Memory) 세 알고리즘에서 최소 0.37%에서 최대 1.25% 추론 성능향상을 달성하였다. 본 연구를 통해 얻은 연구결과는 관련 산업에서 인공지능 챗봇 도입을 가속하고 다양한 RNN 응용 알고리즘을 활용하도록 하는데 기여할 수 있다. 향후 연구에서는 다양한 활성 함수들이 인공신경망 알고리즘의 성능 향상에 미치는 영향에 관한 연구가 필요할 것이다.
이기종 디바이스를 이용한 인터렉티브 디지털 사이니지 시스템 연구
박대승,성열우,김정길,Park, Dae Seung,Sung, Yeol Woo,Kim, Cheong Ghil 한국반도체디스플레이기술학회 2021 반도체디스플레이기술학회지 Vol.20 No.3
In general, digital signage is a next-generation smart media that provides various information and advertisement services to many people indoors or outdoors using the Internet. Recently, digital signage is rapidly spreading in such a small indoor environment, that is, in an area closely related to daily life, for example, inside an elevator. However, in this kind of indoor environment where the stay time of persons is extremely limited, it would be not easy for them to keep advertisements in the user memory for a long time. In the digital signage display installed in an indoor environment, it is possible to think about the possibility for a function such as expanding the screen to a user's smartphone, which is now widely spread, to contain, store, and use the transmitted content. In this paper, we propose a method to extend the display of digital signage contents to personal smart phones with interaction function in such a limited environment. In order to make the system operation, the proposed system was verified by confirming the result of dual screen implementation in a smart phone through the prototype implementation of a digital signage system in an embedded Linux environment.