DeNERT: DQN과 BERT를 이용한 개체명 인식 모델

양성민(Sung-Min Yang),정옥란(Ok-Ran Jeong) 한국컴퓨터정보학회 2020 韓國컴퓨터情報學會論文誌 Vol.25 No.4

본 논문에서는 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다. 최근 자연어처리 분야는 방대한 양의 말뭉치로 사전 학습된 언어 표현 모델을 활용하는 연구가 활발하다. 특히 자연어처리 분야 중 하나인 개체명인식은 대부분 지도학습 방식을 사용하는데, 충분히 많은 양의 학습 데이터 세트와 학습 연산량이 필요하다는 단점이 있다. 강화학습은 초기 데이터 없이 시행착오 경험을 통해 학습하는 방식으로 다른 기계학습 방법론보다 조금 더 사람이 학습하는 과정에 가까운 알고리즘으로 아직 자연어처리 분야에는 많이 적용되지 않은 분야이다. 아타리 게임이나 알파고 등 시뮬레이션 가능한 게임 환경에서 많이 사용된다. BERT는 대량의 말뭉치와 연산량으로 학습된 구글에서 개발한 범용 언어 모델이다. 최근 자연어 처리 연구 분야에서 높은 성능을 보이고 있는 언어 모델이며 많은 자연어처리 하위분야에서도 높은 정확도를 나타낸다. 본 논문에서는 이러한 DQN, BERT 두가지 딥러닝 모델을 이용한 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다. 제안하는 모델은 범용 언어 모델의 장점인 언어 표현력을 기반으로 강화학습 모델의 학습 환경을 만드는 방법으로 학습된다. 이러한 방식으로 학습된 DeNERT 모델은 적은 양의 학습 데이터세트로 더욱 빠른 추론시간과 높은 성능을 갖는 모델이다. 마지막으로 제안하는 모델의 개체명 인식 성능평가를 위해 실험을 통해서 검증한다. In this paper, we propose a new structured entity recognition DeNERT model. Recently, the field of natural language processing has been actively researched using pre-trained language representation models with a large amount of corpus. In particular, the named entity recognition, which is one of the fields of natural language processing, uses a supervised learning method, which requires a large amount of training dataset and computation. Reinforcement learning is a method that learns through trial and error experience without initial data and is closer to the process of human learning than other machine learning methodologies and is not much applied to the field of natural language processing yet. It is often used in simulation environments such as Atari games and AlphaGo. BERT is a general-purpose language model developed by Google that is pre-trained on large corpus and computational quantities. Recently, it is a language model that shows high performance in the field of natural language processing research and shows high accuracy in many downstream tasks of natural language processing. In this paper, we propose a new named entity recognition DeNERT model using two deep learning models, DQN and BERT. The proposed model is trained by creating a learning environment of reinforcement learning model based on language expression which is the advantage of the general language model. The DeNERT model trained in this way is a faster inference time and higher performance model with a small amount of training dataset. Also, we validate the performance of our model’s named entity recognition performance through experiments.

인공지능 시대의 언어 연구: 주요 문제와 언어학의 역할

황화상 서강대학교 언어정보연구소 2022 언어와 정보 사회 Vol.45 No.-

Linguists have not played a leading role in natural language processing. And linguistics has not provided enough explanations for the linguistic problems that arise in natural language processing. There is a practical difference between the orientation of linguistics and the orientation of natural language processing. Linguists aim for machines that understand language like humans. In contrast, natural language processing researchers aim for machines that use language as humans do. The natural language processing device inherent in humans is the most perfect. So the surest way to build a machine that uses language is to make it understand language the same way humans understand langauge. For linguists to play a leading role in natural language processing, they have to expand the scope of linguistic research. In particular, linguists must explain how humans understand language. Linguists must also examine the actual process by which we analyze sentences.

Software Engineering and Natural Language Processing- How Can they be Together?

Nakul Sharma,Prasanth Yalla 보안공학연구지원센터 2016 International Journal of Software Engineering and Vol.10 No.12

The SE and NLP are newer research areas in computer science and engineering. This paper tries to raise and answer the interrelation between Software Engineering and Natural Language Processing. The stakeholders of both the research areas which will be affected are provided. An attempt is made to highlight the possibility of joint research in both the areas.

딥러닝을 이용한 언어별 단어 분류 기법

듀크 ( Nyambegera Duke Zacharia ),다후다 ( Mwamba Kasongo Dahouda ),조인휘 ( Inwhee Joe ) 한국정보처리학회 2021 한국정보처리학회 학술대회논문집 Vol.28 No.1

One of the elements of technology that has become extremely critical within the field of education today is Deep learning. It has been especially used in the area of natural language processing, with some word-representation vectors playing a critical role. However, some of the low-resource languages, such as Swahili, which is spoken in East and Central Africa, do not fall into this category. Natural Language Processing is a field of artificial intelligence where systems and computational algorithms are built that can automatically understand, analyze, manipulate, and potentially generate human language. After coming to discover that some African languages fail to have a proper representation within language processing, even going so far as to describe them as lower resource languages because of inadequate data for NLP, we decided to study the Swahili language. As it stands currently, language modeling using neural networks requires adequate data to guarantee quality word representation, which is important for natural language processing (NLP) tasks. Most African languages have no data for such processing. The main aim of this project is to recognize and focus on the classification of words in English, Swahili, and Korean with a particular emphasis on the low-resource Swahili language. Finally, we are going to create our own dataset and reprocess the data using Python Script, formulate the syllabic alphabet, and finally develop an English, Swahili, and Korean word analogy dataset.

집단지성을 이용한 한글 감성어 사전 구축

안정국,김희웅 한국지능정보시스템학회 2015 지능정보연구 Vol.21 No.2

Recently, emerging the notion of big data and social media has led us to enter data’s big bang. Social networking services are widely used by people around the world, and they have become a part of major communication tools for all ages. Over the last decade, as online social networking sites become increasingly popular, companies tend to focus on advanced social media analysis for their marketing strategies. In addition to social media analysis, companies are mainly concerned about propagating of negative opinions on social networking sites such as Facebook and Twitter, as well as e-commerce sites. The effect of online word of mouth (WOM) such as product rating, product review, and product recommendations is very influential, and negative opinions have significant impact on product sales. This trend has increased researchers’ attention to a natural language processing, such as a sentiment analysis. A sentiment analysis, also refers to as an opinion mining, is a process of identifying the polarity of subjective information and has been applied to various research and practical fields. However, there are obstacles lies when Korean language (Hangul) is used in a natural language processing because it is an agglutinative language with rich morphology pose problems. Therefore, there is a lack of Korean natural language processing resources such as a sentiment lexicon, and this has resulted in significant limitations for researchers and practitioners who are considering sentiment analysis. Our study builds a Korean sentiment lexicon with collective intelligence, and provides API (Application Programming Interface) service to open and share a sentiment lexicon data with the public (www.openhangul.com). For the pre-processing, we have created a Korean lexicon database with over 517,178 words and classified them into sentiment and non-sentiment words. In order to classify them, we first identified stop words which often quite likely to play a negative role in sentiment analysis and excluded them from our sentiment scoring. In general, sentiment words are nouns, adjectives, verbs, adverbs as they have sentimental expressions such as positive, neutral, and negative. On the other hands, non-sentiment words are interjection, determiner, numeral, postposition, etc. as they generally have no sentimental expressions. To build a reliable sentiment lexicon, we have adopted a concept of collective intelligence as a model for crowdsourcing. In addition, a concept of folksonomy has been implemented in the process of taxonomy to help collective intelligence. In order to make up for an inherent weakness of folksonomy, we have adopted a majority rule by building a voting system. Participants, as voters were offered three voting options to choose from positivity, negativity, and neutrality, and the voting have been conducted on one of the largest social networking sites for college students in Korea. More than 35,000 votes have been made by college students in Korea, and we keep this voting system open by maintaining the project as a perpetual study. Besides, any change in the sentiment score of words can be an important observation because it enables us to keep track of temporal changes in Korean language as a natural language. Lastly, our study offers a RESTful, JSON based API service through a web platform to make easier support for users such as researchers, companies, and developers. Finally, our study makes important contributions to both research and practice. In terms of research, our Korean sentiment lexicon plays an important role as a resource for Korean natural language processing. In terms of practice, practitioners such as managers and marketers can implement sentiment analysis effectively by using Korean sentiment lexicon we built. Moreover, our study sheds new light on the value of folksonomy by combining collective intelligence, and we also expect to give a new direction and a new start to the development of Korean natural la... 최근 다양한 분야에서 빅데이터의 활용과 분석에 대한 중요성이 대두됨에 따라, 뉴스기사와 댓글과 같은 비정형 데이터의 자연어 처리 기술에 기반한 감성 분석에 대한 관심이 높아지고 있다. 하지만, 한국어는 영어와는 달리 자연어 처리가 어려운 교착어로써 정보화나 정보시스템에의 활용이 미흡한 실정이다. 이에 본 연구는 감성 분석에 활용이 가능한 감성어 사전을 집단지성으로 구축하였고, 누구나 연구와 실무에 사용하도록 API서비스 플랫폼을 개방하였다(www.openhangul.com). 집단지성의 활용을 위해 국내 최대 대학생 소셜네트워크 사이트에서 대학생들을 대상으로 단어마다 긍정, 중립, 부정에 대한 투표를 진행하였다. 그리고 집단지성의 효율성을 높이기 위해 감성을 ‘정의’가 아닌 ‘분류’하는 방식인 폭소노미의 ‘사람들에 의한 분류법’이라는 개념을 적용하였다. 총 517,178(+)의 국어사전 단어 중 불용어 형태를 제외한 후 감성 표현이 가능한 명사, 형용사, 동사, 부사를 우선 순위로 하여, 현재까지 총 35,000(+)번의 단어에 대한 투표를 진행하였다. 본 연구의 감성어 사전은 집단지성의 참여자가 누적됨에 따라 신뢰도가 높아지도록 설계하여, 시간을 축으로 사람들이 단어에 대해 인지하는 감성의 변화도 섬세하게 반영하는 장점이 있다. 따라서 본 연구는 앞으로도 감성어 사전 구축을 위한 투표를 계속 진행할 예정이며, 현재 제공하고 있는 감성어 사전, 기본형 추출, 카테고리 추출 외에도 다양한 자연어 처리에 응용이 가능한 API들도 제공할 계획이다. 기존의 연구들이 감성 분석이나 감성어 사전의 구축과 활용에 대한 방안을 제안하는 것에만 한정되어 있는 것과는 달리, 본 연구는 집단지성을 실제로 활용하여 연구와 실무에 활용이 가능한 자원을 구축하여 개방하여 공유한다는 차별성을 가지고 있다. 더 나아가, 집단지성과 폭소노미의 특성을 결합하여 한글 감성어 사전을 구축한 새로운 시도가 향후 한글 자연어 처리의 발전에 있어 다양한 분야들의 융합적인 연구와 실무적인 참여를 이끌어 개방적 협업의 새로운 방향과 시사점을 제시 할 수 있을 것이라 기대한다.

한국어 자연어 요구문서에서 구문 구조 기반의 조응어 처리 시스템

박기선,안동언,이용석 한국정보처리학회 2010 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.17 No.3

When a system is developed, requirements document is generated by requirement analysts and then translated to formal specifications by specifiers. If a formal specification can be generated automatically from a natural language requirements document, system development cost and system fault from experts' misunderstanding will be decreased. A pronoun can be classified in personal and demonstrative pronoun. In the characteristics of requirements document, the personal pronouns are almost not occurred, so we focused on the decision of antecedent for a demonstrative pronoun. For the higher accuracy in analysis of requirements document automatically, finding antecedent of demonstrative pronoun is very important for elicitation of formal requirements automatically from natural language requirements document via natural language processing. The final goal of this research is to automatically generate formal specifications from natural language requirements document. For this, this paper, based on previous research [3], proposes an anaphora resolution system to decide antecedent of pronoun using natural language processing from natural language requirements document in Korean. This paper proposes heuristic rules for the system implementation. By experiments, we got 92.45%, 69.98% as recall and precision respectively with ten requirements documents. 시스템 개발에 있어서 요구문서(requirements document)를 생성하고 정형 명세를 작성하는 것은 요구 분석 전문가와 명세 전문가에 의해 수행되고 있다. 만약 요구문서 생성과 정형 명세 작성 과정을 자동화 한다면 시스템 개발 비용 및 기간을 단축할 수 있고, 또한 전문가 사이의 잘못된 이해로 인한 오류를 줄일 수 있다. 대명사는 인칭대명사와 지시대명사로 분류될 수 있다. 일반적으로 요구문서의 특성상 인칭대명사는 사용되지 않기 때문에 본 논문은 지시대명사의 지시어 결정에 초점을 두고 있다. 지시대명사를 포함하는 요구문서에서 자연어처리 기법을 통해 정형화된 요구사항을 자동으로 추출하기 위해서는 대명사의 지시어 결정이 매우 중요하다. 본 연구의 최종 목표는 자연어 처리 기법을 통하여 자연어 요구문서로부터 시스템 개발에 필요한 정형 명세를 자동으로 생성하는데 있다. 이를 위해 본 논문은 선행연구를 기반으로 한국어로 기술된 자연어 요구문서에서 대명사에 대한 지시어를 결정하는 조응어 해소(anaphora resolution) 시스템을 제안한다. 본 시스템의 개발을 위해 조응어 해소를 위한 경험 규칙을 정의하고, 이를 통해 10개의 요구문서에 대해 실험한 결과 평균 재현율 92.45%, 정확률 69.68%의 성능을 보였다.

한의학 증상용어의 형태소 분석을 위한 자연어 표기 분석

김혜은,성호경,엄동명,이충열,이병욱,Kim, Hye-Eun,Sung, Ho-Kyung,Eom, Dong-Myung,Lee, Choong-Yeol,Lee, Byung-Wook 대한예방한의학회 2013 대한예방한의학회지 Vol.17 No.2

Objectives : In many cases, patient's symptoms have been recorded on EMR in natural language instead of medical terminologies. It is possible to build a database by analyzing the symptoms of Korean Medicine(KM) that indicates patient's symptoms in natural language. Using the database, when doctors record patient's symptoms on EMR in natural language, conversely it'll be also possible to extract the symptoms of KM from those natural language. The database will enhance the value of EMR as a medical data. Methods : In this study, we aimed to make data structure of the terminologies that represent the symptoms of KM. The data structure is combinations of smallest unit in natural language. We made the database by analyzing morpheme of the natural language to express the symptoms of KM. Results & Conclusions : By classifying the natural language in 15 features, we made the structure of concept and the data available for morphological analysis.

语言学在AI时代的核心研究对象是什么

Zuo Simin 동국대학교 동서사상연구소 2020 철학·사상·문화 Vol.0 No.34

In AI era, natural language processing is one of several important research fields of artificial intelligence. In theory, linguistics can make a great contribution to the computer processing of natural language, but in fact it is not. There are three main reasons for this situation: First, the main research results of linguistics are lack of the maneuverability and correspondence to solve practical problems in terms of the technical processing requirements of natural language. Second, linguists don’t have an in-depth and comprehensive grasp of the structural rules and operation mechanisms of natural language yet. Third, linguists’ exploration of language meaning often lacks depth and insight. If linguists want to make a great contribution to the study of artificial intelligence, especially the computer processing of natural language in AI era, they must give full play to their strengths and circumvent their weaknesses, and come up with theoretical explanations and theoretical systems about the generation, structure, hierarchy and understanding of language meaning that can meet the needs of artificial intelligence research. In AI era, not only meaning should become the most important research object of linguistics, but also the urgency of pragmatic meaning research is steadily on the increase, the pragmatic meaning should be put in the core position of meaning research. In a period from1980s to the end of last century, Chinese linguists have conducted characteristic researches on pragmatic phenomena and pragmatic meaning. But unfortunately, after entering this century, these researches have not been carried forward. In a word, linguists must conscientiously sum up the past positive and negative experience, grasp the correct research ideas, find a suitable research direction, and adopt accurate and effective research methods. Only in this way, can they make a great contribution to the study of artificial intelligence. AI 시대에 자연언어처리는 인공지능의 몇 가지 중요한 연구영역 중 하나이다. 이치상으로는 언어학은 자연언어의 컴퓨터 처리에 중대한 공헌이 있어야 하는데 사실은 그렇지 않다. 이러한 국면을 초래하는 원인은 세 가지가 있다. 첫째, 언어학의 주요연구성과는 자연언어의 기술적인 처리 요구에 활용성과 실제 문제를 해결하는 관련성이 부족하다. 둘째, 언어학자는 아직 자연언어의 구조규칙 및 활용 기제에 깊이 들어가서 전면적으로 파악하지 못하였다. 셋째, 언어학자는 언어의미의 탐구에 심도와 통찰이 부족하다. 언어학자는 AI 시대에 인공지능연구 특히 자연언어의 컴퓨터 처리의 연구에 큰 공헌을 세우려면 장점을 발양하고 단점을 피해야 한다. 즉 인공지능연구에 만족시킬 수 있으면서 언어의미에 관련된 발생, 구조, 층차와 이해 등 방면의 이론 설명과 이론 체계를 제시해야 한다. AI 시대에는 의미가 언어학의 가장 중요한 연구대상이 되어야 할 뿐만 아니라 화용의미연구에 대한 절실함도 갈수록 커지기 때문에, 화용의미를 의미연구의 핵심위치에 두어야 한다. 20세기 80년대 이후에 중국 언어학자는 화용현상과 화용의미에 대해 특색이 있는 연구를 진행한 바가 있다. 그러나 21세기에 이르러 이 연구들은 원래의 기초위에서 더욱 확대 발전시키지 못하여 매우 안타깝다. 요컨대 언어학자는 반드시 진지하게 이전의 긍정 및 부정적인 양방면의 경험을 총괄해야 하며 정확한 연구 의사를 파악하여 알맞은 연구방향을 찾아내야 한다. 게다가 정확하고 효과적인 연구방법을 채택해야 인공지능연구에 대해 중요한 공헌을 할 수 있다.

격조사의 정보와 기계 번역 -한.영 번역을 중심으로-

김원경 한국어의미학회 2011 한국어 의미학 Vol.35 No.-

This paper investigates the Case Information Processing in Korean and puts this knowledge to practical use of Korean-English Machine Translation. With regard to the Language Universal Categories of Case, Case Information Processing System consists of a Morphological Case Information Processing and a Semantic Case Information Processing. And the System applies to korean inflectional form: ‘i/ka(subject case marker)’, ‘eul/leul(object case marker)’, ‘eui(genitive case marker)’ and so on. The results of the Morphological and Semantic Case Information Processing constitute the chain of case analysis information and these results distinguish some noun phrase from the others. This methodology is valuable to Korean-English Machine Translation in process of Natural Language Analysis and Generation.

한통이: 자연언어처리 기반 다국어 어휘대역 서비스

류법모(Ryu, Pum-mo) 부산대학교 인문학연구소 2020 코기토 Vol.- No.91

4차 산업혁명이 가속화되고 인공지능과 로봇 기술이 발전하면서 인간의 언어능력을 대체할 수 있는 자연언어처리에 대한 관심이 높아지고 있다. 본 연구에서는 자연언어처리의 발전과정, 주요 기술 그리고 자연언어 대화 인터페이스, 기계번역, 질의응답시스템 등을 포함하는 다양한 활용 분야를 설명한다. 더 나아가 자연언어처리 기술을 기반으로 다문화가정의 언어 소통 문제를 해결하기 위한 방안을 제안한다. 다문화가정 구성원은 언어 장벽 때문에 자녀 교육 등 여러 일상생활에 어려움을 겪고 있다. 이와 같은 어려움을 해결하기 위해서 실제 생활에 필요한 한국어 용어들의 의미를 그 다문화가정 구성원의 모국어로 간편하고 신속하게 제공받을 수 있는 스마트 서비스가 필요하다. 그러나 현재의 자동번역 기술은 영어 · 일본어 · 중국어 등의 중요 언어를 중심으로 개발되고 있으며, 다문화가정 구성원이 공공기관과 소통하거나 자녀를 교육할 때 필요한 용어들을 번역하기에는 한계가 있다. 기초 수준의 한국어를 읽고 이해할 수 있는 다문화가정 구성원을 지원하기 위한 실시간 다국어 어휘대역서비스 앱 한통이(HanTongE)를 개발하여 무료로 배포하고 있다. 한통이는 한국어 문장에서 어휘들의 의미를 자동으로 분석한 후 10개 언어의 대역어를 제시해 외국인들이 한국어 문장을 쉽게 이해할 수 있도록 지원한다. 외국인들을 대상으로 한통이의 성능과 사용성을 평가했고 장단점 분석 및 향후 연구 방향에서 의미 있는 결과를 얻었다. 이 연구는 한국어 어휘 의미 분석 연구, 언어교육 연구, 다국어 번역지식 구축 연구, 다문화정책 연구 등을 포함하는 학제 간 융합연구 방식으로 수행되었다. As the fourth industrial revolution accelerates along with artificial intelligence and robot technology development, people became more and more interested in natural language processing that can replace human language command abilities. In this study, we describe the brief history of natural language processing, the underlying technology, and various applications including natural language dialog interface, machine translation, and question answering system. Furthermore, this study proposes ‘HanTongE’, an automatic word translation service that was designed to help those who have very basic Korean abilities, such as members of multicultural families. Members of multicultural families face difficulties in educating their children and going about their daily lives due to language barriers. However, current automatic translation technology is focused on services for English, Chinese, Japanese, and other major languages. Also, there are limitations on the services’ ability to translate words necessary for specific purposes such as children’s education and government services. ‘HanTongE’ automatically analyzes the meaning of each word in a Korean sentence and then provides multilingual replacement words to help the user understand Korean sentences easily. This study is being conducted in a multidisciplinary approach that comprises researches in various areas such as natural language processing, language education, and multicultural policy.