http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
- 中文 을 입력하시려면 zhongwen을 입력하시고 space를누르시면됩니다.
- 北京 을 입력하시려면 beijing을 입력하시고 space를 누르시면 됩니다.
RISS 인기검색어
- 검색키워드
- 저자 : 서수민(Sumin Seo) (검색결과 6 건)
- 무료
- 기관 내 무료
- 유료
-
분류 정확도 향상을 위한 선택적 마스킹 기반 추가 사전 학습 기법
서수민(Sumin Seo),김남규(Namgyu Kim) 한국정보과학회 2021 정보과학회 컴퓨팅의 실제 논문지 Vol.27 No.9
최근 여러 자연어 처리 분야에서 사전 학습 언어 모델인 BERT를 활용하여 분석 과제에 최적화된 텍스트 표현을 추출하려는 연구가 활발하게 이루어지고 있다. 특히 BERT의 학습 방식 중 하나인 MLM(Masked Language Model)을 활용하여 도메인 정보 또는 분석 과제 데이터를 추가 사전 학습(Further Pre-training)하는 시도가 이어지고 있다. 하지만 기존의 MLM 기법이 채택한 무작위 마스킹을 사용하여 감성 분류 과제에서 추가 사전 학습을 수행하는 경우, 분류 학습에 중요한 단서가 되는 단어가 마스킹될 수 있다는 가능성으로 인해 문장 전체에 대한 감성 정보 학습이 충분히 이루어지지 않는다는 한계가 있다. 이에 본 연구에서는 무작위 마스킹이 아닌 단서 단어를 제외하고 마스킹하는 선택적 마스킹을 통해 감성 분류 과제에 특화된 추가 사전 학습을 수행할 수 있는 방법을 제안한다. 더불어 주변 단어를 선택하기 위해 어텐션 메커니즘(Attention Mechanism)을 활용하여 단어의 감성 기여도를 측정하는 방안도 함께 제안한다. 제안 방법론을 실제 감성 댓글에 적용하여 문장 벡터를 추론하고 감성 분류 실험을 수행한 결과, 제안 방법론이 기존의 여러 비교 모델에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인하였다. Recently, studies to extract text expressions optimized for analysis tasks by utilizing bidirectional encoder representations from transformers (BERT), which is a pre-training language model, are being actively conducted in various natural language processing fields. In particular, attempts are being made to further pre-train domain information or target data using masked language model (MLM), which is one of the BERT training methods. However, if further pre-training is performed with the existing random masking when performing sentiment classification, there is a limitation that sentimental nuance for the entire sentence may not be sufficiently learned if the words that are important clues to the sentiment classification are masked. Therefore, in this study, we propose an further pre-training method specialized for sentiment classification tasks which sufficiently reflect sentiment information in sentences by selective masking that excludes clue words from masking candidates. In addition, this study proposes a method to distinguish between clue words and surrounding words as the role of words by utilizing the attention mechanism. On inferring sentence vectors by applying the proposed methodology to actual sentiment comments and performing sentiment classification experiments, it was confirmed that the proposed methodology showed superior performance in terms of classification accuracy compared to several existing comparison models.
-
추가 사전학습 기반 지식 전이를 통한 국가 R&D 전문 언어모델 구축
유은지 ( Eunji Yu ),서수민 ( Sumin Seo ),김남규 ( Namgyu Kim ) 한국지식경영학회 2021 지식경영연구 Vol.22 No.3
최근 딥러닝 기술이 빠르게 발전함에 따라 국가 R&D 분야의 방대한 텍스트 문서를 다양한 관점에서 분석하기 위한 수요가 급증하고 있다. 특히 대용량의 말뭉치에 대해 사전학습을 수행한 BERT(Bidirectional Encoder Representations from Transformers) 언어모델의 활용에 대한 관심이 높아지고 있다. 하지만 국가 R&D와 같이 고도로 전문화된 분야에서 높은 빈도로 사용되는 전문어는 기본 BERT에서 충분히 학습이 이루어지지 않은 경우가 많으며, 이는 BERT를 통한 전문 분야 문서 이해의 한계로 지적되고 있다. 따라서 본 연구에서는 최근 활발하게 연구되고 있는 추가 사전학습을 활용하여, 기본 BERT에 국가 R&D 분야 지식을 전이한 R&D KoBERT 언어모델을 구축하는 방안을 제시한다. 또한 제안 모델의 성능 평가를 위해 보건의료, 정보통신 분야의 과제 약 116,000건을 대상으로 분류 분석을 수행한 결과, 제안 모델이 순수한 KoBERT 모델에 비해 정확도 측면에서 더 높은 성능을 나타내는 것을 확인하였다. With the recent rapid development of deep learning technology, the demand for analyzing huge text documents in the national R&D field from various perspectives is rapidly increasing. In particular, interest in the application of a BERT(Bidirectional Encoder Representations from Transformers) language model that has pre-trained a large corpus is growing. However, the terminology used frequently in highly specialized fields such as national R&D are often not sufficiently learned in basic BERT. This is pointed out as a limitation of understanding documents in specialized fields through BERT. Therefore, this study proposes a method to build an R&D KoBERT language model that transfers national R&D field knowledge to basic BERT using further pre-training. In addition, in order to evaluate the performance of the proposed model, we performed classification analysis on about 116,000 R&D reports in the health care and information and communication fields. Experimental results showed that our proposed model showed higher performance in terms of accuracy compared to the pure KoBERT model.
-
미래식량자원 관련 환경교육 프로그램 개발 “요리사가 된 파브르”
김연진(Yeonjin Kim),박민정(Minjeong Park),서수민(Sumin Seo),김대희(Daehee Kim),신효연(Hyoyeon Shin) 한국환경교육학회 2019 한국환경교육학회 학술대회 자료집 Vol.2019 No.6
전 세계적인 기후의 급격한 변화로 인해 생물 서식환경이 변화함에 따라 인간생활에 악영향을 끼치고 있다. 기후 변화와 더불어 지속적인 인구 증가, 식생활 변화로 인한 육류 소비 증가, 유가 상승에 따른 바이오 연료 사용 증가 등은 식량위기가 점차 가까워지고 있음을 보여준다. 조만간 닥칠 수 있는 식량위기 상황에 대해 구체적으로 살펴보고, 이에 대한 해결방법을 강구하고자 ‘요리사가 된 파브르’ 환경교육 프로그램을 기획하게 되었다. 해당 환경교육 프로그램은 범지구적 식량문제의 현황에 대한 이론 고찰과 더불어 게임과 토론, 체험을 통해 학생 스스로 식량위기의 원인과 해결방법에 대해 사고하는 자기주도형 환경교육 프로그램이다. 해당 프로그램은 중학생이 주요 교육대상이며, 총 4회차로 구성하여 학생들의 환경관련 지식 및 태도의 성장을 살펴볼 수 있다. 1회 차시에서는 미래식량 자원에 관한 고찰을, 2회 차시에서는 3회 차시의 ‘대체식량 햄버거 만들기’ 활동 재료를 선정하는 ‘햄버거 재료 쟁탈전’ 활동을 진행한다. 3회 차시에서는 2회 차시에서 얻은 재료로 조별끼리 요리 실습을 한다. 요리 실습이 끝난 후 몇 학생들을 대상으로 대체식량 재료로 조리한 음식의 블라인드 테스트를 실시해 맛의 차이를 감별하고, 식재료로서 활용가능성을 고찰한다. 4회 차시에서는 대체식량을 활용한 레시피를 만들어 봄으로써 대체식재료의 실용화 가능성을 살펴보고, 대체식량 관련 직업에 대해 탐구한다. 프로그램의 기대효과는 다음과 같다. 첫째, 식량위기의 심각성에 대해 인지하고, 식량위기의 발생 원인을 환경적 측면의 단순한 고찰이 아닌 사회적 측면으로 확대하여 다각적으로 고찰할 수 있다. 둘째, 식량문제의 해결방안을 미래의 상황에 적용해볼 수 있다. 셋째, 미래 대표적 식량자원인식용곤충에 대한 인식 개선과 더불어 활용 및 실용화 가능성을 높일 수 있다. 넷째, 대체식량에 관련된 새로운 직업군에 대해 안내함으로써 학생들의 진로 선택의 폭을 넓힐 수 있을 것이다.
-
-
-
ScienceON연관 검색어 추천
이 검색어로 많이 본 자료
활용도 높은 자료
