단어의 의미와 문맥을 고려한 순환신경망 기반의 문서 분류 = Document Classification using Recurrent Neural Network with Word Sense and Contexts

다국어 초록 (Multilingual Abstract)

In this paper, we propose a method to classify a document using a Recurrent Neural Network by extracting features considering word sense and contexts. Word2vec method is adopted to include the order and meaning of the words expressing the word in the document as a vector. Doc2vec is applied for considering the context to extract the feature of the document. RNN classifier, which includes the output of the previous node as the input of the next node, is used as the document classification method. RNN classifier presents good performance for document classification because it is suitable for sequence data among neural network classifiers. We applied GRU (Gated Recurrent Unit) model which solves the vanishing gradient problem of RNN. It also reduces computation speed. We used one Hangul document set and two English document sets for the experiments and GRU based document classifier improves performance by about 3.5% compared to CNN based document classifier.

국문 초록 (Abstract)

본 논문에서는 단어의 순서와 문맥을 고려하는 특징을 추출하여 순환신경망(Recurrent Neural Network)으로 문서를 분류하는 방법을 제안한다. 단어의 의미를 고려한 word2vec 방법으로 문서내의 단어를 벡터로 표현하고, 문맥을 고려하기 위해 doc2vec으로 입력하여 문서의 특징을 추출한다. 문서분류 방법으로 이전 노드의 출력을 다음 노드의 입력으로 포함하는 RNN 분류기를 사용한다. RNN 분류기는 신경망 분류기 중에서도 시퀀스 데이터에 적합하기 때문에 문서 분류에 좋은 성능을 보인다. RNN에서도 그라디언트가 소실되는 문제를 해결해주고 계산속도가 빠른 GRU(Gated Recurrent Unit) 모델을 사용한다. 실험 데이터로 한글 문서 집합 1개와 영어 문서 집합 2개를 사용하였고 실험 결과 GRU 기반 문서 분류기가 CNN 기반 문서 분류기 대비 약 3.5%의 성능 향상을 보였다.

참고문헌 (Reference)

1 리청화, "한글문서분류에 SVD를 이용한 BPNN 알고리즘" 한국산업정보학회 15 (15): 49-57, 2010

2 이재윤, "문헌간 유사도를 이용한 SVM 분류기의 문헌분류성능 향상에 관한 연구" 한국정보관리학회 22 (22): 261-287, 2005

3 Y. Goldberg, "word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method"

4 김정미, "Word2vec을 활용한 RNN기반의 문서 분류에 관한 연구" 한국지능시스템학회 27 (27): 560-565, 2017

5 "Text Classification Data Sets [Internet]"

6 "Python Package for Natural Language Processing [Internet]"

7 F. A. Gers, "Learning to forget: Continual prediction with LSTM" 850-855, 1999

8 K. Cho, "Learning phrase representations using RNN encoder-decoder for statistical machine translation"

9 J. H. Kim, "Large-Scale Text Classification with Convolution Neural Networks" 792-794, 2015

10 A. Krizhevsky, "Imagenet classification with deep convolutional neural networks" 2012

11 "HANTEC Data Set [Internet]"

12 M. Cassel, "Evaluating one-hot encoding finite state machines for SEU reliability in SRAM-based FPGAs" IEEE 2006

13 T. Mikolov, "Distributed representations of words and phrases and their compositionality" 2013

14 Q. Le, "Distributed representations of sentences and documents" 2014

15 N. H. Kim, "Classification of Hangul Documents Based on CNN Using Document Indexing Method Considering Meaning and Order of Words" 21 (21): 41-45, 2017

16 P. Soucy, "Beyond TFIDF weighting for text categorization in the vector space model" 5 : 2005

17 J. H. Lau, "An empirical evaluation of doc2vec with practical insights into document embedding generation" 78-86, 2016

18 G. Salton, "A vector space model for automatic indexing" 18 (18): 613-620, 1975

19 Jiang, Z., "A hybrid generative/discriminative method for semi-supervised classification" 37 : 137-145, 2013

20 J. W. Hwang, "A Studyon Sentiment Features Extractionand Their Weight Boosting Methodfor Korean Document Sentiment Classification" 14 (14): 336-340, 2008

21 "20Newsgroups Data Set [Internet]"