Recurrent Neural Network를 이용한 자연언어처리

국문 초록 (Abstract)

최근 우수한 성능으로 영상처리와 음성인식 분야에서 각광받는 딥러닝은 neural network language modeling 등을 통한 word vector representations[1]과 Long Short Term Memory RNN(LSTM)[2]등의 sequence labeling 과제에 특화된 딥러닝 모델이 등장하면서, 자연언어처리 분야에서도 활발히 연구되고 있다.
딥러닝에 자주 쓰이는 모델 중의 하나인 Feed Forward Neural Network(FFNN)[3]은 연속적인 term을 고려하지 않는다. 자연언어처리 분야 대부분의 과제는 sequence 형태의 문장을 입력으로 처리하게 된다. 따라서 sequence를 고려하지 않는 FFNN 모델을 사용하였을 때 우수한 성능을 기대하기 어렵다.
Recurrent Neural Network(RNN)[4]은 직전 입력에 대한 hidden layer의 출력을 현재 hidden layer의 입력으로 다시 사용하는 형태의 neural network 모델로, 지나온 term의 입력과 hidden layer의 상태가 지속적으로 다음 term에 영향을 미치게 된다.
본 논문에서는 품사 부착과 개체명 인식, 생명과학 분야 개체명 인식 과제에 RNN을 적용해 본다. 또한 NNLM[5]을 이용하여 사전 학습한 word embedding[1]을 통해 course of dimension 문제를 줄이며, 지역 해에 빠지는 것을 방지하여 Dropout[6] 등을 이용하여 과적합 문제를 줄여 최적의 성능을 구하고, 과제에 따른 RNN의 특징과 최적화를 위한 파라미터들을 비교 분석한다. 그리고 기존의 sequence labeling 과제만 처리할 수 있는 RNN을 응용하여 sentence classification 과제에 적용 가능한 RNN-encoder모델과 RNN-attention 모델을 제안하고, 감성분석 과제에서 성능을 평가한다.
실험 결과, 품사 부착과, 개체명 인식에서 LSTM(RNN)모델의 F1-score는 각각 97.36, 87.73으로 같은 과제에 적용한 FFNN 모델보다 각각 0.15, 0.38 우수하였다. 생명과학 분야 개체명 인식에서는 제안한 LSTM-CRF 모델이 81.83 F1-score로 FFNN 모델보다 9.17 우수하였다. 감성분석에 RNN-encoder 모델과 RNN-attention 모델을 적용한 결과는 정확도 79.19%와 80.41%로 기존연구의 MV-RNN 정확도 79.00% 보다 우수하였다.

다국어 초록 (Multilingual Abstract)

Recently, there is increasing interest in the field of deep learning for computer vision, speech recognition, and natural language processing.
Feed Forward Neural Network (FFNN) that is widely used to deep learning studies, does not consider sequence of inputs. But most of natural language processing tasks have sequence of inputs. So we cannot expect high performance in the natural language processing tasks using FFNN that is not considering sequence of inputs.
Unlike FFNN, Recurrent Neural Network (RNN) can use its internal memory to process arbitrary sequences of inputs. This makes them applicable to natural language processing.
In this paper, we used recurrent neural network in Parts-Of-Speech tagging(POS-tagging), named entity recognition, biomedical named entity recognition, and sentiment analysis. We use pre-trained word embedding for reduce course of dimension and use dropout for reduce over fitting. We also suggest RNN-encoder and RNN-attention models that can process the sequence of inputs for sentiment analysis.
In experiments, LSTM (RNN) showed 97.36 F1-score (0.15 better than FFNN) in POS-tagging, 87.73 F1-score (0.38 better than FFNN) in named entity recognition and 81.83 F1-score (9.17 better than FFNN) in biomedical named entity recognition. In sentiment analysis, RNN-attention showed 80.41 F1-score that was 0.59 better than MV-RNN.

목차 (Table of Contents)

• 목 차
• I. 서 론 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 1
• II. 관련 연구 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 4
• 1. 품사 부착∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 4
• 2. 개체명 인식∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 6
• 3. 생명과학분야 개체명 인식∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 7
• 4. 감성분석∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 8
• 5. Feed Forward Neural Network ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 9
• 6. Word embedding∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 10
• III. Recurrent Neural Networks ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 14
• 1. Simple Recurrent Neural Network∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 14
• 2. Long Short Term Memory∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 16
• 3. Gated Recurrent Unit∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 19
• 4. LSTM-CRF∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 21
•  
• IV. RNN을 이용한 자연언어처리 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 23
• 1. 품사 부착 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 23
• 1) 실험방법∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙23
• 2) 실험결과∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙25
• 2. 개체명인식∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 27
• 1) 실험방법∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙27
• 2) 실험결과 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙28
• 3. 생명과학분야 개체명 인식∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙29
• 1) 실험방법∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙29
• 2) 실험결과∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙30
• 4. 감성분석∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙33
• 1) RNN-encoder∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙33
• 2) Attention Mechanism∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙34
• 3) 실험방법∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙36
• 4) 실험결과 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙37
• V. 결 론 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 40
• 참고문헌 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 42
• 영문초록∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 46
•  
• 표 목차
• 표 1. Penn Treebank 2 품사 태그∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 24
• 표 2. 품사 부착에 사용된 자질∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 25
• 표 3. RNN 모델들을 이용한 품사 부착 성능∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 26
• 표 4. type 태그의 의미∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 27
• 표 5. 개체명 인식에서의 각 모델별 성능∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 28
• 표 6. 생명과학분야 개체명 인식 모델별 성능∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 31
• 표 7. MR data에서 각 모델 별 성능∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 37
•  
• 그림 목차
• 그림 1. 품사 부착 예∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 5
• 그림 2. 개체명 인식 예∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 6
• 그림 3. Feed forward neural network∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 9
• 그림 4. One-hot-representation 예∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 10
• 그림 5. Term weighting 예∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙11
• 그림 6. NNLM을 학습하기 위한 raw text를 사용한 예∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 12
• 그림 7. NNLM∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 13
• 그림 8. Recurrent neural network 수식과 구조 ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 15
• 그림 9. Vanishing gradient problem∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 16
• 그림 10. LSTM에서의 Vanishing gradient∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 17
• 그림 11. Gated Recurrent Unit 개요∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 19
• 그림 12. LSTM-CRF∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 21
• 그림 13. BioNLP 2011-st REL data변환 예∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 30
• 그림 14. Hidden unit 개수에 따른 tanh, LSTM-CRF의 성능∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 32
• 그림15. RNN-encoder로 구한 Context vector∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 33
• 그림 16. RNN-Attention∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 35
• 그림 17. RNN(GRU)-Attention의 Hidden unit에 따른 성능∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 38
• 그림 18. Hidden layer의 입력 단어와 attention 예∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ ∙ 39