자연언어 텍스트의 토큰 및 문장 경계의 자동 인식 문제에 대한 논의 = PROBLEMES DE RECONNAISSANCE AUTOMATIQUE DES UNITES LEXICALES ET DES PHRASES

다국어 초록 (Multilingual Abstract)

Dans cet article, nous avons essayé de montrer certains problèmes de reconnaissance automatique des unités lexicales(tokens) et des phrases dans les textes en langues naturelles, notamment en anglais, en français et en coréen. Bien que le découpage des textes soit une tâche préliminaire dans tous les systèmes de l'analyse automatique, les difficultés dans cette tâche est fortement liées aux aspects spécifiques de chaque langue. Dans un premier temps, nous avons examiné les particularités des ponctuations en anglais, surtout de celles qui causent des erreurs du découpage. Ensuite, nous avons analysé les aspects particuliers des usages des ponctuations en français et enfin, les notions problématiques des unités lexicales en coréen ont été examinées. Pour pouvoir réaliser un système de découpage automatique des textes pour une langue donnée, il sera indispensable de comprendre ses caractéristiques linguistiques et de décrire de façon exhaustive et systématique les contraintes et les conditions des contextes des unités lexicales et des phrases.

참고문헌 (Reference)

1 김강수, "한글 문장부호의 조판 관행에 대하여" 1 (1): 2007

2 이경호, "자연언어 처리와 문장 부호" 국제어문학회 24 : 2001

3 박수혁, "기계 학습 기법을 이용한 문장경계인식" 2008

4 이승후, "국어 문장부호 연구" 명지대학교 2003

5 Grefenstette, Gregory, "What is a word, what is a sentence? Problems of Tokenisation" 1994

6 Habert, Benoit, "Towards Tokenization Evaluation. In Proceedings of the 1st International Conference on Language Resources and Evaluation(LREC)" 1998

7 Lemnitzer, Lothar, "Tokenization" Eberhard Karls Universitat Tubingen 2003

8 Molla, Diego, "Tokenisation and Sentence Segmentation" 2007

9 Gross, Maurice, "The Construction of Local Grammars in: Finite-State Language Processing" MIT Press 1997

10 Mikheev, Andrei, "Text Segmentation in The Oxford Handbook of Computational Linguistics" Oxford University Press 2003

11 Mikheev, Andrei, "Tagging Sentence Boundaries" 2000

12 Heitz. Thomas, "Modélisation du prétraitement des textes" 2006

13 Fuchs. Catherine, "Linguistique et Traitement automatique des langues" Hachette 1993

14 Erjavec. Tomaz, "Language Technologies" Jozef Stefan International Postgraduate School 2008

15 Mourad. Ghassan, "La segmentation de textes par l'étude de la ponctuation" 1999

16 Schulte im Walde, Sabine, "Introduction to Corpus Rescouces, Annotation and Access: Tokenisation" Universitat Stuttgart 2007

17 Roche, Emmanuel, "Finite-State Language Processing" The MIT Press 1997

18 Silberztein, Max, "Dictionnaire électronique et analyse automatique de textes. Le système INTEX" Masson 1993

19 Paumier, Sebastien, "De la reconnaissance de formes linguistiques à l'analyse syntaxique" University of Marne-la-Vallée 2003

20 Gardent. Claire, "Corpus Processing and Tokenizing with NLTK" CNRS/ LORIA 2007

21 Friburger, Nathalie, "Améliorer la reconnaissance automatique des fins de phrases" 36 : 2000