Grammatical Error Correction in Indonesian - Korean Machine Translation

Pratiwi Nur Agus 부산대학교 대학원 2024 국내석사

기계번역은 사람의 관여 없이 자동으로 한 언어에서 다른 언어로 텍스트를 번역하기 위해서 계산을 사용하는 과정이다. 신경망을 사용하는 현재 기계번역 시스템의 용이성과 발전성 외에도 신경망 기계번역 시스템은 여전히 언어별 문제로 어려움을 겪고 있다. 언어별 문제의 예 중 하나는 문법적 형태의 오류와 관련된 존댓말의 번역이다. 본 연구에서는 한국어-인도네시아어 병렬 말뭉치로 파인튜닝을 하기 위해서 NLLB-200이라는 다국어 번역 모델을 사용한다. 기준 모델의 결과에서 번역에서 존댓말과 관련된 문제가 일부 있음을 보여주었다. 그 다음에 결과를 개선하기 위해서 빔서치(beam search) 디코딩 알고리즘이 사용된다. 결과는 빔 크기의 변화에 따라서 0.74~0.98점 범위의 SacreBLEU 점수는 향상되었음이 나타났다. 그 후에는 데이터 증강 기법을 적용하여 사용 가능한 단일 언어 말뭉치를 활용한다. 여기서 back-translation 기법은 모델 학습을 위한 소스(합성) - 타겟 병렬 데이터를 생성하는 데 사용된다. Back-translation은 인도네시아어 - 한국어 모델에서 24.37점이며 한국어 - 인도네시아어 모델에서 25.86점의 SacreBLEU 점수 결과를 제공한다. 결론적으로, 본 연구에서는 빔서치 디코딩 알고리즘과 결합된 back-translation이 존댓말 번역의 대부분 오류를 교정할 수 있다. Machine translation is the process of using a computation to automatically translate text from one language to another without human involvement. Apart from the ease and progress of the current translation system which uses a neural network, the Neural Machine Translation system still suffers from language-specific problems. One of the examples for language-specific problems is the translation of honorifics, which relates to the error in grammatical form. This study uses a multilingual model named NLLB-200 to be fine-tuned with the Korean-Indonesian parallel corpus. In the result of baseline model, it was shown that there are some problems related to honorifics in translation. To better the results, a beam search decoding algorithm is used. The result indicates that there is an improvement in SacreBLEU scores ranging from 0.74 to 0.98 points, depending on the change in beam size. Then, data augmentation method is applied to utilize available monolingual corpus. Here, back-translation technique is used for creating source (synthetic) - target parallel data for training. The back-translation gives a SacreBLEU score result of 24.37 points in Indonesian - Korean model and 25.86 points in Korean - Indonesian model. In this study, back-translation combined with beam search decoding algorithm is able to correct some errors in honorifics translation.

Literal Translation, Free Translation, and Back Translation : 문자번역, 자유번역 과 역번역

Ma Fei 부경대학교 대학원 2009 국내석사

The activity of translation has a long-standing tradition and has been widely practiced throughout history, so in our rapidly changing world its role has steadily increased. In the new millennium, as cultural exchanges have been widening, knowledge has been increasingly expanding and international communication has been intensifying, the function of translation has become more and more important. Fields as diverse as the scientific, medical, technological, commercial, legal, cultural, literary and daily human communication depend heavily on translation. But among translation methods from the early times to the present, advocates of the literal translation (LT) and of the free translation (FT) have debated continually. The author examines the unified tendency of the LT and FT from the Chinese and Western translation history, and author explains that they are complementary and unified from the translation practice. In order to coordinate the LT and FT, the author introduces several kinds of common and practical translation skills which improve the translation perfectly. At the same time the author assumes that in translation, theory, practice and assessment are inseparable, suggesting that translators and readers should use the back translation method to check the quality of translation. There are two methods applied in this study. The first is conceptual analysis, and the other is comparative analysis of samples. According to Nida's summary of translation theory, we can understand the nature of translation. Through the sample sentences translated in the form of LT and FT, one can see the advantages, disadvantages, and the utility range of the LT and FT. From translation history, we find the necessity and inevitability of combining the LT and FT when we translate. This thesis focuses on the Back translation's (BT) checking function, by providing formulas and listing samples to show how it works. The result of the thesis: in translation the three links are indivisible: correct understanding of the substance of Translation, flexibly using translation means and techniques, and carefully testing the translation work are closely related processes.

Nucleus Sampling-Based Synthetic Parallel Data Generation Method for Neural Machine Translation

Xu Guanghao 서강대학교 일반대학원 2023 국내박사

역-번역의 산물인 가상 병렬 데이터는 기계 번역기 학습에서 아주 중요하다. 하지만 가상 병렬 데이터와 인간이 태깅한 병렬 데이터 사이에는 여전히 큰 차이가 있다. 본 논문은 이러한 차이를 줄이기 위하여 번역 적절성과 번역 다양성에 초점을 맞추어 가상 병렬 데이터를 분석하였다. 가상 병렬 데이터의 번역 적절성은 다중 문장-임베딩 모델을 이용하여 병렬 문장 사이의 의미적 유사도에 근거하여 측정하였다. 또한 가상 병렬 데이터의 번역 다양성은 저-빈도 단어수와 미등록 단어의 비율에 근거하여 분석하였다. 본 논문의 분석에 의하면 역-번역 디코딩 단계의 beam search로 인하여 발생되는 다양성 부족이 가상 병렬 데이터의 가장 주요한 문제이다. 따라서 본 논문은 가상 병렬 데이터 생성 시 뉴클러스 샘플링 방법으로 beam-search 디코딩을 대체하여 다양성 부족 문제를 해결하였다. 실험 결과에 의하면 뉴클러스 샘플링에 기반한 디코딩이 beam-search 디코딩에 비하여 가상 병렬 데이터의 미등록 단어 비율을 13.27%에서 4.0%까지 낮추었다. 도메인 외 (out-domain) 번역에서 뉴클러스 샘플링에 기반한 방법이 beam search에 비해 0.51 BLEU (Bilingual Evaluation Understudy) 향상된 성능을 보였다. 또한 가상 병렬 데이터 필터링을 적용한 결과 0.18 BLEU의 추가 성능 향상을 관찰하였다. 제안 방법을 중간-자원 (medium-resourced) 도메인 내 (in-domain) 번역에 적용한 결과 0.96 - 1.23 BLEU 성능 향샹을 보였다. 제안 방법을 역-번역을 탑재한 최신 사전 학습된 (pre-training) 언어 모델 기반 기계 번역기에 적용한 결과 약간의 성능 향상을 보였다. 이러한 결과는 뉴클러스 샘플링에 기반한 디코딩 방법이 아주 풍부하고 다양한 가상 병렬 데이터를 생성할 수 있고 궁극적으로 기계 번역기의 성능을 향상할 수 있음을 시사한다. Synthetic data generated by back-translation is crucial in training neural machine translation (NMT) systems. While synthetic data has been shown to be effective, there is still a big gap between synthetic data and real data that is annotated by human beings. This thesis focuses on two aspects of synthetic data: translation adequacy and diversity. We measure the translation adequacy according to the semantic similarities of sentence pairs in synthetic data calculated by a multilingual sentenceembedding model. Moreover, we analyze the translation diversity considering the distribution of the number of low-frequency words and the out-of-vocabulary rate in synthetic data. Our analysis demonstrates that the lack of diversity and richness problem inherited from beam search in the decoding phase is the primary issue of synthetic data. Therefore, we propose using nucleus sampling-based decoding strategy as an alternative to beam-search decoding in back-translation which significantly improves the diversity of synthetic data. The experimental results demonstrate that nucleus sampling-based decoding lowers the out-of-vocabulary rate of synthetic data to 4.0% compared to 13.27% for beam search. In out-domain translation tasks, synthetic data generated by the sampling method outperforms the generated via beam search by 0.51 BLEU (Bilingual Evaluation Understudy) score. Furthermore, we observe an additional gain of 0.18 BLEU by adding synthetic data filtering. Synthetic data generated by the nucleus sampling method outperforms beam search by 0.96 − 1.23 BLEU in medium-resourced in-domain translation tasks. By applying the proposed methods to the recently advanced pretraining model with back-translation, we achieve a slight performance boost. The study indicates that nucleus samplingbased decoding is essential for generating a rich and diverse synthetic parallel data which improves the translation performance of an NMT system.

역번역을 통한 중국인 한국어 학습자의 개념전이 현상 연구 : 문장 구성 방법을 중심으로

이서진 韓國外國語大學校 大學院 2020 국내석사

This study is aimed at observing conceptual transfer of Chinese Korean learners through back-translation, especially focusing on principles of organizing sentences. The use of back-translation in foreign language education is effective in identifying the learner's error and its cause through the transition from the target language to the native language and from the native language to the target language. Chinese has the characteristic of implicitly linking logic when constructing sentences. In other words, the comma (,), the semicolon (;), and the colon (:) alone are enough to reveal the meaning without using connective endings or conjunctions that indicate the meaning between the sentence fragments. In other words, Chinese learners use CS1 to complete sentences in their language when translating from Korean to Chinese. When translating into Korean again, CS1 and CS2 should be used properly and CS2 should be used where necessary. However, there is still a part of the conceptual transfer that has been influenced by CS1 because of the failure of reconstruction to CS2. In this paper, comparing the back-translation of the test subjects with the original text, it is not as perfect as the original, but there is no problem in understanding. In other words, it can be viewed as ‘a difference that does not matter’. However, as the experimental text was selected as the expository writing, the logical linkage and cohesion were considered as important criteria in sentence construction. Therefore, if the translation was unreasonable or poorly condensed, the original text could not be delivered properly. On the basis of criteria, the conceptual errors are classified as 1) missing error, 2) response error, and 3) replacement error. And the cause of these errors was found in the Chinese translation. First of all, the missing error is the case of back-translation without using the connective endings and the demonstratives in the original Korean text. When looking only at the translation, it can be figured out what the sentence is trying to say. However, since it misses connective endings or demonstratives, it fails to convey the meaning of the original text properly. Next, response error is when the response between the subject, object, and predicates is inappropriate. Previous studies have only revealed that learners do not properly use subjective, objective postpositions or passive verbs, but the reasons have not been clarified. However, this paper is meaningful in that it is a conceptual transfer due to the Chinese non-explicit logical linkage.    Lastly, the replacement error is a case where the connective endings used in the original Korean text is replaced with another connective endings, so that its meaning is not properly transferred, or the verb is replaced with a noun to create ungrammatical sentences. In particular, it should be noted that since Chinese speakers use a lot of commas, it is customary to use the Korean connective ending ‘-고’ when converting commas into Korean sentences. According to analysis above, Chinese speakers have difficulty in properly connecting comma-separated sentences, but this is not because they do not know Korean vocabularies or grammar. Instead, Chinese speakers do not try to construct sentences logically because commas are enough to convey their meaning. This paper is meaningful because it examined the conceptual transfer which was not covered in previous studies through back-translation, and found the reason in the non-explicit logical linkage of Chinese language.

역번역 기반 적응 사전 학습을 통한 문서 분류 성능 및 강건성 향상

이정훈 고려대학교 대학원 2021 국내석사

Language models (LMs) pretrained on a large text corpus and fine-tuned on a downstream text corpus and fine-tuned on a downstream task becomes a de facto training strategy for several natural language processing (NLP) tasks. Recently, an adaptive pretraining method retraining the pretrained language model with task-relevant data has shown significant performance improvements. However, current adaptive pretraining methods suffer from underfitting on the task distribution owing to a relatively small amount of data to re-pretrain the LM. To completely use the concept of adaptive pretraining, we propose a back-translated task-adaptive pretraining (BT-TAPT) method that increases the amount of task-specific data for LM re-pretraining by augmenting the task data using back-translation to generalize the LM to the target task domain. The experimental results show that the proposed BT-TAPT yields improved classification accuracy on both low- and high-resource data and better robustness to noise than the conventional adaptive pretraining method.

스포츠사회과학 학술지의 설문연구 사용 비교

진박 영남대학교 대학원 2018 국내박사

The purpose of this study is to statistically analyze the use of Back Translation during the process of directly quoting oversea questionnaires in the empirical research studies in different branches. The research subject is collected from four Korean journals in social science of sports including Journal of Korean Society of Sport Pedagogy (KASP in short) (348 articles), Journal of Korean Society of Sport Policy (JKSSP in short) (358 articles), Korean Journal of Society of Sport (KJSS in short) (354 articles) and Korean Journal of Sport Management (KJSM in short) (537 articles), which have 405 articles in Pedagogy, 587 articles in Policy Science, 562 articles in Sociology and 573 articles in Management. Pedagogy, Policy Science, Sociology and Management are called the four metro sciences in Korean social science of sports. In addition, three Chinese journals in the same field are also collected, which are composed of 474 articles in Sport Pedagogy, 543 articles in Sports Sociology and 356 articles in Sports Management. The statistical analysis in this study is performed via IBM SPSS 23.0, where the frequency and Chi-square test are conducted. The research results illustrate that 1) Qualitative research applies in the study of Korean physical education, sports policy and sports sociology, while quantitative study is used in the study of sports management. In addition, the four metro sciences are conducted by quantitative research, while Chinese social science of sports is under qualitative study. 2) There are differences in quantitative and qualitative studies. The main research method is survey research in Korean social science of sports, while other methods are applied to the study of metro sciences. And Chinese social science of sports also adopts different research methods. Chinese Sports Pedagogy is under survey research, whereas Chinese Sports Management is applied to other research methods. 3) It is common in the articles that the design of questionnaire tends to cite both domestic and oversea questionnaires, while directly quotation of oversea questionnaire is rare. And the use of Back Translation is also few, where Sports Pedagogy has the highest ratio and Sports Management has the highest quantity. The questionnaires in metro sciences mainly adopt mixed citation from both domestic and foreign questionnaires, and the usage rate of direct citation from oversea questionnaires is higher than social science of sports. But it is rare to test the accuracy of foreign questionnaires through Back Translation. However, in this study, the questionnaires in Chinese research shows less direct citation of oversea questionnaires than that in Korean, therefore, the ratio of Back Translation is lower than Korean. 이 논문의 연구 목적은 한국 스포츠사회과학영역과 일반 사회과학영역(모학문)에서 연구방법의 사용현황, 설문연구의 사용현황, 그리고 설문지 개발제작에서 국외 설문지를 직접 인용하여 역번역하여 사용하는 현황에 대한 비교분석을 통해 한국 스포츠 사회과학영역의 미래 연구방법, 설문연구, 역번역 기술에 참고할 수 있는 이론적 논거를 제공하는 것이다. 또한 한국과 중국의 스포츠 사회과학영역에서 연구방법의 사용현황과 설문연구 사용현황, 그리고 설문지 개발제작 중 국외 설문지를 직접 인용하여 역번역을 사용하는 현황에 대한 비교분석을 통해 한국 스포츠사회과학영역의 연구방법, 설문연구, 역번역 기술의 현위치를 조명해보고 앞으로의 발전방향을 제시해 보고자 한다. 연구의 대상은 목적추출법에 의해 2006년부터 2016년까지 한국 스포츠사회과학영역에서 스포츠교육학(348편), 체육정책학(358편), 스포츠사회학(354편), 스포츠관리학(537편)과 각 학과의 모학문인 교육학(405편), 정책학(587편), 사회학(562편), 관리학(573편), 그리고 중국 스포츠사회과학영역에서 스포츠교육학(474편), 스포츠사회학(543편), 스포츠관리학(356편)의 논문을 대상으로 하였다. 연구방법은 조사연구(표본추출방법, 표본크기, 설문조사 문항형식, 분석도구)와 역번역의 사용현황에 대해 자료를 수집하고 IBM SPSS 23을 이용하여 빈도분석과 카이스퀘어 검정(Chi-square)를 진행하였다. 본 연구를 통하여 얻은 결론은 다음과 같다. 첫째, 한국 스포츠교육학, 스포츠정책학과 스포츠사회학의 주요 연구방법은 질적 연구방법이었고, 스포츠관리학의 주요 연구방법은 양적 연구방법이었다. 스포츠사회과학의 4개 학과의 모학문의 주요연구방법은 양적 연구방법이었다. 중국의 스포츠사회과학 중 스포츠교육학, 스포츠사회학, 스포츠관리학의 주요 연구방법은 질적 연구방법이었다. 둘째, 양적 연구에서 한국의 스포츠사회과학의 주요 연구방법은 조사연구였고 모학문의 주요 양적 연구방법은 기자 양적 연구방법으로 비교적 큰 차이를 보였다. 중국의 스포츠사회과학의 주요 연구방법은 스포츠교육학과 스포츠사회학은 조사연구였고, 스포츠관리학은 기타 양적 연구방법이었다. 셋째, 설문지의 제작방법은 주로 국내외 설문지의 혼합인용으로, 국외의 설문지를 직접 인용한 연구는 가장 적었다. 국외의 설문지를 직접 인용한 논문에서 역번역 기술을 사용한 연구는 비교적 적었으며, 그 중 스포츠교육학에서 역번역을 사용한 비율이 가장 높고, 스포츠관리학에서 역번역을 사용한 연구가 가장 많았다. 모학문의 설문지 제작방법은 주로 국내외 설문지의 혼합사용으로 국외 설문지의 직접 인용 비율은 스포츠사회과학보다 높았다. 모학문에서 국외 설문지를 인용하는 방법은 주로 직접인용이었으나, 국외 설문지를 직접 인용할 때 역번역 기술을 사용하여 검증은 진행한 경우는 아주 적었다. 중국의 조사연구에서 설문지 제작방법은 주로 자체개발이었다. 국외 설문지를 직접 인용한 경우는 한국보다 적었다. 국외 설문지를 직접 인용할 때 역번역 기술을 사용한 비율은 한국보다 낮았다.

중국인 한국어 학습자를 위한 역번역과 자가교정 방법론 연구 : 연결어미를 중심으로

정미 한국외국어대학교 대학원 2024 국내박사

본고의 연구 목적은 중국인 중·고급 학습자를 대상으로 역번역과 자가교정의 방법을 활용하여 실험을 진행한 후 향후 한국어 연결어미 교수·학습 현장에서 이러한 방법을 활용한 교육 모형을 고안하는 데에 있다. 이 연구의 진행 절차는 다음과 같다. 첫째, 중국인 학습자를 위한 효과적인 한국어 연결어미 교육 방안 마련의 필요성을 제시하여 담화 기반 연결어미 교육 방법이 갖는 의의를 논의한다. 이러한 논의를 기반으로 하여 역번역과 자가교정 방법이 한국어 연결어미 교육에 유의미한 효과가 있다는 가설을 세운다. 둘째, 선행 연구 분석을 통해 연구 목적에 맞는 한국 전래동화를 선정한 후 그 텍스트에 나타난 한국어 연결어미 문장을 정리하여 본고의 실험용 텍스트를 마련한다. 셋째, 중국인 학습자 30명을 대상으로 실제 전래동화 역번역과 자가교정을 활용한 한국어 연결어미 실험을 진행한다. 넷째, 중국인 학습자를 대상으로 역번역과 자가교정이라는 방법을 사용하여 한국어 연결어미 교육을 진행했을 때 어떠한 양상이 나타나는지를 양적 연구 방법을 통해 검토하기 위해 실험에 참여한 중국인 학습자들이 작성한 역번역 자가교정 전-후 텍스트를 평가한다. 이어서 역번역 자가교정 방법이 중국인 학습자의 한국어 연결어미 활용 능력 신장에 유의미한 교육 방법인지를 양적 연구 방법을 통해 확인한다. 한편 학습자의 한국어 연결어미 내재화 양상을 질적으로 분석하기 위해 비구조화된 인터뷰를 진행한다. 인터뷰 결과를 정리하여 학습자의 역번역 과정 및 자가교정 과정의 분석 기준을 설정한 후 실제 텍스트를 분석하여 중국인 학습자의 한국어 연결어미 내재화 양상에 관해 논의한다. 다섯째, 수집된 실험 자료에 나타난 중국인 학습자의 한국어 연결어미 역번역과 자가교정의 특징에 대해 논의한다. 이 연구는 실험을 진행하여 전래동화 역번역과 자가교정을 통한 한국어 연결어미 교육의 효용성을 검증하였다. 그리고 실험의 질적 분석 결과를 기반으로 하여 중국인 중·고급 학습자를 위한 역번역과 자가교정을 통한 한국어 연결어미의 교육 모형을 제시하였다는 점에서 의의가 있다.

다국어 BERT를 활용한 한국어 자연어 질의의 SQL 변환

윤훈상 고려대학교 대학원 2022 국내석사

Text-to-SQL is one of semantic parsing methods that converts natural language questions into SQL queries, and it aims to extract data from any relational database without knowledge of SQL query configuration. Although development of large amounts of datasets (WikiSQL, SPIDER) and development of pre-trained language models (BERT) contributed to the improvement of Text-to-SQL performance in English, language-specific dataset construction and model research have not been much progressed. Therefore, this study proposes a multilingual BERT-based Text-to-SQL methodology that converts the natural language question in Korean into SQL query for an English database. To this end, four strategies for translating Korean queries into English were explored, and their effectiveness was verified by applying each strategy to three text-to-SQL model structures. As a result of the experiment, it was confirmed that it showed a significant SQL generation performance even for Korean questions. The proposed methodology is meaningful in that it shows semantic inferences between database tables, column information, and questions composed of different languages are possible, and it is expected to support efficient database access by Korean users who lack proficiency in writing SQL queries. Text-to-SQL은 자연어 질문을 SQL 쿼리로 변환하는 의미 분석 중 하나로서, 임의의 관계형 데이터베이스에 대하여 SQL쿼리 구성에 대한 지식 없이 데이터를 추출하는 데 목적이 있다. 대량의 데이터셋(WikiSQL, SPIDER) 배포와 사전 학습 언어 모델(BERT)의 발전은 Text-to-SQL 성능 향상에 기여했지만, 한국어 데이터셋 구축과 모델 연구는 진행되지 않고 있다. 이에 본 연구는 영어로 된 데이터베이스에 대하여 한국어로 질의 된 요구사항을 SQL로 변환해주는 다국어 BERT 기반의 Text-to-SQL 방법론을 제안한다. 이를 위하여 본 연구에서는 한국어 질의를 영어로 번역하는 네 가지 전략을 탐색하고 각 전략을 세 가지 Text-to-SQL 모델 구조에 적용하여 그 효과를 검증하였다. 실험 결과 한국어 질의에 대해서도 유의미한 SQL 생성 성능을 나타내는 것을 확인하였다. 제안한 방법론은 다른 언어로 구성된 데이터베이스 테이블, 컬럼 정보와 질문 간의 의미론적 추론이 가능함을 보여주었다는 것에 의의가 있으며, SQL 쿼리 작성 숙련도가 부족한 한국어 사용자들의 효율적인 데이터베이스 접근을 지원할 수 있을 것으로 기대된다.

Sentiment Analysis of Vietnamese Text with PhoBERT- based Deep Classifiers and Ensemble Learning

Tran, Tao Anh 동국대학교 일반대학원 2023 국내석사

자연어 처리(NLP)는 인공 지능 분야에서 가장 잘 연구되었지만 도전적인 학문 중 하나입니다. 최근 몇 년 동안 NLP의 전례 없는 발전이 도입되어 감성 분석을 포함한 많은 NLP 하위 작업의 개선을 위한 새로운 가능성이 가능해졌습니다. 대규모 모델의 도입으로 이전에는 Computer Vision 전용으로 예약된 접근 방식이 이제 BERT 및 GPT와 같은 모델을 사용하여 NLP에 적용할 수 있습니다. 이러한 인기 있는 접근 방식 중 하나는 모델이 하나 또는 여러 언어의 일반적인 구문 기능을 이해하기 위해 대규모 코퍼스에서 사전 훈련된 다음 추가 다운스트림 특정 작업을 위해 미세 조정되는 Transfer Learning입니다. 포괄적인 데이터 세트 및 강력한 하드웨어와 함께 최첨단 결과를 생성하는 많은 창의적인 아키텍처와 정교한 미세 조정 기술을 보아왔습니다. 보다 구체적으로, 베트남어에 대해 사전 훈련된 최초의 공개 대규모 단일 언어 모델인 PhoBERT는 많은 베트남어 특정 작업을 해결하기 위한 기준 모델로 사용되었으며 다음과 같은 여러 작업에서 다국어 BERT 모델보다 더 나은 결과를 생성하는 것으로 입증되었습니다. 품사 태깅, 종속성 구문 분석, 명명된 엔터티 인식, 텍스트 분류, 자연어 추론 등. 본 연구에서는 베트남어 감성분석 과제에서 전이학습의 적용을 탐구한다. 베트남어용 BERT의 최첨단 사전 훈련 버전인 PhoBERT를 기준으로 여러 파이프라인으로 실험을 수행하여 모델을 미세 조정합니다. 저는 기본 PhoBERT를 3개의 심층 신경망 아키텍처인 LSTM(장기 기억 장치), RCNN(재귀 컨볼루션 신경망) 및 TextCNN과 결합합니다. 베트남어의 몇 가지 고유한 기능을 인식하고 베트남어 원어민으로서의 통찰력을 활용하고 일부 언어별 데이터 증강 기술을 배포하여 모델의 성능을 더욱 향상시킵니다. 또한 PhoBERT의 계층 선택을 탐색하고 앙상블 학습을 사용하여 고분산 문제를 완화하여 PhoBERT의 일부 약점을 해결합니다. NTC-SV, UIT-VSFC 및 UIT-VSMEC의 세 가지 벤치마크 데이터 세트를 사용하여 내 모델의 성능을 평가합니다. 각 데이터 세트에 대해 고유한 미세 조정 파이프라인으로 다국어 BERT 또는 단일 언어 PhoBERT를 활용하는 기존 구현과 비교를 그립니다. 연구의 주요 기여는 다음과 같이 요약된다. • 감성 분석을 위해 사전 훈련된 PhoBERT를 미세 조정하는 효과적인 파이프라인을 제안합니다. 파이프라인에는 다음이 포함됩니다: (1) 도메인 지식을 활용하여 베트남어에 맞게 조정된 데이터 증대 프로세스 설계, (2) PhoBERT 모델의 여러 변환기 레이어의 기능을 사용하여 데이터의 보다 포괄적인 표현 생성, (3) 다음을 위해 앙상블 학습 사용 PhoBERT의 높은 분산 특성을 완화하고 (4) 딥 러닝 모델의 힘을 활용하여 분류를 수행합니다. • 의미 있는 방식으로 새로운 교육 샘플을 생성하고, 미세 조정 프로세스의 효율성을 개선하고, 자원이 부족한 언어인 베트남어 문제를 해결하기 위해 언어별 데이터 증대에 대한 접근 방식을 소개합니다. 훈련 샘플 크기 또는 극단적인 클래스 불균형. • 나는 클래스 수와 데이터 분포가 다른 세 가지 데이터 세트에 대해 제안한 방법의 모든 측면의 효율성을 평가하기 위해 여러 실험을 수행합니다. 모든 데이터 세트에 대해 내 모델은 기존 방법과 비교하여 경쟁력 있는 결과를 생성합니다. 내 연구 결과에 따르면 파이프라인을 미세 조정하여 도메인별 지식을 성공적으로 활용하여 베트남 언어의 고유한 특성에 맞는 아키텍처와 프로세스를 실현할 수 있었습니다. 내 실험의 결과는 또한 내가 제안한 파이프라인을 일반화하고 베트남 NLP의 다른 많은 하위 도메인에 적용하여 향후 연구에서 더 높은 성능을 달성할 수 있음을 시사합니다. Natural Language Processing (NLP) is one of the most well-studied yet challenging disciplines in the field of Artificial Intelligence. In recent years, unprecedented advancements in NLP have been introduced, enabling new possibilities for improvements in many NLP subtasks including Sentiment Analysis. With the introduction of large-scale models, approaches that were formerly reserved only for Computer Vision are now applicable in NLP with models such as BERT and GPT. One such popular approach is Transfer Learning, where a model is pretrained on a large corpus to understand general syntactical features of one or multiple languages, and then fine-tuned for further down-steam specific tasks. Along with comprehensive datasets and powerful hardware, we have seen many creative architectures and sophisticated fine-tuning techniques that produce state-of-the-art results. More specifically, PhoBERT, the first public large-scale monolingual language model pre-trained for Vietnamese, has been used as the baseline model to solve many Vietnamese language-specific tasks, and proven to produce better results than multilingual BERT models in several tasks such as part-of-speech tagging, dependency parsing, named entity recognition, text classification, natural language inferencing etc. In this study, I explore the application of transfer learning in the task of Sentiment Analysis for Vietnamese language. Using PhoBERT, the state-of-the-art pretrained version of BERT for Vietnamese as the baseline, I conduct experiments with multiple pipelines to fine-tune the model. I combine the baseline PhoBERT with three deep neural networks architectures: long short-term memory (LSTM), recurrent convolutional neural networks (RCNN) and TextCNN. Recognizing some unique features of the Vietnamese language, I leverage my insights as a native Vietnamese speaker and deploy some language-specific data augmentation techniques to further improve the performance of my models. I also address some of PhoBERT’s weaknesses by exploring PhoBERT’s layer selection as well as employing ensemble learning to mitigate high variance issues. I evaluate the performance of my models using three benchmark datasets: NTC-SV, UIT-VSFC and UIT-VSMEC. For each dataset, I draw comparisons to existing implementations that also leverage either multilingual BERT or monolingual PhoBERT with their own unique fine-tuning pipelines. The key contributions of my study are summarized as follows. • I propose an effective pipeline to fine-tune pre-trained PhoBERT for Sentiment Analysis. The pipeline includes: (1) leveraging domain knowledge to design a data augmentation process tailored for the Vietnamese language, (2) using features from multiple transformer layers of PhoBERT model to yield more comprehensive representations of the data , (3) employ ensemble learning to mitigate PhoBERT’s high variance nature, and (4) harnessing the power of deep learning models to perform classification. • I introduce an approach to language-specific data augmentation to generate new training samples in a meaningful manner, help improve the efficiency of the fine-tuning process, and combat the problems of Vietnamese – a low-resource language – such as overfitting on small training sample size, or extreme class imbalance. • I conducted multiple experiments to evaluate the effectiveness of every aspect of my proposed method on three different datasets with distinct number of classes and data distributions. For all datasets, my models produce competitive results in comparison to existing methods. My findings indicate that, with my fine-tuning pipeline, I was able to successfully leverage domain-specific knowledge to realize architectures and processes tailored to the unique characteristics of Vietnamese language. The results of my experiments also suggest that my proposed pipeline can be generalized and applied in many other subdomains of Vietnamese NLP to achieve higher performance in future research.

Identification of circular RNA-induced nonsense-mediated mRNA decay and molecular mechanism of circular RNA translation

Min-Kyung Shin 고려대학교 대학원 2025 국내박사

유전자 발현 조절에 있어서 전사체 수준의 안정성 조절과 단백질 합성 과정은 매우 중요한 단계이다. 이 두 과정에 의해 mRNA의 수명과 기능이 결정되고, 결과적으로 세포 내의 단백질의 양이 조절된다. 유전자 발현 과정의 최종 산물인 단백질은 번역 개시 과정에 의해 합성이 유도되며, 번역 개시 과정은 mRNA의 5′ 캡 구조를 리보솜이 인식함으로써 시작된다. 원형 RNA는 백스플라이싱 (back-splicing)를 통해 생성되고, 이는 DNA에서 RNA 합성 중에 일어나는 일반적인 스플라이싱과는 다른 과정이다. 따라서 원형 RNA는 5′ 캡 구조를 가지지 않는 것이 특징이며, 이로 인해 캡 의존적 번역 개시 과정이 유도될 수 없다. 최근 연구 보고에 따르면 세포 내에서 번역이 가능한 원형 RNA의 존재가 보고된 바 있고, 이러한 원형 RNA의 번역 메커니즘에 대한 관심이 증가되고 있다. 하지만 원형 RNA의 내부 번역 개시를 조절하는 분자적 기전은 명확히 알려진 바 없다. 본 연구는 두 엑손-엑손 접합 부위에서 형성되는 엑손 접합 복합체 (EJC)에 의해 리보솜을 포함한 단백질 번역 개시 인자들이 표적 RNA에 위치함을 밝혔다. 이로 인해 단백질 번역 개시가 유도됨을 보여줌으로써 내부 번역 개시 메커니즘을 규명하였다. 또한, 본 메커니즘이 원형 RNA에 적용됨을 증명함으로써 원형 RNA의 내부 번역 기전을 새롭게 입증하였다. 또한, 유전자 발현은 비정상적 단백질이 생성되지 않도록 엄격한 양적 혹은 질적 조절을 통해 이루어진다. 그 대표적인 mRNA 품질 관리 기전은 난센스 매개 mRNA 분해 (nonsense-mediated mRNA decay; NMD) 과정이다. NMD는 정지 코돈 하류에 위치한 엑손 접합 복합체를 인식함으로써 시작되며, 그로 인해 UPF1을 포함한 분해 인자들이 결합한다. 이 과정은 일반적으로 캡 결합 복합체 (CBC)에 의해 매개되는 번역 개시 단계에서 발생된다고 보고되어 있지만, 최근 연구에서는 NMD과정이 진핵 생물 번역 개시 인자 4E (eIF4E)를 매개로 하는 번역 단계와의 연관성이 있음이 보고된 바 있다. 그러나 eIF4E에 의한 번역 단계에서 발생되는 NMD의 특성에 대한 연구 보고는 부족한 상황이다. 본 연구에서는 소포체 (ER)를 표적하는 신호 펩타이드를 암호화하는 mRNA의 품질 관리 기전을 연구하였다. mRNA가 ER에 올바르게 도달할 때까지 유전자 발현이 억제되는 독특한 감시 메커니즘을 확인함과 동시에 ER로 도달한 후에 그 mRNA 품질 관리 기전이 유도됨을 밝혔다. 추가적으로, 본 연구에서는 RNA 결합 단백질 또는 다른 RNA와의 결합을 통한 RNA 안정성 조절 메커니즘을 연구하였다. mRNA 결합 단백질을 통해 mRNA의 안정성이 조절되는 메커니즘 중 하나인 글루코르티코이드 수용체 매개 mRNA 분해 (glucocorticoid receptor-mediated mRNA decay; GMD) 과정을 전사체 수준에서 분석함으로써, 다양한 종류의 표적 전사체를 밝혔다. 또 다른 연구로는, RNA-RNA 결합에 의한 mRNA의 안정성 조절에 대한 연구를 통해 원형 RNA가 mRNA에 결합함으로써 mRNA의 NMD 메커니즘이 유도된다는 독특한 현상을 규명하였다. 요약하자면, 본 연구는 원형 RNA의 번역 개시 메커니즘을 새롭게 제시하고, mRNA 안정성 조절에 대한 다양한 분자생물학적 메커니즘을 밝힘으로써 유전자 발현 조절에 대한 통찰력을 제공한다. In the regulation of gene expression, transcript stability and the process of protein synthesis are critical stages. These two processes determine the lifespan and functionality of mRNA, ultimately modulating the levels of proteins within the cell. The final product of gene expression, protein, is synthesized through translation initiation, which is triggered by the recognition of the mRNA 5′ cap structure by the ribosome. Circular RNA (circRNA) is generated through back-splicing, a process distinct from the typical splicing that occurs during the synthesis of RNA from DNA. Therefore, circular RNA lacks a 5′ cap structure and cannot induce protein expression via cap-dependent translation initiation. Recent studies have reported the presence of circular RNAs capable of translation within cells, and there is increasing focus on the translation mechanisms of these circular RNAs, which differ from those of conventional mRNAs. However, the molecular mechanisms underlying internal translation initiation of circular RNA are not well understood. This study elucidated the internal translation initiation mechanism by demonstrating that the exon junction complex (EJC), formed at two exon-exon junctions, recruit ribosomes to induce protein initiation. Additionally, it revealed that this mechanism applies to circular RNA, contributing to the understanding of the translation process of circular RNA. Furthermore, gene expression occurs through stringent qualitative and quantitative regulation to prevent the production of abnormal proteins. One such representative mRNA quality control mechanism is nonsense-mediated mRNA decay (NMD). NMD is initiated by recognizing the EJC located downstream of the stop codon, leading to the binding of decay factors, including up-frameshift protein 1 (UPF1). This process typically occurs during the translation initiation stage mediated by the cap-binding complex (CBC). On the other hand, recent researches have reported a connection between the NMD and the translation stage mediated by eukaryotic translation initiation factor 4E (eIF4E). However, the characteristics of NMD occurring during the translation stage mediated by eIF4E are unclear. This study explored the quality control pathways of mRNAs encoding signal peptides destined for the endoplasmic reticulum (ER). It revealed a distinct surveillance mechanism in which gene expression is suppressed until the mRNA correctly reaches the ER, and mRNA quality control is induced once it arrives at the ER. Additionally, this study analyzed the mechanisms by which RNA stability is regulated through the binding of RNA-binding proteins or other RNAs. By performing a transcriptome-wide analysis of glucocorticoid receptor-mediated mRNA decay (GMD), a mechanism through which mRNA is regulated by RNA-binding proteins, various classes of target transcripts were identified. Another one focused on the regulation of mRNA stability through RNA-RNA interactions. This study revealed the unique finding that the NMD mechanism of mRNA is induced when circRNA binds to mRNA. In summary, this study provides insights into gene expression regulation by examining the translation initiation mechanisms of circular RNA and the molecular pathways that control mRNA stability.