Zero-Shot 기반 기계번역 품질 예측 연구

어수경,박찬준,서재형,문현석,임희석 한국융합학회 2021 한국융합학회논문지 Vol.12 No.11

최근 다언어모델(Cross-lingual language model)을 활용하여 한 번도 보지 못한 특정 언어의 하위 태스크를 수행하는 제로샷 교차언어 전이(Zero-shot cross-lingual transfer)에 대한 관심이 증가하고 있다. 본 논문은 기계번역 품질 예측(Quality Estimation, QE)을 학습하기 위한 데이터 구축적 측면에서의 한계점을 지적 하고, 데이터를 구축하기 어려운 상황에서도 QE를 수행할 수 있도록 제로샷 교차언어 전이를 수행한다. QE에서 제로샷을 다룬 연구는 드물며, 본 논문에서는 교차언어모델을 활용하여 영어-독일어 QE 데이터에 대해 미세조정을 실시한 후 다른 언어쌍으로의 제로샷 전이를 진행했고 이 과정에서 다양한 다언어모델을 활용하여 비교 연구를 수행했다. 또한 다양한 자원 크기로 구성된 언어쌍에 대해 제로샷 실험을 진행하고 실험 결과에 대해 언어별 언어 학적 특성 관점으로의 분석을 수행하였다. 실험결과 multilingual BART와 multillingual BERT에서 가장 높은 성능을 보였으며, 특정 언어쌍에 대해 QE 학습을 전혀 진행하지 않은 상황에서도 QE를 수행할 수 있도록 유도하였다. Recently, there has been a growing interest in zero-shot cross-lingual transfer, which leverages cross-lingual language models (CLLMs) to perform downstream tasks that are not trained in a specific language. In this paper, we point out the limitations of the data-centric aspect of quality estimation (QE), and perform zero-shot cross-lingual transfer even in environments where it is difficult to construct QE data. Few studies have dealt with zero-shots in QE, and after fine-tuning the English-German QE dataset, we perform zero-shot transfer leveraging CLLMs. We conduct comparative analysis between various CLLMs. We also perform zero-shot transfer on language pairs with different sized resources and analyze results based on the linguistic characteristics of each language. Experimental results showed the highest performance in multilingual BART and multillingual BERT, and we induced QE to be performed even when QE learning for a specific language pair was not performed at all.

소아외상후스트레스장애에서 그림이야기 검사 반응특성 - 소아화상환자에서 -

어수경 한국미술치료학회 2017 美術治療硏究 Vol.24 No.3

The purpose of this study was to investigate the reaction characteristics of the DAS test for children with post - traumatic stress disorder (CPTSD). For this purpose, CPTSD, Children's Depression Inventory (CDI), and DAS tests were performed. We examined the characteristics of stimulus image selection and DAS composition (emotional content, self-image) of children with PTSD. The subjects were thirty-five patients with pediatric burns between the ages of 7 and 12 years old who were admitted to Seoul H Imaging Hospital, and the collected data were analyzed using the SPSS 18.0 statistical program. First, there was a significant positive correlation between CPTSD and CDI scores (r = .706, p <.001). Second, there was a negative correlation between self-image (r = -. 516, p <.01) and emotional content (r = -. 691, p <.001) scores of CPTSD and DAS. Third, there was a difference in stimulus image selection of DAS in children with and without PTSD. Fourth, there was a difference in the self-image and stimulus image selection according to sex in CPTSD. As a result, it was found that there was a difference in the emotional content, self-image, and stimulation image of DAS depending on the presence or absence of CPTSD. 외상후스트레스장애를 가진 화상환아들을 대상으로 그림이야기(Draw a Story: DAS) 검사의 반응특성을 알아보고자 하였다. 이를 위해서 소아외상후스트레스장애(Child Posttraumatic Stress Disorder: CPTSD), 소아우울(Children’s Depression Inventory: CDI)와 DAS검사를 시행하였고, 외상후스트레스장애가 있는 환아의 자극이미지 선택과 DAS 구성(정서내용, 자기상)에서 어떠한 특이성이 있는지를 살펴보았다. 서울 H화상전문병원에 입원한 만 7세에서 만 12세 사이의 소아화상환자 35명을 대상으로 하였고 수집된 검사자료는 SPSS 18.0 통계프로그램을 이용하여 분석하였다. 첫째, CPTSD와 CDI 점수 간에는 유의한 정적(positive) 상관관계(r=.706, p<.001)를 보였다. 둘째, CPTSD와 DAS의 자기상(r=-.516, p<.01)과 정서내용(r=-.691, p<.001) 점수 간에는 모두 부적(negative) 상관관계를 보였다. 셋째, 외상후스트레스장애가 있는 환아와 그렇지 않은 환아에서 자극이미지 선택에 차이가 있었다. 넷째, 외상후스트레스장애가 있는 환아에서 성별에 따른 자기상의 선택에 차이가 있었다. 이상의 결과로 CPTSD 유무에 따라 DAS의 정서내용, 자기상 및 자극이미지에 차이가 있음을 알 수 있었다.

소아화상환자에서 통증색, 통증완화색, 선호색에 대한 연구

어수경 한국예술심리치료학회 2017 예술심리치료연구 Vol.13 No.2

본 연구는 소아화상환자의 통증색과 통증완화색을 조사하고 선호색과의 연관성을 알아보는데 목적이 있으며 이를 위해 일반아동과의 차이를 비교하였다. 이는 소아화상환자 대상 미술치료프로그램의 활용에 있어 기초자료로 제시하고자 함이다. 총 120명을 대상으로 하였고 S시 일개 화상전문병원에 입원한 8세 이상의 환아 60명과 W시 일개 학원에 수강중인 8세 이상의 일반아동 60명을 대상으로 비교연구 하였다. 두 그룹 모두에서 신체이미지 도안이 그려져 있는 설문지 한 장과 12색의 색연필이 제시되었다. 연구결과는 다음과 같다. 소아화상환자가 느끼는 통증 색으로는 빨강, 갈색 순이었고 통증을 완화 시켜줄 것 같은 색으로는 살구, 파랑, 노랑 순이었으며 선호색이 통증완화색과 일치하는 환아는 25명 그리고 선호색과 일치하지 않는 환아는 35명이었다. 일반아동은 통증색으로는 빨강, 검정, 파랑, 보라, 갈색, 주황 순이었고 통증완화색으로는 초록, 파랑, 하양, 노랑 순이었으며 선호색이 통증완화색과 일치하는 아동은 10명 그리고 선호색과 일치하지 않는 아동은 50명이었다. 두 그룹의 통증색은 빨강이 동일하게 가장 높게 나타났으며, 통증완화색은 상이 하게 나타났다. 그리고 두 그룹 모두 선호색이 통증을 완화시켜 주는 색은 아니었다. The purpose of this study is to examine the relationship between pain color, pain relief color and preferred color for pediatric burn patients and general children. The result will provide basic data in the use of art therapy for pediatric burn patients. Sixty hospitalized pediatric burn patients at a burn specialized hospital and 60 children enrolled in an academy, were compared. The 120 children were all over 7 years old. For pediatric burn patients, pain color was red and, brown. Pain relief color was apricot, blue, and, yellow. There were 25 and 35 pediatric burn patients whose pain relief color matched and did not match the preferred color, respectively. For general children, the pain color was red, black, blue, purple, brown, and, orange. Then, pain relief color was green, blue, white, and, yellow. There were 10 and 50 general children whose pain relief color did and did not match the preferred color, respectively. Pain color was red for both groups with equally high percentage. Pain relief colors differed. Also, pain relief color and preferred color did not match for both groups.

최신 기계번역 품질 예측 연구

어수경,박찬준,문현석,서재형,임희석,Eo, Sugyeong,Park, Chanjun,Moon, Hyeonseok,Seo, Jaehyung,Lim, Heuiseok 한국융합학회 2021 한국융합학회논문지 Vol.12 No.7

기계번역 품질 예측(Quality Estimation, QE)은 정답 문장(Reference sentence) 없이도 기계번역 결과의 질을 평가할 수 있으며, 활용도가 높다는 점에서 그 필요성이 대두되고 있다. Conference on machine translation(WMT)에서 매년 이와 관련한 shared task가 열리고 있고 최근에는 대용량 데이터 기반 Pretrained language model(PLM)을 적용한 연구들이 주로 진행되고 있다. 본 논문에서는 기계번역 품질 예측 task에 대한 설명 및 연구 동향에 대한 전반적인 survey를 진행했고, 최근 자주 활용되는 PLM의 특징들에 대해 정리하였다. 더불어 아직 활용된 바가 없는 multilingual BART 모델을 이용하여 기존 연구들인 XLM, multilingual BERT, XLM-RoBERTa와 의 비교 실험 및 분석을 진행하였다. 실험 결과 어떤 사전 학습된 다중언어 모델이 QE에 적용했을 때 가장 효과적인지 확인하였을 뿐 아니라 multilingual BART 모델의 QE 태스크 적용 가능성을 확인했다. Quality estimation (QE) can evaluate the quality of machine translation output even for those who do not know the target language, and its high utilization highlights the need for QE. QE shared task is held every year at Conference on Machine Translation (WMT), and recently, researches applying Pretrained Language Model (PLM) are mainly being conducted. In this paper, we conduct a survey on the QE task and research trends, and we summarize the features of PLM. In addition, we used a multilingual BART model that has not yet been utilized and performed comparative analysis with the existing studies such as XLM, multilingual BERT, and XLM-RoBERTa. As a result of the experiment, we confirmed which PLM was most effective when applied to QE, and saw the possibility of applying the multilingual BART model to the QE task.

PTSD 의료미술치료가 중증화상환자의 사건충격과 자기효능감에 미치는 영향

어수경(Eo Soo-Kyung),정여주(Jeong Yeo-ju) 한국미술치료학회 2020 美術治療硏究 Vol.27 No.2

본 연구는 서울시 소재 H 화상전문병원에 입원하여 PTSD 진단을 받은 중증화상환자로 실험군 10명과 대조군 7명, 총 17명이 참여하였다. 연구문제는 다음과 같다. 첫째, PTSD 의료미술치료가 중증화상환자의 사건충격 완화에 영향을 미칠 것인가? 둘째, PTSD 의료미술치료가 중증화상환자의 자기효능감 향상에 영향을 미칠 것인가? 셋째, 사건충격과 자기효능감은 상관관계가 있을 것인가? 이를 위한 측정도구로는 한국판사건충격척도 수정판과 자기효능감척도를 사용하였다. 수집된 자료는 SPSS 22.0 통계 프로그램으로 분석하였다. 이에 따른 연구결과는 다음과 같다. 첫째, PTSD 의료미술치료가 중증화상환자의 사건충격척도 점수에 유의미한 감소를 보였다. 둘째, PTSD 의료미술치료가 중증화상환자의 자기효능감척도에 유의미하게 효과가 있다고 나타났다. 셋째, 사건충격척도와 자기효능감척도 간 정적 관계가 있는 것으로 나타났다. 연구결과를 논의하면, 사건충격척도 세 요인인 침습, 과각성, 그리고 회피는 서로에게 영향을 미치는 정적 관계에 있고, 자기효능감척도 두 요인인 일반적효능감과 사회적효능감도 정적 관계에 있는 것으로 나타났다. 결론적으로, PTSD 의료미술치료가 중증화상환자의 사건충격 완화와 자기효능감 향상에 효과가 있고, 사건충격과 자기효능감과는 밀접한 정적 상관관계에 있다. The subjects of this study were 17 seriously burned patients who were admitted to the H hospital in Seoul. 10 patients in the experimental group and 7 in the control group participated. The research hypothesis was as follows: First, will medical art therapy affect event impact in severely burned patients Second, will medical art therapy affect the self-efficacy of patients with severe burns Third, is there a correlation between event impact and self-efficacy As a measurement tool for this purpose, the Korean version of the Impact of Event Scale-Revised and Self-Efficacy Scale were used. The results of this study were as follows: First, medical art therapy showed a significant decrease in the event impact scale score of severely burned patients. Second, medical art therapy had a significant effect on the improvement of self- efficacy of severely burned patients. Third, there was a statistically significant relationship between event impact scale and self efficacy. In conclusion, medical art therapy is effective in mitigating event impact and improving self-efficacy in severely burned patients. Moreover, event impact and self-efficacy are related closely.

최신 기계번역 사후 교정 연구

문현석,박찬준,어수경,서재형,임희석,Moon, Hyeonseok,Park, Chanjun,Eo, Sugyeong,Seo, Jaehyung,Lim, Heuiseok 한국디지털정책학회 2021 디지털융복합연구 Vol.19 No.7

기계번역 사후교정이란, 기계번역 문장에 포함된 오류를 자동으로 교정하기 위해 제안된 연구 분야이다. 이는 번역 시스템과 관계없이 번역문의 품질을 높이는 오류 교정 모델을 생성하는 목적을 가진 연구로, 훈련을 위해 소스문장, 번역문, 그리고 이를 사람이 직접 교정한 문장이 활용된다. 특히, 최신 기계번역 사후교정 연구에서는 사후교정 데이터를 통한 학습을 진행하기 이전에, 사전학습된 다국어 언어모델을 활용하는 방법이 적용되고 있다. 이에 본 논문은 최신 연구들에서 활용되고 있는 다국어 사전학습 언어모델들과 함께, 해당 모델을 도입한 각 연구에서의 구체적인 적용방법을 소개한다. 나아가 이를 기반으로, 번역 모델과 mBART모델을 활용하는 향후 연구 방향을 제안한다. Automatic Post Editing(APE) is the study that automatically correcting errors included in the machine translated sentences. The goal of APE task is to generate error correcting models that improve translation quality, regardless of the translation system. For training these models, source sentence, machine translation, and post edit, which is manually edited by human translator, are utilized. Especially in the recent APE research, multilingual pretrained language models are being adopted, prior to the training by APE data. This study deals with multilingual pretrained language models adopted to the latest APE researches, and the specific application method for each APE study. Furthermore, based on the current research trend, we propose future research directions utilizing translation model or mBART model.

병렬 말뭉치 필터링을 적용한 Filter-mBART기반 기계번역 연구

문현석,박찬준,어수경,박정배,임희석 한국융합학회 2021 한국융합학회논문지 Vol.12 No.5

최신 기계번역 연구 동향을 살펴보면 대용량의 단일말뭉치를 통해 모델의 사전학습을 거친 후 병렬 말뭉치로 미세조정을 진행한다. 많은 연구에서 사전학습 단계에 이용되는 데이터의 양을 늘리는 추세이나, 기계번역 성능 향상을 위해 반드시 데이터의 양을 늘려야 한다고는 보기 어렵다. 본 연구에서는 병렬 말뭉치 필터링을 활용한 mBART 모델 기반의 실험을 통해, 더 적은 양의 데이터라도 고품질의 데이터라면 더 좋은 기계번역 성능을 낼 수 있음을 보인다. 실험결과 병렬 말뭉치 필터링을 거친 사전학습모델이 그렇지 않은 모델보다 더 좋은 성능을 보였다. 본 실험결과를 통 해 데이터의 양보다 데이터의 질을 고려하는 것이 중요함을 보이고, 해당 프로세스를 통해 추후 말뭉치 구축에 있어 하나의 가이드라인으로 활용될 수 있음을 보였다. In the latest trend of machine translation research, the model is pretrained through a large mono lingual corpus and then finetuned with a parallel corpus. Although many studies tend to increase the amount of data used in the pretraining stage, it is hard to say that the amount of data must be increased to improve machine translation performance. In this study, through an experiment based on the mBART model using parallel corpus filtering, we propose that high quality data can yield better machine translation performance, even utilizing smaller amount of data. We propose that it is important to consider the quality of data rather than the amount of data, and it can be used as a guideline for building a training corpus.

전이학습 기반 기계번역 사후교정 모델 검증

문현석,박찬준,어수경,서재형,임희석,Moon, Hyeonseok,Park, Chanjun,Eo, Sugyeong,Seo, Jaehyung,Lim, Heuiseok 한국융합학회 2021 한국융합학회논문지 Vol.12 No.10

기계번역 사후교정 (Automatic Post Editing, APE)이란 번역 시스템을 통해 생성한 번역문을 교정하는 연구 분야로, 영어-독일어와 같이 학습데이터가 풍부한 언어쌍을 중심으로 연구가 진행되고 있다. 최근 APE 연구는 전이학습 기반 연구가 주로 이루어지는데, 일반적으로 self supervised learning을 통해 생성된 사전학습 언어모델 혹은 번역모델이 주로 활용된다. 기존 연구에서는 번역모델에 전이학습 시킨 APE모델이 뛰어난 성과를 보였으나, 대용량 언어쌍에 대해서만 이루어진 해당 연구를 저 자원 언어쌍에 곧바로 적용하기는 어렵다. 이에 본 연구에서는 언어 혹은 번역모델의 두 가지 전이학습 전략을 대표적인 저 자원 언어쌍인 한국어-영어 APE 연구에 적용하여 심층적인 모델 검증을 진행하였다. 실험결과 저 자원 언어쌍에서도 APE 학습 이전에 번역을 한차례 학습시키는 것이 유의미하게 APE 성능을 향상시킨다는 것을 확인할 수 있었다. Automatic post editing is a research field that aims to automatically correct errors in machine translation results. This research is mainly being focus on high resource language pairs, such as English-German. Recent APE studies are mainly adopting transfer learning based research, where pre-training language models, or translation models generated through self-supervised learning methodologies are utilized. While translation based APE model shows superior performance in recent researches, as such researches are conducted on the high resource languages, the same perspective cannot be directly applied to the low resource languages. In this work, we apply two transfer learning strategies to Korean-English APE studies and show that transfer learning with translation model can significantly improves APE performance.

인공신경망 기계번역에서 말뭉치 간의 균형성을 고려한 성능 향상 연구

박찬준,박기남,문현석,어수경,임희석 한국융합학회 2021 한국융합학회논문지 Vol.12 No.5

최근 딥러닝 기반 자연언어처리 연구들은 다양한 출처의 대용량 데이터들을 함께 학습하여 성능을 올리고자 하는 연구들을 진행하고 있다. 그러나 다양한 출처의 데이터를 하나로 합쳐서 학습시키는 방법론은 성능 향상을 막게 될 가능성이 존재한다. 기계번역의 경우 병렬말뭉치 간의 번역투(의역, 직역), 어체(구어체, 문어체, 격식체 등), 도메인 등의 차이로 인하여 데이터 편차가 발생하게 되는데 이러한 말뭉치들을 하나로 합쳐서 학습을 시키게 되면 성능의 악영 향을 미칠 수 있다. 이에 본 논문은 기계번역에서 병렬말뭉치 간의 균형성을 고려한 Corpus Weight Balance (CWB) 학습 방법론을 제안한다. 실험결과 말뭉치 간의 균형성을 고려한 모델이 그렇지 않은 모델보다 더 좋은 성능을 보였다. 더불어 단일 말뭉치로도 고품질의 병렬 말뭉치를 구축할 수 있는 휴먼번역 시장과의 상생이 가능한 말뭉치 구축 프로세 스를 추가로 제안한다. Recent deep learning-based natural language processing studies are conducting research to improve performance by training large amounts of data from various sources together. However, there is a possibility that the methodology of learning by combining data from various sources into one may prevent performance improvement. In the case of machine translation, data deviation occurs due to differences in translation(liberal, literal), style(colloquial, written, formal, etc.), domains, etc. Combining these corpora into one for learning can adversely affect performance. In this paper, we propose a new Corpus Weight Balance(CWB) method that considers the balance between parallel corpora in machine translation. As a result of the experiment, the model trained with balanced corpus showed better performance than the existing model. In addition, we propose an additional corpus construction process that enables coexistence with the human translation market, which can build high-quality parallel corpus even with a monolingual corpus.

Back TranScription(BTS)기반 데이터 구축 검증 연구

박찬준,서재형,이설화,문현석,어수경,임희석 한국융합학회 2021 한국융합학회논문지 Vol.12 No.11

최근 인간과 컴퓨터의 상호작용(HCI)을 위한 수단으로 음성기반 인터페이스의 사용률이 높아지고 있다. 이에 음성인식 결과에 오류를 교정하기 위한 후처리기에 대한 관심 또한 높아지고 있다. 그러나 sequence to sequence(S2S)기반의 음성인식 후처리기를 제작하기 위해서는 데이터 구축을 위해 human-labor가 많이 소요된다. 최근 기존의 구축 방법론의 한계를 완화하기 위하여 음성인식 후처리기를 위한 새로운 데이터 구축 방법론인 Back TranScription(BTS)이 제안되었다. BTS란 TTS와 STT 기술을 결합하여 pseudo parallel corpus를 생성하는 기술을 의미한다. 해당 방법론은 전사자(phonetic transcriptor)의 역할을 없애고 방대한 양의 학습 데이터를 자동으로 생성 할 수 있기에 데이터 구축에 있어서 시간과 비용을 단축할 수 있다. 본 논문은 기존의 BTS 연구를 확장하여 어떠한 기준 없이 데이터를 구축하는 것보다 어투와 도메인을 고려하여 데이터 구축을 해야함을 실험을 통해 검증을 진행하였다. Recently, the use of speech-based interfaces is increasing as a means for human-computer interaction (HCI). Accordingly, interest in post-processors for correcting errors in speech recognition results is also increasing. However, a lot of human-labor is required for data construction. in order to manufacture a sequence to sequence (S2S) based speech recognition post-processor. To this end, to alleviate the limitations of the existing construction methodology, a new data construction method called Back TranScription (BTS) was proposed. BTS refers to a technology that combines TTS and STT technology to create a pseudo parallel corpus. This methodology eliminates the role of a phonetic transcriptor and can automatically generate vast amounts of training data, saving the cost. This paper verified through experiments that data should be constructed in consideration of text style and domain rather than constructing data without any criteria by extending the existing BTS research.