Knowledge Distillation을 이용한 한국어 구구조 구문 분석 모델의 압축

황현선(Hyunsun Hwang),이창기(Changki Lee) 한국정보과학회 2017 한국정보과학회 학술발표논문집 Vol.2017 No.06

Deep Learning-Enabled Detection of Pneumoperitoneum in Supine and Erect Abdominal Radiography: Modeling Using Transfer Learning and Semi-Supervised Learning

Park Sangjoon,Ye Jong Chul,Lee Eun Sun,Cho Gyeongme,Yoon Jin Woo,Choi Joo Hyeok,Joo Ijin,Lee Yoon Jin 대한영상의학회 2023 Korean Journal of Radiology Vol.24 No.6

Objective: Detection of pneumoperitoneum using abdominal radiography, particularly in the supine position, is often challenging. This study aimed to develop and externally validate a deep learning model for the detection of pneumoperitoneum using supine and erect abdominal radiography. Materials and Methods: A model that can utilize “pneumoperitoneum” and “non-pneumoperitoneum” classes was developed through knowledge distillation. To train the proposed model with limited training data and weak labels, it was trained using a recently proposed semi-supervised learning method called distillation for self-supervised and self-train learning (DISTL), which leverages the Vision Transformer. The proposed model was first pre-trained with chest radiographs to utilize common knowledge between modalities, fine-tuned, and self-trained on labeled and unlabeled abdominal radiographs. The proposed model was trained using data from supine and erect abdominal radiographs. In total, 191212 chest radiographs (CheXpert data) were used for pre-training, and 5518 labeled and 16671 unlabeled abdominal radiographs were used for fine-tuning and self-supervised learning, respectively. The proposed model was internally validated on 389 abdominal radiographs and externally validated on 475 and 798 abdominal radiographs from the two institutions. We evaluated the performance in diagnosing pneumoperitoneum using the area under the receiver operating characteristic curve (AUC) and compared it with that of radiologists. Results: In the internal validation, the proposed model had an AUC, sensitivity, and specificity of 0.881, 85.4%, and 73.3% and 0.968, 91.1, and 95.0 for supine and erect positions, respectively. In the external validation at the two institutions, the AUCs were 0.835 and 0.852 for the supine position and 0.909 and 0.944 for the erect position. In the reader study, the readers’ performances improved with the assistance of the proposed model. Conclusion: The proposed model trained with the DISTL method can accurately detect pneumoperitoneum on abdominal radiography in both the supine and erect positions.

지식의 증류기법(Knowledge Distillation)을 이용한 한국어 구구조 구문 분석 모델의 압축

황현선(Hyunsun Hwang),이창기(Changki Lee) 한국정보과학회 2018 정보과학회논문지 Vol.45 No.5

Sequence-to-sequence 모델은 입력열을 길이가 다른 출력열로 변환하는 end-to-end 방식의 모델로, 높은 성능을 내기 위해 attention mechanism, input-feeding 등의 기술들을 사용하여 속도가 느려 실제 서비스에 적용되기 어렵다는 단점이 있다. 본 논문에서는 학습된 인공신경망을 실제 서비스에 적용하기 위해 효과적으로 모델을 압축하여 속도를 향상시키는 방법인 지식의 증류기법(Knowledge distillation)의 기술 중에서 자연어처리를 위한 sequence-level knowledge distillation을 한국어 구구조 구문 분석에 적용하여 성능저하를 최소화하여 모델 압축을 시도하였다. 실험 결과 hidden layer의 크기를 500에서 50까지 줄였을 때 baseline 모델보다 F1 0.56%의 성능향상을 보였고 속도는 60.71배 빨라지는 효과를 보였다. A sequence-to-sequence model is an end-to-end model that transforms an input sequence into an output sequence of different lengths. However, it is difficult to apply to an actual service by using techniques such as attention mechanism and input-feeding to achieve high performance. In this paper, we apply the sequence-level knowledge distillation for natural language processing to the Korean phrase structure parsing, which is an effective technique for compressing the model. Experimental results show that when the size of the hidden layer is decreased from 500 to 50, the performance of F1 0.56% is improved and the speed is 60.71 times faster than that of the baseline model.

BERT 기반 한국어 개방형 정보 추출

황현선(Hyunsun Hwang),이창기(Changki Lee) 한국정보과학회 2020 정보과학회 컴퓨팅의 실제 논문지 Vol.26 No.9

개방형 정보 추출은 자연어로 된 문장에서 구조화된 정보인 트리플을 추출하는 기술이다. 기존의 개방형 정보 추출은 입력 문장에서 관계 정보를 추출해야 하는 특성 때문에 품사 패턴, 의존 구문 분석 정보, 의미역 결정 정보 등을 이용한 복잡한 방법을 사용하였다. 본 논문에서는 한국어 개방형 정보 추출을 순차열 분류 문제로 보고 사전학습 된 BERT 모델을 적용하는 방법을 제안한다. 실험 결과 본 논문에서 제안한 모델이 정답이 아닌 자동으로 구축된 학습데이터 만을 사용했음에도 기존의 규칙기반의 방법 보다 F-1 measure 2~3% 정도의 성능향상을 보였다. Open information extraction is a difficult technique for extracting triples, which are structured information from natural language sentences. Because the open information extraction task has the feature of extracting complex relation information from input sentences, traditionary open information extraction embraces a complicated method using parts-of-speech pattern information, dependency parsing information, and semantic role labeling information. In this paper, we propose a method to apply the pre-trained BERT model to the Korean open information extraction as a sequence labeling problem. The proposed model shows the F-1 measure 2% - 3% better than the rule-based method even though it uses only automatically constructed noisy training data.

Copying mechanism을 이용한 Sequence-to-Sequence 모델기반 한국어 형태소 분석

황현선(HyunSun Hwang),이창기(ChangKi Lee) 한국정보과학회 2016 한국정보과학회 학술발표논문집 Vol.2016 No.12

의존 구문 분석과 의미역 결정을 사용한 한국어 개방형 정보 추출

황현선(Hyunsun Hwang),배장성(Jangseong Bae),이창기(Changki Lee) 한국정보과학회 2018 한국정보과학회 학술발표논문집 Vol.2018 No.12

A Qualitative Study on the Experiences of Overseas Missionaries in the COVID Era

조혜정 CHONGSHIN UNIVERSITY 2022 CHONGSHIN REVIEW Vol.27 No.-

This study is to explore how what these missionaries vividly experienced and felt in the field relatesing to the upcoming "with COVID-19" period. Based on their experience, we can understand changes in the field of missionary work and find efficient strategies to cope with these changes. In addition, this study can provide basic data necessary to devise missionary training and missionary roadmaps. Participants are seven missionaries belonging to the General Assembly World Missionary Corps (GMS), who are in their mid- to late 50s, missionaries in South Africa, the Philippines, Argentina, and Brazil, and their missionary experience has been dispersed for 9-14 years. The results of this study are as follows by analyzing the experiences of overseas missionaries due to COVID-19. The first is the change of missionary land. Second, it is a change in the perception of locals, and third, it is the discovery of a firm identity and calling for oneself through the missionary's own self-reflection.

딥 러닝 기반 교통정보 예측 연구의 최근 동향: 문제, 모델, 방법론 및 데이터

손상규,엄재홍 대한교통학회 2021 대한교통학회 학술대회지 Vol.85 No.-

교통정보 예측은 도로와 도로 상황에 영향을 주는 여러 요소들이 복합적으로 작용하는 도로 환경의 정보를 바탕으로 시간, 경로, 수요 등의 예측 모델을 만들어야 하기 때문에 그 복잡도가 매우 높다. 최근에는 고차원 데이터 속성 학습에 강점이 있는 딥 러닝 모델을 활용한 연구가 적극적으로 진행되고 있으며, 기존 모델 대비 여러 문제에 대해 좋은 성능을 내고 있다. 다만 데이터 환경과 예측 모델의 바탕이 되는 딥 러닝 모델이 매우 다양하고, 문제에 따른 상황적 편차가 커 딥 러닝 기반 교통정보 예측 관련 동향 및 최근 연구를 조사하고, 이를 바탕으로 새로운 연구를 진행하는데 많은 시간과 노력이 필요한 상황이다. 본 논문에서는 딥 러닝 기반 교통정보 예측 최신 연구 동향을 기본모델, 대상 문제, 문제 별 주요 방법론 및 데이터 집합 등 여러 측면에서 종합적으로 살펴보고, 나아가 구체적 개발 코드 저장소에 대한 검토 및 안내를 통해 딥 러닝 기반 국내 교통정보 예측 연구에 기본 참고 자료로 활용될 수 있도록 하고자 한다. 또한, 본 연구 결과는 온라인을 통해 지속적으로 업데이트해 국내 교통정보 연구의 구체적 공유 자산이 될 수 있도록 구성하고자 한다.

Balanced Attention Mechanism을 활용한 CG/VR 영상의 초해상화

김소원,박한훈 한국융합신호처리학회 2021 융합신호처리학회 논문지 (JISPS) Vol.22 No.4

Attention mechanisms have been used in deep learning-based computer vision systems, including single image super-resolution (SISR) networks. However, existing SISR networks with attention mechanism focused on real image super-resolution, so it is hard to know whether they are available for CG or VR images. In this paper, we attempt to apply a recent attention module, called balanced attention mechanism (BAM) module, to 12 state-of-the-art SISR networks, and then check whether the BAM module can achieve performance improvement in CG or VR image super-resolution. In our experiments, it has been confirmed that the performance improvement in CG or VR image super-resolution is limited and depends on data characteristics, size, and network type. 어텐션(Attention) 메커니즘은 딥러닝 기술을 활용한 다양한 컴퓨터 비전 시스템에서 활용되고 있으며, 초해상화(Super-resolution)를 위한 딥러닝 모델에도 어텐션 메커니즘을 적용하고 있다. 하지만 어텐션 메커니즘이 적용된 대부분의 초해상화 기법들은 Real 영상의 초해상화에만 초점을 맞추어서 연구되어, 어텐션 메커니즘을 적용한 초해상화가 CG나 VR 영상 초해상화에도 유효한지는 알기 어렵다. 본 논문에서는 최근에 제안된 어텐션 메커니즘 모듈인 BAM(Balanced Attention Mechanism) 모듈을 12개의 초해상화 딥러닝 모델에 적용한 후, CG나 VR 영상에서도 성능 향상 효과를 보이는지 확인하는 실험을 진행하였다. 실험 결과, BAM 모듈은 제한적으로 CG나 VR 영상의 초해상화 성능 향상에 기여하였으며, 데이터 특징과 크기, 그리고 네트워크 종류에 따라 성능 향상도가 달라진다는 것을 확인할 수 있었다.

단어 간의 상대적 위치정보와 Subword 정보를 이용한 Word Embedding

황현선(Hyunsun Hwang ),이창기(Changki Lee) 한국정보과학회 2018 한국정보과학회 학술발표논문집 Vol.2018 No.6