보조 분류기를 이용한 GAN 모델에서의데이터 증강 누출 방지 기법

심종화,이지은,황인준 한국전기전자학회 2022 전기전자학회논문지 Vol.26 No.2

Data augmentation is general approach to solve overfitting of machine learning models by applying various datatransformations and distortions to dataset. However, when data augmentation is applied in GAN-based model,which is deep learning image generation model, data transformation and distortion are reflected in the generatedimage, then the generated image quality decrease. To prevent this problem called augmentation leak, we proposea scheme that can prevent augmentation leak regardless of the type and number of augmentations. Specifically, weanalyze the conditions of augmentation leak occurrence by type and implement auxiliary augmentation taskclassifier that can prevent augmentation leak. Through experiments, we show that the proposed techniqueprevents augmentation leak in the GAN model, and as a result improves the quality of the generated image. Wealso demonstrate the superiority of the proposed scheme through ablation study and comparison with otherrepresentative augmentation leak prevention technique. 데이터 증강이란 다양한 데이터 변환 및 왜곡을 통해 데이터셋의 크기와 품질을 개선하는 기법으로, 기계학습 모델의 과적합 문제를 해결하기 위한 대표적인 접근법이다. 그러나 심층학습 이미지 생성 모델인 GAN 기반 모델에서 데이터 증강을 적용하면 생성된이미지에 데이터 변환과 왜곡이 반영되는 증강 누출 문제가 발생하여 생성 이미지의 품질이 하락한다. 이러한 문제를 해결하기 위해본 논문에서는 데이터 증강의 종류와 수에 관계없이 증강 누출을 방지하는 기법을 제안한다. 증강 누출의 발생 조건을 분석하였으며, 보조적인 데이터 증강 작업 분류기를 GAN 모델에 적용하여 증강 누출을 방지하였다. 정성적 정량적 평가를 통해 제안된 기법을적용하면 증강 누출이 발생하지 않음을 보이고 추가적으로 생성 이미지의 품질을 향상시키며 기존 기법과 비교하여 발전된 성능을보임을 입증하였다.

Pix2Pix를 활용한 건물 도면 생성 기법

심종화(Jonghwa Shim),김현우(Hyeonwoo Kim),이지은(JiEun Lee),황인준(Eenjun Hwang) 한국정보과학회 2021 한국정보과학회 학술발표논문집 Vol.2021 No.12

자기집합체의 구조 변화와 응용에 관한 연구

이은주,심종화,이성식 동아대학교 생산기술연구소 2001 生産技術硏究所硏究論文集 Vol.6 No.1

Control factors for structural changes of self-assemblies such as reverse micelles and their interaction with synthetic polymers and proteins are studied. These factors have been examined by investigating cluster formation. The percolation phenomenon is dependent on the kind, concentration and molecular weight of solubilized polymers. The protein back-extraction processes are also discussed from the viewpoint of the micellar-micellar interactions inducing micellar cluster and have been controlled by a small amount of alcohol. A small amount of alcohol added to an organic solution improves the back-extraction behaviors of proteins depending on the concentration and species of alcohol.

다양한 조명 색상에서 합성 이미지의 시각적 균일성 향상을 위한 이미지 조화 기법

김도연,심종화,김현우,김창수,황인준 한국정보과학회 2024 정보과학회논문지 Vol.51 No.4

이미지 합성은 배경 이미지 위에 다른 이미지에서 추출한 전경 객체를 배치하여 새로운 이미지를 생성하는 기법이다. 이러한 합성 이미지의 시각적 균일성 향상을 위해 전경 객체의 조명 색상을 배경 이미지와 일치되게 조정하는 딥러닝 기반의 이미지 조화 기법들이 최근 활발히 제안되고 있다. 하지만, 기존 기법들은 학습에 사용된 데이터셋의 조명 색상 분포에 대해서만 색상을 조정하기 때문에 시각적 균일성에서 성능이 제한적이다. 이에 본 논문은 다양한 조명 색상에 강건한 성능을 보이는 새로운 이미지 조화 기법을 제안한다. 우선, 데이터 전처리를 통해 다양한 조명 색상 분포로 구성된 새로운 데이터셋인 iHColor를 먼저 구축하고, 사전 훈련된 GAN 기반 Harmonization 모델을 iHColor 데이터셋을 사용하여 미세 조정을 수행한다. 실험을 통해 제안 기법이 다양한 조명 색상에서 기존 모델보다 합성 이미지의 시각적 균일성을 개선시킴을 보인다. Image composition is a technique that creates a composite image by arranging foreground objects extracted from other images onto a background image. To improve the visual uniformity of the composite images, deep learning-based image harmonization techniques that adjust the lighting and color of foreground objects to match the background image have been actively proposed recently. However, existing techniques have limited performance in visual uniformity because they adjust colors only for the lighting color distribution of the dataset used for training. To address this problem, we propose a novel image harmonization scheme that has robust performance for various lighting colors. First, iHColor, a new dataset composed of various lighting color distributions, is built through data preprocessing. Then, a pre-trained GAN-based Harmonization model is fine-tuned using the iHColor dataset. Through experiments, we demonstrate that the proposed scheme can generate harmonized images with better visual uniformity than existing models for various lighting colors.

대규모 결측 영역에 강인한 Super Resolution 기반 Image Inpainting

이지은,정승원,심종화,황인준 한국정보과학회 2022 정보과학회논문지 Vol.49 No.9

Image Inpainting은 이미지의 누락된 영역을 그럴듯한 이미지로 채우는 기법이다. 최근 딥러닝의 도입으로 인해 복원 성능이 크게 향상되었으나 누락된 영역이 클 경우, 복잡한 장면을 담고 있는 경우, 그리고 고해상도일 경우에는 부자연스러운 복원 결과를 얻는다. 본 논문에서는 고해상도 이미지보다 저해상도 이미지에서 복원이 더 잘 된다는 점을 활용하여 Super Resolution 기반의 2단계 Image Inpainting 기법을 제안한다. 첫 번째 단계에서 고해상도 이미지를 저해상도로 변환하여 복원을 수행하고, 두 번째 단계에서 Super Resolution 모델을 통해 원래의 고해상도로 복원한다. 제안하는 기법의 효과를 검증하기 위해 고해상도의 Urban100 데이터셋을 사용하여 정량 및 정성 평가를 수행하였다. 또한, 누락된 영역의 크기에 따른 복원 성능을 분석하고, 제안하는 기법이 자유로운 형태의 마스크에서 만족할 만한 복원 결과를 생성할 수 있음을 입증하였다. Image inpainting is a method of filling missing regions of an image with plausible imagery. Even though the performance of recent inpainting methods has been significantly improved owing to the introduction of deep learning, unnatural results can be obtained when an input image has a large-scale missing region, contains a complex scene, or is a high-resolution image. In this study, we propose a super resolution-based two-stage image inpainting method, motivated by the point that inpainting performance in low-resolution images is better than in high-resolution images. In the first step, we convert a high-resolution image into a low-resolution image and then perform image inpainting, which results in the initial output image. In the next step, the initial output image becomes the final output image, with the same resolution as the original input image using the super resolution model. To verify the effectiveness of the proposed method, we conducted quantitative and qualitative evaluations using the high-resolution Urban100 dataset. Furthermore, we analyzed the inpainting performance depending on the size of the missing region and demonstrated that the proposed method could generate satisfactory results in a free-form mask.

감염병의 예측 시점에 따른 변수 중요도 변화 연구

정승원,문재욱,심종화,황인준 한국정보과학회 2020 데이타베이스 연구 Vol.36 No.3

In order to cope with infectious diseases, it is important to accurately predict the number of patients who will suffer from them. The traditional approach for this was to construct a mathematical model that considers the characteristics of infectious diseases, so prior knowledge about their characteristics is required. Recently, machine learning-based approach based on relevant data such as weather and past occurrences has drawn much attention. Although this approach is free from the limitation of the traditional approach, the input variables should be selected so that good prediction performance can be achieved. However, the importance of each input changes depending on when the prediction point is. In this paper, we propose a random forest-based prediction model for analyzing the change of variable importances according to the prediction point. To do this, we first collect and pre-process relevant data for the analysis. Then, we train a random forest and obtain the variable importances while changing the prediction point. To evaluate the effectiveness of our approach, we conducted various experiments for domestic infectious diseases and classified them into three clusters. Then, we extracted features from each cluster, such as important input variables and major changes. 감염병의 효과적 대응을 위해서는, 감염병 환자 수에 대한 정확한 사전 예측이 중요하다. 이를 위해, 감염병의 특성을 고려한 수학적 모델링 접근법이 주류를 이루고 있으나, 감염병의 특성에 관한 사전 지식이요구되는 한계점이 있다. 최근에는 기상이나 과거 발생 데이터와 같은 감염 관련 자료를 활용한 기계학습기반 예측 모델이 주목을 받고 있다. 이 방법은 기존 방식보다 제약이 덜하나, 높은 예측 정확도를 위해서는입력 변수로 사용할 요소들에 대한 신중한 선택이 요구된다. 하지만, 각 요소의 중요성은 예측 시점에 따라달라질 수 있어, 선택이 쉽지 않으며, 이를 해결하기 위한 연구 또한 부족한 실정이다. 이에 본 논문에서는랜덤 포레스트 기반 감염병 예측 모델을 구성하여, 예측 시점 변화에 따른 변수 중요도 변화를 분석하는 연구를 수행한다. 먼저, 감염병 발생 정보, 기상 정보 등 관련 자료를 수집하고 전처리하여 데이터셋을 구성한다. 구성된 데이터셋을 기반으로 예측 시점을 변화시키면서 랜덤 포레스트를 학습시키고 변수 중요도를 분석한다. 국내 발생 감염병을 대상으로 실험을 수행한 결과, 변수 중요도 변화 양상과 감염병의 발생 패턴에 따라감염병을 세 가지 유형으로 분류할 수 있었으며, 유형마다 중요 입력 변수, 주요 변화 양상 등을 분석할 수있었다.

인페인팅 모델 기반의 사실적인 얼굴 주름 및 결점 처리 기법

이준석,김현우,심종화,황인준 한국정보과학회 2023 정보과학회 컴퓨팅의 실제 논문지 Vol.29 No.3

최근, 얼굴 피부에 대한 다양한 미용 시술이 보편화되면서, 얼굴에 존재하는 주름이나 결점을 효과적으로 검출하고 그 정도를 평가하는 연구가 활발히 진행되고 있다. 하지만, 시술로 예상되는 결과에 대한 시각적이고 객관적인 자료의 부족으로 인해 많은 소비자들이 시술을 주저하게 되고, 이를 해소하기 위해 병원에서는 많은 시간과 비용을 지불하고 있다. 이에 본 논문에서는 GAN 기반의 인페인팅 모델을 사용하여, 얼굴의 주름이나 결점 영역을 검출하고, 그 영역을 주변 피부와 유사하게 복원하는 사실적 얼굴 주름 및 결점 제거 기법을 제안한다. 주름 및 결점 영역 검출을 위해서는 프랑기 필터(Frangi filter)와 헤시안 필터(Hessian filter)를 함께 활용한 하이브리드 필터를 사용하였으며, 주름/결점 인페인팅을 위해서는 사전 훈련된 인페인팅 네트워크에 피부과에서 수집한 얼굴 데이터로 전이 학습을 수행한 모델을 사용하였다. 특히, 모델의 성능을 보다 객관적으로 평가하기 위해 새로운 평가지표를 제안하였으며, 이를 바탕으로 다양한 비교 실험을 통해 제안하는 기법의 성능이 우수함을 검증하였다.

StyleGAN2를 활용한 스케치 기반 애니메이션 이미지 생성

김도연(Doyeon Kim),심종화(Jonghwa Shim),황인준(Eenjun Hwang) 한국정보과학회 2022 한국정보과학회 학술발표논문집 Vol.2022 No.12

다양한 조명 색상에서의 시각적 통일성 향상을 위한 Image Harmonization 기법

김도연(Doyeon Kim),심종화(Jonghwa Shim),김현우(Hyeonwoo Kim),황인준(Eenjun Hwang) 한국정보과학회 2023 한국정보과학회 학술발표논문집 Vol.2023 No.6

고해상도 이미지를 위한 Super Resolution 기반의 2단계 Image Inpainting 기법

이지은(Jieun Lee),정승원(Seungwon Jung),심종화(Jonghwa Shim),황인준(Eenjun Hwang) 한국정보과학회 2021 한국정보과학회 학술발표논문집 Vol.2021 No.12