얼굴 속성 편집을 위한 마스크 정보를 활용한 개선된 STGAN = Improved STGAN for Facial Attribute Editing by Utilizing Mask Information

다국어 초록 (Multilingual Abstract)

In this paper, we propose a model that performs more natural facial attribute editing by utilizing mask information in the hair and hat region. STGAN, one of state-of-the-art research of facial attribute editing, has shown results of naturally editing multiple facial attributes. However, editing hair-related attributes can produce unnatural results. The key idea of the proposed method is to additionally utilize information on the face regions that was lacking in the existing model. To do this, we apply three ideas. First, hair information is supplemented by adding hair ratio attributes through masks. Second, unnecessary changes in the image are suppressed by adding cycle consistency loss. Third, a hat segmentation network is added to prevent hat region distortion. Through qualitative evaluation, the effectiveness of the proposed method is evaluated and analyzed. The method proposed in the experimental results generated hair and face regions more naturally and successfully prevented the distortion of the hat region.

국문 초록 (Abstract)

본 논문에서는 머리카락과 모자 영역의 마스크 정보를 활용하여 더 자연스러운 얼굴 속성 편집(facial attribute editing)을 수행하는 모델을 제안한다. 최신 얼굴 속성 편집 연구인 STGAN은 다중얼굴 속성을 자연스럽게 편집하는 성과를 보였다. 그러나 머리카락과 관련된 속성을 편집할 때부자연스러운 결과를 생성할 수 있다. 제안하는 방법의 핵심 아이디어는 기존 모델에서 부족했던얼굴 영역의 정보를 모델에 추가로 반영하는 것이다. 이를 위해 세 가지 아이디어를 적용한다. 첫째로 마스크를 통해 머리카락 면적 속성을 추가하여 머리카락 정보를 보완한다. 둘째로 순환 일관성 손실(cycle consistency loss)을 추가하여 영상의 불필요한 변화를 억제한다. 셋째로 모자 분할신경망을 추가하여 모자 영역 왜곡을 방지한다. 정성적 평가를 통해 제안하는 방법 적용 여부에따른 유효성을 평가 및 분석한다. 실험 결과에서 제안하는 방법이 머리카락 및 얼굴 영역을 더자연스럽게 생성하고, 모자 영역의 왜곡을 성공적으로 방지했다.

참고문헌 (Reference)

1 J. Y. Zhu, "Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks" 2223-2232, 2017

2 H. S. Yang, "Study on Performance Improvement of SAGAN using Mask" 2557-2560, 2019

3 Y. Choi, "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation" 8789-8797, 2018

4 M. Liu, "STGAN : A Unified Selective Transfer Network for Arbitrary Image Attribute Editing" 3673-3682, 2019

5 C. H. Lee, "MaskGAN : Towards Diverse and Interactive Facial Image Manipulation"

6 W. Shen, "Learning Residual Images for Face Attribute Manipulation" 4030-4038, 2017

7 G. Perarnau, "Invertible Conditional GANs for Image Editing" 1-9, 2016

8 P. Isola, "Image-to-Image Translation with Conditional Adversarial Networks" 1125-1134, 2017

9 G. Zhang, "Generative Adversarial Network with Spatial Attention for Face Attribute Editing" 417-432, 2018

10 I. J. Goodfellow, "Generative Adversarial Nets" 2672-2680, 2014

11 P. Chen, "Facial Attribute Editing using Semantic Segmentation" 97-103, 2019

12 H. S. Yang, "Face Attribute Editing using AttGAN and Guide Mask" 1-3, 2019

13 Z. Liu, "Deep Learning Face Attributes in the Wild" 3730-3738, 2015

14 M. Mirza, "Conditional Generative Adversarial Nets"

15 A. B. L. Larsen, "Autoencoding Beyond Pixels using a Learned Similarity Metric" 48 : 1-9, 2016

16 Zhenliang He, "AttGAN: Facial Attribute Editing by Only Changing What You Want" Institute of Electrical and Electronics Engineers (IEEE) 28 (28): 5464-5478, 2019

17 X. Zheng, "A Survey to Deep Facial Attribute Analysis" 1-33, 2020