피부 조건지도를 활용한 GANs 기반 동양인 얼굴 텍스처 생성 및 제어 = GAN-based Asian Facial Texture Generation and Controlusing Skin Condition Maps

다국어 초록 (Multilingual Abstract)

Recent advancements in deep learning-based face aging and de-aging have been remarkable. However, existing methods have two primary limitations. First, widely used high-resolution datasets, such as FFHQ, are predominantly composed of Caucasian subjects, leading to racial bias that fails to accurately reflect the skin characteristics and aging signs of East Asians. Second, global style transfer approaches based on StyleGAN often result in the blurring of high-frequency textures, such as wrinkles and pores, or cause subtle distortions in the subject's identity. In this paper, we propose a SPADE-based high-resolution (512x512) conditional GAN (cGAN) model capable of independently controlling wrinkles, pores, and redness by utilizing Skin Condition Maps optimized for East Asian facial characteristics. To achieve this, we constructed a refined dataset based on East Asian images from AI-Hub and FFHQ and introduced a skin masking strategy along with Cycle Consistency Loss for precise control in an unpaired setting. Experimental results demonstrate that the proposed model robustly preserves identity while enabling precise generation and control of skin micro-features compared to existing methods.

국문 초록 (Abstract)

최근 딥러닝 기반의 얼굴 에이징 및 디에이징(Face Aging/De-aging) 기술은 비약적으로 발전했으나, 기존 연구들은 두 가지 주된 한계를 지닌다. 첫째, FFHQ 등 널리 사용되는 고해상도 얼굴 데이터셋이 백인 중심으로 구성되어 있어, 동양인의 피부 특성과 노화 징후를 정확히 반영하지 못하는 인종적 편향(Racial Bias)이 존재한다. 둘째, StyleGAN 기반의 전역적(Global) 스타일 변환 방식은 주름이나 모공과 같은 고주파(High-frequency) 텍스처를 뭉개거나, 원본 인물의 신원을 미세하게 변형시키는 문제가 있다. 본 논문에서는 동양인 안면 특성에 최적화된 피부 조건지도(Skin Condition Maps)를 활용하여, 주름(Wrinkle), 모공(Pore), 홍조(Redness)의 3대 미세 요소를 독립적으로 제어할 수 있는 SPADE 기반의 고해상도(512x512) 해상도 cGAN 모델을 제안한다. 이를 위해 AI-Hub와 FFHQ에서 정제된 동양인 데이터셋을 구축하고, 정밀한 학습 제어를 위해 피부 마스크(Skin Mask) 결합 전략과 순환 일관성 손실(Cycle Consistency Loss)을 도입한다. 실험 결과, 제안 모델은 기존 모델 및 기법 대비 신원(Identity)을 견고하게 유지하면서도 사용자 의도에 따라 피부 미세 요소를 정교하게 생성 및 제어함을 입증하였다.