시각장애인 메이크업을 위한 가상 메이크업 이미지 생성과 그 유사도 평가 시스템 구현 = Implementation of a Virtual Makeup Image Generation and Its Similarity Evaluation System for Makeup of the Blind

국문 초록 (Abstract)

본 논문에서는 시각장애인 본인이 스스로 메이크업을 할 수 있도록 가상 메이크업 이미지 생성 및 유사도 평가 시스템을 제안한다. 이 시스템은 임베디드 보드 Jetson Nano 에 구현되고 평가된다. 본 시스템은 BeautyGAN 모델과 얼굴 특징점 기술을 통합하여 가상 메이크업 이미지를 생성하고, 그 유사도를 평가한다. BeautyGAN 모델은 비메이크업 이미지와 원하는 메이크업 스타일 이미지를 입력받아 5점 랜드마크를 활용하여 얼굴을 정렬한 후에, 가상 메이크업 이미지를 생성한다. 얼굴 특징점 기술은 68점 랜드마크 모델을 사용하여 얼굴의 7개의 관심 영역(ROIs)을 식별하고, 각 ROI별로 생성된 이미지와 실제 메이크업 이미지 간의 색상 차이를 비교하여 유사도를 평가한다. 이 기술을 이용해서 시각장애인이 혼자 힘으로 독립적으로 메이크업을 할 수 있게 도와줄 수 있다.

다국어 초록 (Multilingual Abstract)

In this paper, we propose a virtual makeup image generation and similarity evaluation system to enable the blind toapply independently makeup by themselves. This system is implemented and evaluated to the Jetson Nano embeddedboard. This proposed system integrates the BeautyGAN model and Face Landmark technology to generate virtual makeupimages and evaluate their similarity. The BeautyGAN model takes a non-makeup image and an image of the desiredmakeup style as input and aligns the face using 5-point landmarks to create a virtual makeup image. Facial feature pointtechnology uses a 68-point landmark model to identify seven regions of interest (ROIs) on the face, and for each ROI,assesses similarity by comparing color differences between the generated image and the actual makeup image. Thisproposed method can be used to help the blind apply makeup independently and without any assistance.

참고문헌 (Reference)

1 GitHub, "italojs / facial-landmarks-recognition"

2 X. Dong, "Style aggregated network for facial landmark detection" 379-388, 2018

3 Cosmetics and Toiletries, "Inclusive Beauty: Making Cosmetics More Accessible for the Blind and for Visually Impaired Consumers"

4 GitHub, "Honlan / BeautyGAN"

5 T. Li, "BeautyGAN : Instance-level facial makeup transfer with deep generative adversarial network" 645-653, 2018

6 A. Dash, "A review of generative adversarial networks(GANs)and its applications in a wide variety of disciplines : From medical to remote sensing" 12 : 18330-18357, 2024

7 S. S. Guan, "A colour - difference formula for assessing large colour differences" 24 (24): 344-355, 1999