스테이블디퓨전 페이스 스왑 유사도 비교 연구 = Study on Similarity Comparison of Face Swap Methods in Stable Diffusion

국문 초록 (Abstract)

본 연구의 목적은 생성형 AI를 활용하여 실제 인물 이미지를 제작하는 주요 기술인 페이스 스왑(Face Swap) 알고리즘의 성능을 비교·분석하는 것이다. 이를 통해 다양한 알고리즘에 대한 이해를 높이고, 사용자에게 유용한 정보를 제공하는 것을 목표로 한다. 연구에 사용된 알고리즘은 스테이블 디퓨전(Stable Diffusion) 기반의 대표적인 페이스 스왑 기술인 루프(roop), 리액터(reactor), 페이스스왑퍼(swapper), IP 어댑터(IP-adapter)로 선정되었다. 연구 방법으로는 기준 이미지와 타겟 이미지를 바탕으로 각 알고리즘을 적용하여 생성된 이미지를 주관적 평가와 유사도 평가를 통해 비교하였다.
주관적 평가는 실제 인물의 아이덴티티를 얼마나 잘 반영했는지에 대한 사용자의 선호도를 측정하였고, 유사도 평가는 생성된 이미지와 타겟 이미지 간의 시각적 유사도를 정량적으로 분석하였다. 분석 결과, 페이스스왑퍼(swapper) 알고리즘이 주관적 평가에서 가장 많은 선택을 받았으며, 유사도 평가에서도 가장 높은 점수를 기록하였다. 그에 비해 다른 알고리즘들은 타겟 인물의 특성을 반영하는 데 있어 일부 제한점을 보였다.
본 연구는 이러한 알고리즘의 성능 차이를 명확히 제시함으로써, 개발자, 연구자, 그리고 아티스트들이 생성형 AI 기술을 효과적으로 활용할 수 있는 정보를 제공한다. 이로써 페이스 스왑 기술을 활용한 실제 인물 이미지 제작의 정확도와 효율성을 향상시키는 데 기여할 것으로 기대된다.

참고문헌 (Reference)

1 최재웅, "확산 기반 얼굴 교환 모델의 얼굴 세부 특징 보존을 통한 성능 개선" 2024 : 332-333, 2024

2 강지영, "생성형 인공지능 기반 버추얼 휴먼의 언캐니밸리 효과에 대한 연구" 12 (12): 37-49, 2024

3 한정훈, "방송의 미래는 ‘AI’. . . 우리의 창의성을 더 높여줄 것" 한국방송통신전파진흥원 2023

4 최윤진, "가상 인플루언서에 대한 사용자 인식 연구: 인스타그램 게시글과 댓글을 중심으로" 2022

5 염동섭 ; 백주연, "가상 인간 인플루언서의 특성이 수용자 효과에 미치는 영향" 9 (9): 87-91, 2024

6 "Roop"

7 "Reactor"

8 Walczyna, T., "Quick Overview of Face Swap Deep Fakes" 13 (13): 6711-, 2023

9 이영아, "GAN 기반 생성 이미지를 이용한 모핑 방식에 따른 인간다움, 매력, 섬뜩함의 차이" 20 (20): 234-253, 2024

10 "Faceswaper"

11 "Deepface"

12 Brown, J., "Deep Learning Applications in Healthcare" 45 (45): 210-220, 2020

13 "Controlnet"

14 류첸루, "AI 그림 소프트웨어가 생성한 실제 얼굴의 일관성과 안정성 비교 연구" 435-436, 2024

15 김광집, "A study of virtual human production methods : Focusing on video contents" 13 (13): 23-36, 2024