Target Prompting 기반 Text-to-Image 모델에 대한 멤버십 추론 공격

국문 초록 (Abstract)

최근 생성 모델이 발전함에 따라 생성 모델을 위협하는 연구도 활발히 진행되고 있다. 본 논문은 Text-to-Image 모델에 대한 멤버십 추론 공격을 위한 새로운 제안 방법을 소개한다. 기존의 Text-to-Image 모델에 대한 멤버십 추론 공격은 쿼리 이미지의 caption으로 단일 이미지를 생성하여 멤버십을 추론하였다. 반면, 본 논문은 Textual Inversion을 통해 쿼리 이미지에 personalization된 임베딩을 사용하고, Adversarial Prompt 생성 방법으로 여러 장의 이미지를 효과적으로 생성하는 멤버십 추론 공격을 제안한다. 또한, Text-to-Image 모델 중 주목받고 있는 Stable Diffusion 모델에 대해 멤버십 추론 공격을 최초로 진행하였으며, 최대 1.00의 Accuracy를 달성한다.

다국어 초록 (Multilingual Abstract)

In recent years, as generative models have developed, research that threatens them has also been actively conducted. We propose a new membership inference attack against text-to-image model. Existing membership inference attacks on Text-to-Image models produced a single image as captions of query images. On the other hand, this paper uses personalized embedding in query images through Textual Inversion. And we propose a membership inference attack that effectively generates multiple images as a method of generating Adversarial Prompt. In addition, the membership inference attack is tested for the first time on the Stable Diffusion model, which is attracting attention among the Text-to-Image models, and achieve an accuracy of up to 1.00.

목차 (Table of Contents)

• 국문초록 ·v
• 영문초록 vi
• 제 1 장 서론 1
• 1.1 연구 배경 및 목적 1
• 1.2 논문 구성 5
• 제 2 장 배경 및 관련 연구 7
• 2.1 Text-to-Image 모델에 대한 멤버십 추론 공격 7
• 2.1.1 멤버십 추론 공격 (MIA, Membership Inference Attack) 7
• 2.1.2 Text-to-Image 모델에 대한 멤버십 추론 공격 8
• 2.2 Target Prompting : Adversarial Prompt 생성 기반 최적화 10
• 2.2.1 Adversarial Prompt 생성 연구 10
• 2.2.2 Target Prompting : Adversarial Prompt 생성 기반 최적화 12
• 2.3 Textual Inversion · 13
• 제 3 장 Target Prompting 기반 Text-to-Image 모델에
• 대한 멤버십 추론 공격 · 18
• 3.1 동기 18
• 3.2 제안 방법 · 22
• 제 4 장 실험 및 결과 · 27
• 4.1 실험 환경 설정 27
• 4.2 threshold 설정 28
• 4.3 실험 결과 · 31
• 제 5 장 결론 33
• 참고문헌 34