하나의 패딩 임베딩을 활용한 Text-to-image 확산 모델에서의 텍스트 압축 방법 = Text compression with one padding embedding in Text-to-image Diffusion model

국문 초록 (Abstract)

제 목 : 하나의 패딩 임베딩을 활용한 Text-to –image 확산 모델에서 의 텍스트 압축 방법 텍스트-이미지 모델은 텍스트로부터 현실적인 이미지를 뛰어나게 생성하지만, 사전 학 습된 텍스트 인코더의 토큰 개수의 한계 때문에 장문의 텍스트를 생성하는데 어려움을 겪는다. 본 논문에서는 단일 임베딩으로 장문의 텍스트 맥락을 표현하도록 훈련된 PIE 텍스트 인코더를 제안한다. 장문의 텍스트를 표현하는 임베딩은 Knowledge distillation 기법을 활용하여, PIE 텍스트 인코더와 CLIP 텍스트 인코더의 출력을 확산 모델에 입력 하여 그 출력을 정렬하는 학습을 한다. 구체적으로, 확산 모델을 훈련시키지 않고 텍스 트 인코더만 훈련시켜, 광범위한 사전 학습 지식을 보존한다. 또한, PIE 텍스트 인코더 는 작업별 대규모 사전 학습 확산 모델에서 텍스트 프롬프트를 확장하는 데 사용할 수 있다. 이는 대규모 사전 학습 모델의 표현력을 향상시키면서 비용을 절감하는 데 도움 이 된다. 우리는 모델이 사전 학습 확산 모델의 광범위한 지식에 손상을 주지 않고 텍 스트 확장으로 높은 활용성을 달성했음을 입증한다.

다국어 초록 (Multilingual Abstract)

The text-to-image model excels at generating realistic images from text, but it is a challenge to input long form texts due to the number of token limit of the pre-trained text encoder. In this paper, we propose the PIE text encoder, trained to represent large text contexts in a single embedding. The embedding that represents long text leverages knowledge distillation techniques, aligning the outputs of the PIE text encoder and the CLIP text encoder by inputting these into the diffusion model. We train only the text encoder without retraining the diffusion model, preserving the extensive pre-trained knowledge. Furthermore, the PIE text encoder can be used to extend text prompts in task-specific large pre-trained diffusion models. This helps enhance the expressive power of large pre-trained models while reducing costs. We demonstrate that the model achieves high utility through text extension without compromising the extensive knowledge of the pre-trained diffusion model.

목차 (Table of Contents)

• 요약 ⅰ
• 표목차 ⅲ
• 그림목차 ⅲ
• I. 서 론 1
• II. 관련연구 4
• 1. Transformer 4
• 2. UNet 9
• 3. Variational autoencoder 10
• 4. Diffusion model 11
• 5. Text to image diffusion model 21
• 6. Text to image diffusion model 기반 변형 모델 22
• III. 연구 방법 26
• 1. 배경 지식 26
• 2. PIE text encoder 29
• 3. 학습 30
• 4. 추론 32
• IV. 실험 방법 35
• 1. 소개 35
• 2. 학습 데이터 셋, 학습 방법과 평가 데이터 셋 35
• 3. 평가 방식 36
• 4. 실험 방식 38
• V. 결과 40
• 1. Scaling factor H 선정 40
• 2. FID와 CLIP score 그리고 Aesthethic score 43
• 3. Garbage token + 동물 토큰으로 생성된 이미지 결과 44
• 4. SD v 1.4와 Ours로 생성한 이미지 46
• V. 결론 및 한계점 50
• 한계점 50
• 결론 51
• 참고문헌 52
• 영문초록(Abstract) 55
• 감사의글