텍스트-이미지 생성에서의 크로스-어텐션 맵 클러스터링 기반 학습 없는 객체 수량 제어

국문 초록 (Abstract)

디퓨전 기반 텍스트-이미지 생성 모델은 이미지 품질과 다양성에서 우수한 성능을 보였지만, 입력 프롬프트에 명시된 객체 수를 정확히 반영하는 데에는 어려움을 겪고 있다. 이에 대한 기존의 접근법들은 반복적 이미지 정제나 학습된 수량 표현으로 보완하였으나, 외부 모듈 의존성과 추가 학습으로 인해 높은 계산 비용이 필요하며, 여전히 정확한 객체 수 반영에 어려움을 겪고 있다. 객체 수량 제어를 위해 초기 타임스텝에서의 객체 교차-어텐션 맵 내 높은 어텐션 영역의 수가 입력된 객체 수와 일치하고, 각 영역이 명확히 구분되어야 하나, 기존 방법들은 이러한 구조적 특성이 고려되지 않았다. 이에 본 연구에서는 외부 모듈 및 추가 학습 없이 교차-어텐션 맵의 클러스터링을 통해 객체 수량을 제어하는 CountCluster를 제안한다. 제안 방법은 첫 타임스텝에서 객체 교차-어텐션 맵에서 높은 어텐션 영역이 입력 프롬프트에 지정된 수량과 일치하도록 그 수를 조정한다. 이를 통해 각 클러스터가 하나의 명확한 객체를 형성하도록 유도함으로써 객체 수량 제어를 효과적으로 실현한다. 실험 결과, 제안 방법은 외부 모듈이나 추가 학습 없이, 기존 방법 대비 더 높은 객체 수량 정확도를 달성하면서 베이스라인 수준의 품질을 유지하였다.

다국어 초록 (Multilingual Abstract)

Diffusion-based text-to-image generation models have demonstrated outstanding performance in terms of image quality and diversity. however, they still struggle to accurately reflect the number of objects specified in the input prompt. Existing approaches attempt to address this limitation through iterative image refinement or learned count representations, but they often incur high computational costs due to reliance on external modules or additional training, while still failing to consistently achieve accurate object count control. Effective object count control requires that, at early timesteps, the number of high-attention regions in the object cross-attention map matches the object count specified in the input prompt, and that each region is clearly separated. However, existing methods do not explicitly consider these structural properties. To address this issue, we propose CountCluster, a method that controls object counts by clustering object cross-attention map without relying on external modules or additional training. The proposed method adjusts the number of high-attention regions in the object cross-attention map at the first timestep to match the quantity specified in the input prompt. By encouraging each cluster to form a distinct object, CountCluster effectively achieves object count control. Experimental results demonstrate that the proposed method attains higher object count accuracy than existing approaches while maintaining baseline-level image quality, all without the need for external modules or additional training.

목차 (Table of Contents)

• 제1장 서론 1
• 1. 연구 필요성 1
• 2. 연구 목적과 연구방법론 5
• 제2장 관련 연구 6
• 1. 정확한 객체 수량을 가지는 이미지 생성 6
• 2. 어텐션 유도를 통한 잠재 벡터 최적화 7
• 제3장 제안 방법 8
• 1. 기본 개념 9
• 2. 연구 동기 11
• 3. 세부 방법 13
• (1) 교차-어텐션 맵 기반 목표 객체 맵 추출 15
• (2) CountCluster 손실을 이용한 잠재 최적화 18
• 제4장 실험 및 결과 20
• 1. 세부 구현 및 실험 환경 20
• 2. 벤치마크 데이터셋 21
• 3. 베이스라인 22
• 4. 평가 지표 23
• 5. 실험 결과 26
• (1) 정성적 결과 26
• (2) 정량적 결과 31
• 6. 분석 34
• (1) 제안 방법의 핵심 구성 요소 분석 34
• (2) 클러스터링 방법에 따른 성능 비교 35
• (3) 어텐션 임계값 변화에 따른 효과 분석 36
• (4) 잠재적 우려 사항 분석 38
• (5) 제안 방법의 한계 및 향후 연구 방향 40
• 제5장 결론 42
• 참고문헌 43