Gen4Gen：数据驱动多概念个性化图像生成新方法（马毅教授团队新作）

摘要

本文介绍了Gen4Gen，一个半自动化的数据集创建pipeline，用于个性化文本到图像扩散模型的训练，尤其是在多概念个性化任务中。Gen4Gen通过结合个性化概念与文本描述，生成复杂构图的数据集MyCanvas。此外，提出了一个综合评估基准，包括CP-CLIP和TI-CLIP两个分数，以评估多概念个性化任务的性能。通过实验，证明仅通过提升数据质量和改进提示策略就能显著提高图像生成的质量。

介绍

文本到图像扩散模型的个性化能力已经取得了显著进展，但在处理多个概念时仍面临挑战。本文通过构建一个数据集和全面的评估基准，在不修改模型架构或训练算法的情况下，通过改进数据质量和提示策略，显著提升多概念个性化图像生成的质量。

相关工作

个性化文本到图像生成领域的研究集中在微调预训练模型并增强用户对生成过程的控制。本文的目标是通过数据驱动方法提高多概念个性化图像的生成质量，提供一个更全面的数据集和评估基准。

Gen4Gen：一种数据驱动的多概念个性化方法

本文提出的Gen4Gen是一个数据集创建pipeline，利用最新的技术在保持人类参与的同时，合成多个个性化概念的图像。设计了MyCanvas数据集，并通过半自动化的方法确保了数据集中图像和文本描述的高质量匹配。

数据集设计原则

MyCanvas数据集遵循三个关键设计原则：详细的文本描述与图像配对、合理的目标布局和背景生成以及高分辨率。这些原则确保了数据集能够支持高质量、多概念个性化图像的生成。

Gen4Gen pipeline

Gen4Gen pipeline包括三个主要阶段：目标关联和前景分割、LLM引导的目标合成以及背景重绘和图像重新描述，以生成具有多个个性化概念的图像。

改善训练时文本提示

本文还探讨了如何在训练过程中改进文本提示，以提高生成图像的质量和准确性。

个性化组合度量

提出了两个新的评估指标：CP-CLIP和TI-CLIP。这些指标评估了生成图像与个性化概念的相似度、组合准确性以及模型的泛化能力。

实验

实验结果显示，使用MyCanvas数据集和改进的提示策略可以在保持个性化概念身份的同时，生成更逼真的多概念图像。

结论

MyCanvas数据集和评估基准的提出，显示了通过改进数据质量和提示策略，可以显著提升多概念个性化图像生成的质量。同时，本文的局限性和未来工作方向也得到了讨论。