揭秘神秘的种子：Adobe联合宾夕法尼亚大学发布文本到图像扩散模型大规模种子分析

文章摘要

研究背景与目的

文本到图像（T2I）扩散模型在图像合成领域取得了显著进展，但其训练需大量计算资源。本研究通过探索随机种子在逆扩散过程中的作用，来增强图像生成，同时解决了种子对生成图像质量的具体影响这一科学问题。

主要发现

研究发现“黄金”种子可以显著提高生成图像的质量，最佳FID为21.60，最差为31.97。分类器可以以超过99.9%的准确度预测种子编号，表明种子在生成图像中具有高度的可区分性。种子影响图像的视觉风格、布局和构图，如灰度、天空区域和对象位置等。

应用与影响

利用“黄金”种子的发现，提出了高保真推理和多样化采样等下游应用，以增强图像生成。这些应用无需额外计算开销，可以轻松集成到推理过程中。研究还包括了图像修补任务，发现种子有时会引入不需要的文本伪影。

结论与未来工作

研究强调了选择良好种子的重要性，并为理解T2I扩散模型的工作原理及改进图像生成实用性提供了新视角。同时指出，由于预算限制，研究主要集中在1024个种子的影响，未来工作可能会探索更多种子值的影响。