实例级图像生成最新SOTA！InstanceDiffusion：文本到实例图像生成控制方法

摘要

InstanceDiffusion 是一种新型的文本到图像扩散模型，它为生成图像提供了精确的实例级别控制。它可以通过各种方式（如点、涂鸦、边界框、实例分割mask）指定实例位置，并为每个实例赋予自由形式的语言描述，从而在生成图像时实现更高的精确度和灵活性。

技术改进

InstanceDiffusion 提出了三项技术创新以改进基于实例的图像生成：UniFusion模块将实例条件融入到文本到图像模型中；ScaleU模块提高了模型遵循布局条件的能力；Multi-instance Sampler减少了多实例条件之间的信息泄漏。

方法和实验结果

研究者提出了一种新的方法，通过预训练的文本到图像模型并结合 UniFusion 和 ScaleU 模块，处理实例级条件。此外，通过新的 Multi-instance Sampler 在推理时减少多实例间的信息泄露。新的评估基准和指标被用于测量模型性能。在实验中，InstanceDiffusion 在多个评估指标上显著超越了之前的模型。

贡献与结论

InstanceDiffusion 提供了一种灵活的图像生成方式，支持多种实例位置格式，并在实例属性遵循方面表现出色。研究还指出，在生成小物体或特定纹理方面，现有方法仍面临挑战，这为未来的研究指明了方向。

本文的研究成果已经在 https://people.eecs.berkeley.edu/~xdwang/projects/InstDiff/ 公开，读者可查看详细工程信息。

现代版“田忌赛马”：IPMT如何实现资源利用最大化

了解更多

想要了解更多内容？

查看原文：实例级图像生成最新SOTA！InstanceDiffusion：文本到实例图像生成控制方法

文章来源：

AI生成未来

扫码关注公众号