强强联合！DiffusionGPT : LLM驱动的统一文本到图像生成系统

摘要

DiffusionGPT 是一种利用大型语言模型(LLM)来导航文本到图像生成的框架。该系统克服了现有模型在多样化输入和领域专家模型输出方面的局限。通过构建“思维之树”(ToT)和引入人类反馈优化的 Advantage Databases，DiffusionGPT 可以处理各种提示，并选择最适合的生成模型。

介绍

扩散模型在图像生成领域取得了显著进展，但其非开源属性限制了普及。Stable Diffusion (SD) 的出现和社区的贡献推动了开放性和应用的多样化。尽管如此，当前模型在特定领域性能和多样化提示处理上存在挑战。

当前挑战

模型的限制主要表现在特定领域的性能不足和缺乏多功能性上，而提示的约束则体现在生成模型难以应对多样化的提示类型。

DiffusionGPT

DiffusionGPT 结合了大语言模型(LLM)的强大解析能力和专家模型的精准输出，以思维树(ToT)结构和 Advantage Databases 来优化模型选择，无需训练即可整合为一个即插即用的解决方案。

相关工作

图像生成领域先前依赖于生成对抗网络(GANs)，但扩散模型和文本编码器的集成带来了精确的文本条件图像生成。大语言模型(LLMs)在NLP领域的应用扩展到了视觉语言任务，提高了生成任务的效率和质量。

方法

DiffusionGPT 的方法包括提示解析、构建和搜索模型树、模型选择和生成执行四个步骤，其中涉及到提示类型的解析、模型树的构建和搜索以及人类反馈在模型选择中的应用。

实验

通过与SD1.5和SDXL等基准模型的对比，DiffusionGPT 展示了在语义对齐和图像美学方面的显著进步。用户研究进一步证实了DiffusionGPT在图像生成质量方面的优越性。

消融研究

消融研究显示，思维树和人类反馈的引入显著提高了图像的质量。提示扩展Agent的使用进一步增强了图像的细节和美学。

局限性和未来工作

尽管DiffusionGPT在图像生成方面取得了成功，但未来工作将包括将反馈直接纳入LLM的优化、扩展模型候选者以及将框架应用于更广泛的任务。

结论

DiffusionGPT是一个创新的框架，它解锁了文本到图像任务的潜力，提供了一种多样化且卓越的性能，为未来的发展提供了一条高效而有效的途径。