完美提升Stable Diffusion生成质量和效率！UniFL:统一反馈学习框架（字节&中山）

文章摘要

介绍

扩散模型已经在图像生成领域带来了革命性的变化，但现有模型仍存在视觉质量差、美学吸引力不足和推理效率低等问题。针对这些挑战，本文提出了一个全面增强扩散模型的统一框架，包括感知反馈学习、解耦反馈学习和对抗反馈学习三个关键组成部分，旨在提高视觉质量、增强美学吸引力和优化推理速度。

相关工作

尽管近年来扩散模型在文本到图像领域取得了显著进展，但现有的扩散模型在视觉质量、美学偏好和推理效率方面仍存在限制。以前的研究尝试通过改进训练策略、引入人类反馈和加速技术来解决这些问题，但这些解决方案往往是独立的，难以全面改进。

方法论

本文提出的方法采用了三个关键的反馈学习组件：感知反馈学习利用现有感知模型提高视觉生成质量，解耦反馈学习将美学概念分解为不同维度并单独优化，对抗反馈学习通过对抗训练加速推理过程。这三个组件共同构成了一个统一的框架，提供了一种全面而简洁的解决方案。

实验

通过在SD1.5和SDXL等不同扩散模型上的实验，验证了本文方法在提高生成模型质量和加速性能方面的卓越表现。实验结果显示，本文方法在生成质量和推理速度方面都超过了现有的竞争性方法，在多种下游任务中也展现了强大的泛化能力。

结论

本文提出了一个通过反馈学习全面增强扩散模型的统一框架，实现了在生成质量、美学外观和生成速度方面的显著改进，并证明了其在各种扩散模型和下游任务中的泛化能力，为该领域提供了新的视角。