单GPU一分钟生成16K高清图像！新加坡国立发布LinFusion:无缝兼容Stable Diffusion插件

文章摘要

本研究提出了LinFusion，一种新颖的线性注意力机制，旨在解决扩散模型在生成高分辨率视觉内容时面临的时间和内存复杂度挑战。该模型是现有流行的线性复杂度token混合器的广义且高效的低秩近似。实验结果表明，LinFusion在性能上比原始Stable Diffusion更优，显著减少了时间和内存复杂度，且能够生成高达16K分辨率的图像。

技术细节

LinFusion基于Mamba2的非因果和归一化感知版本，通过替换Stable Diffusion模型中的自注意力层，并应用知识蒸馏，确保与现有Stable Diffusion组件（如ControlNet、IP-Adapter和LoRA）的高度兼容性。所提出的线性注意力机制使用归一化和非因果操作，以实现线性复杂度的文本到图像生成。

实验结果

在SD-v1.5、SD-v2.1和SD-XL上的实验验证了LinFusion的有效性。与原始Stable Diffusion相比，LinFusion展现了出色的零样本跨分辨率生成性能和计算效率。此外，LinFusion与上述组件的高兼容性无需额外的适配工作即可实现。

结论

LinFusion展现了其作为广义线性注意机制的优势，理论上和实验上均证明了其在文本到图像生成任务中的高效性和兼容性。该机制能够支持在单个GPU上生成高达16K分辨率的图像，具有重要的实用价值和研究意义。

参考文献

• LinFusion: 1 GPU, 1 Minute, 16K Image

致谢

感谢读者的支持，并邀请加入「AI生成未来社区」群聊以进行技术交流。