图像复原的天花板在哪里？SUPIR：开创性结合文本引导先验和模型规模扩大

摘要

本文介绍了一种名为SUPIR（Scaling-UP Image Restoration）的图像复原方法，它利用了生成模型的先验知识和扩大模型规模的策略来提高图像复原的感知质量和智能性。通过构建一个包含2000万高质量图像的大规模数据集，并结合26亿参数的生成模型StableDiffusion-XL（SDXL），SUPIR在各种图像复原任务上取得了显著的性能提升。此外，SUPIR的设计包括文本提示引导、负质量提示控制以及基于恢复的采样方法，为图像复原提供了新的可控性。

关键特性

作者针对几个关键领域进行了创新：模型设计、数据收集和采样方法。SUPIR的生成先验SDXL为高质量图像生成提供了强大的基础。作者还设计了一个有效的适配器来识别低质量图像内容，并采用了一种ZeroSFT模块以精确控制像素级生成。数据方面，收集了一个大规模高分辨率图像数据集，结合文本描述的多模态语言模型进一步提升了图像的复原效果。为了解决生成过程可能带来的低保真度问题，SUPIR采用了一种恢复引导的采样方法来平衡生成的多样性和保真度。

实验结果

SUPIR在不同的图像复原任务中展现了优异的性能，特别是在处理复杂和具有挑战性的现实场景时。模型在感知质量上的提升得到了用户研究的支持，其生成的图像在视觉效果上被评为最佳。此外，SUPIR能够根据文本提示灵活地控制图像复原的结果，增加了其应用的灵活性。

结论

SUPIR通过模型规模的扩大、丰富的训练数据和创新的设计特性，推动了图像复原技术的进步。这项工作不仅提高了图像的感知质量，还通过文本提示提供了对复原过程的控制，为未来的图像复原技术发展设定了新的基准。

参考文献

• [1] Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild. https://arxiv.org/pdf/2401.13627
• 项目链接：https://supir.xpixel.group/

IPD（集成产品开发）模式下的产品研发流程

了解更多

想要了解更多内容？

查看原文：图像复原的天花板在哪里？SUPIR：开创性结合文本引导先验和模型规模扩大

文章来源：

AI生成未来

扫码关注公众号