长视频生成速度提升100倍！新加坡国立提出Video-Infinity：分布式长视频生成

摘要

本文介绍了Video-Infinity，一种能够在多个GPU上并行处理以生成长视频的分布式推理pipeline。它通过剪辑并行和双范围注意力这两种一致性机制，最小化通信开销，并有效平衡局部和全局上下文，实现快速生成长视频。在8×Nvidia 6000 Ada GPU上，本文的方法可以在5分钟内生成最多2300帧的视频，速度比现有方法快100倍。

亮点直击

• 首次通过分布式并行计算解决长视频生成问题，提高可扩展性并减少生成时间。
• 引入剪辑并行化优化GPU间的上下文信息共享，双范围注意力机制调整时间自注意力以确保设备间视频的连贯性。
• 与现有的超长文本到视频方法Streaming T2V相比，本文的方法可以快达100倍。

视频扩散的剪辑并行化机制

Video-Infinity将视频的潜变量分割成片段，分散到多设备上并行去噪处理。剪辑并行机制优化了设备间时间信息的同步，而双范围注意力机制集成本地和全局上下文到注意力中，实现无需额外训练的长视频一致性。

实验设置

实验中选择了VideoCrafter2模型作为基础，并使用VBench作为评估工具。基线方法包括FreeNoise、Streaming T2V和OpenSora V1.1。实验在8 × Nvidia 6000 Ada（48G内存）上进行。

主要结果

本文的方法在生成长视频方面表现出色，不仅视频长度远超现有方法，而且生成速度大幅提升，视频质量在多个指标上也得到了保证。

结论

Video-Infinity显著改进了长视频生成的速度和长度，为长视频生成效率设立了新的基准，尽管它依赖于多GPU的可用性，并且在涉及场景转换的视频生成方面表现不佳。