视觉文本视频生成最强方案！Text-Animator效果确实好！（中科大&腾讯等）

摘要

本文介绍了Text-Animator，一种新颖的文本到视频（T2V）生成方法，旨在有效整合视频中的视觉文本并保持其结构一致性。Text-Animator包括文本embedding注入、摄像机控制、文本字形和位置优化等模块，通过这些模块提高视频中视觉文本的稳定性。实验结果显示，Text-Animator在视觉文本的生成准确性上超越了现有技术。

主要贡献

• 提出Text-Animator，首次尝试解决视觉文本视频生成问题。
• 开发文本embedding注入模块和摄像机控制模块，以及文本字形和位置优化模块，以提高生成视频的文本稳定性。
• 通过大量实验验证了Text-Animator在生成视觉文本准确性上的显著优势。

方法详解

Text-Animator利用文本embedding注入模块精确渲染视频中的文本结构。摄像机控制模块和文本优化模块协同工作，根据摄像机位姿信息控制文本运动。该方法还包括一个3D-UNet模块来生成输出视频。

实验结果

在定量实验中，Text-Animator在文本生成的准确性和视频质量上表现优异，特别是在句子准确率和归一化编辑距离上超过了先进模型。定性结果表明，Text-Animator能够生成具有高文本保真度和视频内容协调性的视频。

结论

Text-Animator提供了一种有效的文本视频生成方法，该方法不仅关注文本的语义理解，还保持了文本在视频中的运动连贯性。其双重控制机制增强了文本元素与视频场景的统一性和协调性，推动了多媒体内容生成领域的发展。