CVPR`24 | 又快又好！渲染速度比ENeRF快30倍！4K4D:实时4K分辨率4D视图合成

文章摘要

本文介绍了一种名为4K4D的技术，旨在实现动态3D场景在4K分辨率下的高保真和实时视图合成。该技术通过支持硬件光栅化的4D点云表示，大幅提升了渲染速度。在提出的4D特征网格基础上，点云被正则化，优化更稳健。新颖的混合外观模型显著提高了渲染质量，同时保持效率。此外，开发了一个可微分的深度剥离算法，从RGB视频中有效学习模型。实验结果表明，4K4D能够在1080p下超过400FPS，在4K下达到80FPS，渲染速度比传统方法快30倍，同时实现了最先进的渲染质量。

方法

使用空间雕刻算法提取粗点云，并建立基于点云的神经场景表示，支持硬件加速渲染。模型包括动态场景的几何和外观的神经网络表示，一个可微分深度剥离算法，以及对提出模型的RGB视频上的优化。

使用点云建模动态场景

动态场景的几何和外观通过神经网络和特征网格表示。几何模型通过学习每个点的位置、半径和密度来表示。外观模型结合了图像混合技术和球谐函数模型，以支持视角依赖的颜色渲染。研究者们还讨论了其他动态外观表示方法，并证明本文的模型在存储和渲染性能上更优。

可微分深度剥离

提出的动态场景表示使用深度剥离算法渲染成图像，利用硬件光栅化器加速过程。这一渲染过程易于微分，从而能够学习模型。通过自定义着色器实现深度剥离算法，效率高于传统方法。

训练

采用损失函数进行端到端优化，包括均方误差损失和感知损失。此外，应用mask监督以规范动态区域的几何优化过程。通过多种加速技术提升模型的渲染速度，包括预先计算和使用16位浮点数。

实验

在多个数据集上训练和评估4K4D，与其他方法相比显示出显著的速度和质量提升。消融研究验证了4D embedding和混合外观模型的有效性。存储分析证明了模型的存储效率，即使对于视频编码的输入图像，也表现出良好的鲁棒性。

结论与讨论

4K4D提出了一种实时渲染4K动态3D场景的神经点云表示方法。通过结合新颖的外观模型和可微分深度剥离算法，显著提高了渲染速度和质量。尽管存在一些局限性，比如无法生成跨帧的点对应关系，以及长视频的存储成本问题，4K4D的提出为实时4D视图合成和未来的研究方向提供了新的可能性。