遮挡目标分割、识别和3D重建新希望！Pix2gestalt：三项任务SOTA！

摘要

Pix2Gestalt是一个零样本Amodal分割框架，旨在估计部分遮挡物体的完整形状和外观。该框架通过微调大规模扩散模型，学习重建遮挡物体，包括那些违反自然和物理先验的艺术案例。使用合成数据集作为训练数据，该方法在多个基准测试中的性能超越了监督学习基线，并能提升现有物体识别和3D重建方法的性能。

介绍

尽管存在遮挡，人们能够想象并识别物体的整体形状和类别。Amodal补全，即预测遮挡物体的整体形状和外观，对于多个领域至关重要。本文提出了一种方法，通过学习整个物体来实现零样本Amodal分割和重建，利用大规模扩散模型捕捉完整物体及其遮挡的表示。

相关工作

研究了Amodal补全与分割、分析合成和去噪扩散模型，指出大多数前人工作局限于小规模数据集。本文通过使用大规模扩散模型，并在合成数据集上进行微调，实现了对遮挡物体的Amodal补全。

通过生成实现Amodal补全

提出的方法从部分可见的遮挡物体图像出发，预测包含完整物体形状和外观的新图像。利用条件扩散模型，结合高层次感知和低层次视觉细节，实现了对整个物体的估计。这种方法的优势在于能够在单一框架下处理遮挡相关的多种计算机视觉任务。

实验

评估了pix2gestalt在零样本Amodal补全任务上的性能，包括Amodal分割、遮挡对象识别和Amodal 3D重建。结果表明，该方法在所有任务上均提供了强大的Amodal补全，达到了最先进的水平。

结论

本文提出的通过合成实现零样本Amodal分割的方法，展示了整个对象先验的有效性和解锁这些先验的能力。合成的整个对象简化了计算机视觉任务中处理遮挡的问题，并在多个基准上取得了先进结果。

参考文献

提供了相关的论文链接和项目链接以供进一步阅读。

陆盛赟：预计未来5～10年内汽车软件的利润占比将大幅度提升

了解更多

想要了解更多内容？

查看原文：遮挡目标分割、识别和3D重建新希望！Pix2gestalt：三项任务SOTA！

文章来源：

AI生成未来

扫码关注公众号