超越所有SOTA达11%！媲美全监督方法 | UC伯克利开源UnSAM

UnSAM: 无监督图像分割模型

UnSAM代表无监督的图像分割方法，提供一个新的视角来处理和理解复杂的视觉场景。该方法对于自动驾驶、医学成像和环境监控等领域具有重要价值，能够无需人工标注数据进行即时启动和自动的整体图像分割。

无监督的分割过程遵循分而治之的原则，通过先自顶向下的聚类生成实例级和语义级的segments，随后采用自底向上的聚类方法合并像素点，从而建立视觉场景的层次结构。这一方法在多个数据集上的评估显示，UnSAM在语义平均召回率(AR)方面与有监督的SAM模型相竞争，并且超过了先前的无监督分割技术。

UnSAM的亮点

• 性能显著提升：在七个主流数据集上测试，UnSAM的性能超过了现有技术，提升了11%。
• 监督式SAM亦可受益：将无监督伪masks与有监督数据集结合，可以使得SAM模型性能在AR和AP方面显著提高。
• 轻量级和数据需求少：UnSAM即便在数据和参数量较少的条件下也表现出色。

分而治之的分层图像分割

UnSAM的分割策略包括两个阶段：分阶段使用归一化切分的方法CutLER提取粗粒度masks，Conquer阶段则进一步细化这些masks。此方法在生成高质量伪masks方面优于以往的工作，更好地捕获了视觉场景的分层复杂性。

模型学习和自训练

自训练策略通过利用分而治之策略发现的masks来训练图像分割模型，使得模型能够预测更高质量的masks。UnSAM能够与任意的整体图像或可提示图像分割模型集成。

UnSAM+: 改进监督SAM

UnSAM通过整合无监督伪masks和真值数据，显著提高了监督SAM的性能。这种融合方法利用了监督和无监督标注的优势，生成了更强大、更具普适性的分割模型。

实验结果

UnSAM在多个评估数据集上的性能优于现有技术，尤其是在小实体的识别上表现更佳。UnSAM+在平均召回率上超过了SAM，除了在ADE20K数据集上，这是由于它主要由语义级别标注主导。

总结

UnSAM为无监督图像分割领域提供了一个强有力的方法，其性能在多个方面超过了以往技术。它也证明了无监督方法在处理复杂视觉场景时的有效性和潜力。

华为造车究竟成没成功，这个责任谁来担？

了解更多

想要了解更多内容？

查看原文：超越所有SOTA达11%！媲美全监督方法 | UC伯克利开源UnSAM

文章来源：

AI生成未来

扫码关注公众号