无性能损失！让SAM加速近50倍！EfficientViT-SAM来了！

EfficientViT-SAM: 加速Zero-Shot视觉分割模型的新方法

简介：本文介绍了EfficientViT-SAM，这是一个新型的视觉分割模型，旨在通过使用EfficientViT替换SAM模型中的图像编码器来加速性能。虽然保留了SAM的轻量级提示编码器和mask解码器，但它显著提高了运行效率，在A100 GPU上的TensorRT加速比SAM-ViT-H高出48.9倍，同时保持了性能。

相关工作：SAM是一个著名的图像分割模型，它具有零样本图像分割性能，但由于其计算成本高，限制了在实时场景中的应用。为了加速SAM，一些研究尝试了不同的轻量化策略。EfficientViT-SAM继承了这些研究的思路，并进一步提高了模型的效率和性能。

方法：EfficientViT-SAM采用了EfficientViT作为图像编码器，并设计了两个不同大小的模型，EfficientViT-SAM-L 和 EfficientViT-SAM-XL，以实现性能和速度之间的平衡。该模型通过知识蒸馏和端到端训练的方法进行训练，以提高其zero-shot图像分割能力。

实验：EfficientViT-SAM在COCO和LVIS数据集上进行了评估，证明了它在zero-shot点提示分割和框提示分割任务上的有效性。它在运行时效率、点提示分割和自然环境分割方面均优于SAM和其他现有的加速模型。

结论：EfficientViT-SAM通过在不牺牲性能的前提下显著提高了zero-shot图像分割任务的运行效率，已经在GitHub上以开源代码的形式发布，以供研究和实际应用使用。

人人都是项目经理?

了解更多

想要了解更多内容？

查看原文：无性能损失！让SAM加速近50倍！EfficientViT-SAM来了！

文章来源：

AI生成未来

扫码关注公众号