欢迎来到扫码阅读
手机扫码阅读
无性能损失！让SAM加速近50倍！EfficientViT-SAM来了！
68 2024-10-22
我们非常重视原创文章，为尊重知识产权并避免潜在的版权问题，我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容，访问作者的公众号页面获取完整文章。
查看原文：
文章来源：
AI生成未来
扫码关注公众号
EfficientViT-SAM: 加速Zero-Shot视觉分割模型的新方法
简介：本文介绍了EfficientViT-SAM，这是一个新型的视觉分割模型，旨在通过使用EfficientViT替换SAM模型中的图像编码器来加速性能。虽然保留了SAM的轻量级提示编码器和mask解码器，但它显著提高了运行效率，在A100 GPU上的TensorRT加速比SAM-ViT-H高出48.9倍，同时保持了性能。
相关工作：SAM是一个著名的图像分割模型，它具有零样本图像分割性能，但由于其计算成本高，限制了在实时场景中的应用。为了加速SAM，一些研究尝试了不同的轻量化策略。EfficientViT-SAM继承了这些研究的思路，并进一步提高了模型的效率和性能。
方法：EfficientViT-SAM采用了EfficientViT作为图像编码器，并设计了两个不同大小的模型，EfficientViT-SAM-L 和 EfficientViT-SAM-XL，以实现性能和速度之间的平衡。该模型通过知识蒸馏和端到端训练的方法进行训练，以提高其zero-shot图像分割能力。
实验：EfficientViT-SAM在COCO和LVIS数据集上进行了评估，证明了它在zero-shot点提示分割和框提示分割任务上的有效性。它在运行时效率、点提示分割和自然环境分割方面均优于SAM和其他现有的加速模型。
结论：EfficientViT-SAM通过在不牺牲性能的前提下显著提高了zero-shot图像分割任务的运行效率，已经在GitHub上以开源代码的形式发布，以供研究和实际应用使用。
想要了解更多内容？
文章来源：
AI生成未来
扫码关注公众号
相关推荐
中国首部中小学人工智能教材主编称：“我们的小学生如果不能适应将来机器人遍地走，人工智能到处有的未来时代的话，那是比较悲哀的”。
想象一下，虚拟化就像是一个魔术师。在这个比喻中，\x26quot;你\x26quot;就是魔术师，虚拟化就是你的魔术，它帮助你创造出看起来像真实存在的物体，但实际上它们是虚拟的。
AI生成未来的其他文章
FDGaussian:又快又好的三维重建方案 | Gaussian Splatting和扩散模型超强联合
点击下方卡片，关注“AI生成未来”>>后台回复“
ICML 2024 | 矛与盾的较量！北大提出提示无关数据防御保护算法PID
点击下方卡片，关注“AI生成未来”>>后台回复“
GLEE：一个模型搞定目标检测/实例分割/定位/跟踪/交互式分割等任务！性能SOTA!
关注【AI生成未来】公众号，回复“GAI”，免费获取??
连环画创作源泉！港科大、腾讯等开源SEED-Story：开创性多模态长故事生成！
点击下方卡片，关注“AI生成未来”>>后台回复“
长视频生成速度提升100倍！新加坡国立提出Video-Infinity：分布式长视频生成
点击下方卡片，关注“AI生成未来”>>后台回复“
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线
-
联系我们
电话：4006 8899 23 邮箱：beining@chandao.com -
融实践库
关于我们 加入我们立即学习
微信号：xdwjack
-
微信公众号
-
微信视频号
-
社区微信群
