如何知道网站什么时候做的,招标网站建设方案,旅游时政热点新闻,访问紧急升级中通知问升级在计算机视觉不断发展的领域中#xff0c;基础模型已成为一种关键工具#xff0c;显示出对多种任务的出色适应性。其中#xff0c;由 Meta AI 开发的 Segment Anything Model#xff08;SAM#xff09;在图像分割任务中表现杰出。然而#xff0c;和其他类似模型一样…在计算机视觉不断发展的领域中基础模型已成为一种关键工具显示出对多种任务的出色适应性。其中由 Meta AI 开发的 Segment Anything ModelSAM在图像分割任务中表现杰出。然而和其他类似模型一样SAM 在某些特定的细分应用中也遇到了限制。 针对此问题VIVO提出了ASAM这是一种通过对抗性调整来增强SAM性能的新方法。广泛的评估结果证实ASAM 在分割任务中建立了新的基准从而有助于计算机视觉基础模型的进步。 ASAM只是提高了SAM的性能而不需要对架构进行修改。ASAM也是资源友好型的因为它只需要8个A6000 gpu而不需要额外的数据(1% SA-1B数据)。
相关链接
论文地址https://arxiv.org/pdf/2405.00256
项目页面https://asam2024.github.io/
论文阅读 ASAM增强分段任何模型与对抗性调整
摘要
在不断发展的计算机视觉领域基础模型已成为关键工具对各种任务表现出卓越的适应性。其中Meta AI 的 Segment Anything Model (SAM) 在图像分割方面表现突出。然而SAM 与其他同类模型一样在特定的细分应用中也遇到了限制这促使人们寻求不损害其固有功能的增强策略。
本文介绍了 ASAM这是一种通过对抗性调整来增强 SAM 性能的新方法。我们利用自然对抗性示例的潜力灵感来自它们在自然语言处理中的成功实施。通过利用稳定的扩散模型我们增强了 SA-1B 数据集的一个子集 (1%)生成了更能代表自然变化而不是传统不可察觉的扰动的对抗性实例。我们的方法保持了对抗性示例的照片级真实感并确保与原始掩模注释对齐从而保持了分割任务的完整性。经过微调的 ASAM 在各种分割任务中都表现出显著的改进而无需额外的数据或架构修改。我们广泛的评估结果证实ASAM 在分割任务中建立了新的基准从而有助于计算机视觉基础模型的进步。
方法 ASAM主要包含三个步骤第一步是对抗性潜在优化第二步是可控对抗样本生成第三步是用对抗样本对SAM进行微调。
效果展示
更强大的 SAM 更强大的 SAM。与PGD-Tuning SAM、DAT-Tuning SAM、DatasetDM-Tuning SAM相比。ASAM 在所有14个测试数据集上都明显优于其他调优方法并且与原始SAM相比实现了性能提升。 对提出的ASAM与其他方法进行定性比较。黄色框代表框提示。 从普通场景、医疗场景等不同场景的定性比较来看提出的ASAM可以提高SAM的性能。 更强大的 EfficientSAM 更强大的 EfficientSAM。与 EfficientSAM EfficientSAM利用蒙版图像预训练实现高效分割ESAMCVPR2024相比AESAM 在 16 个不同数据集上实现了性能提升。ESAM 是 Meta 提出的最新成果在 CVPR2024 上获得满分。
更强大的 HQSAM 更强大的 HQSAM。与 HQSAM高质量分割任何内容HQSAMNeurIPS2023相比HQ-ASAM 可以在 4 个不同的数据集上实现性能提升。HQSAM 是由苏黎世联邦理工学院和香港科技大学提出的工作在 Github 上获得了约 3.4k 个星。
更强大的 SAM 适配器 更强大的 SAM-Adapter。与 SAM-adapterICCV2023 研讨会相比ASAM-Adapter 在 2 个不同的数据集上实现了性能提升。
结论
本研究中引入的 ASAM 代表了 SAM 通过创新使用对抗性调整而取得的重大进步。我们采用稳定的扩散模型来增强 SA-1B 数据集的一部分生成了自然、逼真的对抗性图像从而显著提高了 SAM 在各种任务中的分割能力。这种方法受到 NLP 中对抗性训练技术的启发在增强 SAM 性能的同时保留了 SAM 的原始架构和零样本优势。
我们的研究结果表明ASAM 不仅在分割任务中设定了新的基准而且还有助于对抗性示例在计算机视觉领域的更广泛应用和理解为提升大型视觉基础模型的能力提供了一种新颖而有效的方法。
感谢你看到这里也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术欢迎一起交流学习
