0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

SAM-Adapter:首次让SAM在下游任务适应调优!

CVer 来源:CVer 2023-04-20 10:13 次阅读

近日,由魔芯科技、浙江大学、湖州师范学院、新加坡科技设计大学(SUTD)、北京航空航天大学等多单位联合发表学术论文,发现了SAM这一通用大模型在部分下游任务上的性能表现不佳,并首次提出了将任务特定知识和大模型SAM学到的通用知识和在下游任务中结合,进行适应调优(而非重新训练)的方法。研究提出了一个轻量的adapter框架将这些任务相关的知识输入进SAM中,以实现SAM在下游任务的针对性应用。该论文的代码已经在GitHub上开源。

95fed172-df08-11ed-bfe3-dac502259ad0.png

主页:https://tianrun-chen.github.io/SAM-Adaptor/ 代码(已开源):https://github.com/tianrun-chen/SAM-Adaptor-PyTorch 论文:https://arxiv.org/abs/2304.09148

这项研究成果开辟了利用大型预训练图像模型在不同领域和工业应用中进行各种下游分割任务研究的新时代。它为研究人员和从业者提供了有价值的见解,展示了如何利用内部知识和外部控制信号来适应预训练模型,以在具有挑战性的任务中实现最先进的性能。该研究成果还为医学图像处理、自然科学、农牧业、遥感等领域的应用提供了新思路。

人工智能研究已经见证了一个由大规模海量数据上训练的模型所带来的范式上的转变。这些模型,或称为基础模型,如BERT、DALL-E和GPT-3,已经在许多语言或视觉任务中显示出有优秀的结果。

在这些基础模型中,Segment Anything Model(SAM)作为一个在大型视觉语料库上训练的通用图像分割模型取得了显著的突破。事实证明,SAM在不同的场景下具有成功的分割能力,这使得它在图像分割和计算机视觉的相关领域迈出了突破性的一步。

然而,由于计算机视觉包含了广泛的问题,SAM的不完整性是显而易见的,这与其他基础模型类似,因为训练数据不能包含整个语料库,工作场景也会有变化。在本研究中,作者首先在一些具有挑战性的低层次结构分割任务中测试SAM,包括伪装物体检测(隐蔽场景)和阴影检测,作者发现在一般图像上训练的SAM模型在这些情况下不能完美地 "分割任何东西",包括影子检测、伪装物体检测等。

因此,一个关键的研究问题是:如何高效利用大型模型从大规模语料库中获得的能力,并利用它们使下游的任务受益?

在这项工作中,来自魔芯科技、浙江大学、新加坡科技设计大学等单位的研究者提出了SAM-adapter,它是一个针对上述研究问题的优秀解决方案。这项开创性的工作首次尝试将大型预训练的图像分割一切模型SAM适应于特定的下游任务,并提高其性能。正如其名,SAM-adapter是一种非常简单而有效的适应威廉希尔官方网站 ,可以同时利用来自大模型的内部知识和针对下游任务设定的外部控制信号。在该方法中,信息是通过视觉提示传达给网络的,这已被证明了在用最少的额外可训练参数,能高效地将一个冻结的大基础模型适应到许多下游任务工作。

960d2664-df08-11ed-bfe3-dac502259ad0.png

图:SAM-Adapter (Ours) 在伪装物体检测上的性能测试

这项工作率先证明了大规模海量数据训练给SAM带来的特殊能力可以被应用到其他数据领域。SAM-Adapter可以被用作这样的迁移。作者在影子检测、伪装物体检测等任务的数据上实现了超过已有算法的高性能(SOTA)表现。未来,我们相信SAM-Adapter作为一个通用框架,可以被应用于更多不同领域的各种下游分割任务中,包括在医学影像诊断、农业、工业检测等不同领域。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47229

    浏览量

    238345
  • SAM
    SAM
    +关注

    关注

    0

    文章

    112

    浏览量

    33520

原文标题:SAM无法分割一切?SAM-Adapter:首次让SAM在下游任务适应调优!

文章出处:【微信号:CVer,微信公众号:CVer】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    关于PSAM卡和SAM卡作用

    最近在研究CPU卡和M1卡的使用,网上查了查PSAM卡和SAM卡的资料,资料里说的我很是迷糊,就想知道PSAM卡和SAM卡的区别到底是什么?哪个是计算密钥?哪个是认证的?
    发表于 03-20 09:20

    【AT91SAM9261申请】基于AT91SAM9261评估套件的物联网系统

    申请理由:1、对ATMEL芯片有一定的使用能力;2、使用过Atmel Studio集成开发环境;3、希望能够使用AT91SAM9261评估套件进行物联网方面的开发。项目描述:AT91SAM
    发表于 05-23 15:49

    基于AT91SAM9G35 SAM9G35 MCU ARM9系列的评估套件AT91SAM9G35-EK

    AT91SAM9G35-EK,基于AT91SAM9G35 ARM9 MCU的评估板。 AT91SAM9G35-EK是一款评估套件,可用于评估和代码开发在SAM9G35器件上运行的应用程
    发表于 04-01 10:32

    基于AT91SAM9G25 SAM9G25 MCU ARM9系列的评估板AT91SAM9G25-EK

    AT91SAM9G25-EK,基于AT91SAM9G25 ARM9 MCU的评估板。 AT91SAM9G25-EK是一款评估套件,可用于评估和代码开发在SAM9G25器件上运行的应用程
    发表于 04-02 09:59

    AT91SAM9RL-EK专为基于SAM9R64 / SAM9RL64 ARM9 MCU的应用而设计的评估套件

    AT91SAM9RL-EK评估套件可以对AT91SAM9RL器件上运行的应用进行评估和代码开发。它显着缩短了设计周期,增加了对第一次正确系统解决方案的信心。该套件使设计人员能够快速评估和开发SAM9R64和
    发表于 05-22 13:07

    法国DREAM方案SAM5504B/SAM5704B音源芯片

    `法国dream芯片一系列供应,提供整套开发工具(下载器评估板开发板)SAM5704B /SAM5704BSAM2634B /SAM5504 法国DREAMDSP音频芯片 应用范围:电钢琴 电吹管 电吉他 电子鼓 卡拉OK机等产
    发表于 06-22 15:40

    Atmel SAM V71开发板用户指南

      The Atmel SMART SAM V71 Xplained Ultra evaluation kit is a hardware platform to evaluate
    发表于 09-14 17:26 54次下载

    如何Bert模型在下游任务中提高性能?

    随着Transformer 在NLP中的表现,Bert已经成为主流模型,然而大家在下游任务中使用时,是不是也会发现模型的性能时好时坏,甚至相同参数切换一下随机种子结果都不一样,又或者自己不管如何
    的头像 发表于 03-12 18:19 3248次阅读
    如何<b class='flag-5'>让</b>Bert模型<b class='flag-5'>在下游</b><b class='flag-5'>任务</b>中提高性能?

    SAM9x5移植到SAM9X60

    本应用笔记介绍将基于 SAM9x5 的设计移植到 SAM9X60 器件需进行的硬件和软件更改。SAM9X60 器件的性能优于SAM9x5。
    发表于 03-30 16:26 3次下载
    从<b class='flag-5'>SAM</b>9x5移植到<b class='flag-5'>SAM</b>9X60

    针对SAM L10 /SAM L11的UART自举程序

    许多现代化的嵌入式系统需要更新应用程序映像,以修复错误或支持新功能。本文档介绍了 SAM L10 和 SAM L11 器件 UART 自举程序的设计和操作。
    发表于 04-01 10:07 32次下载
    针对<b class='flag-5'>SAM</b> L10 /<b class='flag-5'>SAM</b> L11的UART自举程序

    SAM卡读写芯片

    支持ISO7816标准 最多可同时操作6个SAM卡(PSAM或ESAM卡) 该ASIC芯片支持9600,38400,最高115200 SAM卡 支持T=0T=1协议 封装形式为TSSOP20
    发表于 03-21 15:21 16次下载

    SAM分割模型是什么?

    SAM是一类处理图像分割任务的通用模型。与以往只能处理某种特定类型图片的图像分割模型不同,SAM可以处理所有类型的图像。
    的头像 发表于 05-20 09:30 2246次阅读

    SAM 到底是什么

      前言 “分割一切,大家一起失业!”——近期,这样一句话在社交媒体上大火!这讲的就是 Segment Anything Model(简称 “SAM” )。SAM 到底是什么?它具备哪些功能?它真
    的头像 发表于 06-12 10:46 4916次阅读
    <b class='flag-5'>SAM</b> 到底是什么

    针对SAM L10/SAM L11的UART自举程序

    电子发烧友网站提供《针对SAM L10/SAM L11的UART自举程序.pdf》资料免费下载
    发表于 09-25 10:01 2次下载
    针对<b class='flag-5'>SAM</b> L10/<b class='flag-5'>SAM</b> L11的UART自举程序

    一种新的分割模型Stable-SAM

    SAM、HQ-SAM、Stable-SAM在提供次优提示时的性能比较,Stable-SAM明显优于其他算法。这里也推荐工坊推出的新课程《如何将深度学习模型部署到实际工程中?
    的头像 发表于 12-29 14:35 669次阅读
    一种新的分割模型Stable-<b class='flag-5'>SAM</b>