0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

标注神器!AAAI'24最新:第一个交互式3D目标检测器!

3D视觉工坊 来源:3D视觉工坊 2024-01-16 16:08 次阅读

1. 写在前面

在LiDAR场景中标注3D目标非常繁琐,今天笔者为大家推荐一篇加速3D标注的最新工作iDet3D。这个交互式的标注算法支持2D界面,可以以最少的交互来标注每个场景中的整个目标。

下面一起来阅读一下这项工作~

2. 摘要

对LiDAR场景中的多个三维物体进行精确标注是一项费力且具有挑战性的工作。尽管先前的一些研究试图利用半自动方法来进行具有成本效益的边界框标注,但这些方法在有效地处理大量多类对象方面具有局限性。为了有效加速3D标注流水线,我们提出了一种高效的交互式3D目标检测器iDet3D。iDet3D支持用户友好的2D界面,可以减轻探索3D空间提供点击交互的认知负担,使用户能够以最少的交互来标注每个场景中的整个物体。考虑到三维点云的稀疏性,我们设计了负点击interwetten与威廉的赔率体系 ( negative click simulation,NCS ),通过减少假阳性预测来提高精度。此外,iDet3D结合了两种点击传播威廉希尔官方网站 ,以充分利用用户交互:( 1 )密集点击引导( DCG ),用于在整个网络中保存用户提供的信息;( 2 )空间点击传播( SCP ),用于根据用户指定的对象检测同一类的其他实例。通过我们的大量实验,我们发现我们的方法可以在少量的点击中构建精确的注释,这表明了我们的方法作为三维物体检测的有效注释工具的实用性。

3. 效果展示

iDet3D中点击编码的可视化示例:(a) 输入点云和用户点击(红色箭头)。(b) 在目标对象上突出显示相应的基于距离编码的用户交互。

e7d40fcc-b3fa-11ee-8b88-92fbcf53809c.jpg

看一下具体标注过程:( a ) 给定输入点云。( b ) 提供对行人的正向点击(红色圆圈),iDet3D在一次点击中检测到场景中多个不同类别的物体。( c )在第2次迭代中,通过增加一个负点击(蓝色圆圈),可以一次性过滤掉假阳性预测。( d )真值。在几次迭代内,就可以获得高质量的标注结果。

e7e4360e-b3fa-11ee-8b88-92fbcf53809c.jpg

4. 具体原理是什么?

考虑到3D点云的稀疏性质,iDet3D设计了负点击模拟 (NCS),通过减少误报预测来提高准确性。还结合了两种点击传播威廉希尔官方网站 来充分利用用户交互:(1) 密集点击引导 (DCG),用于在整个网络中保留用户提供的信息;(2) 空间点击传播 (SCP),用于检测其他实例。

iDet3D的训练流程。给定用户对目标对象的点击,将点击转化为点击编码。( a )密集点击引导( DCG )在输入端和中间层将编码融合到骨干网架构中。( b )负点击模拟( Negative Click Simulation,NCS )通过选择具有高前景分数的具有挑战性的背景点来随机模拟可能的负点。( c )后续的空间点击传播( Spatial Click Propagation,SCP )模块根据特征嵌入之间的相似性,有效地传播用户点击来检测同一类的其他对象。

e7f4843c-b3fa-11ee-8b88-92fbcf53809c.jpg

利用空间点击传播( SCP )模块生成关联图的实例:( a )点击关于N个输入点的汽车对象(红色箭头)上的编码E。( b )对N′个降采样点(经过降采样层从N点降至N′点)点击编码E′。( c )由SCP生成的点击相关图M和( d )与真实3D边界框覆盖的可视化。注意,与点击同一类的点在输出的相关图中被突出显示。

e809e390-b3fa-11ee-8b88-92fbcf53809c.jpg

5. 和其他SOTA方法对比如何?

baseline和iDet3D在KITTI val集上的定量结果。

e8134278-b3fa-11ee-8b88-92fbcf53809c.jpg

nuScenes数据集的基线和iDet3D ( IA-SSD Backbone)的定量结果。

e826575a-b3fa-11ee-8b88-92fbcf53809c.jpg

6. 总结

这篇文章提出了第一个交互式3D目标检测器iDet3D,能够在几次点击中检测出大量的多类物体。iDet3D设计了NCS来过滤通过负点击产生的假阳性预测,以及两个点击传播模块( DCG和SCP)来为用户提供指导。但是在这项工作中,iDet3D仅对单帧图像进行分析,忽略了连续帧之间的互补信息。未来作者将考虑处理多个连续帧之间需要对齐的点嵌入,进一步改进iDet3D。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 检测器
    +关注

    关注

    1

    文章

    863

    浏览量

    47678
  • 3D
    3D
    +关注

    关注

    9

    文章

    2875

    浏览量

    107487
  • 可视化
    +关注

    关注

    1

    文章

    1194

    浏览量

    20935

原文标题:标注神器!AAAI'24最新:第一个交互式3D目标检测器!

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于GAC模型实现交互式图像分割的改进算法

    ,逐次进行单个目标的分割,最终实现了对3病变细胞的准确分割。   针对交互式图像分割方法的重要问题——如何更精确地选取“
    发表于 09-19 09:19

    如何在交互式人脸检测演示中将Web浏览流用作目标输入?

    无法将 Web 浏览流用作交互式人脸检测演示的目标输入。
    发表于 08-15 06:02

    英伟达再出新研究成果 可以渲染合成交互式3D环境的AI威廉希尔官方网站

    据透露,英伟达最新研发的这项成果,是可以渲染合成交互式3D环境的AI威廉希尔官方网站 。在创建逼真的3D环境时,英伟达研发团队不再使用传统的图形威廉希尔官方网站 ,而是使用神经网络 ,特别是“生成模型”,通过来自如YouTube等来源的真实视频,进行模型训
    发表于 12-12 09:22 963次阅读

    自动驾驶检测器可同时实现3D检测精读和速度的提升

    3月19日,阿里巴巴达摩院宣布近日有论文入选计算机视觉顶会CVPR 2020。论文提出通用、高性能的自动驾驶检测器,可兼顾3D物体的
    的头像 发表于 03-20 13:40 2562次阅读

    陶瓷3D打印指南: 3D Ceram快速陶瓷成型

    陶瓷3D打印已经研究了近二十年(几乎与AM直存在)并且从开始就表现出很大的潜力,但最近才开始出现陶瓷3D打印实用和商业应用。在这个交互式
    的头像 发表于 12-26 12:46 1460次阅读

    如何处理orcad与Cadence Allegro的交互式操作

    第一方的网表,Allegro导入的是第一方网表,输出的具体方法见第3.35问; Ø Orcad软件需要勾选以下选项,才可以实现交互式的操作,执行Options→Preference选项,选择
    的头像 发表于 11-17 11:11 1.1w次阅读
    如何处理orcad与Cadence Allegro的<b class='flag-5'>交互式</b>操作

    港大&amp;amp;腾讯提出DiffusionDet:第一个用于目标检测的扩散模型

    近日,来自香港大学的罗平团队、腾讯 AI Lab 的研究者联合提出种新框架 DiffusionDet,将扩散模型应用于目标检测。据了解,还没有研究可以成功地将扩散模型应用于目标
    的头像 发表于 11-22 15:35 1897次阅读

    Pair标注神器推出医学影像智能交互式分割itSeg

    本次Pair软件V2.7版本迎来全新升级,重磅推出了智能交互式分割标注功能——Intelligent Interactive Segmentation (itSeg),仅需用户提供少量涂鸦标记即可实现解剖结构的精细分割
    的头像 发表于 12-01 13:55 1253次阅读

    智能座舱的人车交互大战,3D交互将成为胜负手?

    电子发烧友网报道(文/ 吴子鹏 )交互式3D的出现原本是为了解决网络购物过程中,消费者对商品了解的信息偏差。通过对产品模型进行3D建模,消费者可以对其进行拆解、旋转、移动等操作,这就是交互式
    的头像 发表于 12-02 07:10 784次阅读

    介绍开源的制作交互式BOM的AD插件!

    介绍开源的制作交互式BOM的AD插件!
    的头像 发表于 01-10 14:15 6561次阅读
    介绍<b class='flag-5'>一</b><b class='flag-5'>个</b>开源的制作<b class='flag-5'>交互式</b>BOM的AD插件!

    工业仪器3D交互式产品展示的亮点

    在现代工业生产中,工业仪器起着重要的作用。如何推销展示这些复杂庞大的工业仪器效果更好? 3D交互式产品展示 就是不错的方法,广州华锐互动利用3D
    的头像 发表于 05-18 15:11 486次阅读

    基于BEV的视觉3D目标检测器

    根据我们的实验分析,我们认为实现这一目标的关键在于提升检测器在 BEV 空间和 2D 空间的适应性。这种适应性是针对 query 而言的,即对于不同的 query,检测器要能以不同的方
    发表于 09-16 10:09 750次阅读
    基于BEV的视觉<b class='flag-5'>3D</b><b class='flag-5'>目标</b><b class='flag-5'>检测器</b>

    CCV 2023 | SparseBEV:高性能、全稀疏的纯视觉3D目标检测器

    本文介绍在3D 目标检测领域的新工作:SparseBEV。我们所处的 3D 世界是稀疏的,因此稀疏 3D
    的头像 发表于 09-19 10:00 994次阅读
    CCV 2023 | SparseBEV:高性能、全稀疏的纯视觉<b class='flag-5'>3D</b><b class='flag-5'>目标</b><b class='flag-5'>检测器</b>

    如何搞定自动驾驶3D目标检测

    可用于自动驾驶场景下基于图像的3D目标检测的数据集总结。其中些数据集包括多个任务,这里只报告了3D检测
    发表于 01-05 10:43 584次阅读
    如何搞定自动驾驶<b class='flag-5'>3D</b><b class='flag-5'>目标</b><b class='flag-5'>检测</b>!

    Google DeepMind发布Genie 2:打造交互式3D虚拟世界

    交互式体验。 据了解,Genie 2是自回归潜在扩散模型,它基于大型视频数据集进行训练。通过自动编码,视频中的潜在帧被传递到大型Transformer动力学模型中。该模型采用与
    的头像 发表于 12-05 14:16 406次阅读