0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一种新的、更精细的对象表示方法 ——RepPoints ,比边界框更好用的目标检测方法

DPVg_AI_era 来源:lq 2019-05-05 10:58 次阅读

来自北京大学、清华大学和微软亚洲研究院的研究人员提出一种新的、更精细的对象表示方法RepPoints,抛弃了流行的边界框表示,结果与最先进的基于 anchor 的检测方法同样有效。

目标检测是计算机视觉中最基本的任务之一,也是许多视觉应用的关键组成部分,包括实例分割、人体姿态分析、视觉推理等。

目标检测的目的是在图像中定位目标,并提供目标的类别标签

近年来,随着深度神经网络的快速发展,目标检测问题也取得了长足的进展。

当前先进的目标检测器很大程度上依赖于矩形边界框来表示不同识别阶段的对象,如 anchors、proposals 以及最终的预测。

边界框使用方便,但它只提供目标的粗略定位,导致对目标特征的提取也相当粗略。

近日,来自北京大学、清华大学和微软亚洲研究院的杨泽、王立威、Shaohui Liu 等人在他们的最新论文中,提出了一种新的、更精细的对象表示方法 ——RepPoints (representative points),这是一组对定位和识别都很有用的样本点 (sample points)。

论文地址:

https://arxiv.org/pdf/1904.11490.pdf

给定训练的 ground truth 定位和识别目标,RepPoints 学会自动以限制目标的空间范围的方式来排列自己,并表示在语义上重要的局部区域。此外,RepPoints 不需要使用 anchor 来对边界框的空间进行采样。

作者展示了一个基于 RepPoints 的、anchor-free 的目标检测器,不需要多尺度训练和测试就可以实现,而且与最先进的基于 anchor 的检测方法同样有效,在 COCO test-dev 检测基准上达到了42.8 AP 和 65.0 AP₅₀。

抛弃边界框,更细粒度的目标表示RepPoints

在目标检测过程中,边界框是处理的基本元素。边界框描述了目标检测器各阶段的目标位置。

虽然边界框便于计算,但它们仅提供目标的粗略定位,并不完全拟合对象的形状和姿态。因此,从边界框的规则单元格中提取的特征可能会受到包含少量语义信息的背景内容或无信息的前景区域的严重影响。这可能导致特征质量降低,从而降低了目标检测的分类性能。

本文提出一种新的表示方法,称为 RepPoints,它提供了更细粒度的定位和更方便的分类。

如图 1 所示,RepPoints 是一组点,学习自适应地将自己置于目标之上,其方式限定了目标的空间范围,并表示语义上重要的局部区域。

图 1:RepPoints 是一种新的目标检测表示方法

RepPoints 的训练由目标定位和识别目标共同驱动,因此,RepPoints 与 ground-truth 的边界框紧密相关,并引导检测器正确地分类目标。

这种自适应、可微的表示可以在现代目标检测器的不同阶段连贯地使用,并且不需要使用 anchors 来对边界框空间进行采样。

RepPoints 不同于用于目标检测现有的非矩形表示,它们都是以自底向上的方式构建的。这些自底向上的表示方法会识别单个的点 (例如,边界框角或对象的末端)。此外,它们的表示要么像边界框那样仍然是轴对齐的,要么需要 ground truth 对象掩码作为额外的监督。

相反,RepPoints 是通过自顶向下的方式从输入图像 / 对象特征中学习的,允许端到端训练和生成细粒度的定位,而无需额外的监督。

为了证明 RepPoints 表示的强大能力,我们提出了一种基于可变形 ConvNets 框架的实现,该框架在保证特征提取方便的同时,提供了适合指导自适应采样的识别反馈。

我们发现,这个无 anchor 的检测系统在对目标进行精确定位的同时,具有较强的分类能力。在没有多尺度训练和测试的情况下,我们的检测器在 COCO 基准上实现了 42.8 AP 和 65.0 AP₅₀ 的精度,不仅超过了所有现有的 anchor-free 检测器,而且性能与最先进的 anchor-based 的基线模型相当。

RepPoints vs 边界框

本节将描述 RepPoints,以及它与边界框的区别。

边界框表示

边界框是一个 4-d 表示,编码目标的空间位置,即 B = (x, y, w, h), x, y 表示中心点,w, h 表示宽度和高度。

由于其使用简单方便,现代目标检测器严重依赖于边界框来表示检测 pipeline 中各个阶段的对象。

性能最优的目标检测器通常遵循一个 multi-stage 的识别范式,其中目标定位是逐步细化的。其中,目标表示的角色如下:

RepPoints

如前所述,4-d 边界框是目标位置的一个粗略表示。边界框表示只考虑目标的矩形空间范围,不考虑形状、姿态和语义上重要的局部区域的位置,这些可用于更好的定位和更好的目标特征提取。

为了克服上述限制,RepPoints 转而对一组自适应样本点进行建模:

其中 n 为表示中使用的样本点的总数。在这项工作中,n 默认设置为 9。

Learning RepPoints

RepPoints 的学习是由目标定位损失和目标识别损失共同驱动的。为了计算目标定位损失,我们首先用一个转换函数 T 将 RepPoints 转换为伪框 (pseudo box)。然后,计算转换后的伪框与 ground truth 边界框之间的差异。

图 3 显示,当训练由目标定位损失和目标识别损失组合驱动时,目标的极值点和语义关键点可以自动学习。

图 3: 学习的 RepPoints 的可视化和来自 COCO minival set 的几个例子的检测结果。通常,学习的 RepPoints 位于目标的端点或语义关键点上。

RPDet: 无需 Anchor 的目标检测器

我们设计了一种不使用 anchor 的对象检测器,它利用 RepPoints 代替边界框作为基本表示。

目标表示的演化过程如下:

RepPoints Detector (RPDet) 由两个基于可变形卷积的识别阶段构成,如图 2 所示。

图 2:RPDet (RepPoints detector) 的概览,以特征金字塔网络 (FPN) 为主干

可变形卷积与 RepPoints 很好地结合在一起,因为它的卷积是在一组不规则分布的采样点上计算的,反之,它的识别反馈可以指导训练这些点的定位。

实验和结果

表 1:目标检测中 RepPoints 与边界框表示的比较。除了处理给定的目标表示之外,网络结构是相同的。

从表 1 可以看出,将目标表示从边界框变为 RepPoints,可以带来一定程度的性能提升,如使用 ResNet-50 作为主干网络时提升了 2.1 mAP,使用 ResNet-101 时提升了 2.0 mAP。这表明相对于边界框,RepPoints 表示在对象检测方面具有优势。

表 7:将所提出的 RPDet 与 COCO test-dev 上最先进的检测器进行比较。

如表 7 所示,在没有 multi-scale 训练和测试的情况下,所提出的框架使用 ResNet-101-DCN 主干网络实现了 42.8 AP,与基于 anchor 的 Cascade R-CNN 方法相当,性能优于现有的所有不采用 anchor 的检测器。此外,RPDet 获得了 65.0 的 AP₅₀,大大超过了所有基线。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100723
  • 目标检测
    +关注

    关注

    0

    文章

    209

    浏览量

    15605
  • 计算机视觉
    +关注

    关注

    8

    文章

    1698

    浏览量

    45984

原文标题:北大、清华、微软联合提出RepPoints,比边界框更好用的目标检测方法

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    对象检测边界损失函数–从IOU到ProbIOU介绍

    目标检测损失函数的选择在目标检测问题建模中至关重要。通常,目标检测需要两个损失函数,
    的头像 发表于 01-24 10:50 2799次阅读
    <b class='flag-5'>对象</b><b class='flag-5'>检测</b><b class='flag-5'>边界</b><b class='flag-5'>框</b>损失函数–从IOU到ProbIOU介绍

    一种基于图像平移的目标检测框架

    1、摘要近年来,在深度卷积神经网络(CNNs)的帮助下,图像和视频监控在智能交通系统(ITS)中取得了长足的进展。作为一种先进的感知方法,智能交通系统对视频监控中每帧感兴趣的目标进行
    发表于 08-31 07:43

    结合预测目标之间的归化距离来提出距离-IoU (DIoU) Loss

    存在这些不 同的检测框架,但边界回归预测个矩形来定位目标
    发表于 11-14 15:46

    基于YOLOX目标检测算法的改进

    并应用于边界回归损失中,提高了 YOLOX 在 KITTI 数据集上的检测精度,检测出更多的遮挡目标;采用动态锚
    发表于 03-06 13:55

    一种局部优化边界的支持向量数据描述方法_陈君

    一种局部优化边界的支持向量数据描述方法_陈君
    发表于 01-08 13:15 0次下载

    一种目标飞机分割提取方法

    提出了一种目标飞机分割提取方法,该方法采用改进的使用金字塔式分割策略的以彩色高斯混合模型CMM(Gaussian Mixture Model)和迭代能量最小化为基础的CJrabCut算
    发表于 11-10 15:46 7次下载
    <b class='flag-5'>一种</b><b class='flag-5'>目标</b>飞机分割提取<b class='flag-5'>方法</b>

    一种非静止背景下的运动目标检测方法

    对于运动中的摄像机所拍摄视频的分析,会发现目标和背景都在运动的现象,因此难以较好地对运动目标进行检测。针对此问题提出了一种适应该类对象的运动
    发表于 11-15 14:53 8次下载
    <b class='flag-5'>一种</b>非静止背景下的运动<b class='flag-5'>目标</b><b class='flag-5'>检测</b><b class='flag-5'>方法</b>

    基于稀疏表示的可变形部件模型目标检测

    基于可变形部件模型DPM的目标检测算法采用方向梯度直方图HOG进行特征表示,由于HOG无法处理模糊的边界而且忽略了平滑的特征区域,从而影响了DPM算法的性能。为了提高DPM的性能,提出
    发表于 11-21 16:52 11次下载

    一种图像拼接的运动目标检测方法

    图像拼接中出现的运动目标可能使拼接出现不能正常拼接或者拼接出多重影像的现象。本文提出一种图像拼接的运动目标检测方法,去除运动
    发表于 12-08 10:05 2次下载

    关于一种基于动态规划的机动目标检测前跟踪方法

    检测前跟踪(Track-Before-Detect,TBD)威廉希尔官方网站 是一种有效的雷达微弱目标检测方法,并且在多个领域有着广泛的应用。这种威廉希尔官方网站 不对
    的头像 发表于 06-21 09:09 8753次阅读
    关于<b class='flag-5'>一种</b>基于动态规划的机动<b class='flag-5'>目标</b><b class='flag-5'>检测</b>前跟踪<b class='flag-5'>方法</b>

    如何使用级联网络进行行人检测方法说明

    针对复杂环境下行人检测不能同时满足高召回率与高效率检测的问题,提出一种基于卷积神经网络(CNN)的行人检测方法。首先,采用CNN中的单步
    发表于 04-12 17:30 6次下载
    如何使用级联网络进行行人<b class='flag-5'>检测</b>的<b class='flag-5'>方法</b>说明

    一种新的带有不确定性的边界回归损失,可用于学习更准确的目标定位

    目标检测一种多任务学习问题,包含目标定位和目标分类。当前最佳的目标
    的头像 发表于 04-23 16:38 6448次阅读
    <b class='flag-5'>一种</b>新的带有不确定性的<b class='flag-5'>边界</b><b class='flag-5'>框</b>回归损失,可用于学习更准确的<b class='flag-5'>目标</b>定位

    RepPoints 边界更好用目标检测方法

    来自北京大学、清华大学和微软亚洲研究院的研究人员提出一种新的、更精细对象表示方法RepPoints
    的头像 发表于 05-09 17:25 5839次阅读
    <b class='flag-5'>RepPoints</b> <b class='flag-5'>比</b><b class='flag-5'>边界</b><b class='flag-5'>框</b><b class='flag-5'>更好用</b>的<b class='flag-5'>目标</b><b class='flag-5'>检测</b><b class='flag-5'>方法</b>

    一种基于边界和中心关系的显著性检测方法

    为提高显著性检测模型生成显著图时的准确率和对比度,提出一种基于边界和中心关系的显著性检测方法。对图像进行引导滤波平滑处理并利用SLIC实现超
    发表于 04-01 11:15 11次下载
    <b class='flag-5'>一种</b>基于<b class='flag-5'>边界</b>和中心关系的显著性<b class='flag-5'>检测</b><b class='flag-5'>方法</b>

    目标检测EDA方法有哪些 eda和pcb的区别

    目标检测(Object Detection)是计算机视觉领域中的重要任务,用于在图像或视频中定位和识别出多个感兴趣的对象。EDA(Enhancement, Detection, and Augmentation)
    发表于 07-20 14:43 1879次阅读