0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于极坐标划分和表面高度估计的纯视觉非均匀BEV表示学习方法

地平线HorizonRobotics 来源:地平线HorizonRobotics 作者:地平线HorizonRobot 2022-10-18 11:10 次阅读

摘要: 鸟瞰图(Bird’s Eye View, BEV)表示可以隐式而优雅地将多视图信息进行统一表示,避免了耗时的多视图融合后处理操作,其对于自动驾驶中的环境感知具有很大的实用价值。在CoRL2022上,地平线-天津大学-华中科技大学联合发表了研究成果PolarBEV:基于极坐标划分和表面高度估计的纯视觉非均匀BEV表示学习。不同于基于矩形表示和深度估计的方案,PolarBEV提出将BEV空间沿着角度和半径进行栅格化,并结合迭代的高度估计来确定2D到3D的对应关系,极大地提升了BEV分割的精度和推理速度。

简介

本文提出了一个基于极坐标划分和表面高度估计的纯视觉非均匀BEV表示学习方法PolarBEV。相比于之前基于矩形表示和深度估计的方法[1],PolarBEV通过将BEV空间沿着角度和半径进行栅格化来得到非均匀划分的网格点,之后通过将每个网格点的向量映射分解为角度向量映射和半径向量映射来增强每个网格点的表征能力,最后通过迭代的高度估计来确定2D到3D的对应关系。在这一范式下,PolarBEV在Nuscenes[2]数据集语义分割和实例分割任务上的性能都超越了之前的方法,并且在2080Ti GPU上取得了实时的推理速度。

动机

非均匀表示相比均匀表示更有优势

对于自动驾驶来说,自车周围的感知结果相比于远处来说更重要,因此自车周围区域应该需要更高的分辨率。我们通过将BEV空间沿着角度和半径进行划分,从而得到一个距离相关的非均匀的网格分布-密集分布于自车周围,稀疏分布于远处。

对于均匀表示来说,大范围的BEV空间通常需要较多的网格点和更大的计算量。通过在半径上进行长尾不均匀的划分,可以实现以较小的计算成本覆盖较大的BEV空间。

因为相机近大远小的成像特点,相同角度不同距离的同一个物体在成像上应该具有相似外形、尺度不一的特点,而相同距离不同角度的同一物体在成像上应该具有相似尺度、不同外形的特点。通过将BEV空间沿着角度和半径进行划分,可以使得BEV表示和相机的这一成像特点相适应。此外,可以通过将每个网格点的向量映射分解为角度向量映射和半径向量映射来建模圆形BEV表示下每个网格点之间的关系,从而增强每个网格点的特征表示。

高度估计相比于深度估计更有优势

深度估计方法通常需要为每个像素点估计一个深度分布,而这通常限制了该类方法的推理速度。此外,深度的真实范围通常是[0,+∝),网络很难在如此大的解空间中估计出准确的深度。高度估计方法只需要为每个网格点隐式地估计一个高度,这可以极大地加速网络的推理速度,而且高度的估计也比深度的估计要简单的多。

方法

整体框架

PolarBEV的整体框架如图1所示,其总共包含三个部分:1)图像特征抽取部分 2)BEV空间栅格化和重组 3)迭代的表面高度估计和2D到3D的特征变换。

3f49b6d0-4e08-11ed-a3b6-dac502259ad0.png

图1PolarBEV整体框架示意图

极坐标栅格化和重组

本工作首先将BEV空间沿着角度和半径分别进行栅格化,得到3f52c3a6-4e08-11ed-a3b6-dac502259ad0.png个半径划分和3f617c84-4e08-11ed-a3b6-dac502259ad0.png个角度划分。为了便于后续的处理,该工作将栅格化后的网格点重组成3f6e243e-4e08-11ed-a3b6-dac502259ad0.png大小的矩形。如图一所示,因为在角度这一维上,3f727624-4e08-11ed-a3b6-dac502259ad0.png和 3f7e41e8-4e08-11ed-a3b6-dac502259ad0.png虽然表示相同角度,但是却被分割在矩形的两端,所以需要对重组后的矩形网格点做相应处理才能满足一般的卷积操作。这里,通过在角度这一维上使用循环填充来弥补该缺陷。 

极坐标向量映射分解

对于每个角度为,半径为的极坐标点,本工作将其对应的查询向量映射分解为半径相关的3f8b3ee8-4e08-11ed-a3b6-dac502259ad0.png和角度相关的 3f911d90-4e08-11ed-a3b6-dac502259ad0.png ,这一过程形式化表示为:

3fa11650-4e08-11ed-a3b6-dac502259ad0.png

本工作通过该分解来建模圆形BEV表示下每个网格点之间的关系,从而增强每个网格点的特征表示。

迭代的表面高度估计和2D到3D的特征变换

为了确定图像和BEV之间的对应关系,本工作首先设置一个初始高度为3fb60f42-4e08-11ed-a3b6-dac502259ad0.png的假设表平面,然后根据每个查询向量映射  来迭代更新每个网格点  的对应高度:

3fbacab4-4e08-11ed-a3b6-dac502259ad0.png

随后,本工作将归一化到[0,1]范围,再缩放至目标高度范围3fc776e2-4e08-11ed-a3b6-dac502259ad0.png

3fd803ea-4e08-11ed-a3b6-dac502259ad0.png

然后,本工作根据每个网格点对应的极坐标3fdc9504-4e08-11ed-a3b6-dac502259ad0.png,构造出该网格点的三维齐次坐标  :

3fea938e-4e08-11ed-a3b6-dac502259ad0.png

最后,本工作根据相机内参矩阵和外参矩阵将投影到图像平面:

400437f8-4e08-11ed-a3b6-dac502259ad0.png

再根据投影点从图像特征中采样得到最终的BEV特征:

400c4f4c-4e08-11ed-a3b6-dac502259ad0.png

其中401d5b5c-4e08-11ed-a3b6-dac502259ad0.png表示从4028c53c-4e08-11ed-a3b6-dac502259ad0.png位置采样出的特征,402f0550-4e08-11ed-a3b6-dac502259ad0.png是一个用于掩码超出图像边缘的投影点的二值掩膜。

实验结果

语义分割结果

表1和表2分别展示了在不掩码不可见车辆和掩码不可见车辆两种情况下,PolarBEV和其他方法的结果对比。可以看出PolarBEV在使用相同输入分辨率的设置下,不仅在精度上超过了FIERY Static[1],而且取得了实时的推理速度(25FPS,2080Ti)。

403a953c-4e08-11ed-a3b6-dac502259ad0.png

表1 不掩码不可见车辆的BEV语义分割结果

407235e6-4e08-11ed-a3b6-dac502259ad0.png

表2 掩码不可见车辆的BEV语义分割结果

实例分割结果

表3展示了PolarBEV相比于FIERY Static[1]在实例分割上的优势,可以看出PolarBEV主要在RQ指标上比FIERYStatic高,说明PolarBEV能够更加准确的分类出不同实例。

4078652e-4e08-11ed-a3b6-dac502259ad0.png

表3 掩码不可见车辆的实力分割结果

消融实验

表4和表5分别验证了PolarBEV提出的圆形表示相比于矩形表示的优势、基于高度的特征变换相比于基于深度的特征变换的优势。

408a44ba-4e08-11ed-a3b6-dac502259ad0.png

表4 矩形表示和圆形表示对比结果

410b666c-4e08-11ed-a3b6-dac502259ad0.png

表5 基于深度和基于高度的对比结果

表6验证了PolarBEV提出的各个模块的有效性。在添加环卷积之后,模型在IoU和PQ指标上分别提升了0.33和1.03个点。在环卷积之后,添加向量映射分解(PED)可以使得模型在IoU和PQ指标上进一步提升0.55和0.36个点。

411b168e-4e08-11ed-a3b6-dac502259ad0.png

表6 各个模块的消融实验结果

表7验证了圆形BEV表示在分辨率上的消融实验。从该表可以看出无论是增大角度分辨率或是增大半径分辨率,模型的精度都有提升。

41556a82-4e08-11ed-a3b6-dac502259ad0.png

表7 圆形BEV表示在分辨率上的消融实验

表8验证了迭代次数对模型精度的影响。从该表可以看出,随着迭代次数的增多,模型的精度越来越高。当迭代次数到达3或者6时,模型精度趋向饱和,但是FPS下降明显。

416c729a-4e08-11ed-a3b6-dac502259ad0.png

表8 迭代次数的消融实验

可视化结果

图2展示了PolarBEV在不同场景下的分割质量,可以看出PolarBEV即使在复杂环境中依然可以得到准确的分割结果。

41760a44-4e08-11ed-a3b6-dac502259ad0.png

图2 PolarBEV在不同场景下分割质量的可视化图

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2875

    浏览量

    107495
  • 网格
    +关注

    关注

    0

    文章

    139

    浏览量

    16015
  • 自动驾驶
    +关注

    关注

    784

    文章

    13787

    浏览量

    166408

原文标题:CoRL 2022 | PolarBEV: 基于极坐标划分和表面高度估计的纯视觉非均匀BEV表示学习

文章出处:【微信号:horizonrobotics,微信公众号:地平线HorizonRobotics】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    [分享]CVI中怎样画极坐标

    CVI中怎样画极坐标?解答:CVI中没有专门提供画极坐标的控件。可以使用Picture控件自己画,或者使用绘图软件绘制出极坐标图,然后保存为图片再使用canvas控件将图片导入。
    发表于 05-26 09:35

    怎么在极坐标的圆中表示分贝值

    怎么在极坐标的圆中表示分贝值
    发表于 09-29 21:59

    FPGA威廉希尔官方网站 的学习方法

    。那么究竟如何才能高效学习好FPGA威廉希尔官方网站 呢?本期邀请到的FPGA专家梅雪松,将为大家解答FPGA有效学习方法。专家观点:学习FPGA威廉希尔官方网站 ,或者不仅局限于FPGA,学习任何一个新威廉希尔官方网站 只要
    发表于 01-11 13:58

    如何布局allegro极坐标

    allegro 如何用极坐标布局?
    发表于 07-02 23:05

    AD18中极坐标的添加方法

    Altium Designer 18 极坐标的添加方法如图,要实现下图所示的器件布局效果,在Altium Designer软件里可以使用极坐标方法。Altium Designer 1
    发表于 07-10 06:25

    Altium Designer 19极坐标的添加方法

    方法一:1. 在“Properties”中找到“Grid Manager(栅格管理器)”,点击“Add”,选择添加“Add Polar Grid(添加极坐标)”; 2. 完成极坐标的添加。
    发表于 10-22 16:45

    Allegro极坐标布局方法

    allegro极坐标布局方法!记得多余时间来撩我!!!好了废话不多说了,开始!!!首先,将网标导入PCB中(封装记得都做对)然后,快速放入器件紧接着,画一个圆形,并选择一个要放在圆上器件放好(使用坐标法);又来
    发表于 12-31 00:01

    频率响应法--极坐标

    频率响应法--极坐标图 
    发表于 07-27 14:26 3850次阅读

    ZigBee 简介和学习方法

    zigbee简介以及学习方法,ZigBee的历史发展前景。
    发表于 04-15 14:07 14次下载

    一种基于极坐标变换的点模式匹配算法

    点模式匹配是目标识别、图像配准与匹配、姿态估计等计算机视觉与模式识别应用方向的基础问题之一。提出了一种新的利用点特征进行匹配的算法,该算法根据点集的分布与点位置信息,构建了点的特征属性图,通过极坐标
    发表于 12-05 19:08 2次下载

    基于傅里叶极坐标变换的织物瑕疵检测方法

    本文研究的目的是检测不同光照下纺织工业中织布的瑕疵,不同光照下的织布图像清晰度不同,但却都非常有周期性,有方向性。所以本文提出了一种基于傅里叶极坐标变换的方法:该方法将图像在频域内的频谱能量转化到
    发表于 12-12 18:35 1次下载

    深度解析机器学习三类学习方法

    在机器学习(Machine learning)领域。主要有三类不同的学习方法:监督学习(Supervised learning)、监督学习
    发表于 05-07 09:09 1.4w次阅读

    基于变分自编码器的网络表示学习方法

    ,将这些信息融入到网络表示学习过程中,有助于提升下游任务的性能。但是针对不同的应用场景,结构和属性信息并不总是线性相关,而且它们都是高度非线性的数据。提岀一种基于变分自编码器的网络表示
    发表于 05-12 14:50 27次下载

    面向异质信息的网络表示学习方法综述

    面向异质信息的网络表示学习方法综述
    发表于 06-09 14:12 13次下载

    基于视觉的感知方法

         背景  近年来,基于视觉的感知方法由于其较高的信噪比和较低的成本,在自动驾驶领域占有重要地位。其中,鸟瞰图(BEV)感知已成为主流的方法
    的头像 发表于 06-15 14:20 1154次阅读
    基于<b class='flag-5'>纯</b><b class='flag-5'>视觉</b>的感知<b class='flag-5'>方法</b>