0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

顶刊TPAMI最全综述!深入自动驾驶BEV感知的魔力!

3D视觉工坊 来源:3D视觉工坊 2024-01-14 09:53 次阅读

1. 写在前面

今天笔者为大家推荐一篇BEV感知的最新综述,分析了BEV感知的核心难点,回顾了关于BEV感知的最新工作,并对不同的解决方案进行了深入分析,还描述了来自工业界的几种BEV方法的系统设计。

下面一起来阅读一下这项工作~

2. 摘要

在鸟瞰图( bird ' s-eye-view,BEV )中学习强大的表征用于感知任务是一种趋势,并引起了工业界和学术界的广泛关注。大多数自动驾驶算法的传统方法在前方或视角视图中执行检测、分割、跟踪等。随着传感器配置越来越复杂,集成来自不同传感器的多源信息并在统一视图中表示特征变得至关重要。BEV感知继承了几个优点,因为在BEV中表示周围的场景是直观的和融合友好的;而在BEV中表示对象是后续模块在规划和/或控制中最需要的。BEV感知的核心问题在于:( a )如何通过视角到BEV的视角转换来重建丢失的三维信息;( b )如何获取BEV网格中的真实标注;( c )如何制定管线以纳入来自不同来源和视图的特征;( d )随着传感器配置在不同场景中的变化,如何适应和推广算法。在这项调查中,我们回顾了关于BEV感知的最新工作,并对不同的解决方案进行了深入分析。此外,还描述了来自工业界的几种BEV方法的系统设计。此外,我们还介绍了一套完整的实用指南,以提高BEV感知任务的性能,包括相机、激光雷达和融合输入。最后,指出了该领域未来的研究方向。我们希望本报告能给社区带来一些启示,并鼓励更多关于BEV感知的研究工作。

3. 文章结构

BEV感知的任务总结,包括输入数据总结、底层任务总结,还有核心任务总结。

3437b824-b22e-11ee-8b88-92fbcf53809c.jpg

BEV感知数据集总结。

3444d4a0-b22e-11ee-8b88-92fbcf53809c.jpg

BEV感知的主要工作。在输入模态下," L "为LiDAR," SC "为单相机," MC "为多相机," T "为时间信息。在Task下,' ODet '用于3D目标检测,' LDet '用于3D车道线检测,' MapSeg '用于地图分割,' Plan '用于运动规划,' MOT '用于多目标跟踪。

3462445e-b22e-11ee-8b88-92fbcf53809c.jpg

BEV感知算法在主流基准上的性能比较。

3480e47c-b22e-11ee-8b88-92fbcf53809c.jpg

视觉BEV感知的通用框架。包括2D特征提取器、视图转换和3D解码器3个部分。在视图转换中,有两种方式对3D信息进行编码- -一种是从2D特征中预测深度信息;另一种是从3D空间采样2D特征。

3491a55a-b22e-11ee-8b88-92fbcf53809c.jpg

LiDAR BEV感知的通用框架。将点云数据转换为BEV表示主要有两个分支。上层分支提取三维空间中的点云特征,提供更准确的检测结果。下层分支在2D空间中提取BEV特征,提供更高效的网络

34a2634a-b22e-11ee-8b88-92fbcf53809c.jpg

视觉BEV感知检测任务。

34b6f382-b22e-11ee-8b88-92fbcf53809c.jpg

LiDAR BEV感知分割任务。

34c8a474-b22e-11ee-8b88-92fbcf53809c.jpg

4. 总结

这篇综述对近年来的BEV感知进行了全面的回顾,作者认为未来的发展趋势是:( a )如何设计一个更精确的深度估计器;( b )如何在一种新的融合机制中更好地对齐来自多个传感器的特征表示;( c )如何设计一个无参数的网络,使得算法的性能不受姿态变化或传感器位置的影响,从而在各种场景中获得更好的泛化能力;以及( d )如何从基础模型中整合成功的知识,以促进BEV的感知。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2550

    文章

    51056

    浏览量

    753259
  • 算法
    +关注

    关注

    23

    文章

    4608

    浏览量

    92853
  • 自动驾驶
    +关注

    关注

    784

    文章

    13794

    浏览量

    166415

原文标题:顶刊TPAMI最全综述!深入自动驾驶BEV感知的魔力!

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    浅析基于自动驾驶的4D-bev标注威廉希尔官方网站

    4D-bev标注威廉希尔官方网站 是指在3D空间中以时间作为第四个维度进行标注的过程。4D-bev通常在地场景较为复杂的自动驾驶场景中使用,其可以通过精准地跟踪和记录动态对象的运动轨迹、姿势变化以及速度等信息,全面理解和分析动态对象在连续的时
    的头像 发表于 12-06 15:01 742次阅读
    浅析基于<b class='flag-5'>自动驾驶</b>的4D-<b class='flag-5'>bev</b>标注威廉希尔官方网站

    标贝科技:自动驾驶中的数据标注类别分享

    自动驾驶训练模型的成熟和稳定离不开感知威廉希尔官方网站 的成熟和稳定,训练自动驾驶感知模型需要使用大量准确真实的数据。据英特尔计算,L3+级自动驾驶每辆汽
    的头像 发表于 11-22 15:07 881次阅读
    标贝科技:<b class='flag-5'>自动驾驶</b>中的数据标注类别分享

    标贝科技:自动驾驶中的数据标注类别分享

    自动驾驶训练模型的成熟和稳定离不开感知威廉希尔官方网站 的成熟和稳定,训练自动驾驶感知模型需要使用大量准确真实的数据。据英特尔计算,L3+级自动驾驶每辆汽
    的头像 发表于 11-22 14:58 285次阅读
    标贝科技:<b class='flag-5'>自动驾驶</b>中的数据标注类别分享

    自动驾驶中一直说的BEV+Transformer到底是个啥?

    感知、理解和预测方面表现得更为强大,彻底终结了2D直视图+CNN时代。BEV+Transformer通过鸟瞰视角与Transformer模型的结合,显著提升了自动驾驶
    的头像 发表于 11-07 11:19 374次阅读
    <b class='flag-5'>自动驾驶</b>中一直说的<b class='flag-5'>BEV</b>+Transformer到底是个啥?

    聊聊自动驾驶离不开的感知硬件

    自动驾驶飞速发展,绕不开感知、决策和控制决策的经典框架,而感知作为自动驾驶汽车“感官”的重要组成部分,决定了自动驾驶系统对环境的理解和反应能
    的头像 发表于 08-23 10:18 489次阅读

    FPGA在自动驾驶领域有哪些优势?

    FPGA(Field-Programmable Gate Array,现场可编程门阵列)在自动驾驶领域具有显著的优势,这些优势使得FPGA成为自动驾驶威廉希尔官方网站 中不可或缺的一部分。以下是FPGA在自动驾驶
    发表于 07-29 17:11

    FPGA在自动驾驶领域有哪些应用?

    是FPGA在自动驾驶领域的主要应用: 一、感知算法加速 图像处理:自动驾驶中需要通过摄像头获取并识别道路信息和行驶环境,这涉及到大量的图像处理任务。FPGA在处理图像上的运算速度快,可并行性强,且功耗
    发表于 07-29 17:09

    自动驾驶识别威廉希尔官方网站 有哪些

    自动驾驶的识别威廉希尔官方网站 是自动驾驶系统中的重要组成部分,它使车辆能够感知并理解周围环境,从而做出智能决策。自动驾驶识别威廉希尔官方网站 主要包括多种传感器及其融合威廉希尔官方网站 ,以及基于这些传感器数据的处理和识别算
    的头像 发表于 07-23 16:16 648次阅读

    深度学习在自动驾驶中的关键威廉希尔官方网站

    随着人工智能威廉希尔官方网站 的飞速发展,自动驾驶威廉希尔官方网站 作为其中的重要分支,正逐渐走向成熟。在自动驾驶系统中,深度学习威廉希尔官方网站 发挥着至关重要的作用。它通过模拟人脑的学习过程,实现对车辆周围环境的感知、理解和决策。本文将
    的头像 发表于 07-01 11:40 758次阅读

    未来已来,多传感器融合感知自动驾驶破局的关键

    的架构,预计未来许多智能驾驶团队都会引入“占用网络”来提升系统能力。多维像素的应用前景非常广阔。昱感微的融合感知威廉希尔官方网站 +BEV +Transformer+占用网格有望成为L3/L4级自动驾驶
    发表于 04-11 10:26

    黑芝麻智能开发多重亮点的BEV算法威廉希尔官方网站 助力车企高阶自动驾驶落地

    随着视觉算法的演进,BEV(Bird's-Eye-View Perception)感知算法成为主机厂和自动驾驶公司发力城市场景的核心威廉希尔官方网站 之一,BEV
    的头像 发表于 03-29 18:18 1912次阅读
    黑芝麻智能开发多重亮点的<b class='flag-5'>BEV</b>算法威廉希尔官方网站
 助力车企高阶<b class='flag-5'>自动驾驶</b>落地

    BEV感知算法:下一代自动驾驶的核心威廉希尔官方网站

    首先,BEV视图存在遮挡小的优点,由于视觉的透视效应,现实世界的物体在2D图像中很容易受到其他物体的遮挡,因此,传统的基于2D的感知方式只能感知可见的目标,对于被遮挡的部分算法将无能为力。
    发表于 01-25 15:38 4165次阅读
    <b class='flag-5'>BEV</b><b class='flag-5'>感知</b>算法:下一代<b class='flag-5'>自动驾驶</b>的核心威廉希尔官方网站

    BEV和Occupancy自动驾驶的作用

    BEV是Bird's Eye View 的缩写,意为鸟瞰视图。在自动驾驶领域,BEV 是指从车辆上方俯瞰的场景视图。BEV 图像可以提供车辆周围环境的完整视图,包括车辆前方、
    发表于 01-17 12:33 715次阅读
    <b class='flag-5'>BEV</b>和Occupancy<b class='flag-5'>自动驾驶</b>的作用

    自动驾驶领域中,什么是BEV?什么是Occupancy?

    BEV是Bird's Eye View 的缩写,意为鸟瞰视图。在自动驾驶领域,BEV 是指从车辆上方俯瞰的场景视图。
    的头像 发表于 01-13 09:41 3362次阅读
    <b class='flag-5'>自动驾驶</b>领域中,什么是<b class='flag-5'>BEV</b>?什么是Occupancy?

    自动驾驶感知算法提升处理策略

    现代自动驾驶系统的特点是按顺序排列的模块化任务,传统的方法是基于标准的感知-规划-控制这种序列式架构的主流处理方式。即首先将感知信息处理成人类可以理解的语义信息和道路交通信息,然后基于常态化知识
    的头像 发表于 12-28 09:56 998次阅读
    <b class='flag-5'>自动驾驶</b><b class='flag-5'>感知</b>算法提升处理策略