0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

康谋威廉希尔官方网站 | 自动驾驶多传感器数据融合方法

keymotek 来源:jf_33031604 作者:jf_33031604 2024-01-24 18:02 次阅读

近年来,深度学习威廉希尔官方网站 在涉及高维非结构化数据领域展现出了最先进的性能,如计算机视觉、语音、自然语言处理等方面,并且开始涉及更大、更复杂的多模态信息问题。

不同传感器在进行同一实验任务时,针对产生的同一现象进行观测,采集的数据构成被测对象的多模态信息。多模态信息可以实现不同传感器之间数据互补,并在相同学习任务获取更丰富的特征,从而实现比单一模态更好的性能。

自动驾驶领域,多模态数据通常包括安装在车辆上的多个传感器,包括雷达、立体可见光摄像头、红外摄像头、GPS等,为执行自动巡航,从传感器收集的异构数据用于学习许多相互关联但复杂的任务,如定位和测绘、场景识别、路径规划和驾驶员状态识别等。

大多数先进的融合方法集中于如何融合来自多模态空间的信息或特征。根据多模态信息的融合策略主要可以分为早期融合、中期融合和晚期融合。

一、多传感器数据融合处理方法

1、早期融合

wKgaomWuNwaALI0_AAAWiGFL02k275.png

早期融合在输入端进行简单链接多模态数据组合,然后输入到特定的模型进行处理。LaserNet采用了这种融合策略,将三维的点云映射到二维图像上,采用全卷积网络进行概率预测,实现端到端的三维物体检测

早期融合的方式能够保留最多原始数据的特征,但对于来自不同传感器的模态信息来说,这种融合方式计算量大,对设备运行要求较高。

2、中期融合

wKgZomWuNy2AcX3-AAAe09GUS1U536.png

中期融合又称作是特征融合,需要对来自不同模态的数据进行特征提取,并对特征图进行融合操作后输入到目标任务中进行处理。通过ROI池化的方式将二维图像和点云鸟瞰图、前视图特征整合到同一特征尺度进行融合,并构建两个子网络进行多视图区域特征融合,并在不同路径中间层中交互特征,实现了自动驾驶场景下高精度的三维物体检测。

中期融合的方式能够有效减少模型的数据输入,能够有效整合来自不同模态的深层特征。

wKgaomWuN1qAS533AAAa33brT8g366.png

3、晚期融合

晚期融合(决策融合)针对每种模态的目标任务结果进行决策投票,比其他两种融合策略更为直观,能够有效地促进多模态之间的协作,避免因为传感器失效而对最终任务结果造成严重影响。

晚期融合由于需要对不同模态的数据进行处理和任务执行,其任务完成质量受到单一模态影响较大,同时也存在计算开销大的问题。

二、aiSim仿真interwetten与威廉的赔率体系 平台

作为一款端到端的自动驾驶仿真模拟工具,康谋aiSim仿真模拟平台能够提供现实世界中难以捕捉的场景和自动驾驶过程中的边缘案例,具有高可扩展性、高保真度的传感器模拟和环境模拟,能够扩充不同测试场景的数据广度和深度,有效提升ADAS/AD算法的能力。

wKgZomWuN3qAE2csAAGV7umjHis537.png

传感器是环境感知系统的核心,自动驾驶车辆需要通过传感器获知周围的环境信息。康谋aiSim设计了基于物理原理的传感器模型,能够全面准确的模拟条件和交互环境。传感器模型库包括相机、激光雷达、雷达、超声波传感器等。

高度可扩展框架能够实现在多个GPU上实现分布式光追渲染,实时仿真高度复杂的多传感器配置。

具有污泥遮挡、冷凝水雾遮挡、镜头色差、镜头炫光等多种相机退化和镜头失真情景。

支持新传感器模型配置和设计,并快速测试其感知性能。相机、激光雷达和雷达视场可视化有助于确定传感器在车辆上的最佳安装位置。


如您对上述产品感兴趣,

欢迎联系康谋自动驾驶团队了解更多信息。

我们将竭诚为您服务!

期待与您的交流!


审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2550

    文章

    51071

    浏览量

    753328
  • 仿真
    +关注

    关注

    50

    文章

    4080

    浏览量

    133584
  • adas
    +关注

    关注

    309

    文章

    2184

    浏览量

    208641
  • 数据融合
    +关注

    关注

    0

    文章

    45

    浏览量

    10351
  • 自动驾驶
    +关注

    关注

    784

    文章

    13804

    浏览量

    166426
收藏 人收藏

    评论

    相关推荐

    传感器融合自动驾驶中的应用趋势探究

    自动驾驶威廉希尔官方网站 的快速发展加速交通行业变革,为实现车辆自动驾驶,需要车辆对复杂动态环境做出准确、高效的响应,而传感器
    的头像 发表于 12-05 09:06 307次阅读
    <b class='flag-5'>多</b><b class='flag-5'>传感器</b><b class='flag-5'>融合</b>在<b class='flag-5'>自动驾驶</b>中的应用趋势探究

    一文聊聊自动驾驶测试威廉希尔官方网站 的挑战与创新

    ,包括场景生成的多样性与准确性、传感器数据融合的精度验证、高效的时间同步机制,以及仿真平台与实际场景的匹配等问题。 自动驾驶测试的必要性与
    的头像 发表于 12-03 15:56 171次阅读
    一文聊聊<b class='flag-5'>自动驾驶</b>测试<b class='flag-5'>威廉希尔官方网站
</b>的挑战与创新

    威廉希尔官方网站 | 毫米波雷达威廉希尔官方网站 解析

    自动驾驶威廉希尔官方网站 飞速发展,毫米波雷达已成为自动驾驶传感器套件的关键。为此,为您深度解析毫米波雷达
    的头像 发表于 10-15 10:07 3094次阅读
    <b class='flag-5'>康</b><b class='flag-5'>谋</b><b class='flag-5'>威廉希尔官方网站
</b> | 毫米波雷达<b class='flag-5'>威廉希尔官方网站
</b>解析

    分享 | 汽车仿真与AI的结合应用

    实现高质量的虚拟传感器输出是自动驾驶领域的一项关键挑战,然而传统方案对广角镜头的渲染和处理等方面仍存在一定的局限性。为此,为您介绍aiSim通用高斯泼溅渲染
    的头像 发表于 09-11 09:24 1472次阅读
    <b class='flag-5'>康</b><b class='flag-5'>谋</b>分享 | 汽车仿真与AI的结合应用

    FPGA在自动驾驶领域有哪些优势?

    领域的主要优势: 高性能与并行处理能力: FPGA内部包含大量的逻辑门和可配置的连接,能够同时处理多个数据流和计算任务。这种并行处理能力使得FPGA在处理自动驾驶中复杂的图像识别、传感器数据
    发表于 07-29 17:11

    FPGA在自动驾驶领域有哪些应用?

    数据处理和预处理,实现实时计算和反馈。 二、数据传输与处理FPGA在自动驾驶中扮演着数据传输和处理的角色。它能够支持多种传感器(如激光雷达
    发表于 07-29 17:09

    自动驾驶识别威廉希尔官方网站 有哪些

    自动驾驶的识别威廉希尔官方网站 自动驾驶系统中的重要组成部分,它使车辆能够感知并理解周围环境,从而做出智能决策。自动驾驶识别威廉希尔官方网站 主要包括多种
    的头像 发表于 07-23 16:16 650次阅读

    自动驾驶传感器威廉希尔官方网站 介绍

    自动驾驶传感器威廉希尔官方网站 自动驾驶系统的核心组成部分,它使车辆能够感知并理解周围环境,从而做出智能决策。以下是对自动驾驶
    的头像 发表于 07-23 16:08 2269次阅读

    自动驾驶汽车传感器有哪些

    自动驾驶汽车传感器是实现自动驾驶功能的关键组件,它们通过采集和处理车辆周围环境的信息,为自动驾驶系统提供必要的感知和决策依据。以下是对自动驾驶
    的头像 发表于 07-23 16:00 2300次阅读

    威廉希尔官方网站 |深入探讨:自动驾驶中的相机标定威廉希尔官方网站

    随着自动驾驶威廉希尔官方网站 的快速发展,传感器数据采集和融合可以显著提高系统的冗余度和容错性,进而保证决
    的头像 发表于 04-17 17:08 900次阅读
    <b class='flag-5'>康</b><b class='flag-5'>谋</b><b class='flag-5'>威廉希尔官方网站
</b> |深入探讨:<b class='flag-5'>自动驾驶</b>中的相机标定<b class='flag-5'>威廉希尔官方网站
</b>

    未来已来,传感器融合感知是自动驾驶破局的关键

    威廉希尔官方网站 ,摄像头和雷达等传感器的探测数据 在前端(数据获取时)交互验证,让自动驾驶系统能感知到“
    发表于 04-11 10:26

    威廉希尔官方网站 |智能驾驶数据融合的时间同步关键威廉希尔官方网站

    未知、动态环境中时,确保各种传感器数据的精确时间同步变得至关重要。一、传感器时间同步方式在自动驾驶领域,各种
    的头像 发表于 03-25 11:49 5274次阅读
    <b class='flag-5'>康</b><b class='flag-5'>谋</b><b class='flag-5'>威廉希尔官方网站
</b> |智能<b class='flag-5'>驾驶</b><b class='flag-5'>数据</b><b class='flag-5'>融合</b>的时间同步关键<b class='flag-5'>威廉希尔官方网站
</b>

    方案 | L2进阶L3,数据采集如何助力自动驾驶

    ,宝马的自动驾驶研究一直坚持传感器融合的方式,其L3级自动驾驶威廉希尔官方网站 套件能够集成更多高性能
    的头像 发表于 01-25 18:06 537次阅读
    <b class='flag-5'>康</b><b class='flag-5'>谋</b>方案 | L2进阶L3,<b class='flag-5'>数据</b>采集如何助力<b class='flag-5'>自动驾驶</b>

    威廉希尔官方网站 | 智能驾驶数据融合的时间同步关键威廉希尔官方网站

    未知、动态环境中时,确保各种传感器数据的精确时间同步变得至关重要。 传感器时间同步方式 在自动驾驶领域,各种
    的头像 发表于 01-25 17:33 597次阅读
    <b class='flag-5'>康</b><b class='flag-5'>谋</b><b class='flag-5'>威廉希尔官方网站
</b> | 智能<b class='flag-5'>驾驶</b><b class='flag-5'>数据</b><b class='flag-5'>融合</b>的时间同步关键<b class='flag-5'>威廉希尔官方网站
</b>

    新闻丨走进科技——您的自动驾驶解决方案合作伙伴

    面对日益增长的行业需求,虹科自动驾驶事业部正式更名为“”。这一重要改变代表了虹科持续发展进程中新的里程碑,也体现了我们在自动驾驶领域不断创新的精神。
    的头像 发表于 01-19 14:49 402次阅读
    <b class='flag-5'>康</b><b class='flag-5'>谋</b>新闻丨走进<b class='flag-5'>康</b><b class='flag-5'>谋</b>科技——您的<b class='flag-5'>自动驾驶</b>解决方案合作伙伴