0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

设计仿真 | 海克斯康VTD智能驾驶仿真方案—Camera

北汇信息POLELINK 2024-12-17 15:16 次阅读

随着自动驾驶威廉希尔官方网站 的飞速发展,行业对测试精度和安全性的要求也越来越高。与传统的道路测试相比,虚拟仿真能够interwetten与威廉的赔率体系 各种复杂的驾驶环境,不受天气、道路条件等因素限制。自动驾驶系统需要依靠搭载的传感器感知外界环境,识别道路标志、检测行人、估测物体距离等,从而做出安全、精准的驾驶决策。海克斯康作为自动驾驶汽车开发全链路测试方案的提供方,其VTD(Virtual Test Drive)软件被广泛应用于各类自动驾驶算法及汽车研发的测试工作中,该软件在模拟高精度的交通仿真场景的同时,还兼具各类传感器数据的物理仿真。

海克斯康VTD Camera仿真概述

自动驾驶仿真系统能够对传感器数据进行分析处理来感知周围环境,并以此为依据进行决策。视觉感知是自动驾驶系统的关键威廉希尔官方网站 ,在传感器仿真中,相机传感器尤为重要。基于逼近真实道路场景的视觉环境,VTD的相机传感器能够配置现实世界中真实相机的内参外参,模拟镜头畸变、CMOS成像、ISP仿真等多种相机成像数据。不仅能够模拟虚拟环境中的光照、天气、物体遮挡等因素,还可以还原真实相机的物理特性,更加贴近真实驾驶环境,从而为自动驾驶测试中传感器算法提供逼真的图像数据。

Camera仿真的数据链路

wKgZPGdhI7aAeavoAABvrKpazJ0120.png

简化相机模型

Camera=Lens+Cmos(raw,R/G/B)+ISP(Control+rgb/Yuv)+feature&noise(env&cam)

为了更加真实地模拟实际相机的物理过程,仿真相机传感器的数据处理链路分为镜头、CMOS传感器、图像信号处理(ISP)模块,以及特性和噪声模拟四个主要部分,用以在仿真系统中再现真实相机的工作机制和输出结果。

1、镜头仿真与畸变模拟

镜头是光学系统的核心,它决定了光线进入相机时的折射、聚焦和畸变。为了模拟真实相机镜头中的畸变效应,VTD提供了lensDistortion工具,包含两种畸变仿真方法:

方法一:基于OpenCV的参数化方法

该方法依赖于供应商提供的相机规格数据,通过OpenCV的畸变参数(如k1、k2、k3、p1、p2)以及内参矩阵参数(fx、fy、cx、cy),结合相机的视场角(fov)和分辨率(resolution)等数据,进行畸变建模。利用这些参数,我们可以重构镜头中的几何畸变效应,模拟图像在不同镜头下的真实扭曲与变形情况。

方法二:基于实验的拟合方法

在此方法中,我们使用实际的相机镜头进行拍摄实验,通过实验数据(如实际Fov、实际像高)结合理论值(理论像高、畸变率、CMOS像素尺寸、分辨率等参数),利用多项式拟合出二者的对应关系。该过程模拟了真实相机镜头对图像的影响,从而获得最贴近真实情况的畸变效果。

2、CMOS仿真:

CMOS传感器是相机的核心部件,它将物理世界中的光信号转换为电信号进行记录。VTD通过模拟真实相机的CMOS功能模块,准确再现相机在不同光照条件下的响应特性。

VTD开发了一套完整的图像色彩转换流程,涵盖从真实世界的图像数据采集、仿真生成,到两者之间的对比分析与调整。CMOS仿真主要为三通道RGB图像到RAW图像的转换,通过数学拟合方法,对真实相机拍摄的图像与VTD渲染出的图像之间的参数进行拟合调整。

针对特定的CMOS传感器,我们支持基于实验数据拟合的方式。在暗室环境中使用24色标准色卡进行拍摄实验,收集相机拍摄到的Raw图数据,建立VTD渲染的RGB图像到Raw数据之间映射关系,将RGB图像转化为不同格式(如RCCC、YUV)的Raw图像(如下图),再现真实相机拍摄下的图像信号特性。

wKgZPGdhI7eAc7OlAAmYH8bh1rw037.png

后处理结果图和Raw图

3、ISP仿真:

ISP是实际相机中用于调整和优化图像质量的模块,通常包括自动曝光控制、白平衡调节、对比度调整等功能。在仿真世界里,ISP仿真模块通过VTD中的后处理模块实现。

VTD在图像渲染过程中对每个像素的颜色、亮度及其他属性进一步处理,以模拟真实相机ISP的效果,可以调整图像的曝光、白平衡,使得输出图像在这些参数上与真实相机图像具有更加一致的色温,为测试环境提供更为丰富真实的图像。

wKgZPGdhI7aAI_pzAAOFaelfj2Y608.png

曝光效果图

wKgZO2dhI7eAPSqcAAT7uqozAus394.png

白平衡效果图

4、特性(feature)及噪声(Noise)仿真:

特性是指因相机本身设计而对最终图像造成的影响效果,例如景深和动态模糊等。景深是和光圈大小,镜头焦距,CMOS像素尺寸都相关的一个特性,下图展示了VTD中对于景深的仿真,可以看到距离最近的骰子相对模糊,而远处的骰子和车相对清晰。

wKgZPGdhI7aAKZkpAAWJHwt4qdg170.png

景深效果图

噪声是实际相机在工作过程中不可避免的现象,主要来源于自然环境(如树叶遮挡、大雾、雨滴、光晕、灰尘等)和硬件缺陷(如传感器噪声、硬件划痕、白平衡偏差等)。为了模拟真实噪声效果,VTD提供了多种噪声仿真方法,通过调整物体材质、环境光照及后处理的着色器模块等,逼真地再现了这些相机噪声效果。

wKgZPGdhI7aAJm_hAAQWIhqboMM784.png

太阳晕光

wKgZO2dhI7eAe84-AAbLZmpHlKI175.png

镜头雨滴

wKgZPGdhI7eARAsKAAdgN_EY5OQ294.png

例如,在雨天场景中,仿真相机可以模拟雨滴打在镜头上的效果;在晴朗的白天,太阳光照射到相机镜头上产生的光晕效果。此外,还可以加入人为的硬件噪声模拟,如传感器老化导致的图像信号损坏或自动白平衡功能失效引起的色彩偏差。这些噪声模拟的引入,增强了仿真系统在极端场景中的鲁棒性测试能力,使得自动驾驶算法在更加多样性和复杂的环境中得到验证。

通过这条相机传感器的数据处理链路,VTD能够模拟相机从光线进入镜头、经过CMOS传感器到ISP处理再到最终图像输出的全过程。这不仅使得相机仿真图像在视觉上高度逼近现实,还为相机感知算法的开发和验证提供了一个稳定而逼真的测试平台。

Camera语义分割图仿真

语义分割图是指对图像中的像素点基于目标级别进行分类,使每个像素点都有其对应于三维空间的目标从属。语义分割图对于基于视觉的感知算法进行后续工作起着重要作用。VTD中可以根据不同的材质/物体对渲染图像进行语义分割,通过加载colorSegmentation工程来实现,支持自定义配置。

wKgZO2dhI7aAbxqVAAMcjtpCbo8779.png

左图为原始图,右图为对应的语义分割图

深度图

深度图也被称为距离影像,是指将图像采集器到场景中各点的距离(深度)作为像素值的图像。在深度数据流所提供的图像帧中,每个像素点表示在深度感应器视野中对应的坐标处物体离摄像头平面最近的表面到该相机平面的距离。

wKgZO2dhI7aAEGA0AACIatF_5Jo608.png

上图为VTD中的深度图像截图,可以将此深度图像的深度值z-buffer转换为物体到相机平面的距离。z-buffer 值与物体表面到相机坐标系 xy 平面的距离关系如下:

z = 0.5*(f+n)/(f-n) + (-f*n)/(f-n) * (1/d) + 0.5

其中,z为z-buffer 值(归一化为0~1),d为物体最近表面到相机坐标系 xy 平面的距离,n和f分别为 近裁剪面和远裁剪面。z-buffer 值通常在0~1范围内。z-buffer 值为“0”的像素位于近裁剪面(near clip)上,值为“1”的像素位于远裁剪面(far clip)上。

多相机组

在空间不同位置上配置多个相机,从不同视角采集图像或视频数据,可以实现多视角同步显示或三维空间投影等功能,满足多种用户仿真测试目标。

在VTD的多显示器相机组中,可以单独配置每个相机的内参和外参,灵活调节相机的主轴、光心位置、成像平面等,达到工程实际应用的多种需求。下图展示了相机视锥角度的计算过程。

wKgZO2dhI7aAIFDVAAPz8gDWZqI791.png

总结

基于海克斯康提供的VTD虚拟仿真测试方案,在为用户提供高质量的虚拟交通场景图像和对标真实相机参数的视觉模拟的同时,还能为自动驾驶系统的测试和优化提供重要的数据支持。同时结合VTD软件基于光线追踪威廉希尔官方网站 的其他传感器仿真方案(激光雷达、毫米波雷达等),一起为自动驾驶仿真提供全方位的支持。

*本文转自海克斯康微信公众号

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2550

    文章

    51039

    浏览量

    753087
  • 仿真
    +关注

    关注

    50

    文章

    4071

    浏览量

    133552
  • 智能驾驶
    +关注

    关注

    3

    文章

    2507

    浏览量

    48737
收藏 人收藏

    评论

    相关推荐

    智能驾驶HIL仿真测试解决方案

    经纬恒润推出的新一代自主研发的智能驾驶HIL仿真测试系统可提供:逼真的道路交通场景、高精度的车辆动力学模型和各智能驾驶传感器
    的头像 发表于 12-23 10:54 55次阅读
    <b class='flag-5'>智能</b><b class='flag-5'>驾驶</b>HIL<b class='flag-5'>仿真</b>测试解决<b class='flag-5'>方案</b>

    设计仿真 VTD智能驾驶仿真方案-Camera#智能驾驶 #ADAS

    智能驾驶
    北汇信息POLELINK
    发布于 :2024年12月17日 17:05:15

    12月19日在线研讨会 智能座舱仿真测试解决方案

    12月19日,经纬恒润智能座舱仿真团队将结合实战项目开发经验,分享探讨智能座舱测试工具链以及不同测试场景下的方案选型等内容,旨在探讨和分享智能
    的头像 发表于 12-17 14:45 83次阅读

    什么是自动驾驶场景仿真软件——VTD(Virtial Test Drive)?#ADAS #智能驾驶

    自动驾驶
    北汇信息POLELINK
    发布于 :2024年11月20日 18:38:20

    同星智能荣获智驾仿真威廉希尔官方网站 杰出方案奖,CTO谢乐寅博士入选首批ASAM专家库成员

    网联汽车的创新方案应用和自动驾驶仿真测试威廉希尔官方网站 等热门话题展开。作为国产汽车电子基础工具链领域的领航者,同星智能一直致力于为客户提供智能
    的头像 发表于 10-26 08:02 498次阅读
    同星<b class='flag-5'>智能</b>荣获智驾<b class='flag-5'>仿真</b>威廉希尔官方网站
杰出<b class='flag-5'>方案</b>奖,CTO谢乐寅博士入选首批ASAM专家库成员

    设计仿真 | 基于VTD的V2X仿真应用

    基于VTD的V2X仿真测试系统,采用VTD软件的数据开放性特点,将软件仿真的数据作为V2X中的数据源。本方案直接采用
    的头像 发表于 10-14 12:17 651次阅读
    设计<b class='flag-5'>仿真</b> | 基于<b class='flag-5'>VTD</b>的V2X<b class='flag-5'>仿真</b>应用

    设计仿真 | 基于VTD智能大灯仿真测试方案

    随着汽车行业智能化的发展,车灯系统从基础的功能化照明发展为智能化的视觉交互系统。智能车灯的开发和测试,亟需高效安全的测试方法。以虚拟场景为基础的仿真测试为
    的头像 发表于 10-11 09:20 638次阅读
    设计<b class='flag-5'>仿真</b> | 基于<b class='flag-5'>VTD</b>的<b class='flag-5'>智能</b>大灯<b class='flag-5'>仿真</b>测试<b class='flag-5'>方案</b>

    设计仿真 基于VTD的AR-HUD仿真测试解决方案

    以虚拟场景为基础的AR-HUD仿真测试手段,大大提升了产品开发迭代效率,降低开发成本,在行业内得到了越来越多的关注,AR-HUD的仿真测试涵盖MIL/SIL/HIL/DIL等不同阶段,以VTD为基础的
    的头像 发表于 10-09 13:51 648次阅读
    设计<b class='flag-5'>仿真</b>  基于<b class='flag-5'>VTD</b>的AR-HUD<b class='flag-5'>仿真</b>测试解决<b class='flag-5'>方案</b>

    谋分享 | 汽车仿真与AI的结合应用

    实现高质量的虚拟传感器输出是自动驾驶领域的一项关键挑战,然而传统方案对广角镜头的渲染和处理等方面仍存在一定的局限性。为此,谋为您介绍aiSim通用高斯泼溅渲染器如何打破限制,在自动驾驶
    的头像 发表于 09-11 09:24 1468次阅读
    <b class='flag-5'>康</b>谋分享 | 汽车<b class='flag-5'>仿真</b>与AI的结合应用

    谋分享 | 自动驾驶联合仿真——功能模型接口FMI(四)

    功能模型接口是一个开放且独立于工具的标准,便于实现自动驾驶仿真工具间的模型交换和联合仿真。本篇文章继续展示如何建立一个FMU并实现基于UDP和FMI联合仿真数据通信。
    的头像 发表于 07-24 10:54 3146次阅读
    <b class='flag-5'>康</b>谋分享 | 自动<b class='flag-5'>驾驶</b>联合<b class='flag-5'>仿真</b>——功能模型接口FMI(四)

    谋分享 | 自动驾驶联合仿真——功能模型接口FMI(三)

    功能模型接口是一个开放且独立于工具的标准,便于实现自动驾驶仿真工具间的模型交换和联合仿真。本文以谋aiSim为例,来展示如何建立一个FMU并实现基于UDP和FMI联合
    的头像 发表于 07-10 15:52 1463次阅读
    <b class='flag-5'>康</b>谋分享 | 自动<b class='flag-5'>驾驶</b>联合<b class='flag-5'>仿真</b>——功能模型接口FMI(三)

    谋分享 | 自动驾驶联合仿真——功能模型接口FMI(一)

    功能模型接口是一个开放且独立于工具的标准,包含C-API接口、XML描述文件和可交换的功能模型单元,提供容器化模型,便于在不同平台上重复使用和部署,实现自动驾驶仿真工具间的模型交换和联合仿真
    的头像 发表于 06-12 13:07 1607次阅读
    <b class='flag-5'>康</b>谋分享 | 自动<b class='flag-5'>驾驶</b>联合<b class='flag-5'>仿真</b>——功能模型接口FMI(一)

    方案 | 从概念到生产的自动驾驶软件在环(SiL)测试解决方案

    自动驾驶软件在环(SiL)测试解决方案 自动驾驶软件在环(SiL)测试解决方案能够研究和验证高历程实验和恶劣驾驶环境下的AD系统的性能,支持
    的头像 发表于 02-06 11:09 694次阅读
    <b class='flag-5'>康</b>谋<b class='flag-5'>方案</b> | 从概念到生产的自动<b class='flag-5'>驾驶</b>软件在环(SiL)测试解决<b class='flag-5'>方案</b>

    谋产品 | 为ADAS/AD开创的次世代AutoGI仿真工具

    谋aiSim5作为开创性ADAS/AD仿真模拟工具,配备高度优化的传感器模拟,提供确定且可重复的环境模拟支持,为下一代仿真工具设定了新的标准。
    的头像 发表于 01-29 17:50 689次阅读
    <b class='flag-5'>康</b>谋产品 | 为ADAS/AD开创的次世代AutoGI<b class='flag-5'>仿真</b>工具

    高级别智能驾驶业务系列:港口作业仿真系统

    在港口无人水平运输场景中,经纬恒润提供了车、路、网、云、图全栈式自研解决方案,包含了自动驾驶车辆、路侧车路协同、全场高可靠定位、5G远程驾驶、运营调度管理、数字孪生、仿真系统、高精地图
    的头像 发表于 01-09 08:00 973次阅读
    高级别<b class='flag-5'>智能</b><b class='flag-5'>驾驶</b>业务系列:港口作业<b class='flag-5'>仿真</b>系统