从当下各大汽车OEM在新车上采用的自动/辅助驾驶方案来看,不少用到了英伟达、Mobileye或是地平线的高性能芯片,也有用到Lumina、Velodyne或览沃的激光雷达。但归根结底这些都是机器视觉加上先进传感器的方案,而特斯拉却一直坚持采用摄像头的纯视觉方案,成了诸多车厂中的一个“异类”。
在上月举办的机器视觉和模式识别国际会议(CVPR 2021)上,特斯拉AI主管Andrej Karpathy解释了为何特斯拉用不到激光雷达。Andrej Karpathy毕业于斯坦福大学,也是AI大神李飞飞的得意门生之一,他在毕业后成了OpenAI的一位研究员,随后被埃隆·马斯克亲自挖去特斯拉做AI主管。
低成本、易维护且方便更新的纯视觉系统
深度神经网络是自动驾驶威廉希尔官方网站 的主要威廉希尔官方网站 之一,通过处理车载摄像头传输的数据来分析道路、标志、汽车、障碍和行人。但深度学习在图像中检测物体往往会出现失误,因此多数自动驾驶公司,比如Waymo等,都采用激光雷达来绘制车身周围的3D地图,补全神经网络缺失的信息。
然而Andrej提到,激光雷达在自动驾驶上也有自己的难处,你必须用高成本的激光雷达预绘制环境,然后创建高分辨率地图,将街道和交通灯联系在一起,最后只能局限于这些地图来驾驶。不过,绘制每个地点的精确地图是相当困难的,并不是路测车辆收集构建好这些高分辨率地图就完事了,还需要长期的维持工作,很难保证这些基础设备和数据的更新工作。
特斯拉并没有采用激光雷达和高分辨率地图结合的方案,Andrej称“对特斯拉来说,一切都是初次发生的,单单靠车身上的八个摄像头”。经过几年的迭代,特斯拉的自动驾驶工作绝大多数都是由摄像头实现,以至于车身上其他的传感器开始“吃灰”。为此,特斯拉也在今年5月宣布,即日起北美制造的Model 3和Model Y也不再配备毫米波雷达,全面过渡到以摄像头为主,辅以超声波雷达的特斯拉视觉系统。
自动标注生成的数据集和高效的神经网络
在许多激光雷达和摄像头的参数性能比较中,测距往往都是摄像头的弱项。然而,人类本身也是用“眼镜”这一纯视觉方案来进行距离和速度判断的,那么人工神经网络能否做到这一点呢?Andrej称在过去几个月的研究工作中发现,这个问题的答案是肯定的。
特斯拉的工作室为了创建这样一个可以精确检测物体距离、速度和加速度的深度学习系统,将这一挑战视为监督式学习的问题。监督式学习是机器学习中常用的一个方法,此处则被用于在标注数据训练后,让神经网络学习如何检测物体和它们的附加属性。
而打造这样一个系统,需要的是大量的视频数据、清晰精确的标准数据和诸多极端情况组成的数据集。
特斯拉与其他具备数据采集能力的汽车品牌相比有着一个独到的优势,那就是数量。有了百万辆配备摄像头的汽车,特斯拉根本不愁数据量。
在雨雪等条件下依然能够正常运转的自动标注 / 特斯拉
那么这种标注是如何进行的呢?一种可行方案是依靠数据标注公司进行手工标注,但这样做的话不仅耗时耗力,成本也不低。特斯拉的自动标注威廉希尔官方网站 结合了神经网络、雷达数据和人类审查。由于这一数据集是离线标注的,所以神经网络可以来回播放视频,将预测与事实进行比对,从而调整其参数,恰恰与实时运行的测试时推理相反。
这种离线标注还有一个好处,那就是特斯拉工程师得以实现无法部署在车上的密集运算型物体检测网络,将其用于低延迟的实时应用中去。而雷达的数据只是用于进一步验证神经网络的推理,这个过程还可以让人工介入,进行一些判断上的编辑、验证和调整工作。
为了实现更好的速度和加速度判断,在打造这一数据集的过程中,特斯拉团队花了4个月时间开发了221个触发器来指出物体检测系统上还需哪些调整,比如雷达与视觉对比不符、物体边框抖动、纯靠主摄像头进行的检测等等。这些触发器部署在消费车辆中,进行了7轮静默模式的运转,这些触发器并不会对车辆下达任何指令,而输出的数据会和雷达数据和驾驶员本身行为进行比较。
最后生成的数据集中,特斯拉自动驾驶团队已经收集了1.5PB的数据,由100万个10秒视频和60亿物体标注组成。
特斯拉自动驾驶神经网络架构 / 特斯拉
为了充分利用这一数据集,特斯拉自动驾驶团队打造了一个高效的循环神经网络。数据经过多层次的网络结构,从而输出多个参数。这种架构为分布式分工创造了条件,当前特斯拉有一个由20人左右组成的团队,他们正在全力训练这一神经网络,负责各自的模块。
用来训练深度学习模型的超级计算机
为了处理如此庞大的工作量自然也需要强大的机器,特斯拉当前有三台用于自动驾驶开发的超算集群。其中最新的一台包含720个节点,每个节点都由8张英伟达A100 80GB加速卡组成,等于一台机器就内置了5760个GPU。该机器的算力达到了惊人的1.8 EFLOPS,配备了10PB的顶级NVME存储,速率达到1.6 TBps。
内部超级计算机 / 特斯拉
除此之外,为了保障自动驾驶的流畅运行,其自研的FSD自动驾驶芯片也有着强悍的性能。特斯拉的优势在于其垂直集成的开发,这意味着不论是其CPU、GPU还是NPU,都能最大限度地利用这一神经网络驱动的视觉方案。
FSD自动驾驶芯片 / 特斯拉
小结
目前特斯拉的FSD自动驾驶系统已经进入了测试阶段,已经有2000余名的车主在使用这一威廉希尔官方网站 。特斯拉也在继续开发这一系统,加入更多的驾驶功能。
NHTSA对4月27日前后生产的Model Y评级 / NHTSA
不过,特斯拉抛弃毫米波雷达的做法也引来的一些是非,美国国家公路交通安全管理局(NHTSA)表示,取消毫米波雷达的Model 3和Model Y将失去具备部分先进安全功能的标签。尚不清楚这未来经过测试调研后,几款车型会不会重新获得这些认证,不过可以肯定的是,特斯拉已经打算在摄像头为主的纯视觉方案上坚定不移地走下去了。
在上月举办的机器视觉和模式识别国际会议(CVPR 2021)上,特斯拉AI主管Andrej Karpathy解释了为何特斯拉用不到激光雷达。Andrej Karpathy毕业于斯坦福大学,也是AI大神李飞飞的得意门生之一,他在毕业后成了OpenAI的一位研究员,随后被埃隆·马斯克亲自挖去特斯拉做AI主管。
低成本、易维护且方便更新的纯视觉系统
深度神经网络是自动驾驶威廉希尔官方网站 的主要威廉希尔官方网站 之一,通过处理车载摄像头传输的数据来分析道路、标志、汽车、障碍和行人。但深度学习在图像中检测物体往往会出现失误,因此多数自动驾驶公司,比如Waymo等,都采用激光雷达来绘制车身周围的3D地图,补全神经网络缺失的信息。
然而Andrej提到,激光雷达在自动驾驶上也有自己的难处,你必须用高成本的激光雷达预绘制环境,然后创建高分辨率地图,将街道和交通灯联系在一起,最后只能局限于这些地图来驾驶。不过,绘制每个地点的精确地图是相当困难的,并不是路测车辆收集构建好这些高分辨率地图就完事了,还需要长期的维持工作,很难保证这些基础设备和数据的更新工作。
特斯拉并没有采用激光雷达和高分辨率地图结合的方案,Andrej称“对特斯拉来说,一切都是初次发生的,单单靠车身上的八个摄像头”。经过几年的迭代,特斯拉的自动驾驶工作绝大多数都是由摄像头实现,以至于车身上其他的传感器开始“吃灰”。为此,特斯拉也在今年5月宣布,即日起北美制造的Model 3和Model Y也不再配备毫米波雷达,全面过渡到以摄像头为主,辅以超声波雷达的特斯拉视觉系统。
自动标注生成的数据集和高效的神经网络
在许多激光雷达和摄像头的参数性能比较中,测距往往都是摄像头的弱项。然而,人类本身也是用“眼镜”这一纯视觉方案来进行距离和速度判断的,那么人工神经网络能否做到这一点呢?Andrej称在过去几个月的研究工作中发现,这个问题的答案是肯定的。
特斯拉的工作室为了创建这样一个可以精确检测物体距离、速度和加速度的深度学习系统,将这一挑战视为监督式学习的问题。监督式学习是机器学习中常用的一个方法,此处则被用于在标注数据训练后,让神经网络学习如何检测物体和它们的附加属性。
而打造这样一个系统,需要的是大量的视频数据、清晰精确的标准数据和诸多极端情况组成的数据集。
特斯拉与其他具备数据采集能力的汽车品牌相比有着一个独到的优势,那就是数量。有了百万辆配备摄像头的汽车,特斯拉根本不愁数据量。
在雨雪等条件下依然能够正常运转的自动标注 / 特斯拉
那么这种标注是如何进行的呢?一种可行方案是依靠数据标注公司进行手工标注,但这样做的话不仅耗时耗力,成本也不低。特斯拉的自动标注威廉希尔官方网站 结合了神经网络、雷达数据和人类审查。由于这一数据集是离线标注的,所以神经网络可以来回播放视频,将预测与事实进行比对,从而调整其参数,恰恰与实时运行的测试时推理相反。
这种离线标注还有一个好处,那就是特斯拉工程师得以实现无法部署在车上的密集运算型物体检测网络,将其用于低延迟的实时应用中去。而雷达的数据只是用于进一步验证神经网络的推理,这个过程还可以让人工介入,进行一些判断上的编辑、验证和调整工作。
为了实现更好的速度和加速度判断,在打造这一数据集的过程中,特斯拉团队花了4个月时间开发了221个触发器来指出物体检测系统上还需哪些调整,比如雷达与视觉对比不符、物体边框抖动、纯靠主摄像头进行的检测等等。这些触发器部署在消费车辆中,进行了7轮静默模式的运转,这些触发器并不会对车辆下达任何指令,而输出的数据会和雷达数据和驾驶员本身行为进行比较。
最后生成的数据集中,特斯拉自动驾驶团队已经收集了1.5PB的数据,由100万个10秒视频和60亿物体标注组成。
特斯拉自动驾驶神经网络架构 / 特斯拉
为了充分利用这一数据集,特斯拉自动驾驶团队打造了一个高效的循环神经网络。数据经过多层次的网络结构,从而输出多个参数。这种架构为分布式分工创造了条件,当前特斯拉有一个由20人左右组成的团队,他们正在全力训练这一神经网络,负责各自的模块。
用来训练深度学习模型的超级计算机
为了处理如此庞大的工作量自然也需要强大的机器,特斯拉当前有三台用于自动驾驶开发的超算集群。其中最新的一台包含720个节点,每个节点都由8张英伟达A100 80GB加速卡组成,等于一台机器就内置了5760个GPU。该机器的算力达到了惊人的1.8 EFLOPS,配备了10PB的顶级NVME存储,速率达到1.6 TBps。
内部超级计算机 / 特斯拉
除此之外,为了保障自动驾驶的流畅运行,其自研的FSD自动驾驶芯片也有着强悍的性能。特斯拉的优势在于其垂直集成的开发,这意味着不论是其CPU、GPU还是NPU,都能最大限度地利用这一神经网络驱动的视觉方案。
FSD自动驾驶芯片 / 特斯拉
小结
目前特斯拉的FSD自动驾驶系统已经进入了测试阶段,已经有2000余名的车主在使用这一威廉希尔官方网站 。特斯拉也在继续开发这一系统,加入更多的驾驶功能。
NHTSA对4月27日前后生产的Model Y评级 / NHTSA
不过,特斯拉抛弃毫米波雷达的做法也引来的一些是非,美国国家公路交通安全管理局(NHTSA)表示,取消毫米波雷达的Model 3和Model Y将失去具备部分先进安全功能的标签。尚不清楚这未来经过测试调研后,几款车型会不会重新获得这些认证,不过可以肯定的是,特斯拉已经打算在摄像头为主的纯视觉方案上坚定不移地走下去了。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
传感器
+关注
关注
2550文章
51040浏览量
753097 -
特斯拉
+关注
关注
66文章
6311浏览量
126548 -
AI
+关注
关注
87文章
30753浏览量
268901 -
激光雷达
+关注
关注
968文章
3969浏览量
189830
发布评论请先 登录
相关推荐
激光雷达的维护与故障排查技巧
激光雷达(LiDAR,Light Detection and Ranging)是一种利用激光进行距离测量和目标识别的威廉希尔官方网站
。它广泛应用于无人驾驶汽车、地理信息系统(GIS)、环境监测、航空航天等领域
激光雷达威廉希尔官方网站 的基于深度学习的进步
信息。这使得激光雷达在自动驾驶、无人机、机器人等领域具有广泛的应用前景。 二、深度学习威廉希尔官方网站
的发展 深度学习是机器
光学雷达和激光雷达的区别是什么
光学雷达和激光雷达是两种不同的遥感威廉希尔官方网站
,它们在原理、应用、优缺点等方面都存在一定的差异。以下是对光学雷达和激光雷达的比较: 定义和原理 光学雷达
lidar激光雷达扫描仪有什么用
LiDAR(Light Detection and Ranging,激光探测与测距)是一种利用激光威廉希尔官方网站
进行距离测量和成像的威廉希尔官方网站
。LiDAR激光雷达扫描仪具有高精度、高分辨率、快速扫描等特点,广泛应用
商用激光雷达产品InnovizOne有什么独特之处
Innoviz 是汽车行业的知名激光雷达制造商,率先开创了激光雷达感知威廉希尔官方网站
。结合摄像头和雷达等其他传感器,Innoviz 能实现真正可脱手、解放双眼的自动驾驶体验。安森美 (onsemi)与 Innoviz 合作,助其推出了首款
马斯克称特斯拉的FSD系统不需要激光雷达
万美元的激光雷达设备。 然而,埃隆·马斯克对此回应称,特斯拉已经不需要激光雷达威廉希尔官方网站
来收集自动驾驶所需的“基准真实数据”。 他进一步明确表示:“我们甚至不再需要它们来做这件事了。 ”这与
特斯拉一季度采购逾200万美元Luminar激光雷达
美国激光雷达供应商Luminar近期公布,特斯拉成为其一季度传感器的最大买家,占该公司2100万美元总营收的逾10%,预计超过200万美元。这一消息令人瞩目,因为特斯拉素以其纯视觉智能驾驶威廉希尔官方网站
闻名,而
曝特斯拉Q1采购200万美元激光雷达
当地时间5月7日,美国激光雷达方案商Luminar披露,特斯拉是其Q1传感器的最大客户,贡献了该公司一季度2100万美元总营收的比重超10%,预计超200万美元(约合人民币1500万元
Luminar披露特斯拉成其激光雷达最大客户
特斯拉最新发布的财务报告揭示了其采购策略的动向。根据公开数据,特斯拉在今年的第一季度向Luminar Technologies采购了价值超过200万美元的激光雷达设备。这一采购规模在Luminar
Luminar: 特斯拉是其最大激光雷达客户
特斯拉作为全球唯一坚持纯视觉智能驾驶威廉希尔官方网站
路线的汽车制造商,其首席执行官埃隆·马斯克(Elon Musk)对激光雷达持否定态度,甚至称之为“拐杖”,并声称依赖激光雷达的自动驾驶威廉希尔官方网站
终将失败。
硅基片上激光雷达的测距原理
硅基光电子威廉希尔官方网站
的发展可以将激光雷达系统发射模块和接收模块中分立的有源和无源器件集成在芯片上,使激光雷达体积更小、稳定性更强、成本更低,推动激光雷达在自动驾驶等领域的应用。
发表于 04-08 10:23
•579次阅读
华为激光雷达参数怎么设置
华为激光雷达是一种常用的传感器威廉希尔官方网站
,可用于距离测量和感应。它的参数设置对于确保其性能和功能至关重要。在本文中,我们将详细介绍华为激光雷达的参数设置以及其影响和应用。 首先,我们需要了解
评论