0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于激光雷达和视觉融合的机器人SLAM应用研究

iotmag 来源:物联网威廉希尔官方网站 作者:物联网威廉希尔官方网站 2022-09-20 10:31 次阅读

摘 要 :通过研究激光雷达和视觉传感器融合 SLAM,实现双目视觉传感器对单线激光雷达点云的补充,以提高建图精度。实现方案以 2D 激光雷达点云数据为主,双目视觉传感器作为激光雷达点云盲区的补充,搭建 SLAM实验平台,完成机器人实时地图构建并获取当前位置信息,同时降低携带传感器的成本。

0 引 言

随着机器人威廉希尔官方网站 的发展,越来越多的机器人已经实现自主运动,但可靠性和制作成本依然制约着机器人的普及。通过使用相较3D激光雷达传感器成本更低的2D激光雷达和视觉传感器进行点云数据融合,实现平台搭建,优化机器人的SLAM威廉希尔官方网站 ,解决当前2D激光雷达存在的感知单一平面点云数据不足、视觉传感器数据计算量大等问题[1-2],提升地图精度,减少SLAM应用过程中的不确定性。

1 实验平台搭建

研究基于ROS构建由2D激光雷达和深度相机点云融合的SLAM[3]平台,通过NVIDIA Jetson TX2运算平台和STM32微控制器通信传送数据,实现机器人自主运动。实验平台包括点云数据识别部分和运动部分,整体结构如图1所示。

云数据识别部分包括激光雷达获取平面点云数据和双目相机深度点云计算。运行时激光雷达获取2D平面内障碍物点云信息,双目相机获取机器人正面范围的影像[4],通过Stereo Matching 计算可视范围内的深度点云数据,并对其进行范围剔除和距离筛选 ;最后将双目相机获得的点云与激光雷达点云序列进行比较更新,融合点云数据后根据占据栅格地图算法构建地图[5]。点云数据融合过程如图1所示。

运动部分通过单片机STM32F4从NUC获取运动速度向量或从遥控中获取控制信息,经PID解算将电流或电压值发送给底盘电机,电机连接联轴器带动麦克纳姆轮转动,从而实现全方向移动[6]。机器人整体设计如图1所示。

7a630f70-388a-11ed-ba43-dac502259ad0.png

2 研究与测试

围绕ROS节点话题进行研究和测试。双目相机点云生成节点(cameraNode),将相机点云(/camera_cloud)传送给点云数据处理节点(/transNode)处理,得到深度数据(/depth);激光雷达点云生成节点,得到点云数据(/laser),二者由点云合成节点(/mergeNode)融合得到点云数据(/scan),再将其输出到 HectorMapping 的节点。点云融合建图部分 ROS 节点与话题如图2 所示 [7]。

7aaea426-388a-11ed-ba43-dac502259ad0.png

2.1 双目校正与像素匹配

使用金乾象工业相机中的两个自制双目深度相机,需要保证左右画面的同步和亮度,否则会导致深度图的计算结果不佳。因此,在相机点云生成(/camera_cloud)之前,需要对左右相机读取的原图像进行双目校正和像素匹配。

双目校正根据摄像头标定后获得的单目内参(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量),分别对左右视图进行消除畸变和行对准,使得左右视图的成像原点坐标一致、摄像头光轴与对极线行对齐。原图像与校正后图像对比情况如图3所示。

7aceade8-388a-11ed-ba43-dac502259ad0.png

像素匹配通过匹配代价计算、代价聚合、视差计算和视差优化等步骤 [8],对左右视图上对应的像素点进行匹配得到视差图。依靠视差图,结合双目相机的内参,计算得到正交空间下的点云数据。

2.2 点云数据处理

由于双目相机参数的差异,帧速率不能完全同步,获取的点云数据存在一定误差,需要先通过点云数据处理节点(/transNode)变换和剔除数据,再通过点云合成节点(/mergeNode)融合同种格式的数据。

正交空间下的点云通过透视除法的逆变换得到相机空间下的点云数据,获得相对于相机实际位置的坐标。坐标变换与效果如图4所示。

7b37d098-388a-11ed-ba43-dac502259ad0.png

数据转换部分将点云投影到二维平面,并转换为激光雷达点云格式的数据,即角度和对应方向的深度值[9]。转换时,通过反正切函数,根据点云位置的水平偏移与深度值计算出角度和距离值,筛选取得各个角度上距离最近的点云,效果如图5所示。在融合点云之前,应当剔除视锥内不需要的部分,效果如图5中截取点云后的投影图所示 ;否则地面和天花板将对投影后的点云造成影响,效果如图5中的原点云投影图所示。考虑到双目左右图像的边缘缺少完整的匹配信息,点云可能出现极不稳定的深度值,效果如图5中未进行边缘剔除的投影图所示。因此,在能够反映完整深度值的情况下,剔除部分边缘深度值,效果如图5中边缘剔除后的投影图所示。

7b882d72-388a-11ed-ba43-dac502259ad0.png

2.3 点云融合建图

点云合成节点将深度数据和激光雷达点云数据融合,并筛选出各个角度距离最近的点云输出到 HectorMapping 的节点。

经过测试,增加双目相机后的建图能够获取单线雷达扫描平面外的细节,自身位姿估计和建图结果更加精确,测试对比结果如图6所示。但与工业级产品相比稳定性差,建图过程中会有微小偏差。

7ba9c234-388a-11ed-ba43-dac502259ad0.png

3 结 语

本文通过激光雷达提供大范围点云信息,视觉传感器提供机器人正面区域补充激光雷达缺失的点云,较单线雷达大范围稀疏点云提高了计算准确度,使用Hector SLAM算法融合点云数据,更好地实现机器人点云获取和建图[10]。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    211

    文章

    28399

    浏览量

    207005
  • 雷达
    +关注

    关注

    50

    文章

    2931

    浏览量

    117483
  • 视觉传感器
    +关注

    关注

    3

    文章

    249

    浏览量

    22879
  • 激光雷达
    +关注

    关注

    968

    文章

    3971

    浏览量

    189875

原文标题:论文速览 | 基于激光雷达和视觉融合的机器人 SLAM 应用研究

文章出处:【微信号:iotmag,微信公众号:iotmag】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    AI驱动的人形机器人,成为激光雷达产业的下一个爆发点

    电子发烧友网报道(文/梁浩斌)过去两年,激光雷达跟随ADAS在电动汽车上大放异彩。作为视觉感知基础上的进阶感知硬件,激光雷达机器人领域的应用,也开始随着人形
    的头像 发表于 12-23 09:07 498次阅读

    科普:一文了解固态和半固态激光雷达

    激光雷达(LiDAR,Laser Detecting and Ranging)作为一种先进的传感威廉希尔官方网站 ,通过发射激光脉冲并测量其返回时间来计算目标距离,被广泛应用于自动驾驶、机器人、工业自动化等领域
    的头像 发表于 12-23 18:06 123次阅读

    《具身智能机器人系统》第1-6章阅读心得之具身智能机器人系统背景知识与基础模块

    关键路径:利用GNSS和IMU等传感器直接获取位置信息,同时通过摄像头、激光雷达获取环境距离信息反向推算位置。在数据处理环节,采用卡尔曼滤波器和最大后验估计方法融合多传感器数据,优化机器人位置和运动状态
    发表于 12-19 22:26

    禾赛将推出机器人领域迷你3D激光雷达

    据传感器专家网获悉,2025年1月7日至10日,禾赛将参加在拉斯维加斯举行的国际消费类电子产品展CES 2025。在本届CES上,禾赛计划于1月7日隆重推出其最新产品——全新迷你型高性能3D激光雷达
    的头像 发表于 12-11 09:12 213次阅读
    禾赛将推出<b class='flag-5'>机器人</b>领域迷你3D<b class='flag-5'>激光雷达</b>

    激光雷达SLAM:全面掌握同步定位与地图构建指南

      SLAM 背后的核心思想是让机器人或自主系统能够探索未知环境并创建该环境的地图,同时确定其在生成的地图中的位置。这是通过融合来自各种传感器(例如激光雷达、摄像头和惯性测量单元 (I
    的头像 发表于 11-16 10:57 539次阅读

    激光雷达SLAM算法中的应用综述

    一、文章概述 1.1 摘 要 即时定位与地图构建(simultaneous localization and mapping,SLAM)是自主移动机器人和自动驾驶的关键 威廉希尔官方网站 之一,而激光雷达则是支撑
    的头像 发表于 11-12 10:30 532次阅读
    <b class='flag-5'>激光雷达</b>在<b class='flag-5'>SLAM</b>算法中的应用综述

    激光雷达会伤害眼睛吗?

    随着激光雷达日益普及,人们开始担忧:这种发射激光的设备,对眼的安全性如何?了解这个问题前,我们首先需要知道激光雷达和它发射的激光,到底是什
    的头像 发表于 11-07 10:47 225次阅读
    <b class='flag-5'>激光雷达</b>会伤害眼睛吗?

    激光雷达威廉希尔官方网站 的基于深度学习的进步

    信息。这使得激光雷达在自动驾驶、无人机、机器人等领域具有广泛的应用前景。 二、深度学习威廉希尔官方网站 的发展 深度学习是机器学习的一个分支,它通过模拟人脑的神经网络结构来处理和分析数据。近年来,深度学习威廉希尔官方网站 在图像识别、语音
    的头像 发表于 10-27 10:57 375次阅读

    基于FPGA的激光雷达控制板

    激光雷达作为一种高精度、高性能的传感威廉希尔官方网站 ,广泛应用于自动驾驶、机器人导航、工业自动化、无人机等应用领域。激光雷达控制板可以很好的满足这些领域中对于精准控制和数据处理的需求。基于FPGA的激光雷
    的头像 发表于 05-28 08:11 663次阅读
    基于FPGA的<b class='flag-5'>激光雷达</b>控制板

    艾迈斯欧司朗助力速腾聚创发布MX激光雷达

    在近日的北京车展上,速腾聚创发布了其最新的MX激光雷达,这款产品集成了艾迈斯欧司朗的EEL SPL系列边发射激光器威廉希尔官方网站 ,展现了卓越的激光输出精度。这一威廉希尔官方网站 的运用赋予了汽车和机器人超越
    的头像 发表于 05-23 10:40 517次阅读

    视觉机器人焊接的研究现状

    视觉机器人焊接威廉希尔官方网站 是将计算机视觉机器人威廉希尔官方网站 相结合,实现自动焊接过程中的实时检测、跟踪和控制。这一领域的研究一直处于不断发展之中,吸引了众多
    的头像 发表于 04-02 15:34 521次阅读
    <b class='flag-5'>视觉</b><b class='flag-5'>机器人</b>焊接的<b class='flag-5'>研究</b>现状

    视觉激光、结构光?扫地机器人导航避障威廉希尔官方网站 盘点

    的核心标准。 目前主流的扫地机器人导航避障威廉希尔官方网站 路径为双目视觉激光雷达、3D结构光(线激光)三条,每条威廉希尔官方网站 路径都存在着各自的特点。 视觉方案
    的头像 发表于 02-01 16:01 1296次阅读

    做一个激光雷达,需要哪些基本部件?

    激光雷达(LiDAR)是激光探测及测距系统的简称,目前广泛应用在无人驾驶和扫地机器人等领域。这种广泛的应用一方面得益于激光雷达的性能提升,一方面也得益于其成本的下降。
    发表于 01-19 14:22 1098次阅读
    做一个<b class='flag-5'>激光雷达</b>,需要哪些基本部件?

    阐述基于激光三角测距法的激光雷达原理

    激光三角测距法作为低成本的激光雷达设计方案,可获得高精度、高性价比的应用效果,并成为室内服务机器人导航的首选方案,本文将对激光雷达核心组件进行介绍并重点阐述基于
    的头像 发表于 12-27 18:20 1483次阅读
    阐述基于<b class='flag-5'>激光</b>三角测距法的<b class='flag-5'>激光雷达</b>原理