0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一文读懂3D机器视觉及手眼标定

新机器视觉 来源:马少爷 2023-04-10 16:36 次阅读

1、视觉硬件系统

基本硬件包括如下:

• 1 工控机

• 2 网线

• 3 路由器

• 4 标定板

• 5 标定板固定法兰

• 6 相机与线缆

2、接线图

分别将三根网线的一端连接到路由器的LAN 口(注意不要接到WAN 口),另一端分别连接至机器人网口、工控机网口、相机(相机线缆包括电源线和网线)网口,路由器端连接如下图所示:

8045663e-d08f-11ed-bfe3-dac502259ad0.png

机器人网口为控制柜上的网口,如下图所示(以UR 机器人为例):

80631152-d08f-11ed-bfe3-dac502259ad0.png

3、软件环境搭建

在确认电源、网线等连接正常后,开始设置IP,通过路由器将工控机、相机、机器人三者构建在同一网段。

在浏览器中输入网址tplogin.cn 进入路由管理界面(在路由器背部可以查看登录管理界面地址),如果是设置好的路由器直接输入设置好的网段,即可进入路由管理界面,例如192.168.3.1(设置为3 网段)。

进入路由管理界面时会要求输入用户名以及用户密码,如下图所示:

80baa2f0-d08f-11ed-bfe3-dac502259ad0.png

管理界面如下图所示,其中红色框中的绿色网口代表连接正常的网口。

80d0b14e-d08f-11ed-bfe3-dac502259ad0.png

如果路由器已经设置好了,当忘记了设置的网段,无法进入路由管理界面,又不想把路由器恢复为出厂设置重新设置,可以通过如下图所示的网络连接详细信息查看默认网关。

80e6be3a-d08f-11ed-bfe3-dac502259ad0.png

此时打开机器人示教器,查看机器人的IP,如下图所示(以UR 机器人为例):

80fb3eaa-d08f-11ed-bfe3-dac502259ad0.png

可以看到机器人的IP 在3 网段,那就通过路由器将相机、工控机、机器人统一设置在3 网段下(如果机器人的IP 可以修改,也可以把机器人的IP 改为其它网段下,灵活操作即可)

在路由器管理界面,打开左侧工具栏的基本设置里面的LAN 设置,在手动模式下设置IP 地址,例如设置3 网段,输入为192.168.3.1,子网掩码默认为255.255.255.0,点击设置,即可设置成功。如下图所示:

81157cc0-d08f-11ed-bfe3-dac502259ad0.png

同样要设置工控机的IP 地址在3 网段下,依次点击如下图所示,即可将工控机设置在3 网段下(其中192.168.3.110 中的110 为任意值,从0-255 之间取值,只要不是和机器人IP 重复的即可)。

81364fea-d08f-11ed-bfe3-dac502259ad0.png

4、机器人的手眼标定

要实现由图像目标点到实际物体上抓取点之间的坐标转换,就必须拥有准确的相机内外参信息。其中内参是相机内部的基本参数,包括镜头焦距、畸变等。一般相机出厂时内参已标定完成,保存在相机内部。

相机外参表示的是机器人与相机之间的位姿转换关系(即手眼关系,因此相机外参的标定称之为机器人手眼标定)。机器人与相机在不同的使用场景下其相对位姿不固定,需要在工作现场进行标定才能获得相机与机器人之间的手眼关系。

由于机器人手眼标定会使用相机的内参,所以具有准确的内参是标定外参的前提。

机器人手眼标定的分类方式各不相同,根据相机相对于机器人的安装方式,将手眼标定分为两种:机器人手眼标定MATLABC++实现(二十九)

1. 相机独立于机器人固定在支架上,称为ETH(Eye to hand) 方式。

2. 相机固定于机器人末端法兰上,称为EIH(Eye in hand) 方式。

同时,可使用多个随机标定板位姿TCP 尖点触碰的方法添加标定点。两者的主要区别在于:

1. 多个随机标定板位姿:使用软件自动生成的轨迹点或手动添加的多个位姿,在每个位姿拍照并识别标定板角点,建立标定板、相机及机器人三者间的关系,其过程简单,标定精度高。

2. TCP 尖点触碰:利用三点法确定标定板位姿后,建立标定板、相机及机器人三者间的关系。适用于机器人活动空间局促、无法使用上位机来控制和标定板无法安装等情况。

分类方式如下图所示。

815bdc92-d08f-11ed-bfe3-dac502259ad0.png

4.1 ETH 标定基本原理

机器人末端通过法兰连接已知尺寸的标定板,可以得到标定板(calibration grid)上的每个标志点相对于机器人基坐标Base 的坐标A;通过相机拍照获得标定板上每个圆点的图像,可以得到相机光心相对于标定板上每个标志点的坐标B;相机光心和机器人基坐标(Base)之间的位姿关系X 为待求量。A、B 和X构成闭环,形成等式,可以在等式中求解未知数X。通过移动机器人,变换标定板相对于相机的位姿,可以得到多组等式,对这些等式的值进行拟合优化计算,最终得到最优的X 的值。位姿关系如下图所示。

81753b06-d08f-11ed-bfe3-dac502259ad0.png

当使用TCP 触碰法标定时,标定板放置在工作平面,机器人末端加装已知TCP 的尖点,触碰标定板圆点,其原理如下图所示,其中A、B 已知,求解X 的值。

819e6c06-d08f-11ed-bfe3-dac502259ad0.png

实际操作中,坐标A的获取有以下三种方式:

1. 标定板到法兰末端位置关系已知(三点法或是已知连接件尺寸计算得到),则A 可以直接计算得到;

2. 标定板到法兰末端位置关系未知,则通过标定板在标定过程中的一系列相对移动,通过数值方法计算得到标定板到法兰末端的位置关系,进而计算得到A;

3. 标定板与机器人末端不固定,则可以通过已知tcp 坐标的尖点对标定板标志点进行触碰的方式计算得到A的数值。以上三种方式对应三种不同获取标定数据的方式。

ETH 方式标定的是相机光心和机器人基坐标之间的位姿关系。如果机器人基坐标或者相机发生移动,对应的外参就会相应发生变化,此时需要重新标定手眼关系。

4.2 EIH 标定基本原理

机器人末端通过固定架将相机固定,此时机器人末端法兰中心与相机光心之间的位姿相对固定,即下图中的未知变量X;机器人末端法兰中心相对于机器人基坐标系(Base)的位姿为已知量B;相机通过对标定板(calibration grid)进行拍照,获得相机光心和标定板上每个圆点之间的位姿关系,可得已知量C;标定板平放在相机视野可达区域,其相对于机器人基坐标之间的位姿关系为一固定值A;这样变量A、B、C、X 构成闭环关系。下列等式中,由于A 为固定值,将前两个等式合并,得到的新等式中只有X 为未知待求量。变换机器人末端位姿进行不同角度拍照,得到多组A、B、C 的值,利用这些数值进行拟合计算,得到最优的X 的值。

81c42f68-d08f-11ed-bfe3-dac502259ad0.png

81d623a8-d08f-11ed-bfe3-dac502259ad0.png

当使用TCP 触碰法标定时,标定板放置在工作平面,机器人末端加装已知尺寸的TCP 尖点,触碰标定板圆点,其原理如下图所示,其中A、B、C 已知,则X 的值也可求得。

81f1e85e-d08f-11ed-bfe3-dac502259ad0.png

EIH 标定的是相机光心和机器人末端法兰中心之间的位姿关系。如果相机相对于机器人末端法兰中心坐标发生移动,对应的外参就会相应发生变化,此时需要重新标定外参。

选取一个正常标定板(标定板上圆点清晰,没有明显刮花痕迹,标定板没有明显弯曲变形视为正常标定板)。

ETH 方式下将标定法兰安装到机器人六轴(如果是四轴机器人即安装在四轴)上,再将标定板安装在法兰上,标定法兰在机器人末端的安装方向任意。确保标定板安装稳固,标定板与机器人末端的XY 平面平行。

EIH 方式将标定板平放在工作平面的中心位置。其安装和放置如下图所示(左图为ETH 方式,右图为EIH 方式):

821781ae-d08f-11ed-bfe3-dac502259ad0.png

标定板安装完毕后将机器人移动到起始标定位置。对于ETH 方式,机器人起始标定位置为视野最下方中间位置(机器人带动标定板由下往上层层标定);EIH 方式起始位置为相机工作位置(机器人带动相机由下往上层层标定)。如下图所示,左侧为ETH 方式,右侧为EIH 方式。

8238b374-d08f-11ed-bfe3-dac502259ad0.png

使用TCP 触碰法时ETH 和EIH 均将标定板放置在相机工作平面内。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    211

    文章

    28399

    浏览量

    207002
  • 机器视觉
    +关注

    关注

    162

    文章

    4369

    浏览量

    120297
  • 路由器
    +关注

    关注

    22

    文章

    3729

    浏览量

    113738
  • 接线图
    +关注

    关注

    22

    文章

    205

    浏览量

    49805
  • 网口
    +关注

    关注

    0

    文章

    103

    浏览量

    7241

原文标题:3D机器视觉及手眼标定

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    3D扫描、机器视觉人才招募令——深圳

    是武汉昇创,成立于2012年;2013年搬迁至珠海,成立珠海昇创;2014年又搬迁至深圳,更名为深圳市昇创多维视觉科技有限公司。公司主要业务方向为:3D扫描威廉希尔官方网站 及应用和机器视觉应用解决
    发表于 11-20 10:43

    机器视觉手眼标定

    本帖最后由 lilin0734 于 2017-11-15 20:09 编辑 机器视觉手眼标定
    发表于 11-06 10:45

    基于Dragonboard 410c平台的机器3D视觉—摄像机标定原理

    参数在计算机标定的时候计算出来即可,其矩阵表示如下: 以上就是整个摄像机标定的基本原理和相关概念,在机器3D视觉计算中,先要通过
    发表于 09-28 10:32

    采用DLP威廉希尔官方网站 的3D机器视觉参考设计包括BOM

    描述3D 机器视觉参考设计采用德州仪器 (TI) 的 DLP 软件开发套件 (SDK),使得开发人员可以通过将 TI 的数字微镜器件 (DMD) 威廉希尔官方网站 与摄像头、传感器、电机和其他外设集成来轻松构建
    发表于 10-12 15:33

    请问各位高手,如何用labview的vision实现手眼标定

    有个项目要用视觉定位,视觉拍好产品之后,把产品的坐标发送到PLC,PLC再执行定位指令。现在查到的资料都没有涉及这块,都是讲相机标定,而不是手眼
    发表于 05-28 14:42

    3D威廉希尔官方网站 的应用探索3D机器视觉

    3D威廉希尔官方网站 的应用探索3D机器视觉库 的资料。
    发表于 03-22 15:01 0次下载

    基于Dragonboard 410c平台的机器3D视觉——如何标定摄像机并获取参数

    相信大家在DIY机器人的时候,都想让自己的机器人像人样能够识别周围的环境进行自主运动,今天推出的系列blog将带大家起学习和了解机器
    发表于 02-15 10:11 1789次阅读

    如何在3D机器视觉应用中利用DLP?

    TI为机器视觉摄影镜头提供了些非常不错的参考设计。TI为3D机器视觉提供的
    的头像 发表于 05-01 09:28 3083次阅读
    如何在<b class='flag-5'>3D</b><b class='flag-5'>机器</b><b class='flag-5'>视觉</b>应用中利用DLP?

    带你看懂3D视觉

    从手机解锁、支付消费到工厂的生产应用,3D 视觉已经深入到生活的方方面面。那到底什么是3D 视觉。它在仙工智能视觉 AI 解决方案中又扮演着
    的头像 发表于 09-01 09:52 6555次阅读

    机器人手眼标定的推导过程

    机械手搭载双目相机,手眼标定
    的头像 发表于 04-20 16:32 1853次阅读

    3D机器视觉基本原理及应用场景

    3D机器视觉是指利用计算机威廉希尔官方网站 对三维空间中的物体进行识别、检测、跟踪和测量等操作。3D机器视觉
    的头像 发表于 06-02 10:51 3314次阅读

    手眼标定的详细推导过程

    机械手搭载双目相机,手眼标定
    的头像 发表于 07-11 11:18 2651次阅读
    <b class='flag-5'>手眼</b><b class='flag-5'>标定</b>的详细推导过程

    常见的机器视觉伺服中的标定威廉希尔官方网站 有哪些

    常见的机器视觉伺服中要实现像素坐标与实际坐标的转换,首先就要进行标定,对于实现视觉伺服控制,这里的标定不仅包括摄像机
    发表于 08-04 11:48 860次阅读
    常见的<b class='flag-5'>机器</b>人<b class='flag-5'>视觉</b>伺服中的<b class='flag-5'>标定</b>威廉希尔官方网站
有哪些

    了解3D视觉和2D视觉的区别

    了解3D视觉和2D视觉的区别 3D
    的头像 发表于 12-25 11:15 3028次阅读

    助力风电行业!深视智能SR7400线激光以机器人手眼标定实现风力叶片切割引导

    自动化系统来说,实现最佳的手眼标定大的难题。图|机器人深视智能激光三维轮廓测量仪自主开发3D软件系统,能够同时输出
    的头像 发表于 07-27 08:45 406次阅读
    助力风电行业!深视智能SR7400线激光以<b class='flag-5'>机器人手眼</b><b class='flag-5'>标定</b>实现风力叶片切割引导