[贴装专题] 基于多目视觉的手眼标定

简介: [贴装专题] 基于多目视觉的手眼标定

一.为什么要进行手眼标定

       因为相机知道的是像素坐标,吸嘴是空间坐标系,所以手眼标定目的就是将像素坐标系的坐标和空间机械手坐标系的坐标进行相互转化。在实际控制中,相机检测到目标在图像中的像素位置后,通过标定好的坐标转换矩阵将相机的像素坐标变换到机械手的空间坐标系中,然后根据机械手坐标系计算出各个电机该如何运动,从而控制机械手到达指定位置。

       根据相机的装载位置分为两种情况:eye-in-hand(相机安装在机械手上,随着机械手一起移动)和eye-to-hand(相机固定在一个地方,机械手的运动不会带着相机一起移动)。


二.手眼标定中涉及的坐标系

       手眼标定涉及到的坐标系有四个:机器人基坐标系base、法兰上的工具坐标系tool、相机坐标系camera和标定板坐标系cal;此外,涉及到了四个关键的4x4齐次转换矩阵,对于眼在手和眼在手外分别进行说明,下面是两种配置方式的坐标转换过程:

       每一种配置方式,都是两个移动的坐标系和两个静止的坐标系,并且这四个坐标系构成了一个闭环。


三.Eye-in-hand 标定原理与方法

       对于moving camera方式(相机随着吸嘴一起移动),如图所示,机械臂基础坐标系和标定板坐标系是静止的,两者之间存在一个固定的转换矩阵;法兰上的工具坐标系和相机坐标系是移动的,两者之间存在一个固定的转换矩阵;需要求的是法兰上的工具坐标系与相机坐标系之间的转换矩阵。其中,M1可以从机器人示教器或者控制读出,Mx是需要求取的未知矩阵,M2可以从拍摄照片计算出来,M3未知,但是是一个固定的转换矩阵,利用坐标转换,有如下的等式关系:Mx=M2*M3^(-1)*M1,如果我有许多个这样的等式,利用M3不变,可以构建关于Mx的方程组,解方程组,求得Mx中各个元素的值,在这个过程中我们不必去求M3具体是多少,只是利用了其固定不变这个特性而已。


四.Eye-to-hand 标定原理与方法

       对于stationary camera方式(相机静止,吸嘴移动),如下图所示,机械臂基坐标系和相机坐标系是静止的,两者之间存在一个固定的转换矩阵;法兰上的工具坐标系和标定板坐标系是移动的,两者之间存在一个固定的转换矩阵;需要求的是相机坐标系和机械臂基坐标系之间的转换矩阵。其中,M1可以从机器人示教器或者控制读出,Mx是需要求取的未知矩阵,M3可以从拍摄照片计算出来,M2未知,但是是一个固定的转换矩阵,利用坐标转换,有如下的等式关系:Mx=M1M2M3^(-1),如果我有许多个这样的等式,利用M2不变,可以构建关于Mx的方程组,解方程组,求得Mx中各个元素的值,在这个过程中我们不必去求M2具体是多少,只是利用了其固定不变这个特性而已。

 


戳戳小手帮忙点个免费的赞吧,嘿嘿。


目录
相关文章
|
1月前
|
传感器 编解码 算法
光学遥感卫星分辨率的奥秘 !!
光学遥感卫星分辨率的奥秘 !!
33 1
|
7月前
|
机器学习/深度学习 传感器 算法
使用显著性检测的可见光和红外图像的两尺度图像融合(Matlab代码实现)
使用显著性检测的可见光和红外图像的两尺度图像融合(Matlab代码实现)
|
3月前
|
机器学习/深度学习 算法 前端开发
高速公路表面图像裂缝检测程序
高速公路表面图像裂缝检测程序
|
7月前
|
传感器 机器学习/深度学习 算法
【姿态解算】基于扩展卡尔曼滤波九轴传感器姿态解算研究附代码
【姿态解算】基于扩展卡尔曼滤波九轴传感器姿态解算研究附代码
|
8月前
|
编解码
超声非线性成像-谐波成像基本知识
超声成像因其相对较低的价格、无电磁辐射、无创伤、成像方式多样而在医学成像中得到了广泛的应用。早期的超声成像技术都是基于线性声学原理。然而在实际的医学超声成像应用中,声波在生物组织的非线性传播和造影剂的非线性振动能够产生非线性声信号。在接下来的报告中讲解了如何使用非线性信号中的谐波信号进行成像,以及相关的谐波信号提取方法。最后使用一些代表性的应用实例进行验证,得出谐波成像在分辨率和对比度上确实优于传统基波成像的结论。
183 0
|
8月前
|
传感器 算法 机器人
使用贝叶斯滤波器通过运动模型和嘈杂的墙壁传感器定位机器人研究(Matlab代码实现)
使用贝叶斯滤波器通过运动模型和嘈杂的墙壁传感器定位机器人研究(Matlab代码实现)
|
10月前
|
机器学习/深度学习 传感器 数据采集
基于后投影算法穿墙雷达成像附matlab代码
基于后投影算法穿墙雷达成像附matlab代码
|
传感器 机器学习/深度学习 编解码
单一传感器图像多光谱多分辨率研究附matlab代码
单一传感器图像多光谱多分辨率研究附matlab代码
|
传感器 机器学习/深度学习 编解码
最新鱼眼BEV感知 | FPNet:面向泊车场景的失真不敏感多任务算法(TIV 2022)(上)
本文介绍了一种新的大规模鱼眼数据集 FPD,旨在促进对现实环境中各种环视泊车情况的研究。值得注意的是,作者的FPD对不同的环视感知任务都显示出优秀的特点。此外,作者还提出了实时的失真不敏感的多任务鱼眼感知网络(FPNet) ,通过增强鱼眼失真操作和多任务轻量级设计来改善环视鱼眼 BEV 感知。大量的实验验证了作者的方法的有效性和数据集的异常可推广性。
最新鱼眼BEV感知 | FPNet:面向泊车场景的失真不敏感多任务算法(TIV 2022)(上)
|
机器学习/深度学习 数据可视化 自动驾驶
最新鱼眼BEV感知 | FPNet:面向泊车场景的失真不敏感多任务算法(TIV 2022)(下)
本文介绍了一种新的大规模鱼眼数据集 FPD,旨在促进对现实环境中各种环视泊车情况的研究。值得注意的是,作者的FPD对不同的环视感知任务都显示出优秀的特点。此外,作者还提出了实时的失真不敏感的多任务鱼眼感知网络(FPNet) ,通过增强鱼眼失真操作和多任务轻量级设计来改善环视鱼眼 BEV 感知。大量的实验验证了作者的方法的有效性和数据集的异常可推广性。
最新鱼眼BEV感知 | FPNet:面向泊车场景的失真不敏感多任务算法(TIV 2022)(下)

相关课程

更多