随着工业的发展，在生产中对自动化的要求越来越高，视觉技术已被广泛引入工业机器人行业，具备视觉的工业机器人能更快、更准、更灵活地完成定位抓取、对位组装、码垛拆垛等，视觉引导是工业机器...

2023-11-07

手眼标定在工业机器人视觉定位引导系统中的应用

随着工业的发展，在生产中对自动化的要求越来越高，视觉技术已被广泛引入工业机器人行业，具备视觉的工业机器人能更快、更准、更灵活地完成定位抓取、对位组装、码垛拆垛等，视觉引导是工业机器人走向智能化的重要方式。传统的工业机器人只能按照编写好的程序做单调重复的工作，无法根据作业环境自适应调整运动轨迹，视觉引导系统赋予了机器人感知外部世界的能力。

视觉引导技术介绍

基于图像分析的视觉技术在机器人引导相关应用中的主要作用是精确获取对象物（待抓取物体）和目标物（待组装物体）的坐标位置，并将图像坐标转换为机器人能识别的机器人坐标，指导机器人进行纠偏和组装。因此，手眼标定和定位引导是机器视觉在(工业机械臂)机器人引导中应用的核心。

手眼标定目的及分类

手眼标定，即将手（机器人工具）和眼（相机）的坐标系进行统一，完成相机到机器人的坐标转换，让机器人能精确定位相机视野中的目标。具体而言，手眼标定是通过对机器人与传感器之间的相对位置和姿态进行测量和计算，来确定机器人控制系统中的各坐标系之间的变换关系，从而实现机器人精确运动控制和定位。

手眼标定结果的使用过程即空间点的位置在不同坐标系中的变换过程，在手眼标定推导过程中，我们会用到手眼系统中的四个主要相关坐标系，如下所示：

机械臂基坐标系（用base表示）

机械手工具坐标系（用tool表示）

相机坐标系（用cam表示）

标定物坐标系（通常为标定板或球，用cal表示）

手眼标定按应用场景可分为应用于抓取固定平面上物体的2D手眼标定与应用于抓取一定高度范围内不同姿态物体的3D手眼标定。

2D手眼标定是指将相机的图像坐标系与机械臂基坐标系之间建立映射关系。也就是说，它确定了相机拍摄到的2D图像中某一点与机械臂基坐标系对应的坐标之间的转换关系。

2D手眼标定

2D手眼变换中一般表达为：线性变换R和平移变换T的叠加，即为两个平面（像素平面与机器人基坐标系平面）的仿射变换。

▲仿射变换实现公式

3D手眼标定

3D手眼标定则是确定相机坐标系与机械臂基坐标系或与机械臂工具坐标系之间的转换关系。通过该转换关系，3D手眼标定可以确定相机坐标系内的任意一点在机械臂基坐标系的位置，因此3D手眼标定相对于2D手眼标定具有更广阔的应用空间。

按照相机搭载方案的不同，3D手眼标定主要分为眼在手上(hand-in-eye)和眼在手外(eye-to-hand)两种形式。眼在手上方案中，相机一般搭载在机器人末端工具上，相机相对于工具的位置和姿态是固定的，此时手眼标定主要确定相机与机器人工具之间的相对位置和姿态；眼在手外方案中，相机一般安装在相对于机器人基座固定的支架上，此时手眼标定主要是确定相机与机器人基座之间的相对位置和姿态。

▲左侧：眼在手上右侧：眼在手外

无论是眼在手上还是眼在手外方案的手眼标定，都可以归结为对方程AX=XB的求解。以眼在手外(hand-in-eye)方案的手眼标定举例：

^baseH_tool：表示机器人工具坐标系到机器人基坐标系的转换关系，可以由机器人系统中得出。（已知）

^toolH_cam：表示相机坐标系到机器人工具坐标系的转换关系未知数X；这个转化关系在机器人移动过程中是不变的，通过方程组的联立求解；（未知，待求）；

^ca^mH_ca_l：表示标定板坐标系到相机坐标系的转换关系（相机外参），可以由相机内部参数和标定板图像求出；（相当于已知）

^baseH_cal：表示标定板坐标系到机器人基坐标系的变换,这个转化关系在机器人移动过程中是不变的，通过方程组的联立求解；（未知，待求）；

不管是eye-to-hand系统，还是eye-in-hand系统，问题的关键都是转化为求解方程AX=XB的求解，手眼标定的基本原理即如上所述，如何高效准确地完成手眼标定并应用于机器人视觉引导上，这才是未来视觉引导领域的焦点。

国家重点专精特新“小巨人”企业——菲特（天津）检测技术有限公司成立于2013年，是一家推进人工智能技术在工业领域智能化应用的企业。

企业专注于光学、人机交互、人工智能等前沿技术研发与创新，迄今已获得知识产权二百余项，独创百余个“在线级”落地应用案例，以汽车行业为起点，致力于为化纺、医药、钢铁等制造行业赋能，可提供包含质量控制，工艺监测，人工智能安全预警，智能分析以及工业垂类大模型等前沿技术，是为工业领域提供智能化解决方案的领军型研发企业。

从汽车零部件到整车厂，凡是涉及质量检测的场景都有菲特的身影，经过十年的实践先后为奔驰、奥迪、比亚迪、大众、广汽本田、红旗等知名车企提供一体化智能制造解决方案并保持长期合作，为制造企业实现真正的降本增效。2

冲压件缺陷视觉检测设备原理及案例