《基于单目视觉的标定》由会员分享，可在线阅读，更多相关《基于单目视觉的标定（9页珍藏版）》请在金锄头文库上搜索。
1、稻草人自动化培训 稻草人自动化培训 基于 EyeToHand 的单目视觉的标定要想让工业机器人抓取到目标物体，首先就要确定目标物体的位置。本章所研究的单目视觉的标定就是为了确定目标物体的位置。主要研究内容分为两个部分：目标物体图像坐标的获取与处理和目标物体图像坐标到世界坐标系下的坐标的转换。3.1 目标物体图像的获取与处理3.1.1 单帧图像的获取ARTCAM 130MI CCD 摄像机通过 USB 2.0 接口输出到计算机中的是数字信号，并且可以通过计算机来完成采集视频中的单帧图像（数字图像） ，数字图像在计算机中是以二维数组 MN 的形式存储起来的，M 表示图像在水平方向上的像素点个数，N
2、 表示图像在垂直方向上的像素点个数。MN 也就是该单帧图像像素的大小。本实验用的视觉控制软件是通过调用安装在计算机中的相机驱动程序中的CACamMI130Sdk: Capture ( ) 这个接口函数，来完成摄像机单帧图像的采集。3.1.2 图像的处理图像处理部分主要实现了图像的灰度化、图像的二值化、图像轮廓的提取以及中心点的生成等功能模块。3.1.2.1 图像的灰度化图像的灰度化就是将彩色图像转化为黑白图像。因为转化为黑白图像后，就会更容易对所采集的数字图像进行后续的处理和运算，所以在视觉图像处理中经常会把采集到的彩色图像转化成灰度图像18。3.1.2.2 图像的二值化在实现了图像的灰度化操
3、作之后，我们还要对图像进行二值化操作。图像的二值化就是在显示图像时，图像只显示有两种颜色，通常都是黑色和白色。图像二值化的方法有很多种，较常用到的是阈值判别法26。阈值判别法就是通过区分灰度图像中各个像素点亮度值的大小来判定该像素点二值化后是白色或是黑色。当我们使用阈值判别法来对灰度化后的图像进行二值化时操作时，就需要给定一个具体的判别数值，当灰度图像中的像素点亮度值小于这个设定值时，就把像素点设置成为黑色，而当图像中的像素点亮度值大于这个设定值时，就会把像素点设置成为白色26。阈值的选取方法分为自动和手动阈值选取法。在自动阈值选取法中，首先是对灰度图像进行扫描，再根据得到的图像中点的亮度情况
4、，自动地为其设定了一个阈值。而手动阈值得设定比较简单，就是通过人为的设定一个阈值，但这就需要我们在设定之前对整个图像中各部分的亮度有大致地了解。在本实验中，工件为白色，工作台是是深灰色，色差很大，所以采用手动选取阈值的方法。3.1.2.3 图像轮廓的提取和中心点的生成稻草人自动化培训 稻草人自动化培训 实现了图像的二值化后，就要对图像进行分析运算，进行边缘的检测、轮廓的提取以及图像轮廓中心点的提取。在 OpenCV 中通过调用接口函数 int cvFindContours( ) 来实现对轮廓的提取，通过调用 CvRect cvBoundingRect( CvArr* points, int u
5、pdate=0 )来实现对中心点的提取。3.2 单目摄像机的标定摄像机的标定就是来确定摄像机的内外参数。摄像机标定的途径就是根据确定的摄像机模型，通过已知若干特征点的图像坐标和该这些特征点的世界坐标这两组坐标值来求解摄像机的内外参数。本实验中工作台平面与安装的摄像机的位置关系为摄像机的轴心垂直于工作台平面且安装在正中央的位置，鉴于工件不高且工作台也不大的特点，这样因为摄像机的安装误差引起的图像的畸变就会较小，工件不高就会使图像采集到的目标物体上表面的中心位置与理论需求的下表面的中心位置的误差就会较小。而对于本实验这将是目标物体定位误差产生的主要原因。所以本实验选用单目平面视觉也足够满足实验要求
6、。基于单目平面视觉的标定简单，并且不用考虑 CCD 摄像机的内参数，只需计算出 CCD 摄像机的外参数就可以完成摄像机的整体标定。这样摄像机的位姿相对于机器人基坐标系就是不变的，这样相机安装位置标定好后，就是常值。3.2.1 坐标系的定义在对线性摄像机进行标定的过程中，一般需要建立世界坐标系、摄像机坐标系和图像坐标系这三个坐标系，这三个坐标系的相互位置关系如图 3.2 所示，在平面视觉中，标定用的更多的是图像坐标系和世界坐标系。世界坐标系（XW，YW ，ZW）是在外部环境中选择的一个基准坐标系，用来描述目标物体的位置，可以根据描述和计算的方便等原则自由选取，在机器人视觉标定中我们把世界坐标系设
7、为机器人的基座标系。当中的任一点都用（xw，yw，z w）表示。这样对于选取线性摄像机模型，选择机器人基坐标系为摄像机标定的世界坐标系可以大大简化数学表达式和简化标定操作。摄像机坐标系（XC，YC，ZC）是将坐标原点设在摄像机镜头光心 OC 上，两个坐标轴 XC、YC 轴平行于图像平面，另一个轴 ZC 轴则垂直于图像平面。与图像平面的交点在图像坐标系上的坐标为（u0，v0）即摄像机的主点。摄像机的主点一般位于图像平面的中心处，但出于摄像机的制作原因，有时也会有偏离，因此在需要进行精确的摄像机标定时，摄像机主点坐标的两个参数也是需要标定的。而焦距 f 表示的就是摄像机镜头光心到摄像机主点之间的距
8、离。对于图像中的任一点,我们就用（u，v）表示。图像坐标系（u，v）则是定义在二维图像上的一个直角坐标系，分为以像素为单位和以物理长度（如毫米）为单位两种表示方式，分别用（u，v）和（x，y）表示，如图 3.3 所示，图像坐标系中，以像素为单位的坐标系的原点定义在图像的左上角，以物理长度为单位的坐标系的原点定义在图像的中心。3.2.2 摄像机模型的建立摄像机模型是光学成像几何关系的简化，其中最简单的模型是线性模型（或称针孔模型） 。线性模型成像关系为线性，是最常用的理想模型。ARTCAM 130MI CCD 摄像机采集的图像通过以数字信号的形式输入到计算机，每一个数字图像在计算机内都是以一个
9、MN 数组的形式存储起来，数组中的每一稻草人自动化培训 稻草人自动化培训 个元素就代表一个像素，每一个元素的数值就是图像点的亮度，也称为灰度。如图3.3 所示，在图像上定义了一个以像素为单位的直角坐标系 uv，每一像素的坐标(u，v)分别代表该像素在数组中的列数与行数。(u，v)是以象素为单位的图像坐标系的坐标。由于(u，v)只表示象素位于数组中的列数与行数，但这样就会缺少用物理单位表示出该象素在图像中的位置的表示，因此，这就需要再建立一个以物理单位来表示图像点位置的图像坐标系 X O1Y。这个坐标系的原点定义在摄像机中心轴与图像平面的交点上，且这个点一般位于图像的中心，但由于摄像机制作精度的
10、原因，也可能会有一定的偏离，在本实验摄像机的标定过程中，我们设这个点在图像的中心。两个坐标轴 x 轴、y 轴分别与 u 轴、v 轴平行，如图 4.3 所示。在图像坐标系中，若 O1 在 u，v 坐标系中的坐标为(u0，v0)，每一个像素在 x 轴与 y 轴方向上的物理尺寸为 dx，dy，则图像中任意一个象素在两个坐标系下的坐标有如下关系:我们用齐次坐标与矩阵形式就可以将上面两个方程式表示为:3.2.3 坐标变换在实际使用摄像机进行标定的过程中，空间点的成像过程必然涉及到图像坐标系和世界坐标系之间或者是摄像机坐标系、图像坐标系和世界坐标系三者之间的相互转化。因为本实验采用的是平面视觉，这里我们就
11、重点来研究平面视觉相关的二维坐标变换的公式和坐标变换的相关特性。稻草人自动化培训 稻草人自动化培训 对于二维坐标变换，我们将图像坐标系 O X Y 投影到世界坐标系的 OXY 平面上，得到如下图所示的两个坐标系 OXY 和 O X Y 。其中点( ) 0 0 x , y 表示图像坐标系的原点的在世界坐标系的 O点在世界坐标系的 OXY 面上的平面坐标，两坐标系之间的夹角为 。则这两个坐标系 OXY 和 O X Y 之间的变换可以看作是通过旋转和平移这两步来完成的。这时我们也可以称 为旋转角。这里我们来研究先旋转再平移的坐标变换。图经过简单的数学运算，可以得出同一点在两个不同坐标系表示上的数学关
12、系方程式：将其转化为矩阵的形式就可以表示成如下形式：（3-3）为更进一步简化上面的矩阵公式，在这里引入齐次坐标形式。引入齐次坐标后，上式就可以表示为如下形式：当我们将坐标变换从二维平面扩展到三维空间时，此时的旋转角将不再是一个平面角而是一个空间角，平移量也不再是一个平面的二维向量而是一个空间的三维向量。对于空间的旋转角，可以将它分解为在 YOZ、XOZ、XOY 三个平面上的旋转角，分别表示绕 x 轴，y 轴和 z 轴的旋转角度。绕 X 轴旋转所对应的旋转变换矩阵表示为：稻草人自动化培训 稻草人自动化培训 绕 Y 轴旋转所对应的旋转变换矩阵表示为：绕 Z 轴旋转所对应的旋转变换矩阵表示为：这里设
13、新坐标系的原点 O在旧坐标系中的坐标为( , , ) x y z O O O ，则可以得出最终的、坐标变换的齐次坐标形式:稻草人自动化培训 稻草人自动化培训 3.3 标定实验3.3.1 选取标定参照物一般的摄像机标定方法都需要用到标定参照物，就是在标定时在摄像机前放一个已知形状与尺寸的物体。常见的有基于圆形特征标定物、棋盘标定物、立方体标定物等19-24，本文中选用的标定参照物为圆形特征的平面模板，如图 3.7 所示，这是由JanneHeikkil 提出的一种新的标定技术，这种模板是以圆孔中心为标定参照点，相对于其他平面标定参照物而言，优点是圆形标定物具有制作简单，圆孔中心坐标对图像处理中的阈
14、值化操作不敏感，几何意义清晰，无需特征对应，标定精度高等。3.3.2 选取工件坐标系实验时，我们首先要选取一个工件坐标系来描述工件的位姿信息。选取方法如下：画出标定板的两条中心对称线，这将贯穿中心线所经过的一系列圆的圆心，并且两条中心线的重合点将是标定板中心圆的圆心。再将标定板放在工作台上，调整到摄像机的视场之中，在计算机视觉软件中打开视频图像窗口的图像坐标系显示线，调整标定板的两条中心线与视频窗口中的图像坐标系显示线中心重合，如图 3.8 所示。图 3.8稻草人自动化培训 稻草人自动化培训 在这个过程中，是通过在机器视觉控制界面中的视频窗口观察进行操作调整的。两条中心线重合后，将标定板固定不
15、动，此时标定板上的这个中心点也就是我们选取的工件坐标系的圆点，Z 轴垂直于标定板的平面方向向上， X 轴和 Y 轴就经过标定板上的两条中心线。X 轴、Y 轴正方向的选择原则就是尽量减小工件坐标系与机器人基坐标系 X 轴、Y 轴正方向的夹角。这样选取工件坐标系的好处是图像坐标系与工件坐标系的 XOY 面在图像上的投影是重合的，这样在图像坐标系中这样就简化了运算过程，减小了标定误差。3.3.3 计算摄像机的外参数 dx 和 dy选取了标定参照物和工件坐标系后，就可以对摄像机采集的图像的每一个像素对应在工件坐标系下 XOY 面上的物理尺寸 dx 和 dy 进行计算。由标定板我们可以测量到每相邻两个圆的圆心之间的距离为 38cm，X 轴、Y 轴所在直线上我们均选取距离最远的两个圆之间的距离和像素值作为计算参考，这样可以减小计算误差。经测得在世界坐标系中：X 轴所在直线上最远的两个圆之间的距离值 x L 为： 638mm；Y 轴所在直线上最远的两个圆之间的距离值 y L 为： 438mm；在图像坐标系中X 轴所在直线上最远的两个圆之间的像素数 x N 为： 938；Y 轴所在直线上最远的两个圆之间的像素数 y N 为： 626；知道以上四个量之后
