《北京航空航天大学图像传感实验报告》由会员分享，可在线阅读，更多相关《北京航空航天大学图像传感实验报告（12页珍藏版）》请在金锄头文库上搜索。
1、图像传感技术综合实验 北京航空航天大学仪器光电学院 2017.06目录一、前言2二、摄像机理论模型32.1 摄像机针孔成像模型32.2 摄像机内部参数32.3 摄像机外部参数42.4 摄像机镜头畸变模型4三、摄像机参数标定53.1 摄像机标定理论53.2 标定实验步骤6四、单目摄像机面积测量实验104.1 实验步骤114.2 实验结果13五、总结与展望13六、参考文献13一、前言近年来，随着微电子技术和光学镜头技术的发展，摄影器材的应用越来越广泛，机器视觉技术日趋成熟，在社会生产生活方面日益发挥其重要作用。如视觉监控，零件自动识别与测量，三维重建，地形匹配，医学影像处理等。摄像机定标是大多数机
2、器视觉应用必不可少的重要步骤，直接对后续的工作的精度产生重要影响。摄像机标定旨在建立三维世界坐标与二维图像坐标之间的映射关系，从摄像机获取的图像信息出发,根据空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,构建摄像机成像的几何模型,再经实验与计算得到空间环境中三维物体的位置、形状等几何模型参数(摄像机参数)的过程.在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像机成像的几何模型，并由此重建和识别物体。这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为摄像
3、机标定。摄像机参数标定是光学非接触式三维测量的首要步骤，其结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。摄像机定标技术早就应用于摄影测量学。摄影测量学中所使用的方法是数学解析分析的方法，在定标过程中通常要利用数学方法对从数字图像中获得的数据进行处理。通过数学处理手段，摄像机定标提供了专业测量摄像机与非量测摄像机的联系。而所谓的非量测摄像机是指这样一类摄像机，其内部参数完全未知、部分未知或者原则上不稳定。摄像机的内部参数指的是摄像机成像的基本参数，如主点、焦距、径向镜头畸变及其它系统误差参数。随着实际应用的发展，对进一步提高摄像机定标的精度有了更高的要求。因此，科学的发展呼唤有着更
4、高定标精度的定标方法，研究提高摄像机定标精度的方法符合机器视觉发展的要求。二、摄像机理论模型2.1 摄像机针孔成像模型摄像机成像模型以针孔透视投影模型为基础，采用考虑透镜畸变的摄像机成像畸变模型。摄像机成像过程中，一个空间点从世界坐标变换到计算机图像坐标要经过一系列线性和非线性变化，基本过程如图1所示。针孔模型如图2所示，ou-xuyu为图像像素坐标系，为世界坐标系，oc-xcyczc 为摄像机坐标系。其中oc是摄像机光心，zc 是摄像机光轴，ocxc/ouxu，ocyc/ouyu。设三维空间点Rw在世界坐标系下的齐次坐标为xw,yw,zw,1T)，在摄像机坐标系下的齐次坐标为xc,yc,zc
5、,1T,在图像平面的投影点pu的齐次像素坐标为xu,yu,1T，则针孔成像模型可以描述为图2： 图1 摄像机成像过程流程图 图2 摄像机成像针孔模型2.2 摄像机内部参数摄像机坐标系到图像平面像素坐标系的变换是三维空间中的点透视投影到图像平面的过程，可以用中心透视模型很好的近似： （1）其中A是33 的内参矩阵，由摄像机内部参数fx，fy，uo，vo决定，fx，fy分别是x轴和y轴上的归一化焦距uo，vo是图像中心的像素坐标。2.3 摄像机外部参数外部参数由摄像机相对世界坐标系的方位决定。世界坐标系到摄像机坐标系的变换实际上是坐标轴的旋转和坐标原点的平移过程。 （2）其中R是33 的正交旋转矩
6、阵，t是31 的平移矢量。综上，整个摄像机的线性针孔模型可以表示为： （3）H是34 的投影矩阵，一旦内外参数确定下来，就能确定空间中的点到二维图像平面上的点的映射关系。2.4 摄像机镜头畸变模型利用齐次坐标，针孔相机的映射函数是一个简单的线性方程组。但是如果使用的是廉价的或者是广角透镜系统，针孔相机模型就不再成立。在这种情况下镜头的非线性光学畸变是映射错误的主要来源。非线性畸变的来源一般来自于三个方面，首先是由于组成摄像机光学系统的透镜组不完善，造成径向畸变；其次是由于不正确的镜头组合引起离心畸变与摄像机装配不完善造成薄透镜畸变。后两种畸变都包含径向畸变与切向畸变。径向畸变：径向畸变主要是由
7、于组成摄像机光学系统的透镜组不完善造成的。由于透镜系统的远光轴区域的放大率与光轴附近的放大率不同，使得图像中的点向内(远光轴区域的放大率比光轴附近的大)或向外(远光轴区域的放大率比光轴附近的小)偏离光轴中心。这种偏离是关于圆对称的。前者称为枕形畸变，后者称为桶形畸变。一个正方形经畸变后所成的图像决定了畸变的名称。非线性畸变径向畸变薄透镜畸变桶形畸变枕形畸变切向畸变径向畸变图3 畸变类型在一般情况下只考虑两种主要的畸变来源：径向畸变和切向畸变。典型的同时考虑径向畸变和切向畸变的畸变模型是从已知的畸变图像坐标(xd, yd)映射到需要求解的非畸变图像坐标(xu, yu)，映射关系如下： (4)&#
8、119984;: (xd, yd)(xu, yu)通常情况下，畸变模型只需考虑一两个畸变参数，因为高阶的畸变参数相对来说影响很小，可以忽略不计。畸变模型中包含一、二阶径向畸变参数k1, k2和一、二阶切向畸变参数p1, p2。即(5)其中：xd =xd-cx，yd =yd-cy，rd2=xd2+xd2。三、摄像机参数标定3.1 摄像机标定理论摄像机的标定我们采用MATLAB 摄像机标定工具箱进行摄像机参数的标定。摄像机外部参数由摄像机相对世界坐标系的方位决定。世界坐标系到摄像机坐标系的变换实际上是坐标轴的旋转和坐标原点的平移过程。摄像机坐标系到图像平面像素坐标系的变换是三维空间中的点透视投影到
9、图像平面的过程，可以用中心透视模型很好的近似。摄像机标定是指根据摄像机模型，由已知特征点的图像坐标和世界坐标求解模型参数，从而建立图像像素位置与场景点位置之间的映射关系，因此是视觉测量中的关键和前提。目前应用最为广泛的摄像机标定方法是张正友在2000年提出的基于二维平面方格靶标的摄像机标定方法。该方法首先假定摄像机模型是理想针孔模型，即拍摄得到的图像是理想无畸变图像，通过将已知靶标角点的图像坐标与世界坐标相对应来估计靶标平面与图像平面之间的映射矩阵，然后分解出摄像机的内参和外参，最后将获得的所有线性参数作为初值，与镜头畸变参数一起进行优化搜索，求解所有参数的精确解。这种方法得到的参数精度较高，
10、在机器视觉领域中得到广泛的应用。标定可按三个步骤进行，首先求解投影矩阵，其次分解内外参数，最后求解畸变参数。标定完成后利用已知的畸变系数对图像的光学畸变进行修正。从数字图像处理的观点来考察畸变校正，实际上是一个图像恢复的过程，是对一幅退化了的图像进行恢复。几何畸变失真主要是表现在图像中像素点发生位移，从而使图像中物体扭曲变形。几何校正，就是通过几何变换来校正失真图像中的各像素位置以重新得到像素间原来的空间关系。对图像的几何校正主要包括以下两个步骤，空间变换，对图像平面上的像素进行重新排列以恢复空间关系；灰度插值，对空间变换后的像素赋予相应的灰度值以恢复原位置的灰度值。标定的流程图如图4所示。图
11、4 标定过程流程图3.2 标定实验步骤利用单目相机采集不同位置处的方格靶标图片，一共9幅，如图5所示。将下载好的标定工具箱插件放到MATLAB目录下，这里放置在toolboox这个文件夹下，然后打开MATLAB点击File-Set Path-Add Floder添加插件目录,在save一下打开MATLAB标定工具箱。输入图片，提取角点，标定。点击Image names按钮，输入图片名字与格式，图像数据自动读入内存中，读取的所有数据以缩图的形式显示出来。点击Extract grid corners提取角点，wintx, winty选择默认参数5，以手动的方式顺序点选棋盘靶标上参与标定的所有角点的
12、四个极点，让每个手动点尽量靠近真实角点。图5 标定图片通过提取图像角点，进行标定。按顺时针或逆时针旋转棋盘格最外面的四个角点。图6 角点选取选好角点后输入棋盘方格的实际边长，这里图片的尺寸是25x25，单位mm，角点检测结果如图7所示。图7 角点选取结果对误差进行分析，校正，直到得到较满意的误差之后，保存标定结果。下图为误差分析。图8 平均重投影误差图9 外部参数可视化结果图10整体投影误差图11 整体畸变图12 径向畸变图13 切向畸变最终标定结果如表1所示。表1 摄像机标定结果参数名称说明值fc摄像机x方向和y方向焦距1826.92 1820.80 28.64 27.79cc摄像机像面中心
13、在像素坐标系下的坐标1058.09 840.7628.72 27.65alpha_cX方向和Y方向的倾斜角0.00000 0.00000 = angle of pixel axes = 90.00000 0.00000 degreeskc摄像机畸变参数 -3.110-1 3.710-1 -2.110-3 4.410-3 0.00 3.210-2 1.010-1 2.110-3 3.210-3 0.00 然后输出标定结果，保存到cameraParams.mat文件中。四、单目摄像机面积测量实验本实验设计了一个测量平面形状面积的实验。平面形状有规则和不规则之分，本实验希望实现测量不规则形状的平面物
14、体如银杏树叶的面积。由于银杏树叶子的面积无法用其他手段精确获得，因此首先测量规则形状（长方形薄片、或者硬币）的面积，用规则形状面积的准确程度判断银杏叶子面积测量的准确程度。4.1 实验步骤1.利用标定好的相机采集一幅银杏叶和靶标的图片，如图14所示。银杏叶子应该与靶标在一个平面上，本实验将叶子放在紧挨靶标的位置。银杏叶选取的是较为平整的，以便于减小误差。图像中同时有一元钱硬币和一个长宽已知的长方形薄纸片。图14 被测量图片将此图片导入MATLAB。2.用MATLAB编写平面图形面积测量与计算程序，测试程序的可行性。当程序准确无误后，导入需要测量的图片。3.利用标定好的摄像机参数进行测量实验。首
15、先要对图片进行消除失真处理，经处理后的无失真图像如图15所示。图15 消除失真之后的图像 4.消除失真之后，将图像进行灰度化处理，利用MATLAB自带函数自动设置阈值后，将图像处理为二值化图像如图16所示。由图中可以看到，一元硬币由于光线问题，在二值图中没有显示，可能是MATLAB函数自动阈值超过了硬币灰度的阈值导致的。图16 二值化之后的图像 5.对二值化之后的图像进行面积测量。首先求出二值化图像中的最大的两个连通区域，即银杏叶和长方形薄块。并在原图中标出测量对象的位置。图17 圈出目标对象6.最后，求出测量对象在图像坐标系中的边界点的坐标，将这些点的坐标转化到世界坐标系中之后，利用MATLAB自带求面积函数求出测量对象
