共轴立体视觉深度测量共轴立体视觉深度测量摘要：共轴立体视觉测距是一种深度恢复的新方法，利用光轴处于同一直线的两架相机，从单一角度获取图像信息，将三维空间的深度信息转换成二维空间的缩放视差，从而通过图像旋转与缩放、特征点提取、图像匹配、中心点估计等技术恢复深度信息该技术具有测量系统体积小、实时性强等特点介绍了该技术的深度恢复公式和算法，并设计了共轴立体摄影测距传感器，用实景实验和 3ds max 模拟实验对该技术进行了验证试验结果表明，中长距离深度测量精度优于 0.1%关键词：立体视觉； 共轴成像； 机器视觉； 图像处理； 深度测量1 系统原理及方案设计1.1 共轴立体视觉深度测量理论共轴成像模型如图 1 所示，符号含义见表 1表 1 系统参数f1 /mm 后置镜头焦距 f2 /m 前置镜头焦距 r1 /μm 后置成像平面像点中心距 r2 /μm 前置成像平面像点中心距 l /m 镜头间距 z /m 地面物点深度 θ /（°）被测区域视场角图 1 中，传感器阵列 ccd1 和 ccd2 位于前后不同成像平面，分别与 2 个定焦镜头对应。
从物点 a 在两个 ccd 上的成像点距离 ccd中心的距离 r1，r2 中，可明显看出具有一定视差，由视差便可恢复 a 点深度，其分辨精度与 ccd 像元大小有关图 1 共轴成像模型根据双焦成像模型，可推导出如下公式1)像点位置方程：r1/f1=r/(z+l)r2/f2=r/z(1)像点位置方程根据光的直线传播特性而来，联立式(1)消去 r 可得：(2)深度计算方程：z=(f2/f1)r1r2－(f2/f1)r1·l(2)由式 2 可知，镜头焦距 f1，f2 及透镜中心距 l 均为已知系统参数，只要求得像点中心距 r1，r2 便可恢复深度信息 z设图像传感器单位像元尺寸为 s，共轴图像对中心点为(xc,yc),点(x1,y1)和点(x2,y2)分别为被测物点 a 在 2 幅图像中的匹配点，则有：ri=(xi－xc)2+(yi－yc)2·s,i=1,2(3)由式(2)和式(3)可知，共轴立体视觉深度测量将被测物点深度信息的求解问题转化为了图像对中被测物点对应匹配点坐标和图像中心点坐标的求解问题3) 过中心点原理如图 2 所示，前后相机图像相对中心点呈中心缩放，对应像点连线通过中心点则两图像中的同名点(x1,y1)和(x2,y2)与图像中心点(xc,yc)的连线必定在同一方向上，故有：x1－xcx2－xc=y1－ycy2－yc(4)过中心点原理是共轴立体视觉中一个重要原理，在特征点提取、特征点匹配和中心点恢复算法中都运用。
1.2 共轴立体视觉深度测量精度分析为了分析简便，将物点的深度计算公式归结为矢量函数关系式：z=f(l,f1,f2,r1,r2)(5)根据误差分析理论，用 ψi 表示各参数误差的传递函数：ψi=δiδ= f i(6)式中：i 代表l，f1，f2，r1，r2 各参数；δi 是参数 i 的误差 δi 对整体误差贡献的分量相应的，令 δl，δf1，δf2 为成像系统硬件参数 l，f1，f2的标定误差，即系统误差；δr1，δr2 为被测点 a 所对应像点中心距 r1，r2 的提取误差，受软件算法及传感器元件尺寸影响，即随机误差图 2 过中心点原理图根据误差理论得到测量的总误差是系统误差和随机误差的合成误差，可推导综合误差为：δz=δl·ψl+δf1·ψf1+δf2·ψf2+δr1·ψr1+δr2·ψr2(7)用 δ 表示软件算法提取像点中心距的误差（假设 δr1=δr2=δ） ，包括像点匹配误差和图像中心点计算误差，根据式(2)、式(6)及式(7)，径向位移提取误差引起系统测量总体误差函数为：δz=z(z+l)［z(f1+f2)+lf2］rlf1f2·δ(8)由式(8)分析可知，提高共轴立体视觉深度测量精度主要有 3 条途径：（1） 减小像点径向位移的提取误差 δ，可通过选择合理软件算法，采用高精度图像采集装置，提高像点匹配精度和中心点估计精度；（2） 增大 l，f1，f2，可选择 l，f1，f2 较大的图像采集装置，确定合理的硬件参数；（3） 减小 z/r 的比值，可合理选择摄像机拍摄视角，让观测角尽可能大。
1.3 共轴立体视觉传感器设计根据以上提高精度的 3 条途径，本文设计了一种高精度广角数码相机作为图像采集单元，原理如图 3 所示，被关注区域的光线以较大视场角进入长焦广角镜头，汇聚于大尺寸高分辨率 ccd 上，将光信号转换为高清数字图像该相机由光学镜头部分、光电传感器部分和机械调节部分构成光学镜头为施奈德大焦距广角镜头，焦距 210 mm，视场角为±36°；光电传感器采用大尺寸 ccd，分辨率为 1 420 万像素，像元尺寸为 5.1 μm镜头和 ccd 之间用遮光皮腔连接，屏蔽杂光，确保图像质量相机 ccd 部分由机械调节部分托起，可调节焦距f 和 ccd 光轴距离 r 以便接收所关注区域的清晰图像采用 2 个图像采集单元共轴排列，充分满足前文提高精度的途径 2 和 3，可获取高质量共轴摄影图像对，设图像算法匹配误差为 1/10 像素，根据式 8 可算出 100 m 测距理论误差小于 0.05 m图 3 图像采集单元原理图 2 算法分析利用共轴图像传感器采集共轴图像对之后，首先进行图像校正，需要用到图像平滑，图像旋转，极线校正［6］等算法，然后进行深度恢复深度恢复首先要获得被测点在图像对中的匹配点的准确位置，这需要用到特征点提取，亚像素匹配等算法；其次利用中心点估计算法得到特征点中心距 r1，r2。
2.1 特征点提取算法本文采用 sift 算法［7］进行特征点提取sift 算法是一种多尺度特征提取算法，也是一种基于特征的配准方法，能够适应缩放，平移，旋转图像中特征点对的匹配对于共轴图像对有很强的特征点提取及匹配能力利用 sift 算子对图像特征点做提取的步骤为：(1) 构造图像尺度空间；(2) 在尺度空间检测极值点，确定极值点的位置和尺度；(3) 精确确定关键点的位置和尺度，同时去除低对比度的关键点，以增强匹配稳定性、提高抗噪声能力；(4) 为每个关键点指定方向参数，使算子具备旋转不变性；(5) 关键点描述子的生成，即生成 sift 特征向量利用 sift 进行特征点提取的特征点，可作为像点匹配的初始匹配点，从而减小搜索区域，简化计算量由共轴立体视觉深度测量拍摄原理可知，共轴图像对满足过中心点原理，设点(x1,y1)和点(x2,y2)为通过 sift 计算后获得的共轴图像对中的匹配点，则其满足式（4） 考虑图像质量的不确定性，我们可以加入同名点匹配限定条件，精度 eps 为 0.1，故有：x1－xcy1－yc－x2－xcy2－yc
匹配所采用的方法很多，本文所采用的是基于灰度相似度的方法，即选取模板在一定区域范围内对匹配对象进行搜索，找到相关度最大点作为图像匹配点基于灰度相关的像素级匹配速度取决于搜索窗口大小，本文采取最大相关点搜索法加快匹配速度1） 像素级匹配选取特征点，确定前置相机图像中的搜索区域，将后置相机图像插值为前置相机图像相同尺寸，选定后置相机图像中的标准区域作为匹配模板，然后计算相关性，并得到像素级匹配点(x,y)理想的情况下，匹配点(x*,y*)范围应限制在： x*∈［x－0.5,x+0.5］y*∈［y－0.5,y+0.5］(10)（2) 亚像素级匹配调整搜索区域为点(x,y)附近，利用牛顿-拉普森算法，最小二乘法或梯度算法［8］获取亚像素级匹配点，考虑图像质量的不确定性，亚像素级匹配点(x*,y*)的有效区域由式（10）扩展为式（11）所示：x*∈［x－1,x+1］y*∈［y－1,y+1］(11)若计算结果超出式(10)范围，则转到下一步：（3） 双线性插值搜索算法如图 4 所示p0 为像素级匹配点，p1 和 p2 分别为第 1 步和第 2 步的亚像素级匹配点点阵列表示每一步的搜索区域，箭头则指向最大相关性的像素。
图 4 双线性插值搜索算法(1) 假设网格代表像素块，实心点为对应像素位置初始点 p0 为搜索区域中像素级匹配点，计算其周围 8 点与模板对应像素点的灰度相关系数2) 求得最大相关系数点 p1 及其相关系数 rmax 后，按最大相关系数方向移动，步长减半，在搜索区域所对应位置进行双线性插值以更新搜索区域3) 比较当前中心像素点灰度相关系数与前一次值，若灰度相关性降低，则方向改变，退回上一步，步长减半4) 重复步骤(1)~(3)，直到达到所规定精度表 2 实景实验的深度计算结果100 m 物点 123456 平均值深度 /m100.192101.40199.446100.38998.60199.72699.95988 m 物点123456 平均值深度 /m87.99388.39988.387 887.79987.32187.90187.9672.3 中心点估计算法中心点坐标(xc,yc)的计算可由过中心点原理得到，由式(4)得：xc(y1－y2)+yc(x1－x2)=x2y1－x1y2(12)利用最小二乘法求解中心点估计值：y1(1)－y2(1)x1(1)－x2(1)y1(n)－y2(n)x1(n)－x2(n)xcyc=x2(1)y1(1)－x1(1)y2(1)x2(n)y1(n)－x1(n)y2(n)(13)则像点中心距可根据式(3)求得。
3 实验3.1 中距实景拍摄实验图 5 给出了运用前文设计的传感器进行实景拍摄获得的图像，拍摄角度为水平拍摄，拍摄方式为被测区域局部拍摄，参数按式(14)设置，相机单位像素尺寸 s=5.5 μm原图像大小为 4 592×3 056 像素深度恢复结果见表 2首先对图像进行特征点提取和图像匹配，获取被测点在共轴图像对的同名点及其坐标值；然后按照同名点坐标进行中心点估计，得到中心点坐标 x= -12 101.53，y=1 274.941，单位为像素；再根据同名点坐标和中心点坐标，按照关系式(2)和式(3)计算出对应点的深度l=2 m,f1=210 mm,f2=210 mm,θ=30°(14)100 m 深度恢复误差约-0.041%，88 m 深度恢复误差为-0.037 5%，受特征点位置影响小，具有较高的准度和精度3.2 长距 3ds max 仿真实验图 6 为 3dsmax 环境下所获得的别墅图像，拍摄角度为垂直拍摄，拍摄方式为局部放大渲染，参数按式(15)设置，草地距相机高度h=1 000 m，单位像素尺寸 s=8 μm原图像大小为 7 469×5 300像素图 5 实景拍摄获得的图像图 63dsmax 环境下获得的别墅图像另一相机所获图像由于在理想成像质量下只存在缩放和位移偏差，不再列出，有：h=1 000 m,l=2 m,f1=400 mm,f2=400 mm,θ=40°(15)表 3 为图 6 中部分特征点深度计算结果。
表 3 模拟实验的深度计算结果序号 123456 计算深度 /m999.4321 000.1221 000.811944.722973.125974.273 真实深度 /m1 0001 0001 000944.643973.999973.999 相对误差 /%-0.060.010.080.01-0.090.03 序号 789101112 计算深度 /m960.476959.499964.588974.191974.539959.144 真实深度 /m959.993959.993964.522973.999973.999959.995 相对误差 /%0.05-0.0。