《计算机视觉chapter7》由会员分享，可在线阅读，更多相关《计算机视觉chapter7（45页珍藏版）》请在金锄头文库上搜索。
1、第七章 立体视觉第七章 立体视觉7.1 立体视觉基础 7.2 立体成像 7.3 立体匹配 7.4 多基线立体成像 7.5 测距成像 7.6 物体形状恢复方法 7.7 主动视觉1computer vision7.1 7.1 立体视觉基础立体视觉基础n深度图（Depth Map）l获取场景中各点的深度信息是计算机视觉 系统的一个重要任务。l场景中的各点相对于摄像机的距离形成的 一个二维图像，此图像中每一个像素值表 示场景中某一点与摄像机之间的距离。l计算机视觉系统中获取场景深度图的技术 可以分为被动测距和主动测距两大类。2computer vision7.1 7.1 立体视觉基础立体视觉基础n被动
2、测距传感 l视觉系统接收来自场景中发射或反射的光 能量，形成有关场景光能量的分布函数（ 即灰度图象），然后在这些图像的基础上 恢复场景的深度信息。 l实例：双目视觉系统，三目视觉系统 n主动测距传感 l视觉系统首先向场景中发射能量，然后接 收场景中对所发射能量的反射能量。l实例：雷达测距系统3computer vision7.1 7.1 立体视觉基础立体视觉基础n被动测距方法 n双目视觉系统：使用两个相隔一定距离的 摄像机同时获取场景图像来生成深度图。 n单目运动视觉：一个摄像机在不同空间位 置上获取两幅或两幅以上图像，通过多幅 图像的灰度信息和成像几何来生成深度图 n特征深度测量：使用灰度图
3、象的明暗特征 、纹理特征、运动特征间接的估算深度信 息。4computer vision7.1 7.1 立体视觉基础立体视觉基础n主动测距方法 l主动测距传感系统也称为测距成像系统（ Range Finder） l雷达测距系统 l三角测距系统 l激光测距系统 n主动测距传感和被动测距传感的主要区别 在于视觉系统是否通过接收自身发射的能 量来测距。5computer vision7.1 7.1 立体视觉基础立体视觉基础n主动视觉与被动视觉l主动视觉和主动测距传感是两个概念，主 动视觉是一种理论框架。l主动视觉主要研究的是通过主动的控制摄 像机位置、方向、焦距、缩放、光圈、聚 散度等参数；或者说是
4、通过视觉和行为的 结合来获得稳定的、实时的感知。6computer vision7.2 7.2 立体成像立体成像l Figure The sailor shown in the left picture is, like most people, able to perform stereopsis and gain a sense of depth for the objects within his eld of view. l The right photograph is from the 1953 film “The War of the Worlds“, and it shows
5、a close-up of the face of a three-eyed Martian warrior. Why such a configuration may prove beneficial ?7computer vision7.2 7.2 立体成像立体成像l Figure Mobile robot navigation is a classical application of stereo vision: l (a) the Stanford cart sports a single camera moving in discrete increments along a st
6、raight line and providing multiple snapshots of outdoor scenes; l (b) the INRIA mobile robot uses three cameras to map its environment.8computer vision7.2 7.2 立体成像立体成像n基本的双目立体视觉的几何关系是： l 有两个完全相同的摄像机构成； l 两个摄像机构成的图像平面位于一个平面； l 两个摄像机的坐标轴相互平行，且x轴重合，摄 像机之间在x方向上的间距称为基线距离B； l 在这个模型中，场景中同一个特征点在两个摄像 机图像平面上的
7、成像位置是不同的； l 将场景中同一点在两个不同图像中的投影点称为 共轭对，其中一个投影点是另一个投影点的对应 （correspondence） l 求共轭对就是求解两幅图像中点的对应性问题。 9computer vision7.2 7.2 立体成像立体成像n基本的双目立体视觉的几何关系是： l 视差（disparity）：两幅图像重叠时的共轭对 之间的位置之差（共轭对点之间的距离）。视差摄像机A平面摄像机B平面重叠10computer vision7.2 7.2 立体成像立体成像n基本的双目立体视觉的几何关系是：l 外极平面（epipolar plans）：通过两个摄像机中心和场景特征点的平
8、面。l 外极线（epipolar lines） ：外极平面与图像平面的交线l 外极点（epipoles ）：同一个图像平面上的所有外极线交于的同一点。11computer vision7.2 7.2 立体成像立体成像基线外极平面光轴外极线两个摄像机 中心点场景点12computer vision7.2 7.2 立体成像立体成像 n依据双目立体视觉几何关系的深度计算 l 假设场景中的P点在左右摄像机图像平面中的投 影点分别为Pl和Pr，同时不失一般性假设坐标系 原点与左透镜中心重合。 l 比较相似三角形PMCl和PlLCl，可得到：l 同理，可从相似三角形PNCr和PrRCr中得到：13comp
9、uter vision7.2 7.2 立体成像立体成像BClLPlMN(x,y,z)PPrRzFCrPMCl和PlLClPNCr和PrRCr14computer vision7.2 7.2 立体成像立体成像 n依据双目立体视觉几何关系的深度计算 l 结合以下公式：可以得到：其中F是焦距，B是基线距离， 是视差。 l 各种场景中的点的深度就可以通过计算视差来实 现。视差一般是整数。 l 对于一组给定的摄像机参数，提高场景点深度计 算的精度有效途径是增加基线距离B，即增大场 景点对应的视差。 15computer vision7.2 7.2 立体成像立体成像 n增加基线距离B来提高深度计算精度的方
10、法 存在有以下问题：v随着基线距离的增加，两个摄像机的共同的可 视范围减小； v场景点对应的视差值增大，则搜索对应点的范 围增大，出现多义性的机会就增加；由于透视投影引起的变形导致两个摄像机获取的两 幅图像中不完全相同，这就给确定共轭对带来困难 。v前面的假设是两个摄像机光轴平行，但在实际 应用中两个摄像机的光轴不平行，光轴在空间上 相交于一点。16computer vision7.2 7.2 立体成像立体成像 l 视差与光轴的交角有关，对于任意一个光轴交角 ，在空间中总存在一个视差为零的表面；d0d0d0d=0光轴零视差曲面立体基线18computer vision7.2 7.2 立体成像立
11、体成像 n 最一般的立体成像是一个运动摄像机连续获取场 景中的图像，形成立体图像序列，或间隔一定距 离的两个摄像机同时获取场景图像，形成立体成 像对。19computer vision7.2 7.2 立体成像立体成像n上图是任意位置和方向的两个摄像机，对 应于场景点的两个图像点位于外极线上。n这两幅图像也可以是一个摄像机由一点运 动到另一点获取的这两幅图像；n即使两个摄像机处于一般的位置和方向时 ，对应场景点的两个图像点仍然位于图像 平面和外极平面的交线（外极线）上。20computer vision7.3 7.3 立体成像立体成像n 从原理上讲根据“立体图象对”抽取深度信息的 处理应包括以下
12、四部分：在图象中寻找在两幅图象中都便于区分的特征或 用于匹配的基元（primitive）。把左、右两幅图象中的相关特征进行匹配，即解 决特征匹配的方法问题。确定摄象机的相对几何位置和有关参数，即摄象 机的校准（Calibration），目的是将二维图像 坐标空间中的点对应到三维世界坐标空间中。根据视差计算成象物体相对摄象机的距离。21computer vision7.3 7.3 立体匹配立体匹配 n立体匹配的匹配规则约束l 立体匹配：立体成像的深度信息测量的一个重要 步骤就是寻找立体成像对中的共轭对，即求解对 应问题。l 问题：实际中求解对应问题是非常困难的，一是 计算量大，二是匹配的准确度要
13、求高。l 解决：为了求解对应，建立了许多约束来减少对 应点误匹配，并最终得到正确的匹配特征点的对 应。22computer vision7.3 7.3 立体匹配立体匹配 n外极线约束 l 对于两幅从不同角度获取的同一场景的图像来说 ，传统的特征点搜索方法是首先在一幅图像中选 择一个特征点，然后在第二幅图像上搜索对应的 特征点。这是一个二维搜索问题。 l 因为一幅图像上的特征点一定位于一幅图像上对 应的外极线上，因此在匹配的过程中只要求的外 极线，则在外极线上而不用在整个二维图像平面 上求解对应解，从而转化到一维搜索。 l 如果已知目标与摄像机之间的距离在某一区间内 ，则搜索范围还可以限制在外极
14、线上的一个小区 间内。23computer vision7.3 7.3 立体匹配立体匹配 n外极线约束z1z2P4 P3 P2 P1C1C224computer vision7.3 7.3 立体匹配立体匹配 n一致性约束 l 立体视觉通常有两个或两个以上摄像机组成，各 摄像机的特性一般是不同的，如果场景中对应点 处的光强相差很大时，直接进行相似性匹配，得 到的匹配值变化也会很大。 l 一般在进行匹配之前，必须对图像进行规范化处 理，设参考摄像机和其他摄像机的图像函数分别 为f0(i,j)和fk(i,j)，在mn图像窗内规范化图 像函数为：其中是图像窗内光强均值，是光强分布参数25compute
15、r vision7.3 7.3 立体匹配立体匹配 n一致性约束 l 在mn图像窗内规范化图像函数为：其中是图像窗内光强均值，是光强分布参数l 相似评价函数为差值绝对值之和（SAD）26computer vision7.3 7.3 立体匹配立体匹配n唯一性约束l 由于在任何时刻位于某一物质表面上的一个给定点在空间只占有一个唯一的位置，即一幅图像上的特征点只能与另一幅图像上的唯一一个特征点对应，所以除了极个别的情况以外，某个匹配基元只能与另一幅图象中的一个匹配基元相匹配。这样，图象中的每个匹配基元最多只能有一个视差值。 27computer vision7.3 7.3 立体匹配立体匹配n连续性约束
16、l 物体表面一般都是光滑，因此物体表面上各点在图像上的投影也是连续的，它们的视差也是连续的，例如，物体上非常接近的两点，其视差也十分接近，因为它们的深度也不会相差很大。l 连续性约束对物体边界不成立，在边界处两侧的两个点，其视差十分接近，但深度值相差很大。28computer vision7.3 7.3 立体匹配立体匹配 n边缘匹配算法步骤： |用四个不同宽度的高斯滤波其对立体图像对中的 每一幅图象进行滤波，其中前一次滤波的宽度是 下一次滤波宽度的两倍，这一过程可以反复通过 对最小的滤波其进行不断的卷积实现。 |在某一行上计算各边缘的位置。 |通过比较边缘的方向和强度粗略的进行边缘匹配 ，显然，水平边缘是无法进行匹配的。 |通过在精细尺度上进行匹配，可以得到精细的视 差估计。29computer vision7.3 7.3 立体匹配立体匹配 n区域相关性： |虽然边缘特征是图像的基本特征，但是边缘特征 往往对应着物体的边界，而物体边界的深度值一 般是不确定的； |物体边界深度值可以是物体封闭边缘的深度距离
