(计算机视觉)第7章运动视觉

《(计算机视觉)第7章运动视觉》由会员分享，可在线阅读，更多相关《(计算机视觉)第7章运动视觉（30页珍藏版）》请在金锄头文库上搜索。

1、130第七章运动视觉7.1 概述7.2 视觉运动的检测和测量7.2.1 以灰度为基础的方法(1) 速度场和光流(2) 光流(3) 光流的估算7.2.2 基于过零点的方法7.2.3 基于特征的运动检测方法7.3 运动理解7.3.1 基于光流的运动理解7.3.2 基于特征的运动理解7.3.3 根据图象流动力学恢复表面结构和三维运动7.3.4 基于光流的代数法恢复运动参数和景物深度 Tek 967.1 概述 Ull 79对运动的分析在生理系统中占位置。甚至在简单的动物身上都存在着复杂的观察、跟踪和利用运动的功能。例如，青蛙可以有效地探测小飞虫。这样的动物可有选择地对在视场中运动着的小的、深色的物体进

2、行跟踪。家蝇可以跟踪运动物体和发现目标跟背景之间的相对运动，甚至当物体与背景在纹理上相同，因此如果没有相对运动是区分不开的情况下也是这样的。在高等动物包括灵长目动物中，运动的分析从早期视觉处理阶段开始就渗透到视觉系统中。某些生物，例如鸽子和免子在视网膜的水平上完成基本运动分析。在其他动物，包括猫和灵长目动物，视觉皮层中从眼睛接受输入的第一个神经里已经涉及到运动的分析：这些神经对沿某一方向运动的刺激反应很灵敏，但对沿相反方向的运动却反应很小，或根本不反应。运动视觉在生理系统中占主要地位不令人奇怪的，因为运动揭示了关于环境的有价值的信息。本章的研究任务是根据运动发现结构和解释由运动所产生的光流场。

3、对生理系统运动视觉的研究将有助于时变图象的计算机分析算法的研究。反之，对时变图象解释的研究可以深化对一般原理的理解，这些理解可增进我们对生理视觉系统的理解。时变图象分析的基本计算问题可分成两大类：运动的检测和测量，以及视觉运动的解释。7.1.1 运动探测和测量图象中基元和区域的运动不是直接给出的，而是必须根据基本量测来计算得到。由眼睛或由电子成象系统记录的时变图象可描述为随时间变化的亮度值 的二维阵列。Exyt,图象中的运动可用速度场 来表示。 给出某一时刻 ，在图象中Vxyt,Vxyt,处点的运动速度和方向。 是由原始的测量直接得到的，而 不是xy, E, Vt,这样。因此，分析运动中的第一

4、个问题是根据 计算 。这些计算是视觉t,t,运动的量测。在某些情况下，只要检测速度场 的某些特性就足够了，而不要完全和精确xyt,的量测。例如，当希望迅速地对运动物体作出响应时，在这种情况下必须检测运动，但不需要测量。但是，从这里讨论问题的分类来说这两个问题都重要。当研究深入时，这些问题将被证明比原来所预计的更为困难。因此，对有效和可靠的测量方法的研究是对时变图象分析方面的重要研究邻域。1311. 离散和连续运动对由人类视觉系统进行的运动检测和测量的心理学研究确定了两种类型的运动：离散的和连续的。对感觉运动的观察者来说，刺激物不一定要连续地移过视场。选择合适的空间和时间显示参数，可以给出对顺序

5、刺激的平滑、不中断运动的印象。视觉系统可以填补离散显示之间的间隙，甚至当刺激物相隔几度视觉角，和长的时间间隔（400ms）也是这样。所得到的运动，叫做表观的（apperant）或运动，从感觉来说跟连续运动无法区分。此外填入的位置可为以后的处理，例如立体视觉所利用。表观运动机理在人类和低等运动物中都是天生的。表观运动现象引起了离散和连续运动是由相同的还是由分别的机理所记录的问题。视觉系统可以记录两种类型运动的事实不一定意味着分别的实现机理，因为从原理上来说一个记录离散运动的系统可以记录连续运动。最近的心理物理学方面的证据支持存在两种机理。Braddick Bra 74提出把这两种机理叫做短范围和

6、长范围（short range and long range）。短范围机理测量连续运动或大约 15 弧分（在视场中心）（minute of are）和小于大约 60100 msec 时间间隔的离散运动。长范围机理处理比较大的位移和时间间隔。这样的术语比用离散连续这样的分类法更好些，因为大到 15 分的视觉弧度跳变的离散显示是由短范围机理来处理的。这样的两个系统之间存在着比它们的范围差别更为基本的差别。它们似乎是根据不同的运动基元，在不同处理阶段进行各自的运动量测。在量测运动中，对这两种主要的处理方案进行区别是有益的。在最低层，运动量测是直接以灰度值的局部变化为基础，这称为以灰度为基础的方案。另

7、外还有一种可能是首先识别象边缘、线、斑点或区域这样的特征，然后通过在时间和位置的变化范围内匹配这些特征来进行检测，这种类型的方案被称为标记匹配方案（token-matching schemes）。在人类视觉系统中，似乎短范围过程是以灰度为基础的方案，长范围过程是标记匹配方案。这两种运动检测和测量方式将产生不同的计算问题，并且随之在生理系统和计算机视觉系统中产生不同种类的过程。2. 以灰度为基础的方案已经提出了几种在生理系统中的以灰度为基础的运动测量方案。这些方案可分成两个主要类型：相关技术和梯度方法。(1) 相关方案通过把在两个相邻位置处光增量检测器的输出作比较可构成简单的运动检测器。在位置

8、和时间 的输出跟位置 在时间 的输出相比较。这种方法称为延迟比较方案，p1t1p2t该方案的两种变种已经提出来作为生理系统的模型。按第一种模型，生理系统把两个值相乘，也即 ，其中 表示为单元（subunit）的输出（图 7.1）。如果Dt, D一个光点由 点在时间 内移到 ，这样在 点处造成光线增加的 时间后，造成了21p2t点处光线的增加。因此，上述乘积是正的。在这样的检测器阵列中，平均输出本质上等p1于输入的交叉相关（cross-correlation）。这种模型可成功地描述各种昆虫对在它们视场中的运动所作的反应。132p1p12 2(b)(a)X ANDNotdelaydelay图 7.

9、1 延 迟 比 较 运 动 检 测 方 案P1和 P2是 对 光 点 瞬 时 作 出 响 应 的 检 测 器(a) 对 以 合 适 的 速 度 向 左 移 动 的 光 点 ， P1和 P2的 响 应 相 重 合 ，在 组 合 单 元 处 产 生 正 的 输 出 ； (b) 禁 止 方 案 ， 对 从 P2和 P1的 运动 不 产 生 响 应 ， 因 为 P2从 的 延 迟 响 应 抵 消 了 来 自 1的 响 应 。另一种比较简单的方法是 And-Not 方法，这是由 Barlow 和 Levick 针对在兔子视觉皮层中有方向选择性单元所提出的模型，这也是 Emerso 和 Gerstein

10、针对猫的视觉皮层提出的模型。这些单元被称为方向选择性，因为这些单元对沿所谓的优先方向运动的刺激物的反应要比对沿相反方向运动的刺激物的反应强烈得多。因为 Barlow 和 Levick 发现了方向选择性机理之间固有的相互影响的证据，他们提出一种模型，按这种模型运动检测器计算和 “Not” 的“And”（图 7.1(b)）。按这种方案，从 到 的运动由tpD,1t,2 p21于来自 的响应被延迟而被禁止，而从 到 的运动产生一个正的响应。p12Torre 和 Reichardt 对家蝇的视觉系统提出一种相似的方案，按这种方案，用低通时间滤波代替延迟。Torre 和 poggio 描述了一种实现这种

11、计算的很巧妙的触突（synaptie mechanism）机理。延迟比较的某些通用特性值得加以注意。第一，这些检测器不仅有选择地对连续运动作出响应,而且对在 位置和 位置之间刺激物的跳跃也作出响应；其次,这样的检测器有p12一些明显的局限性，例如,运动的速度必须在某个由延迟(或低通滤波) 接收器的分离距离决定的范围之内；最后，单个这种类型的检测器的输出不能可靠地决定运动测量。例如，在有许多运动物体的视场里，如果在 点的检测器由一个运动物体所激发，而在 处的检p1 p2测器又由另一个物体所激发，这种类型的运动检测器就会错误动作。为了得到准确可靠的运动测量，来自这样检测器阵列的输出应被组合在一起。

12、另外的相关技术，例如利用原始灰度值上的交叉相关，已被作为人类视觉系统中的运动测量模型提出来。Anstis 提一种相减的方法，按这种方法把两帧相继图象移位相减，所得图象中的减小点就标志偏离（displacement）。一般来说，还没有得到关于生理上实现这样技术的模型的描述。似乎还没有很有说服力的证据说明在人类视觉系统中存在这样的模型。(2) 梯度方案（gradient schemes）最近一种用于生理系统运动检测和量测运动的梯度方案，它被作为单个皮层细胞进行运动分析的模型。这些在猫和猴子的主要视觉皮层（perennial visual cortex）中发现的细胞有选择地对边缘和光带（Bar of

13、 light）作出响应。这些细胞对方位，并且经常对运动的方向也是有选择性的。这就是说，要激发这样的单元，刺激物必须具有这种单元所选择的方位，并且必须沿所选择的方向运动。因此对这种简单细胞的结构和功能的分析揭示了视觉运动的早期检测和测量的机理。这些机理可被用于计算机视觉系统。为了理解简单细胞的作用，我们需要粗略地描述视网膜对图象的处理。(3) 视网膜对图象的处理133视网膜结构主要完成两个功能。第一个是把进入的光线记录在对光敏感的光接收器阵列上。第二，所记录的图象完成初始的转换。所转换的图象从最后的视网膜细胞层（神经节细胞层）沿着大约上百万的神经纤维送到 LGN（外侧膝状体），并从 LGN 送到

14、视觉皮层。如前所述，视网膜对图象 I 进行 运算， 是高斯函数。运算后结果中的过dxGI2零点对应于原始图象中灰度急剧变化处，利用附加的子单元可确定过零点的运动。设 Z 表示过零点当前的位置。从图 7.2 可看到，如果过零点向右运动，在位置 Z 的卷积值就增加；如果过零点向左运动，这个值就减小。因此，通过检查卷积对时间的导数的符号就可以明确地确定运动的方向。图 7.2按这种方案，运动可由过零点的斜率和时间导数来确定，因此，这是以灰度为基础的方案，它不要求在时间域上作元素的匹配。在相反方向上的运动是由另外的单元来检测的。这样的一个关于人类视觉的观点得到心理物理学证据的支持。利用这种方案，可以将过

15、零点轮廓用于运动量测。然而，由于图 7.3 中所示的孔径问题，以纯粹的局部测量为基础既不可能完全地确定轮廓的运动，也不可能完全地确定任何其他线性特性。如果是由跟轮廓相比较小的单元来检测运动，可以抽取的唯一信息是垂直于局部边缘方向的运动分量。沿边缘的运动是感觉不到的。要完全地确定运动，在第二阶段必须组合局部量测，或者在局部邻域中沿着轮廓检测。(4) 计算机视觉中的以灰度为基础的技术已经提出了许多用于计算机视觉系统的以灰度为基础的运动检测和测量的方案。其中一个方案是用于测量图象对中运动的灰度交叉相关技术。例如，这种技术可用于根据卫星图象数据测量云层的运动，以及用于交通控制和用于 SLR 图象的比较

16、。已提出一种基于比较小的图象区域上灰度分布的方案。图象相减的方法已被用于运动和变化探测以及用于运动测量。大多数交叉相关法和相减法的基本问题是这些方法假设图象（或大部分图象）是作为整体在两帧图象之间运动。包含独立运动物体的图象以及由物体在空间无限制地运动引入的图象畸变造成了这些技术的困难。134CBAE图 7.3 孔 径 问 题孔 径 比 运 动 的 轮 廓 小 时 ， 不 能 唯 一 地 确 定 运 动 方 法 ， 从 对 孔径 A观 察 不 可 能 确 定 边 缘 是 朝 B方 向 还 是 朝 C方 向 运 动 。(5) 计算机视觉系统中的梯度方法这些方法都基于在给定点上的灰度梯度和在这些点当灰度图案运动时引入的灰度随时间变化之间关系。如果 表示图象中的光强，那么Exy, vEudtyx其中 是在位置 处灰度随时间的变化； 表示在这个图象点的灰度dt, xy和梯度； 是沿 方向的局部速度。uv,xy和梯度方法和过零点方法在几个方面是相似的。这两种方法都利