《数字图像处理——编程框架、理论分析、实例应用和源码实现 教学课件 ppt 作者 孙兴华 2010_09_23_09 高级数字图像处理》由会员分享，可在线阅读，更多相关《数字图像处理——编程框架、理论分析、实例应用和源码实现 教学课件 ppt 作者 孙兴华 2010_09_23_09 高级数字图像处理（77页珍藏版）》请在金锄头文库上搜索。
1、高级数字图像处理,配套课件 数字图像处理 编程框架、理论分析、实例应用和源码实现,数字图像处理,1,高级数字图像处理,数字图像处理技术不断发展的方向可以分为三种类型： 将二维图像技术应用于三维视频任务，这里更多的是要利用不同图像帧之间的时基相关性； 内容上的扩展 光流分析 对原有的数字图像处理思路进行反思，从不同或者甚至是相反的思路来分析相同的图像处理问题； 技术上的扩展 兴趣点的技术 将现有的数字图像处理技术应用于不同的领域，并结合具体的领域先验知识来进一步推动图像技术的发展。 应用上的扩展 基于内容的图像检索,数字图像处理,2,光流分析,光流反映了在可视场景中物体、平面或边缘的外观运动模式
2、，由观察者（眼睛或者摄像头）和场景之间的相对运动所造成的。,数字图像处理,3,基于特征的方法,基于梯度的方法,基于相关性的方法,Horn & Schunck算法,Lucas & Kanade算法,多尺度匹配算法,基于特征的方法,首先寻找特征（例如为图像边缘、角点和其它在二维空间容易定位的结构），然后在帧与帧之间进行跟踪。 一般涉及两个阶段。 首先，在两个或者更多连续帧图像之间进行特征搜索。 大多数过去用于光流寻找的边缘检测方法，要么是关于在图像的一阶导数中寻找最大值，要么是关于在图像的二阶导数（例如LOG - Laplacian of Gaussian）中寻找过零点。 基于二维特征检测的光流方
3、法（这里也可以称为角点）具有如下的优点，就是在每一个测量的位置上光流的全部信息都是可以知道的。 其次，进行帧与帧之间的特征匹配。,数字图像处理,4,基于梯度的方法,基于梯度的方法使用空间和时间上的偏导数或者相关函数在图像中的每一个位置上估算光流。 可以说，关于光流最为著名的工作可能是源自于Horn和Schunk的论文。 亮度变化约束方程，其数学描述为 + + =0， 其中(,)是图像亮度函数。 如果使用光流 = , 来代替 和 ，那么亮度变化约束方程就可以表示为更为简短的形式，即 . = ， 其中= ， 是单位向量。,数字图像处理,5,Horn和Schunk算法,亮度变化约束方程本身是不能确定
4、光流的，其只是给出了光流在亮度梯度方向上的分量信息。 通过使得如下公式的最小化来求取约束条件，其中前一项表示平滑性，后一项表示亮度变化约束，整个公式表示这两项的加权和，具体数学描述为： 2 + 2 + 2 + 2 + . + over image 。 对于Horn和Schunk算法，存在两个主要的问题。 第一，亮度变化约束方程只是在图像的局部区域很好的满足条件，此区域要求具有高梯度信息。 第二，在光流的不连续处光流信息将会被平滑，这就会导致不精确的光流估算。,数字图像处理,6,基于相关性的方法,在图像序列中，前一帧图像的部分区域与后一帧图像的部分区域之间的相关性可以用来进行光流估算 通常情况下
5、只是作为光流估算算法的一部分进行使用，而不是作为单独的一个方法进行处理。 结合基于梯度的方法，基于相关性的光流可以在图像的特征点处达到最好的条件满足。 可以在图像多尺度上使用相关性进行光流寻找，以处理在图像序列中出现多个运动的情况。 更多的情况下，相关性被用于辅助进行图像特征的匹配，或者是在特征被确定的情况下进行图像运动的搜寻。,数字图像处理,7,Horn & Schunck算法,数字图像处理,8,问题领域约束,条件约束,平滑性约束,偏导数估算,光流速度的拉普拉斯数值估计,最小化,约束后的最小化,迭代解决,条件约束,当模式移动时所要发生的情况。在模式中一个特定点的亮度保持恒定，那么就有 d d
6、 =0。 根据微分的连锁准则，有 d d + d d + =0。 如果假设= d d 和= d d ，那么就很容易得到一个带有两个未知参数和的线性方程，即 + + =0， 其中 ， 和 分别为图像亮度关于，和的偏导数。,数字图像处理,9,平滑性约束,一种表示额外约束条件的途径就是使得光流速度的梯度幅值的平方最小，即包括 2 + 2 和 2 + 2 。 另外一个关于光流场平滑性的度量为光流和分量的拉普拉斯数值的平方和。 和的拉普拉斯数值可以定义为 2 = 2 2 + 2 2 和 2 = 2 2 + 2 2 。 在简单的情况下，两个拉普拉斯数值都为零。 一个基于平滑性约束的算法很可能在遮挡的边缘部
7、分遇到困难。,数字图像处理,10,偏导数估算,根据由八个度量所组成的立方体来进行一个点 ， 和 的估计，其中每个估计是四个一阶差分的平均，每个差分的计算则是基于立方体中相邻度量之上的，具体公式如下 1 4 ,+1, , + +1,+1, +1, + ,+1,+1 ,+1 + +1,+1,+1 +1,+1 ， 1 4 +1, , + +1,+1, ,+1, + +1,+1 ,+1 + +1,+1,+1 ,+1,+1 ， 1 4 ,+1 , + +1,+1 +1, + ,+1,+1 ,+1, + +1,+1,+1 +1,+1, ， 其中，长度单位是每帧图像中网格之间的间隔，时间单位是图像帧采样的周
8、期。,数字图像处理,11,光流速度的拉普拉斯数值估计,估算和的拉普拉斯数值，一种近似的计算公式为 2 = , , 和 2 = , , ， 其中局部均值 和 的定义如下 , = 1 6 1, + ,+1, + +1, + ,1, + 1 12 1,1, + 1,+1, + +1,+1, + +1,1, ， , = 1 6 1, + ,+1, + +1, + ,1, + 1 12 1,1, + 1,+1, + +1,+1, + +1,1, 。 比例因子可以取值为3，并且这里再次假设长度单位是每帧图像中网格之间的间隔。,数字图像处理,12,最小化,使得如下方程中的误差和最小，一是用于图像亮度的变化率
9、， = + + ， 二是用于速度流中平滑性的偏差度量， c 2 = 2 + 2 + 2 + 2 。 实际上，图像亮度度量会受到量化误差和噪声的损害，以至于不可能期望 会等于零。 使用 2 表示要进行最小化的总误差，其数学描述为 2 = 2 2 + 2 dd 。,数字图像处理,13,约束后的最小化,如果允许 2 趋向于零，那么就可以得到约束后的最小化问题的解。 应用拉格朗日乘子方法，以使得 2 最小化并维持 =0，就有 2 = 2 ， + + =0。 使用点速度差分和邻域均值来近似拉普拉斯数值，就得到 2 + 2 = + + ， 2 + 2 = + + 。,数字图像处理,14,迭代解决,可以从所
10、估算的导数和前面速度 , 的估算均值来计算新的速度估算集合 +1 , +1 ，具体计算公式为 +1 = + + 2 + 2 + 2 +1 = + + 2 + 2 + 2 。 一个实际的问题就是选择怎么随着时间步骤进行交叉迭代。 一方面，可以对一帧图像进行反复迭代直至取得稳定的结果，然后再前进至下一帧图像。 另一方面，在给定一个好的初始估值的基础上，对每一个时间步骤只进行一次迭代。,数字图像处理,15,Horn & Schunck算法,数字图像处理,16,Lucas & Kanade算法,在计算机视觉领域中，Lucas & Kanade算法是用于光流估算的两帧差分方法，由Bruce D. Luc
11、as和Takeo Kanade所提出来的。 应该说，Lucas & Kanade算法目前仍然属于最为流行的用于光流估算的两帧差分方法之一。 当应用于诸如立体匹配等图像配准问题，或者带有很大位移的图像，Lucas & Kanade算法通常使用由粗到细的迭代方式来进行。 也就是说，在一个尺度空间（或金字塔）中首先在粗尺度上计算空间导数，并根据所计算的形变矩阵进行图像卷积操作，然后在连续的细尺度上进行迭代更新计算。 Lucas & Kanade算法的特点是不能够产生很高密度的光流向量，不过对噪声相对比较鲁棒。,数字图像处理,17,Lucas & Kanade算法,数字图像处理,18,用于光流分析的特征窗口的选取,Lucas & Kanade算法,数字图像处理,19,多尺度块匹配算法,基于块的运动模型假设图像是由运动的块构成，最简单的就是平移的块形式，其限制每一个块作单纯的平移运动。 块匹配的基本思想就是，帧（当前帧）中的像素 , 的位移通过考虑一个中心定位在 , 的 1 2 块，搜索帧+（搜索帧）来找出同样大小的最佳匹配块（具有最小匹配误差）的位置来确定。 寻找最佳匹配块需要在每一个像素 , 所有可能的候选位移矢量(,) 上计算匹配误差函数，这可以通过
