《数字视频图像处理与通信教学作者刘富强王新红宋春林陈康力第6章节视频分割理论与方法课件》由会员分享，可在线阅读，更多相关《数字视频图像处理与通信教学作者刘富强王新红宋春林陈康力第6章节视频分割理论与方法课件（75页珍藏版）》请在金锄头文库上搜索。
1、第6章视频分割理论与方法,目录,6.1 视频分割的相关概念 6.2 视频分割的基本理论 6.3 视频分割技术 6.4 视频分割算法的性能评价标准,发展背景,1999年，运动图像专家组（Moving Pictures Experts Group，MPEG）公布了基于对象的多媒体数据压缩编码标准MPEG-4，次年，MPEG-4成为国际标准。 要实现该标准所提出的面向对象的压缩、检索和编辑等交互操作，首先必须能够精确地获取视频对象，这就需要对视频对象分割提取技术进行深入研究。因此，视频对象分割技术成为多媒体领域的研究热点,6.1 视频分割的相关概念,6.1.1 视频分割的定义 6.1.2 视频分割的
2、研究和应用现状,6.1.1 视频分割的定义,从语义信息的角度分析，视频是由大量场景组成的，每个场景由一个或多个镜头组成，而镜头是由一系列的帧组成的，如图所示。,6.1.1 视频分割的定义,视频对象分割就是把视频序列中（通常是一个镜头）人们感兴趣的或者具有某种重要特性的一个或多个视频对象从视频场景中提取出来。这些对象通常在某些方面具有属性的相似性，如亮度、色彩、纹理及运动特征等。 在MPEG-4标准中，视频对象分割又称为视频对象平面分割，即将每个视频帧都分割成若干个视频对象平面（Video Object Plane，VOP）,6.1.2 视频分割的研究和应用现状,1. 视频分割技术在视频监控方面
3、的应用 视频监控技术极大地改变了人们的工作和生活方式，提高了相关领域的自动化程度，在工作效率、资源利用及安全性方面发挥了重要作用。 1）公路智能交通系统 2）轨道交通系统 3）视频监控系统,6.1.2 视频分割的研究和应用现状,2.视频分割技术在视频编码领域方面的研究 为了表示用户感兴趣的区域 ，MPEG-4标准提出了视频对象的概念，其编码是基于对象的，由此，对比特率控制可以基于对象。 为了实现高效压缩，每个视频对象用三类信息来描述：运动信息、形状信息、纹理信息，再根据这些信息完成视频的编码和解码。,6.1.2 视频分割的研究和应用现状,MPEG-4在编码过程中针对不同的视频对象采用不同的编码
4、策略，即对前景视频对象的压缩编码尽可能保留其细节和平滑，对背景视频对象采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼接而成 。 （1）形状编码 （2）运动编码 （3）纹理编码,MPEG-4对象及编码结构,6.1.2 视频分割的研究和应用现状,3. MPEG-4的视频解码结构 MPEG-4的解码结构也是基于对象的形状、运动和纹理信息的。,6.1.2 视频分割的研究和应用现状,4.视频对象分割技术的研究 目前国内外在研究视频处理方面有多种研究思路，均沿着对视频内容的语义理解的方向进行 在视频分割算法领域中，大多数算法采用时空联合分割。 早期的视频研究主要集中在使用视频特征对视频进行分割
5、、分类和归纳。近几年来，视频研究人员已经意识到音频特征在视频内容语义分析中是非常重要的。,6.2 视频分割的基本理论,6.2.1 视频分割的框架 6.2.2 视频对象分割方法的分类,6.2.1 视频分割的框架,在MPEG-4的早期阶段，MPEG试图为视频序列中的运动对象分割制定一种标准算法框架。一种时空联合分割方案被采纳为MPEG-4的自动视频对象分割工具，该方案包含三个基本算法：时域分割算法、空间域分割算法和时空联合分割算法。 时域分割算法主要用来检测和分割物体的运动边缘，空间域分割算法利用特定的判决原则将图像分割成区域集合，时空联合分割算法结合了时域分割和空间域分割的优点，算法框架如图所示
6、,6.2.1 视频分割的框架,6.2.2 视频对象分割方法的分类,视频对象的分割方法繁多，其分类方法各异，大多数分类方法是模糊的或不完整的。常见的分类方法有如下几种： 1.按照是否需要人工参与分割过程 2.根据视频分割过程中所利用信息的不同 3.根据视频是否以压缩形式提供 4.根据用途不同,6.3视频分割技术,6.3.1 空间域分割技术 6.3.2 时域分割技术 6.3.3 时空联合分割技术,6.3.1 空间域分割技术,空间域分割可以在某种程度上认为是视频帧内的分割，即图像分割。基于空间域的分割技术主要利用图像本身的纹理、颜色等信息将图像分割为有意义的区域集合，这些区域之间通常具有明显的边界。
7、 分水岭算法是一种基于数学形态学的图像分割算法，也是一种基于区域的图像分割方法。,1.分水岭的概念,分水岭的概念是以对图像进行三维可视化处理为基础的，其中两维是坐标，另一个是灰度级。对于这样一种“地形学”的解释，我们考虑三类点： 1）属于局部性最小值的点。 2）当一滴水放在某点的位置上的时候，水一定会下落到一个单一的最小值点。 3）当水处在某个点的位置上时，水会等概率地流向不止一个这样的最小值点。 对一个特定的区域最小值，满足条件2）的点的集合称为这个最小值的“汇水盆地”。满足条件3）的点的集合组成地形表面的峰线，称为“分割线”或“分水线”。,1.分水岭的概念,分水岭算法的思想：,a）原图像
8、b）地形俯视图,1.分水岭的概念,c）被水淹没的第一个阶段 d）被水淹没的第二个阶段,1.分水岭的概念,e）进一步淹没的结果 f）汇水盆地的水开始聚合,1.分水岭的概念,g）长一些的水坝 h）最后的分水线,2.水坝构造,水坝的构造是以二值图像为基础的，这种图像属于二维整数空间Z2。构造水坝点的最简单的方法是使用形态膨胀。,a)淹没的第n-1个阶段汇水盆地的两个部分 b)淹没的第n阶段,2.水坝构造,c)用于膨胀的结构元素 d)扩展的结果和水坝的构造,3.分水岭分割算法,令 为表示图像 的局部最小值点的坐标的集合。令 为一个点的坐标的集合，这些点位于与局部最小值 （汇水盆地内的点组成一个连通分量
9、）相联系的汇水盆地内。符号min和max代表的最小值和最大值。最后，令 表示坐标 的集合 在几何上， 是 中的点的坐标集合，集合中的点均位于平面 的下方。,3.分水岭分割算法,随着水位以整数量从n=min+1到n=max+1不断增加，图像中的地形会被水漫过。在水位漫过地形的过程中的每一阶段，算法都需要知道处在水位之下的点的数目。从概念上来说，假设Tn中的坐标处在g(x,y)=n平面之下，并被“标记”为黑色，所有其他的坐标被标记为白色。然后，当在水位以任意增量n增加的时候，从上向下观察xy平面，会看到一幅二值图像。在图像中黑色点对应于函数中低于平面g(x,y)=n的点。,3.分水岭分割算法,令
10、表示汇水盆地中点的坐标的集合。这个盆地与在第n阶段被淹没的最小值有关。参考前一段的讨论， 也可以被看做由下式给出的二值图像： 换句话说，如果 且 ，则在位置 有 。否则 。对于这个结果几何上的解释是很简单的，只需在水溢出的第n个阶段使用“与”算子将 Tn中的二值图像分离出来即可。 Tn是与局部最小值 Mi相联系的集合,3.分水岭分割算法,接下来，令Cn表示在第n个阶段汇水盆地被水淹没的部分的合集 然后令Cmax+1为所有汇水盆地的合集 可以看出处于 CnMi和 Tn中的元素在算法执行期间是不会被替换的，而且这两个集合中的元素的数目与n保持同步增长。因此， Cn-1是集合Cn 的子集。根据式（6
11、-2）和式（6-3）， Cn是Tn的子集，所以， Cn-1是Tn的子集。从这个结论可得出重要的结果：Cn-1中的每个连通分量都恰好是Tn的一个连通分量。,3.分水岭分割算法,构造分水线的算法开始时设定Cmin+1=Tmin+1 。然后算法进入递归调用，假设在第n步时，已经构造了Cn-1 ，根据Cn-1求得Cn的过程如下：令Q代表Tn中连通分量的集合。然后，对于每个连通分量 ，有下列三种可能性： 1） 为空。 2） 包含Cn-1中的一个连通分量。 3） 包含Cn-1多于一个的连通分量。,3.分水岭分割算法,根据Cn-1构造Cn取决于这三个条件。当遇到一个新的最小值时符合条件1），则将q并入Cn-
12、1构成Cn。当q位于某些局部最小值构成的汇水盆地中时，符合条件2），此时将q合并入Cn-1构成Cn。当遇到全部或部分分离两个或更多汇水盆地的山脊线时，符合条件3）。进一步的注水会导致不同盆地的水聚合在一起，从而使水位趋于一致。因此，必须在q内建立一座水坝（如果涉及多个盆地就要建立多座水坝）以阻止盆地内的水溢出。正如前一节中的解释，当用33个1的结构元素膨胀 并且需要将这种膨胀限制在q内时，一条一个像素宽的水坝是能够构造出来的。,3.分水岭分割算法,通过使用与中存在的灰度级值相对应的n值，可以改善算法效率；根据的直方图，可以确定这些值及其最小值和最大值。,4.应用标记,直接使用前一节中讨论的形式
13、使用分水岭分割算法通常会由于噪声和其他诸如梯度的局部不规则性的影响造成过度分割。如图所示,a)电泳现象的图像 b)使用分水岭分割算法得到的结果（过度分割）,4.应用标记,一个较实际的解决方案是通过合并预处理步骤来限制允许存在的区域的数目，这些预处理步骤是为将附加知识应用于分割过程而设置的。 用于控制过度分割的方法是以标记的概念为基础的。一个标记是属于一幅图像的连通分量。我们有与重要对象相联系的内部标记，还有同背景相联系的外部标记。,4.应用标记,选择标记的典型过程包括两个主要步骤：1预处理；2定义一个所有标记必须满足的准则集合。 过度分割结果的一部分原因是大量隐含的最小值。由于这些区域的尺寸很
14、小，所以这些最小值中有很多是不相关的细节。将很小的细节对于图像的影响降至最低的有效方法是用一个平滑滤波器对图像进行过滤。在这种特殊情况下，这是一种合适的预处理方案。,4.应用标记,假设在此时将内部标记定义为： 1）被更高“海拔”点包围起来的区域。 2）区域中的点组成一个连通分量。 3）所有属于这个连通分量的点具有相同的灰度级值。,a)显示有内部标记（浅灰色区域） 和外部标记（分水线）的图像,b)分割的结果,6.3.2 时域分割技术,时域分割利用了帧间信息，判断哪些像素发生了变化或者属于哪个对象，并通过标记或掩模的方式表现出来。 时域分割的方法主要有变化检测、运动估计、光流法等。绝大部分的视频序
15、列时域分割技术都是在此基础上发展演化而来的。,1.帧间差分的变化检测,帧间差分法是时域中检测运动对象的基本方法，通过直接或间接采用帧间差分法可以消除视频数据的帧间冗余信息，提取变化检测掩模（Change Detection Mask）。 基本原理：通过检测前、后帧之间的帧差，从而把当前视频分割成相对于参考帧“变化的”和“未变化的”区域。 具体运用：比较灵活，如常用的两帧绝对差分、三帧对称差分和多帧差分等。,1.帧间差分的变化检测,假设表示第k帧图像，表示第k+1帧图像，则前、后帧之间的偏移帧差（Displaced Frame Difference）为 在理想情况下，不等于零的点的位置代表“变化”区域，然而由于噪声的存在，这种情况很少存在，为此，可以用以下方式计算变化检测掩膜：其中，T为阈值。,=,1.帧间差分的变化检测,利用帧间差分法进行变化检测虽然原理较为简单，但还存在以下几个困难： 1）阈值的选取是至关重要的，但目前还没有一个通用的方法 2）变化检测对于某些视频序列是无能为力的，如纹理不够充分、某些帧对象存在运动而另外一些帧没有运动的序列
