《数字视频客观质量评价中的空间以及时间校正》由会员分享，可在线阅读，更多相关《数字视频客观质量评价中的空间以及时间校正（4页珍藏版）》请在金锄头文库上搜索。
1、第日届京、津、沪、渝及全国城市有线电视技术研讨会论文集 - 3 0 3 - 数字视频客观质量评价中的空间以及时间校正 中国传媒大学信息工程学院N I 炜许江波李晨 摘要：图像质量的客观评价的研究已经成为图像信息工程的基础技术之一。是一项很有意义但又较难解决的研究课题。本文 主要介绍了数宇视频质量的客观评价中的空间及时间校正的一种新方法使得视频质量的客观评价的前端预处理的效率大大提 高。并详细介绍了其原理关键的创新之处以爰与传统预处理方法的对比。 美键词：视频质量评价空间校正时间校正 1概述 随着数字化的快速发展，广播电视开始走上了数字化的道路。因此，对数字电视的画面质量进行评价也成 为了当前的
2、研究课题。因为电视最终是由人来观看的，所以，人对于电视图像的质量评价，即主观评价是非常重 要的一个评价标准。但是要进行一次主观评价不仅非常耗时，而且对于环境，设备等也有许多要求。而且，对于 同样的图像不同的人的评价结果可能会不同，即评价的结果不能重复。所以，对数字视频进行客观评价越来越 受到人们的重视。与主观评价相比较，其存在着以下优点： ( 1 ) 评价的结果可以重复。 ( 2 ) 对设备以及环境要求相对较低。 ( 3 ) 消耗的时问短，成本低。 就目前来说，对数字视频的客观评价主要分为三大类：全参考评价法，半参考评价法和无参考评价法。其 中，对于全参考评价法来说，在计算的过程中需要将原始的
3、图像和经过处理的图像像素对像素的进行各种比 较，那么，就必须保证两帧图像的空间位置以及时间顺序必须完全重台。 2 空间偏移以及时问偏移的影响 如果图像的空间位置发生了偏移，那么实际进行比较的像素也就发生了错位，势必将对结果产生很大的影 响。同时，还必须保证处理后的时问说的一致，也就是说，经过处理的序列中的每一帧必须与原始序列中的每一 帧相对应。否则，将发生时间上的错位，也就是说，相比较的两帧的内容将不一致，这也将导致错误的结果。要解 决这两个问题，就要对经过处理的序列进行空间和时间上的校正，使其在空问上与原始图像重合，时间上也与 原始图像相对应。这在全参考的评价法中尤为重要，因为一个像素的偏移
4、或者一帧的丢失或者错位都会使结果 受到很大的影响。所以校正对于全参考法来说，校正的准确性无疑是最重要的。对于半参考而言，如果不进行校 正，也会对结果产生一定的影响。对无参考法来说，则没有什么影响。但是就评价的结果而言，全参考法的结果 无疑是最佳的。 3 空间校正 3 1 传统空间校正方法 首先介绍空间上的校正，目前，对于空问上的校i E - - 般的方法都是基于图像本身的内容的，也就是通过图 像内容的匹配，一般是使用最小均方差准则，来寻找最匹配的位置，从而得到图像的移动矢量。但是这种方法存 一3 眸 第田届京、律、沪、渝及全国城市有线电视技术研讨会论文集 在着一些问题，一是对于基于内容的匹配法
5、，对于图像本身的内容是有定的要求的，首先图像中必须含有丰 富的空问信息，因为空间信息丰富才能够使图像对空间偏移比较敏感。例如一幅图像是纯黑色的，那么，不管图 像怎么移动，其均方差都不会有什么区别，或者如果图像中有完全重复的内容，则有可能在两个或两个以上的 最匹配的位置。二是这种方法在对图像进行空间匹配的同时，实际上是默认的图像在时间是完全一致的，也就 是原始序列和经过处理的序列的每一帧都得相对应的。但是实际情况可能并不总是如此，尤其在实时情况下时 问上会存在延迟，也就是说，处理过的序列中的第一帧实际有可能是对应原始序列的第二帧或第三帧，那么，进 行空间校正时就可能到错误的结果，但是没有空间偏移
6、的校正，时间偏移也无法检测。因此，传统的方法无法将 这两者的依赖关系去除。三是原始图像经过处理以后，图像的内容有可能产生失真，如进行编码时。码率越低 那么失真也就越严重，而且图像的空间信息越是丰富，失真也越明显。然而失真厉害的话，无疑会对匹配结果产 生影响，这与第一个问题也产生了矛盾，如果图像的空间信息太少，则不利于匹配计算，而如果图像的空间信息 太丰富，失真又会比较严重，也会影响匹配的结果。四是使用这种方法可能还要判断图像的有效区域，因为有时 图像经过处理以后其四周即顶部与底部的几行以及最左边于最右边的几列将变为黑色。因此在进行空间偏移 的检测时不能将这些地方包含进去。所以，可见这种方法还不
7、可避免的存在着一些问题。 3 2 空间校正的新方法 本文将要介绍的空间校正的方法，也是基于内容的匹配的，但是针对上面的一些问题，做出了一些改进和 创新。首先。是用来进行空问校正的序列不再是测试序列本身，而是专门设计的空问校正序列，它是通过计算机 来生成的一组图像序列，这样的话，可以保证原始序列的每一帧在空间位置上都是完全重复的，这就消除了时 间偏移上的问题，因为每帧都完全重复，所以即使有时间的错位，也不会使空间校正受到影响，例如处理过的序 列中的第一帧实际上对应原始序列的第二帧的，但是他们的内容也还是完全一样的，在这里只要保证空间校正 序列的帧数足够多，以保证大于时间延迟的最大值就可以了，而这
8、一点也是很容易做到的。其次就是对空间校 正序列的设计，原则是：要保证其有足够丰富的空间信息以检测出空间是的偏移，但是又必须保证其经过低码 率的编码解码后。图像内容不至于受到太大的影响。 对于空间校正来说，主要的目的就是检测经过处理的图像在水平以及垂直方向移动的大小，所以，空间校 正序列的图像中最重要的就是要有水平以及垂直方向的边界，当然倾斜的或者弧形的或者其他一些形状的也 可以，但是，就大部分编码解码器的工作原理来说，如果图像中只包含水平和垂直方向的边界的话，那么经过编 码解码后图像的损伤是最小的。那么最容易想到的当然的水平方向以及垂直方向的条纹。因此，可以将校正图 像分别设计为水平方向的校正
9、图像和垂直方向的校正图像，在水平方向的校正图像中只包含垂直的边缘，所以 它不受垂直方向移动的影响。垂直方向的校正图像也是一样。那么在对测试序列进行特征提取或者是逐帧比较 前，先将校正图像序列通过要测试的设备，然后根据水平和垂直校正图像分别计算出水平和垂直方向的偏移 量。计算的准则可以使用最小均方差准则或者最小绝对差准则等。那么这个偏移量就是随后即将进行测试的图 像序列的偏移量，这是因为对于同一硬件环境( 例如编码器，解码器) 来说，其空间偏移量为一个定值，也是说说 偏移量主要与硬件有关而与图像内容无关。所以，只需要用空间检测图像进行一次计算，就可以应用与其后的 测试序列。 一般来说进行测试的序
10、列使用的都是Y U V 格式的序列，对图像进行时间和空间的校正的时候，只需要对 亮度分量进行校正即可，所以原则上可以把该校正图像设计为只包含有亮度信息，但是有时为了计算色度的增 益以及电平偏移，经常也在其中加入色度信息。因为它也可以用来进行色度的电平偏移和增益的检测以及校 正。所以一般垂直方向的校正图像为彩色的水平条纹，水平方向的校正图像则为彩色的竖直条纹。作者所设计 的检测图像为类似与标准彩条图像的灰度逐渐增加的条形图，但是因为我们这里只需要边缘信息，因此，彩条 的数量可以更少，甚至由三个灰度级构成的彩条就可以进行空间偏移的检测。在相邻的条中，采用升余弦作为 过度，这样主要是为了防止出现急剧
11、变化的边缘，以至于图像含有较多的高频分量。因为在编码过程中会要丢 弃一些高频分量，如图像本身所包含的高频分量少，那么图像经过编码所受到的损伤也就小。实验表明，将画面 分辨率为1 9 2 0 1 0 8 0 的高清晰的图像按M P E G 一2 压缩到码率为2 M 的时候，仍然可以准确检测出图像的偏移。 这种方法相对于传统的图像空间偏移检测来说。有以下的优点： 第日届京、津、沪、瀹及会国城市有线电视被术研讨备论文集 一3 0 5 一 不需要测试序列的参与，因此对测试序列没有特殊的要求，即测试结果不受测试图像内容的影响。不受时 闻偏移的影响，由于它由电脑生成，所以可以完全保证不受时间偏移的影响。另
12、外一个重要的优点的计算量大 大下降，它包含两方面，一个方面是匹配次数：如果在一个1 0 x 1 0 的窗口范围内使用全域搜索的话，用传统的方 法需要计算1 0 0 次的匹配结果，而本文的方法只需要计算2 0 次。一个是指数增加，一个是线性增加。如果要搜 索的区域增加的话，其差别也将更加明显。另一个方面是是匹配图像块的大小：一般为了得到准确的结果，用来 进行匹配的图像块一般也需要设得比较大，对于高清来说，如果选择为原始图像大小的四分之一的话，则有 9 6 0 x 5 4 0 个像素，而本文的方法中，例如在水平方向的检测中，由于检测图像在垂直方向是一样的，并且大部分 图像的像素值也都是一样的，所以
13、只需要选择垂直方向的边缘的一部分图像即可( 因为在生成图像说可以准确 的知道图像边缘的位置) 。例如选择两个长宽分别为6 4 个像素的正方形作为匹配的图像块( 如图1 所示) ，其像 素数也较前者有大大的减小，所以这里也使得计算量大大减小，并且可以保证得到更准确的结果。表l 中给出 了两种空间偏移检测方法的性能比较。 田1 基于检测图像和基于空间校正序列进行空间偏移检测的匹配块的大小 裹1 匹配块太小匹配祆皴最低适用码率 I 传统方法 3 8 4 2 8 82 l x l 51 5 M 时检测结果开始不正确 l 新方挂 6 4 x 6 4 x 22 1 + 1 5 I M 时结果仍然正确 以标
14、靖格式序列进行比较，使甩M P E G - 2 犏码蒜进行压缩，校正时的搜索的 窗口太小为2 1 x 1 5 像素，码率从6 M 剜I M ，以O5 M 为步长递减。 4 时间校正 时间的校正主要是为了使原始序列与经过处理的序列的每一帧都对应起来，使得处理过的第一帧的由原 始的第一帧产生的。时间偏移的检测是在空间校正之后进行的，因为要使用之前所介绍的空间偏移检测的结 果。时间偏移的检测也有两种方法。一种也是基于图像内容的匹配的，因为已经准确的知道了图像的空间偏移， 所以在时间偏移检测的时候就可以保证两帧图像在空间位置上是完全重合的了，然后再根据前后几帧的匹配 结果来进行判断，例如将处理过的序列
15、中的第N 帧分别与经过处理的序列中的第N M 至第N + M 帧进行匹配， 根据匹配准则计算出与原始序列第N 帧最匹配的帧，从而得到时间的偏移量。其中M 的选取必须保证大于传 输系统的延迟，否则有可能得不到最匹配的帧。同空间偏移检测一样，这里也是认为对于同一传输系统，其传输 的延迟也是一个定值。这里不仅仅只是为了简化计算，实验表明，对于延迟随时间变化的系统，如果将变化的延 迟也进行校正，即去除变化的延迟，则得到的结果比按照固定延迟计算的结果与主观评价结果的相关程度还要 低。 另一种方法就是在原始图像上添加一些附加信息来标志帧的序号，例如在图像上方添加一系列标志来表 示该帧的序号，然后在处理过的
16、序列中进行判断识别。但是由于这种方法会在一定程度上破坏原始图像的内 容，并且当压缩比例非常太的时候，有可能使得这些标志严重的失真以至于无法被正确识别，从而也就无法得 到时问延迟的结果。因此该方法在应用上受到了许多限制。 一3 0 6 一 第”届京、津、沪、渝及全国城市有线电视技术研讨会论文集 5 结束语 一般来说，图像的空间校正和时间校正主要用于全参考方法中。在半参考的评价方法中，空间校正的作用 就不显得那么明显了，尤其是对整幅图像进行特征提取的时候，所受到的影响并不是很大。而且一般半参考的 评价方法主要应用与实时的图像质量评价系统中，所以，有时候为了提高系统的实时性，甚至可以将该部分省 去。对于无参考的评价方法来说，因为没有原始的图像做比较，也就不存在空间和时间校正这个问题了。 对于主观评价来说，大部分情况下，图像发生小量的空间偏移是人眼观察不到的，但是客观评价中却可以 得到精确的结果。一直以来，人们总是追求让客观评价与主观评价的结果相一致，因为主观评价对于图像质量 来说是最权威的结果，但是，由于客观评价其本身的特点，它不应仅仅只是去逼近主观评价的
