2022年陈晓培H技术分析方案

《2022年陈晓培H技术分析方案》由会员分享，可在线阅读，更多相关《2022年陈晓培H技术分析方案（36页珍藏版）》请在金锄头文库上搜索。

1、1 / 36 H.264 视频编码多媒体报告1.H.264视频编码背景：在同等的图像质量下，H.264 的数据压缩比是MPEG-4 的 1.5-2倍，而且在网络传输中其需要更少的带宽，大概只需1Mbps-2Mbps的传输速率，且最近推出的H.265 标准更比H.264 先进，所需带宽仅为 H.264 的 1/2。H.264 标准采用的是更为有效的编码方法，模式选择都是自适应的，如预测模式编码模式率失真判断，滤波也采用BS 判断滤波强度，选择最适合的模式。变换编码也应用整数变换。多方面的算法优化，使编码的压缩效率更高，但是处理的复杂度很高，故在处理计算方面，H.264 标准也才用优化的运算处理方

2、法，如计算中也避免复杂运算：如将除法转化为移位，一维DCT 变换采用蝶形算法。同时在传输中，H.264 采用的分层结构与片的思想，以及 SP与 SI 帧的技术，即使在极差的网络误码，丢包率高）也能很好的重建解码图像。总体来说，H.264 标准的效率和可靠性都是很高，特别是其网络亲和力。输入格式： 采用 4:2:0 的 Y:Cr:Cb 格式也就是说，亮度像素的水平和垂直分辨率都只有色度像素的一半）图像类型： 每个帧都被编码为I 或 P帧。一个 I 帧只包含帧内编码宏块，而 P帧则包含帧内也包含帧间编码宏块。运动预测和补偿： 在 16*16 或任意） 8*8 宏块中实现，运动矢量的精度可以达到1/

3、4像素分辨率。变换编码： 运动补偿残差值用DCT 编码，量化，之字形扫描并精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 1 页，共 36 页2 / 36 用游程编码。变长编码： 对变换系数进行游程编码，用头信息和运动矢量用变长编码进行编码。每个非零变换系数被编码为游程run）,大小level）和结束 结束用于标志是否为块中最后一个非零系数）图像层： 语法的最高层包含一个完整的编码图像。包含图像头信息及图像的分辨率，编码图像的类型帧内或帧间），时域参考场。这标志着解码器能够正确的显示时间相对于其他的编码图像），并帮助确定这个图像不会太迟也不会太早显

4、示。块组层： 一组块GOB）早 SQCIF,QCIF和 CIF 图像格式时包含了一个完整的宏块行 在 4CIF 图像中国为两行，在16CIF 图像中为4 行）。可选的GOB 头被插入到比特流中，解码器出现错误时能够在 GOB 开始的地方重新同步。宏块层： 一个宏块包含四个亮度块和两个色度块。宏块头包含宏块类型的信息，编码模式表示六个块中国的哪一个包含变换系数），编码水平和垂直的运动矢量对于帧间编码宏块）。块层： 一个块包含与 8*8 开采用数据想对应的游程编码系数。编码器的核心： 被设计用于编码低比特率系数。H.264 档次和级：（1）基本档次：利用I 片和 P 片支持帧内和帧间编码，支持利用

5、基于上下文的自适应的变长编码进行的熵编码CAVLC ）。主要可用于可视电话，会议电视，无线通信等实时视频通信。（2）主要档次：支持隔行视频，采用B 片的帧间编码和采用加精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 2 页，共 36 页3 / 36 权预测的帧间编码；支持利用基于上下文的自适应的算术边按摩CABAC ）。主要用于数字广播电视与数字视频存储。（3）扩展档次：支持码流之间有效的切换SP 和 SI 片），改进误码性能 数据分割），但不支持隔行视频和CABAC 。H.264 主要目标：(1)得到高的视频压缩比，与H.263，MPEG-4 相

6、比，视频压缩比提高一倍。(2)具有良好的网络亲和性，即适用于各种传输网络。2.整体框架取样 原始图像）预测预处理，帧间或者帧内）变换编码网络传送 节省带宽和存储空间）熵解码重排序反量化IDCT ）运动补偿，可延迟帧存储器环路滤波器图像输出参考图像）注释：取样到熵编码 编码）是在 A/D 变换器中进行，反量化到图像输出解码）是在 D/A 变换器中进行。预测编码和变换编码是在视频信源编码器中进行的，熵编码是在视频复合编码器中进行，熵编码后的码流在经过传输缓冲器和码率控制器以及传输编码器。传输缓冲器和码率控制器用于保证输出码流尽可能稳定，而传输编码器是用于视频数据的误码检检测和纠正。视频数据 摄像机

7、，在视频编码器中进行），音频数据话精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 3 页，共 36 页4 / 36 筒，音频编码器）ES基本比特流）打包器，一种作为节目流复用硬盘， CO-ROM，一种作为传送流复用卫星，地面，以及有线电视。编码器与解码器：视频压缩的两个完整的系统。编码器转化原数据为便于传输与存储的缩减的数据形式，其主要包括三个功能单位：时域编码模型，空间域编码模型与熵化编码器。解码器转化压缩的数据格式为原始视频数据。两者经常并称为“CODEC”。源信号源编码器信道编码器信道信道解码器源解码器解码信号原始信息 未压缩信息）被编码压缩

8、），这被称为信源编码。被编码的源信号在信道传输之前进一步编码以增加纠错功能，称为信道编码。在接收端，信道解码器检测或纠正传输中的错误，接着由信源解码器检测或纠正传输中的错误，接着由信源解码器解压缩出原信号。解压缩的信号可能和原信号是一致的无损压缩），或者在某种程度上失真和退化有损压缩）。大多数的视频未编码压缩的方式都是通过去除时域与空间域上的冗余来达到压缩效果，这是由于视频在时域与空间域上的帧间与帧内）的像素信息有很大的相关性。故根据此原理主要有帧间与帧内编码，如分别基于块与区域的运动估计与补偿的编码帧间），变换编码 离散小波变换与离散余弦变换）帧内）。还有统计方法的编码方式：量化编码，与熵化

9、编码。精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 4 页，共 36 页5 / 36 视频编码几大冗余：空间冗余 ：在一幅图像或一帧视频中相邻的样本点像素）一般具有很高的相关性。时域冗余 ：连续帧中的相邻区域也往往具有很高的相关性。主观冗余 ：利用人眼视觉系统对图像和视频的不同特点的敏感程度的不同，例如人眼视觉模型HVS对低频的信号比对高频的喜好敏感，因此可以通过去除一定的高频分量来压缩图像。统计冗余 ：熵编码的统计冗余。视 频 质 量 的 判 别 客 观 标 准 ： 利 用 峰 值 信 躁 比PSNP=，信躁比越大，视频质量越高。MSE 为原始

10、和编码后图像之间的均方误差，为图像中最大可能的信号值平方， n为每个像素的比特数）。3.各个流程解剖1）取样自然视觉场景取样：视频图像是三维场景在二维平面上的投影。视觉场景的主要特点是自然而平滑连续，故为了捕获自然视频场景，数字视频采用空间域上方网格取样）的取样与时间上等间隔的画面取样，并转化为图像像素信息的数字化存储。景物镜头捕获处理/存储/传输显示采集视频场景的数字化分为两个阶段，捕获转换场景的投影到电子信号，比如通过CCD 阵列）与数字化 对投影时空采样并且将样本转换为一组数字）。数字化过程可以通过一个独立设备或者电精选学习资料 - - - - - - - - - 名师归纳总结 - -

11、- - - - -第 5 页，共 36 页6 / 36 路板完成 例如 PC 上的视频捕捉卡），而现在的趋势是数字化过程整合到摄影机中，使得摄影机输出已经是数字化表示了。空间的取样：通常CCD 阵列在网格的交叉点处进行取样，视频的清晰与否取决于视频的分辨率，即在一个画面取样的单位像素的量决定。 最常见的采样图像格式是采样点以正方形点阵分布的矩形，通常宽度大于高度），更多的采样点更高的采样分辨率）能提高更好的图像，然而，更多的采样点需要更多的存储空间。典型视频图像分辨率：图像分辨率采样点个数等价于模拟视频352*288 101376 VHS 视频704*576 405504 广播电视1440*1

12、152 1313280 高清电视时域的取样：对自然场景等间隔的取样，而实际上的视频则根据需要选择取样的时间间隔，如25 次/s-30 次/s是标准的数字图像取样速率，低于此速率的虽然比特率小但图像的平滑与平稳性都不佳，高于此比特率的视频质量高但比特率大。且取样的方式并不仅有对整个图像一次取样的帧取样，还有将一帧图像分为两场的场取样：顶场与底场。顶场由奇数行构成，底场由偶数行构成。这种取样方法的好处是在同样的带宽下，是视频接收端的播放更流畅。通过实验证明，视频运动量大的地方可采用场取样，运动量小时可选取帧取样。使用隔行扫面视频能提高时间采样的视频序列的视频效果。例如工作帧率为25HZ即一秒钟视频

13、包括25个完整帧），然而为了提高视觉表示而不增加数据率，视频序列被组织成50HZ 的场精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 6 页，共 36 页7 / 36 每秒 50场）。每场包括完整帧一半的信息。显示：显示二维视频信号需要在二维显示设备上重建每一幅视频帧。最常见的显示设备是阴极射线管CRT），图像被扫描成为调制的电子束射到荧光屏上。液晶显示器LCD ）正在逐渐取代CRT显示器。色彩空间的取样格式：如果一个样本用n 个二进制位表示，那么0 就表示黑色，而 ）表示白色，中间值用来表示灰度。色彩空间表示色彩与其亮度的方式，有RGB 与 YC

14、BCr 两种颜色空间，RGB 为三原色红绿蓝表示一个像素信息，它十分适合图像的捕捉与展示，通常摄像设备是过滤其他颜色来收集各单色的信息。但是RGB 色彩空间的颜色数据往往较大，而且统计研究表明，将图像中的亮度信息从彩色信息中分离出来，并使之具有更高的清晰度。即将 RGB 转化为 YCbCrY 表示亮度， CbCr 表示蓝色和红色色度）色彩空间来进行存储于传输。彩色信息的清晰度降低，可显著压缩带宽，实现视频压缩的一部分。但是，人眼对画面的感觉没有不同。YCbCr 相对 RGB 而言一个重大的优点，就是我们可以用比Y 更低的分辨率来存储CbCr，因为人类视觉系统HVS）对色度的敏感程度低于亮度，这

15、样可以减小大量数据的同时对视觉质量没有明显的影响） RGB与 YCbCr 转化公式为：Y=KrR+KgG+KbBKr+Kg+Kb=1）；Cb=B-Y；精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 7 页，共 36 页8 / 36 Cr=R-Y。一般选取 4:2:0 的取样格式。4:4:4：是 Y,Cb,Cr 在图像水平方向上的取样速率一样，即每个像素点都对 YcbCr 进行取样。这种取样格式的视频质量最高，但是其需要更多的存储空间与码率。4:2:2：Cb,Cr 在水平方向上的取样速度是Y 的 1/2。垂直方向上是Y,Cb,Cr 在图像水平方向上的

16、取样速率一样，这种取样格式的视频质量一很高，一般作为高质量的色彩重构。4:2:0： Cb,Cr 在水平面上与垂直方向上的取样速度都是Y 的 1/2。其是一种非常流行的取样格式，虽然其视频质量一般，但其存储空间与码率的要求仅为4:4:4 的一半。故在视频会议，数字电视与DVD存储上被广泛使用。 4:2:0 采样有时也被称为“ 12 比特像素”。如果使用4:4:4 采样有12 个采样点，Y,Cb,Cr 各有四个，一共需要12*8=96 比特，平均每个像素96/4=24 比特。而使用4:2:0 采样，只有 6 个采样点， Y 四个，Cb,Cr 各一个，一共需要6*8=48 比特，每个像素 48/4=

17、12比特。，保证无失真的由精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 8 页，共 36 页9 / 36 取样后的离散信号恢复出原来的模拟信号。视频的格式：以上是色彩空间的的取样格式。但对于一帧图像，取样的一帧图像中得到像素点信息的数量即分辨率）则决定了图像的清晰与否。故根据用户的需要，视频帧的取样又分为4 种格式，根据具体的需要选择格式，分别为： SubQCIF128*96 的亮度分辨率）在4:2:0 的色彩空间取样格式每秒需 147456bits，最低。 Quarter CIFQCIF）175*144 的亮度分辨率）在4:2:0 的色彩空间取

18、样格式每秒需 304128bits。 CIF352*288 的亮度分辨率）在4:2:0 的色彩空间取样格式每秒需1216512bits。 4CIF704*576 的亮度分辨率）在4:2:0 的色彩空间取样格式每秒需4866048bits，最高。 4CIF 用于标准电视与DVD 视频， CIF 与 QCIF 一般用于作视频会议，而 QCIF 语 SQCIF 由于其需要的比特率很小，很适合像移动设备这种屏幕分辨率与比特率有限的设备。而且对于视频一秒内取样的帧的数量决定视频播放的流畅性，根据ITU-R BT.601-5 的参数：可分为 30HZfor NTSC 信号）与 25HZfor PAL/SE

19、CAM 信号）的取样频率。（2）预测预处理： 在对图像进行编码前，需要对图像进行预处理。包括获取图像，如何获取图像并进行相应的处理呢？首先，精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 9 页，共 36 页10 / 36 进行色彩插值，获取三基色R,G,B。接着进行色彩校正，消除图像与真实场景之间的差异。伽马校正，使显示的图像效果和实际相符。图像增强，消除相关性和高频噪声，有利于图像的压缩和处理。其中平滑滤波是在保持图像细节的同时，消除噪声；图像锐化是使图像边缘变得鲜明，直方图均衡描述了一幅图像的灰度级内容。白平衡，是对白色物体的还原，不同温度下

20、拍摄的物体导致色彩上的差异，所以要进行白平衡处理。片分割：将图像分割成不重叠的矩形块，这些片可以单独进行压缩编码。DC 电平平移：将图像中所有无符号分量的样本值进行直流电平平移，即减去一个相同的p 是分量的比特数），使离散小波变换系数动态范围不会太大，有利于后续编码。分量间变换：去掉分量间的相关性，达到提高压缩编码效率的作用。帧间编码与帧内编码的选择判定：利用帧间相关性判定，相关性大采用帧间编码，否则采用帧内编码。帧内： 一个待编码的像素可以通过相邻像素构建预测值，并计算与原像素之间的残差，解码则反过来。利用像素间的相关性进行压缩编码传送残差，残差为当前像素与参考像素的差值），像素间的相关性采

21、用m 个像素的加权作为预测，相关性大，则变小，压缩效率提高。其中帧内预测包括一维预测，二维预测，以及编码增益，对于编码增益，如果是高斯信精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 10 页，共 36 页11 / 36 原，则 GDPCM=即原始信号方差与预测误差方差之比）一个帧分为两场 顶场和底场），帧的空间相关性强，适用于运动量不大的图像，而场的时间相关性强，适用于运动量大的图像。总结： 频域模型的输入是残差图像，它利用相邻像素点的相似性，消除残差图像的频域冗余，编码器对残差图像进行频域变换，再量化，得到相应的系数。变换系数经过量化后，保留了

22、少量的残差系数，它们构成了残差图像的压缩性描述，并作为频域模型的最好输出。帧间：对于帧间的编码可利用相邻图像来构建当前预测图像，并计算出其与当前图像的残差值。残差值越小，则压缩效率越高。而对于解码器而言，只要通过已解码的先前图像构建出当前预测图像，再加上残差即可还原原来的图像。所以只要存储和发送残差值便可达到显著压缩的目的。帧间预测编码可采取基于帧的分割，也可以采取基于场的分割。它分为单向预测和双向预测，单向预测运动补偿），一种是传送帧差和每个像素的运动矢量预测图像利用上一帧的图像得到其运动矢量），另外一种是基于块1/4 像素精度，像素位置内插，提高了编码效率）过去帧与当前帧的宏块匹配时，求出

23、改亮度宏块的运动矢量Vx 和 Vy，分别表示过去帧的最佳匹配块比当前帧的宏块右移 Vx 和 Vy 个像素，构成当前帧的亮度预测帧，色度块则作Vx/2 和Vy/2 位移，组成当前色度预测帧，接着将相应的当前帧块和预测帧精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 11 页，共 36 页12 / 36 块相减得到帧误差信号残差信号），再对此帧差信号进行DCT变换，量化后传送到复合编码器。当前帧块与前一帧块的位移，匹配准则 均方误差最小，绝对误差最小）。在残差帧中，中等灰度区域的数据都是0，浅色和黑色区域分别表示正的和负的残差数据。很明显，大部分的残差

24、数据都是零。帧间预测存在的问题：对第一帧，编码器和解码器没有用预测，从第二帧开始出现困难：编码器用原始帧1 作为一个预测兵器编码残差结果，但是解码器只拥有解码除的帧1 来形成预测。因为编码过程是有损的，解码除的帧1 和原始帧 1 存在区别，这导致在解码端对帧2 的预测有一个小的误差，这个误差会随着每一个连续帧逐渐增加，然后编码器和解码器的预测会很快的“漂移”开来，导致解码质量的严重下降。解决方案：用编码器解码或重建）帧1来形成对帧2 的预测。编码器和解码器采用相同的预测，漂移就可以减小或消除。如图所示：为了重建它的预测帧，它包含了一个解码的“环”，重建帧 或参考帧）在编码器和解码器中被存储，用

25、于形成下一编码帧的预测。预测值PRED和当前块相减后，产生一个残差块Dn ，经过变换，量化后产生一组量化后的变换系数X，再经熵解码，与解码所需的一些头信息 如预测模式量化参数，运动矢量等）一起组成一个压缩后的码流，经NAL 网络自适应层）供传输和存储用。熵解码得到量化后的一组变换系数X，再经反量化，反变换得到残差Dn，利用从改比特流中解码出的头信息，解码器就产生一个预测块精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 12 页，共 36 页13 / 36 PRED ，它和编码器中的原始PRED是相同的，当该解码器产生的PRED 与残差 Dn相加后就

26、产生uFn，再经滤波后最后就得到滤波后的 Fn，这个 Fn就是最胡的解码输出图像。如下编码器和解码器图所示：预测漂移：编 码 器输入编码器预测编 码 器 输 出 /解码器输入解 码 器预测解码器输出源帧 1 0 压缩帧 1 零解码帧 1 源帧 2 源帧 1 压缩残留帧 2 解码帧 1 解码帧 2 源帧 3 源帧 2 压缩残留帧 2 解码帧 2 解码帧 3 利用当前帧与前一帧所创建的预测帧相减得到残差，进入图像编码器得到编码的帧，接着进入图像解码器，所解码的帧又作为下一帧的预测帧。总结： 上述可以归结为时域模型。时域模型建立预测帧来降低精选学习资料 - - - - - - - - - 名师归纳总

27、结 - - - - - - -第 13 页，共 36 页14 / 36 时域冗余，预测器采用当前帧之前或之后的一帧或多帧图像作为参考，采用运动补偿技术来降低预测帧与当前帧之间的差别。时域模型输出是当前帧与预测帧相减的结果残差图像）和各个模型参数，如描述运动补偿的各个运动矢量等。几种帧 I 帧，P帧，B 帧）：一个编码图像通常划分为若干块组成，一个宏块由一个16*16亮度像素和附加的一个8*8Cb 和一个 8*8Cr 彩色像素块组成。每个图像中，若干宏块被排列成片的形式。I 片只包含 I 宏块,P 片可包含P和 I 宏块，而 B 片可包含 B 和 I 宏块。I 帧是帧内编码，不需要运动补偿预测，

28、I 帧图像作为进一步预测图像的参考。 P 帧图像是从参考图像中使用运动补偿预测的帧间编码图 P 帧或 I 帧来预测 P 帧），因此 P 帧采用前向预测方法， P帧本身可以作为将来预测的参考图像P 帧或 B 帧）。 B 帧是帧间编码图，使用两个参考图像进行运动补偿和预测：在当前B 帧前面或后面的 P帧和/或 I 帧。前向预测的问题：1.在参考帧和预测帧之间有明显的时间差别这意味着图像变换很大）2.当发生一个场景变化或者场景切换时，性能会较差。3.当一个运动的物体出现在图像中原来被遮盖的部分例如门打开了），这个遮盖的区域在参考帧中不存在，所欲不能有效的进行预测。精选学习资料 - - - - - -

29、 - - - 名师归纳总结 - - - - - - -第 14 页，共 36 页15 / 36 后向预测： 场景切换之后的第一帧或者一个刚刚显出的物体利用将来帧可以得到更好的预测。双向预测： 一个基于原来的参考帧 一个 I 图像或者 P 图像）和一个基于将来的参考帧，编码器根据先前参考帧和将来参考帧找到最佳匹配 就是最小SAE ）的运动矢量。第三个SAE 值是von 个当前块中减去两个匹配区域先前的和将来的）的平均。B帧的压缩效率提高了50% 。处理单元： 子单元现在是 4*4 块，一个宏块总共包含26 个块，即亮度块有 16 块每个 4*4），每个色度分量有4 个 4*4 块，再由 8个色度

30、块的 DC系统组成了 2 个 2*2 的子块。Y：4*4U4*4V 0 1 4 5 2 3 6 7 8 9 12 13 10 11 14 15 2*2 块匹配： 例如如图为3*3 个像素，当前块与参考帧中同样位置0,0）块的均方误差 MSE ）计算如下：2+2-3 ） 2+6-4 ） 2+4-2 ） 2+3-2 ）2+5-4）2+4-3）2+3-3）2/9=2.44 18 19 20 21 22 23 24 25 16 17 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 15 页，共 36 页16 / 36 1 3 2 6 4 3 5 4 3 块

31、 匹 配 例 子的MSE 值位置 (0,-1 (1,-1 (-1,0 (0,0 (1,0 (-1,1 (0,1 (1,1 MSE 4.67 2.89 2.78 3.22 2.44 3.33 0.22 2.56 5.33 由图可知，当前块的组号模型就是最好的预测）是以位置-1,1 ）为中心的 3*3 区域。匹配准则的几种方法：最小均方差函数，最小平均绝对值函数，阙值差别计数。匹配误差函数可以用个各种优化方法进行最小化：运动搜索算法如穷尽搜索法 把当前帧的给定块与参考帧所有候选块比较，找具有最小匹配误差的一个，这两个块之间的位移为MV ），快速搜索法二维对数搜索法和三步搜索法）全搜索法运动估计，五

32、帧：可变窗尺寸搜索窗口总的SAE 量正负 1 1326783 1278610 1.0*106 正负 3 1173060 5.2*106 正负 7 898581 23.4*106 正负 15 897163 99.1*106 结论：当搜索窗增大到15 个像素的时候， SAE只有少量改善，但代价却是计算量增长了4 倍。运动估计计算法比较，五帧：搜索窗为正负15 个像素大小算法总的SAE比 较 操 作 的 数量全搜法1326783 897163 99.1*106三步搜索法914753 3.6*106结论：三步搜索法大大减小了操作的数量，但经过运动补偿的残差块相对于全搜法得到的最佳匹配包含更多的能量。分

33、数精度搜索法： 搜索相应块的步长不一定是整数，为了实现1/k像素步长，对参考帧进行了k 倍内插。其中基于块的选择：块尺寸大 适用于图像细节比较少，比较平坦），块尺寸小 适用于细节比较多）解码端： 运动矢量经过运动匹配后得到的预测误差。参考帧图像中找到相应的块或宏块+预测误差 =解码的块或宏块在当前帧中的位置。运动估计与运动补偿：上述编码压缩方式有一定的局限性当图像有剧烈变化时信息量依旧很大），所以可采用图像的运动估计与补偿方式来进一步提高压缩的精确度，进一步提高压缩效率。对于一个物体的运动估计，我们需要得出其与其匹配块的矢量。而对于一个物体的运动补偿，我们有需要比较其间的变化并得精选学习资料

34、- - - - - - - - - 名师归纳总结 - - - - - - -第 17 页，共 36 页18 / 36 出变化的量作为补偿。结合运动的矢量与补偿才可使视频的播放更自然与流程。图像的运动估计与补偿主要由两种：基于块 宏块）的图像估计与补偿以及基于区域的图像估计与补偿。前者的方法是将图像分割成N*N 的块来进行运动估计，再通过搜索算法 较优越的三步搜索法）找到匹配快，计算两者之间运动矢量与补偿值。同时，块 宏块）的大小亦是影响运动估计精确度的原因，块越小可使估计的程度越精细。但是块越小，则处理会变得更加复杂，同时需要传输的运动矢量亦会大幅增加。所以适当选择块的大小是及其重要的 ，基于

35、块匹配方式就不够高效，故此时可采用基于区域的运动估计，以物体的轮框移动进行运动估计，但缺点是物体的轮廓容易被混淆而出现误辨认。分像素运动补偿：为了使运动补偿的量更加精确，可采用分像素运动补偿法。以三步法一次搜索整像素匹配点，半像素匹配点，1/4 像素匹配点 ，再将该运动估计块与当前块相减即为补偿。这种方式使运动估计更为精确，同时也降低了补偿值，提高压缩效率。但是这也需要更为复杂的运算与操作。特例： 如果参考帧和当前帧之间的变化较大如场景变化），编码器将对当前宏块直接编码，而不再使用运动补偿，所以编码器对每个宏块都可以选择帧内模式不使用运动补偿）或帧间模式使用运动精选学习资料 - - - - -

36、 - - - - 名师归纳总结 - - - - - - -第 18 页，共 36 页19 / 36 补偿）两种方式。一般来说，运动物体轮廓和16*16 宏块边界并不重合，如果采用可变尺寸宏块进行运动估计和补偿将取得更好的效果。当物体运动距离是非整数的像素点距离时如横向的2.78 和像素点距离），可以对参考帧进行插值，使用半像素点位置来搜索以获得更加精确的匹配宏块。运动补偿的分块越小，得到的残差图像能量越小，然而搜索算法的复杂度上升，所传输的运动矢量数目增多，传输这些矢量带来的额外比特消耗可能会高于降低残差图像能量而节省的比特数，造成得不偿失的情况。一种解决方法是根据图像特性调整分块大小，例如对

37、平缓均匀的图像区域采用大尺寸分块，而对细节多，运动矢量复杂的图像区域采用小尺寸分块。H.264采用自适应的分块尺寸来进行运动补偿树状结构运动补偿）。运动补偿的精度越高，用于运动矢量编码的比特数就越多，用于残差图像编码的比特数越小；反之，运动补偿的精度越低，用于运动矢量编码的比特数就越小，用于残差图像编码的比特数就越多。 3）变换编码： 将图像的数值转化到变换域，由于在变换域里的信息量一般比在时域的信号信息量小，故码率也相对小。目前最流行的编码方式主要围绕基于块与图像的编码方式，本书主要讲基于块的变换编码方法：离散余弦变换DCT）与基于图像的变换编码：离散小波变换 DWT ）。前者以块为单位进行

38、变换编码，后者以整个图像为单位进行变换编码。DCT 变换： 以块为单位 16*16 或 8*8）编码后为几个低频DCT 系数缩小系数达到压缩），变换系数量化后在低频和直流区域中有少精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 19 页，共 36 页20 / 36 量较大的值，高频区有少量不大的值，系数大部分为0。产生相关性很小的变换系数，并对其进行压缩编码。变换后图像的能量集中在阵列的左上角，形成了一个山峰对应着低频能量；而阵列右边的系数则迅速的减少直到0图像的高频能量）。 DCT 系数的去相关性表面大多数价值不大的系数可以被丢掉而对图像的质量影

39、响不大。相对于那些跟图像像素相关性很强的系数矩阵，这些紧凑的去相关的系数矩阵能够更有效的压缩。DCT 的去相关和能量集中性能随着块尺寸的增加而增加，然而计算的复杂性却随着块尺寸成指数的增加。DCT 是有损的变换编码，通过与转换矩阵A 与其逆矩阵 A 的相乘求的变换后的矩阵Y 。*i*pi/2N。DCT 对图像和视频压缩有两个有用的特性：能量压缩 把图像能量集中到少量洗漱中）和去相关使系数之间的相关性减到最小）。软件 DCT 的实现：乘法因子cX 是预计算的常量，在这个例子汇总，使用了浮点运算，一种方法是：乘数cX 可成倍放大至整数，则整个 DCT 可使用整数运算实现 在这种情况下，最后结果必须

40、成倍缩回来补偿）。余弦因子从未改变，因此这些可以预先计算 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 20 页，共 36 页21 / 36 for(every row i0=f0+f7 /first stage i1=f1+f6 i2=f2+f5 i3=f3+f4 i4=f3-f4 i5=f2-f5 i6=f1-f6 i7=f0-f7 j0=i0+i3/second stage j1=i1+i2 j2=i1-i2 j3=i0-i3 /(sinilary for j4.j7 k0=(j0+j1*c4 k1=(j0-j1*c4 k2=(j2*c6+

41、-(j2*c2 /(similary for k4.k7 F0=k01 F4=k11 F2=k21 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 21 页，共 36 页22 / 36 F6=k31 /(F1.F7 require another stage of multiplications and additions /end of row calculations for(every column /repeat above steps on the colums K-C 变换：得到一个矩阵，只用对角线上有系数，其他的都为0，K-C 变换使

42、相关性全部消除，能量只要集中在N 个特征值上，其值从大到小排列，因此编码只需传送前N 个特征值，大大降低了码率。K-C 变换计算的效率很低，而且很不实用，因为执行变换所需的方程基本方程）必须先计算出来并且每幅图像都要将改方程传给解码器。 DWT 变换： DCT 变换通常被用于小的，离散的图像块上。随着块尺寸增大， DCT 的计算变得越来越复杂。相比较而言，图像变换则可以应用在一整幅的视频图像或者是图像内的一个大块）上，这种类型最常见的变换使离散小波变换。一个二维的离散小波变换被应用在原始图像上以便于把图像分解成一系列滤波的“子带”。左上方是一个原图经低通滤波的样本，往右下方，每一个分量逐渐包含

43、了图像细节的高频信息。很明显，高频的分量相对而言比较少，也就是说这些分量中的很多数值或系数）是零或者不重要。DWT 是基于数字滤波器的变换编码，由于图像中低频的信息占大多数其通精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 22 页，共 36 页23 / 36 过两个滤波器 低通与高通）对图像在水平与垂直方向进行滤波，形成 4 幅滤波后的带： LL,HL,LH,HH 。而进行上述的全部操作算是一阶，若继续对LL 进行小波变换，则为多阶小波变换，且多节小波变换后更高频的带中的值将趋紧于0。对于运动图像压缩，小波技术没有获得广泛的支持，因为还没有一种在

44、时域里扩张小波压缩的简单方法。在运动补偿中适合小波压缩的具有很好的计算效率和计算复杂度的方法还没有得到，因此DCT 仍然是视频编码中最流行的方法。零数编码： 如果一个父母系数明显是无意义的话，那么的子系数也是无意义的。从左上角开始，每个系数个它的子系数被作为一棵树译成代码。只要连接到一个无意义的系数，那么这个系数个它的全部子系数被作为一棵树译成代码。只要连接到一个无意义的系数，那么这个系数和它的全部子系数就被作为四一棵零树编码。解码器将重建重要的系数，并且把零数中所有的系数清零。图像采样变换系数量化量化的系数变换编码的目的就是为了减少样本很高的空间相关性，变换编码的目的就是为了减少这种相关性，

45、理想情况下可以产生小部分的很重要的变换系数 它们对原始图像的质量很重要）和大部分不重要的变换系数 因为对图像的视觉质量没有很大的影响，可以被忽略）。变换处理本身并不实现压缩，但通常在变换后接着进行一个有损的量化过程，在这个过程中不重要的系数被去除而留下小部分重要的系数。精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 23 页，共 36 页24 / 36 原图像变换量化排序熵编码编码器）存储/传输熵解码排序反量化反变换解码图像解码器） 4）量化： 对于进行变换编码后图像信息，应对数据进行量化。每一个 DCT 系数除以一个整数来量化，量化系数的结果为数

46、值大的系数被映射到非零的整数，数值较小的系数被映射到零。重新比例已量化的系数 把每一个系数乘以一个与上面相同的整数），数值大的系数的数量与原始系数近似，数值小的系数在量化中被置为零）不能重新恢复仍保持为零。对重新比例化后的数组采用逆DCT 变换得到图像样本块，它看起来和原始图像大致相近，但是经过量化，一些信息已经丢失了。所谓量化即是将一个信号从一个大的范围映射到较小范围的信号，量化后的数据比原来需要更少的比特。谈及量化要讨论步长 M=，n 增大， M 增大， Q 减小，量化噪声减小，数字信号越接近原模拟信号，n 为比特数 n 与带宽是否浪费有关），量化使其精度提高了，码流却降低了。比图像信号本

47、身的方差小，A 减小， M 减小， n 减小，达到压缩精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 24 页，共 36 页25 / 36 编码。 5）熵编码：在熵编码之前，首先进行锯齿形编码和游程编码。锯齿形编码： 将像素排成一堆序列，成串行数据之字形扫描）每个量化系数被拷贝到一维数组，非零系数集中于数组的开始，气候跟着零序列。扫描：Z 型扫描的顺序 帧格式的块）， Z 型扫描的顺序 场格式块）。游程编码： 量化后系数，即0 的个数 称为游程），系数值和量化后的位置，大大减小了信息量。熵编码： 利用信源的统计特性进行压缩，熵编码包括变长编码和算术

48、编码。适用于已 DCT 变换编码的重排序法和零编码法：量化后的图像数据中，对于DCT 变换编码后图像信息，其大多数的系数是为0 而只有少部分的系数非0，这时可采用重排序法和零编码法。对于进行DCT 后的图像系数，其系数统计分布为左上角大多为0，而且系数大小分布以对角线的方向向右下角递增。故排序扫描可采用锯齿形扫描，这样在理想状态下形成一个前段为0，后段为非 0 的数组，这样有效的只有后半段少数非0 的系数，所以这样也能使需记录的信息量大量减少。但是现实中前后两段的系数属性并非完全这样，所以对于DCT 后的图像重排序后，可以用游程编码这种零编码法来简化记录数据。如 16,0，0，0，3，0，0，

49、2，0，8 精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 25 页，共 36 页26 / 36 可变为 0,16,0），(1,8,1 将一组数用x 组 3 个量表示，第一个数字为非0 数前 0 的数量，第二个数字为该非零，第三个数字是判断数：若该非零是结尾数或其后都是零，则为1，若不是为0。DCT 的统计分布使这样的编码方式能高效压缩图像。同时基于图像和场取样扫描方式都为锯齿形，但是亦有很大不同。适用于已 DWT 变换编码的零树编码：对于 DWT 后的图像系数，多阶的DWT 后会使图像形成1-3-3-3-3.1 个 LL,3n 个 LL,HL,L

50、H 频带）形式的，这样可使用零树编码的方法，构成LL 为根， LL,HL,LH为子叶的多层树，树的子叶至0 终止。 若到第 n 层终止，更深层为非0 的概率非常低，而出现的非 0 数也一般使图像更平滑，但可忽略）这样可以把原本复杂的图像信息分解变小，以达到进一步压缩的目的。变长编码： 是对概率大的符号分配短字节长的二进制码。对概率小的符号分配长字节长的二进制码。哈夫曼编码：在图像序列中运动矢量出现的概率矢量概率-1.5 0.014 6.16 -1 0.024 5.38 -0.5 0.117 3.10 0 0.646 0.63 0.5 0.101 3.31 1 0.027 5.21 精选学习资料

51、 - - - - - - - - - 名师归纳总结 - - - - - - -第 26 页，共 36 页27 / 36 1.5 0.016 5.97 长生哈夫曼树：（1）以概率增加方式排序数据。（2）把概率最低的两个数据项合并成1 个节点，把数据项的联合概率分配给此节点。（3）重复步骤 2），以概率递增方式，重排剩下的数据项和节点。哈夫曼编码：矢量编码比特实际）比特理想）0 1 1 0.63 -0.5 00 2 3.1 0.5 011 3 3.31 -1.5 01000 5 6.16 1.5 01001 5 5.97 -1 01010 5 5.38 1 01011 5 5.21 结论： 1.高

52、概率的数据项被赋予短码例如 1 比特赋给最常用的矢量 0）不过，矢量 -1.5,1.5，,-1.1）需要 5 比特码 尽管事实是 -1 和1 的概率比 -1.5 和 1.5 高，哈夫曼编码 每一个都是整数比特）的长度并不与由 决定的理想长度一致。2.没有一个码值是将其他码值作为前缀的，例如从左到右读码，每个码值将被唯一解码。例如矢量序列1,0,0.5）将被编码成下面的值：01011|1|011 。3.经常出现的矢量 0）被非常有效的用单个比特表示，最优化比特数信息容量）是0.63，但是用哈夫曼编码取得最好的比特数是1比特。精选学习资料 - - - - - - - - - 名师归纳总结 - -

53、- - - - -第 27 页，共 36 页28 / 36 哈夫曼编码图像序列的运动矢量出现的概率矢量概率-1.5 0.001 9.66 -1 0.003 8.38 0.5 0.018 5.80 0 0.953 0.07 0.5 0.021 5.57 1 0.003 8.38 1.5 0.001 9.66 MPEG-4 视 频 对 量 化 系 数 使 用 三 维 编 码 ， 每 个 码 字 都 是run,level,last）的组合。一共有102 种组合被分配了VLC, 下表是其中的 26个码字。 所有码9 比特）last run level 编码0 0 1 10s 0 1 1 110s 0

54、2 1 1110s 0 0 2 1111s 1 0 1 0111s . ESCAPE 0000011s 其余的 76和 VLCs 的长度都超过了13比特。每个码字的最后一耳光比特是符号位 ” s” ，标记了数据正负号 0 是正数， 1是负数）。未在表中列出的 run,level,last）组合都用来编码ESCAPE序列。运动矢量差 MVD MVD 编码0 1 +0.5 010 -0.5 011 . 每个符号映射为唯一的码字，出现频率高的符号被分配了较短的码字。哈夫曼编码的缺点：第一，解码器必须采用与编码器一样的码表，精选学习资料 - - - - - - - - - 名师归纳总结 - - - -

55、 - - -第 28 页，共 36 页29 / 36 这就意味着编码器必须在解码器解码比特流前传送包含在概率表里的信息，这个额外的开销会降低压缩效率；第二，为一个很大的视频序列计算概率表 之后才产生哈夫曼树）是非常大的计算开销，而且直到视频数据被编码完才结束。算术编码： 采用一个浮点数代替一串输入符号，经算术编码输出一个小于 1 大于或等于0 的浮点数。每一个符号可以用分数数目的比特数来表示 而不是只用整数数目的比特数），这意味为每个符号分配的比特可以更准确。矢量概率子范围-2 0.1 3.32 0-0.1 -1 0.2 2.32 0.1-0.3 0 0.4 1.32 0.3-0.7 1 0.

56、2 2.32 0.7-0.9 2 0.1 3.32 0.9-1.0 矢量序列 -2，-1，0,1,2）的压缩过程：编码过程范围L-H）符号L-H）子范围注释1.选择 初 始区域范围0-1.0 2.对于 第 一个 数 据 符号，选择相应 的 子 域 从低到高）0）0.3-0.7 3.将该 子 域作为新的区域范围 1）0.3-0.7 4. 从 低 到高，选择第二个数据符号的对应子域-1）0.1-0.3 这是在间隔0-1 内 的 子范围5.将该 以 前0.34-0.42 0.34 是范围精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 29 页，共 36

57、页30 / 36 的子域再选择，作为新的区域范围的10% ；0.42 是范围的 30% 6.寻找 下 一个子域0）0.3-0.7 7.在以 前 的子域内，设置新的区域范围3）0.364-0.396 0.364 是 范围的 30%，0.396 是 范围的 70% 8.寻找 下 一个子域2）0.9-1.0 9.在前 一 个子范围内，设置新的范围4）0.3928-0.396 0.3928 是范围的 90%，0.396 是 范围的 100% 6）反量化：帧间的反量化） 量化后信号经过反量化的残差图像，如不计量化失真，与预测图像相加得到恢复的原始图像，存入帧存储器。每个宏块的原始图像都存入帧存储器，直到

58、一帧中所有宏块残差都发完，于是当前帧存满，并作为下一帧的参考图像。 帧内的反量化） 直接经 DCT 变换系数经过量化送入视频复合编码器。 7）环路滤波器： 去除宏块匹配不正确导致的宏块运动矢量不准确以及方块效应出现，导致产生伪轮廓等高频成分。各种编码的比较：预测编码的误差容易扩散，一点的误差容易扩散到几行，形成区域误码，故预测边按摩经常采用基于块的预测，像H.264 标准则利用多个参考图像做预测，降低误码率。对于精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 30 页，共 36 页31 / 36 变换编码，其实现较为复杂，但误码不会扩散，影响仅限于

59、一个块内，变换后的误码均匀分布于块内的各个像素中，对视觉无大的影响。熵编码则利用信源的统计特性，编码的效率高，而且熵编码是一种无损压缩编码方法，它生成的码流可以经解码无失真的恢复出原数据，其主要是对进行了预测编码或变换编码的图像进行再次编码。算术编码实际上更接近熵率。总结： 熵编码器对时域参数 运动矢量）和变换系数进行压缩，消除存在的统计冗余 例如，对出现频率高的矢量和系数分配短的二进制码字来表示），并输出压缩后的比特流或数据用于视频的传输和存储。压缩后的视频序列包括编码的运动矢量参数，变换系数以及头信息。解码器从压缩比特流中重建视频帧。首先，熵解码器解码变换系数和运动矢量；其次，变换系数通过

60、频域模型的反变换重建残差图像；同时，解码器根据运动矢量参数和相应的参考帧产生预测帧；最后，预测帧与残差图像相加得到解码端的重建图像。 H.264术语表 4:2:0采样）采样方法是色度分量的水平分辨率和垂直分辨率，是亮度分量的一半 4:2:2采样）采样方法是色度分量的水平分辨率，是亮度分量的一半 4:4:4采样）采样方法是色度分量的水平分辨率与垂直分辨率与亮度分量相同算术编码降低冗余度的编码方法人工处理的图像图像的视觉失真精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 31 页，共 36 页32 / 36 ASO 任意条带顺序，条带的边按摩可以不是光

61、栅扫描顺序 BAB 二值 Alpha 块，用于标示区域的边界 MPEG-4 视频） BAP 身体动画参数块作变换的宏块区域8*8 或4*4）块匹配矩形图像区域上的运动估计块效应图像的方块或矩形失真区域 B 帧条带）双向运动补偿预测的编码图像条带） CABAC 基于上下文的自适应二值算术编码 CAE 基于上下文的算术编码 CAVLC 基于上下文的自适应变长编码色度色彩差异分量 CIF 通用中间格式，一种彩色图像的格式 CODEC 编解码器色彩空间表示彩色图像的方法 DCT 离散余弦变换直接预测一种编码模式，此模式中不传输运动矢量 DPCM 差分脉冲编码调制 DSCQS 双激励连续质量等级，主观质

62、量衡量的等级和方法 DWT 离散小波变换熵编码降低冗余的编码方法错误隐藏编码图像的后处理，以消除或减小可见的错误效应 Exp-Golomb 指数哥伦布变长码 FAP 脸部动画参数 FBA 脸部和身体动画 FGS 精细颗粒可分级精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 32 页，共 36 页33 / 36 场隔行视频序列的偶数行或奇数行流程图变换算法的图示表示或者算法本身） FMO 灵活的宏块顺序，宏块的编码顺序可以不是光栅扫描顺序完全搜索一种运动估计的算法 GMC 全局运动补偿，用于整个编码对象的运动补偿MPEG-4视频） GOP 图像组，编

63、码视频图像的集合 H.261 一种视频编码标准 H.263 一种视频编码标准 H.264 一种视频编码标准 HDTV 高清晰度电视哈夫曼编码降低冗余的编码方法 HVS 人体视觉系统，用来观察和解释视频图像的系统混合CODEC）以运动补偿和变换为特征的编解码器 IEC 国际电工委员会，一个标准体帧间编码）使用时间预测或补偿的视频帧编码隔行扫描视频表示为一系列场的视频数据帧内编码）不使用时间预测的视频帧编码 I 帧条带）编码不需要参考其他帧的图像或条带） ISO 国际标准化组织，一个标准体 ITU 国际电信联盟，一个标准体 JPEG 联合图像专家组， ISO 的委精选学习资料 - - - - -

64、- - - - 名师归纳总结 - - - - - - -第 33 页，共 36 页34 / 36 员会也是一个图像编码标准） JPEG2000 一种图像编码标准延迟通过通信系统的延迟级别符合一定特性的参数集合适用于档次）环内滤波器编码或解码反馈环路里的空间滤波器宏块帧 编 码 的 单 元 通 常 是16*16 个像素的区域）宏块分块有自己的运动矢量的宏块子区域宏块子分块有自己的运动矢量的宏块子区域媒体处理器具有媒体编码和处理特性的处理器运动补偿视频帧预测的运动模型运动估计两个或多个视频帧之间的相对运动估计运动矢量用于运动补偿的指示位移块或区域的矢量 MPEG 运动图像专家组，ISO/IEC的委

65、员会 MPEG-1 一种多媒体编码标准 MPEG-2 一种多媒体编码标准 MPEG-4 一种多媒体编码标准 NAL 网络提取层主观质量衡量算法的视频图像视觉质量 OBMC 重叠块运动补偿图像编码）编码的压缩的）视频帧 P帧条带）使用参考帧作运动补偿预测的编码图像 条带）档次视频编解码器的工具集逐行扫描 视频）由完整的序列来表示视频数据 PSNR 峰值信噪比，一种客观质量的量度方法精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 34 页，共 36 页35 / 36 QCIF 四分之一的通用中间格式量化降低标量或矢量的精度码率控制编码视频信号的比特率的

66、控制码率失真编解码器性能的量度一定范围的编码比特率的失真） RBSP 原始字节序列载荷 RGB 红/绿/蓝色彩空间环块效应解码图像中尖锐边缘范围的“波纹”状的痕迹 RTP 实时传输协议 RVLC 可逆变长码分级编码把信号编码成若干层 SI条带用于在编码比特流之间切换的帧内条带条带编码图像的一个区域 SNHC 合成的图像，自然的图像混合编码 SP条带用于在编码的比特流之间切换的帧间条带 Sprite 可以包含在一系列解码帧中的纹理区域 MPEG-4 视频）统计冗余由数据的统计分布引起的冗余演播室质量无损或接近无损的视频质量主观质量由人眼感觉到的视频质量主观冗余由主观上不重要的数据带来的冗余半像素

67、运动补偿）整数像素位置插值形成的参考区域的运动补偿预测测试模型描述视频编码标准的参考实现的软件模型和文档纹理图像或残差数据树结构运动补偿以分块尺寸的灵活可变为特征的运动补偿 H.264） TSS 三步搜索法，一种运动估精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 35 页，共 36 页36 / 36 计算法 VCEG 视频编码专家组， ITU 的委员会 VCL 视频编码层视频包合适打包的编码单元 VLC 变长码 VLD 变长解码器 VLE 变长编码器 VLSI 超大规模集成电路 VO 视频对象 VOP 视频对象面 VQEG 视频质量专家组加权预测来自两个参考区域的预测样点做尺度变换的运动补偿 YCbCr 亮度，蓝色度，红色度的色彩空间 YUV 一个彩色空间精选学习资料 - - - - - - - - - 名师归纳总结 - - - - - - -第 36 页，共 36 页