《数字视频图像处理与通信 教学课件 ppt 作者 刘富强 王新红 宋春林 陈康力第10_11章 第10章 视频图像编码》由会员分享，可在线阅读，更多相关《数字视频图像处理与通信 教学课件 ppt 作者 刘富强 王新红 宋春林 陈康力第10_11章 第10章 视频图像编码（36页珍藏版）》请在金锄头文库上搜索。
1、第10章 视频图像编码,目录,10.1 视频图像编码概述 10.2 视频/图像编码标准 10.3 视频编码的整体框架和关键技术,视频图像编码概述,图像中含有大量的冗余信息： 由于相邻像素之间存在关联而产生的大量的空间冗余。 由于彩色元素间存在相互关联而产生的大量的频谱冗余。 由于人类视觉系统特点而引起的大量的心理视觉冗余。 冗余量越大，可压缩的程度也越高。,线状图像数据冗余分析,r 5 4 3 2 1 0 1 2 3 4 5 6 7 t (a) 相关性较强的线状图,r 5 4 3 2 1 0 1 2 3 4 5 6 7 t (b) 无相关性的线状图,线状图像数据冗余分析,分析此例可知，被压缩图
2、像像素间存在着密切的相关性，这意味着图像数据含有较高的冗余度，因此可以进行图像数据压缩。 另一方面，用于重建该图像必须记录的最少信息，即振幅、相位、两个空间频率4个量之间却是彼此独立的，即其中任何一个都不能由其余3个预测出来。 所以，把一个含有大量相关像素的图像，经过某种可逆变换（压缩解压），变成仅含有由非相关元素组成的数据组，便可完成图像的压缩。,MPEG系列,MPEG-1规定了在数字存储介质中实现对活动图像和声音的压缩编码，编码码率最高为1.5Mbit/s。传输速率为1.5Mbit/s，每秒播放30帧，具有CD音质，质量级别基本与VHS(广播级录像带)相当。 MPEG-2标准是针对标准数字
3、电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒3100Mbit/s，标准的正式规范在ISO/IEC13818中。 MPEG-4在富有挑战性的多媒体应用环境中，对音视频数据进行编码和灵活表示。特别地，MPEG-4致力于实现广泛的可访问性、在易出错环境中的强健性、高的交互功能、对自然和合成数据的编码、高压缩率。 MPEG-7规定了一个用于描述各种不同类型多媒体信息的描述符的标准集合，被称为“多媒体内容描述接口”。 MPEG-21的正式名称是“多媒体框架”或“数字视听框架”，它以将标准集成起来支持协调的技术来管理多媒体商务为目标，目的就是理解如何将不同的技术和标准结合在一
4、起，需要什么新的标准，以及完成不同标准的结合工作。,视频压缩编码与图像重建的原理,数字视频 CCIR 601,视频压缩编码与图像重建的原理框图,数字视频CCIR 601的预处理(亚采样),在信源输入格式SIF下，预处理的过程如下：,帧序列图像的画面格式,MPEG-1将帧序列图像分成三种类型的画面格式： 帧内画面，即I画面(Intra-picture)，不需要参考其他画面、独立进行压缩编码的画面。 预测画面，即P画面(Predicted-picture)，需要参考前面已编码的I画面和P画面进行预测编码的画面。 插补B画面(Bidirectional-picture)，既参考前面的I画面和P画面，
5、又参考后面的I画面和P画面进行双向预测编码的画面。,编码器框图,视频比特流的层次结构,MPEG-2标准的型与级,H.26x系列,H.261是ITU-T针对可视电话和会议电视、窄带ISDN要求实时编解码和低延时应用提出的一个编码标准。该标准包含的比特率为p64kbit/s，其中p是一个整数，取值范围为130，对应比特率为64kbit/s1.92Mbit/s。 H.261要求输入图像的格式满足CIF格式或是1/4（QCIF）格式，如下所示：,H.261 的数据结构,H.261标准将CIF和QCIF格式的数据结构划分为如下4个层次：,H.261编码器,H.261解码器,H.263,H.263视频信源
6、编码算法所用的基本结构来自H.261建议，是一种集图像预测（降低空间冗余度）和DCT变换编码（降低时间冗余度）于一体的混合结构。 H.263规定的编码器的编码过程包括：帧内/帧间预测、离散余弦变换(DCT)、量化和熵编码。它定义的图像序列如,H.263的帧序列画面类型,H.263的视频码流中，定义了3种类型的帧：I帧、P帧、B帧。I帧只进行帧内编码，P帧是只进行前向预测的帧，而B帧则进行双向预测。当发生跳帧时，跳帧过后的下一帧作为P帧，在跳过的那些帧中，选取一帧作为B帧。 B帧与P帧量化因子的关系如下：,PB帧的同步解码,H.263的运动补偿,H.263的运动补偿采用的是块匹配法(BMA)，它
7、对具体实现并未作出规定。 H.263的MBA有如下一些特点： 首先是通过预测参考帧进行内插，把运动矢量精确到了亚像元级； 第二是通过对预测参考帧进行边界扩充，提高了边缘宏块的预测准确度； 第三就是高级预测模式（Advanced Prediction Mode）。,AVS,H.264/AVC与之前的编码标准重要的区别之一就是支持网络流媒体应用，并为此提供了很多灵活性和客户化特性。 H.264/AVC的设计方案主要包含两个层次，视频编码层(Video Coding Layer，VCL)和非视频编码层(Non Video Coding Layer，Non-VCL)。 视频编码层处理的是像条、宏块和块
8、的数据，并尽量做到与网络层独立，这是视频编码的核心，其中包含许多实现错误恢复的工具；Non-VCL NAL单元提供VCL NAL的相关参数集。,H.264/AVC的层次结构,VLC层的编码原理,基于对象的视频编码通用框架,运动估计（预测编码）,运动估值技术主要分为两大类：像素递归法和块匹配法。 块匹配法对当前帧图像的每一块，在上一帧的一定范围内搜索最优匹配，并认为本块就是从上一帧最优匹配块位置处平移过来的。 3种常用的匹配准则：最小绝对差（MAD）、最小均方误差（MSE）和归一化互相关函数（NCCF）。 快速搜索算法：三步搜索法、交叉搜索法,运动估计中存在的问题,作为一个具有实用价值的方法，要
9、求块匹配法在足够的精度下能实时实现运动矢量场的估计，并以尽可能少的附加信息传输运动矢量场信息。 块大小的选择 估计精度 运动矢量场的一致性 块内运动的不一致性,帧内预测,预测编码方法是利用视频信号中的冗余度来降低按一定保真度进行信号通信（或存储）所需的数据传输率（或存储量）。 由于信号中相邻（空间和时间）像素间的相关性，一个给定样值可以由以前传输的样值预测得出。 预测编码最常用的形式是差分脉冲编码调制（DPCM）。 由于预测算法较为简单，易于硬件实现，因而在图像压缩码中得到广泛应用。,DPCM的原理,DPCM的工作过程,1) 与发端预测器产生的预测值 相减得预测差 。 2) 经量化后变为 ，同
10、时引入量化误差。 3) 再经过编码器编成码字（如Huffman）发送，同时又将 加上 恢复输入信号 。因存在量化误差， ，但相当接近，发送端的预测器及其环路作为发送端本地解码器。 4)发送端预测器带有存储器，它把 存储起来以供对 进行预测得到 。 5)继续输入下一个像素，即 ，重复上述过程。,DPCM的框图要点,发送端必须由本地解码部分为预测器对当前编码器输入值进行预测创造条件。 接收端解码器必须和发送端本地解码器完全一样，即必须保证收发的预测方法、预测条件完全一致； 具体实现时是由 来预测 的，这是因为接收端只能得到 ，发送端必须使用 以确保与接收端“同步”运行。,变换编码,先将空间域图像通
11、过某种正交变换，获得一系列变换系数， 在变换过程中，使图像变换系数能量相对集中，再对其变换系数进行区域量化等， 按其所含能量大小，分配以不同的数据量（比特数）去描述（如高能量区赋予多比特数，否则反之），从而达到压缩的目的。,K-L变换,设 为一幅随机图像，若把它表示成 维随机向量x，那么，可以找到一个正交变换T，它是由 维的x的协方差矩阵 的特征向量 所组成的方阵，并满足 并且是归一化正交的，即 那么K-L变换为：,离散余弦变换（DCT）,DCT正变换公式为： IDCT逆变换公式为：,DCT变换编码的特点,1）DCT的直流系数g(0, 0)0，,近似满足瑞利分布。 2）DCT系数矩阵能量集中在直流和低频区， 近似满足拉普拉斯分布。 3）DCT系数振幅谱基本不相关。 4）DCT是DFT的实部，也有蝶形快速算法实现DFT运算。 5）DCT性能（系数相关性，能量分布）接近于K-L变换。 6）输入图像分块进行DCT，块的大小要考虑有足够的存储容量和允许的运算时间支持，同时还有方块“边界效应”的影响。,变长编码（统计编码）,可逆的VLC可以反向解码，对比特流进行反向编码，如图 变长编码(VLC)包括哈夫曼编码和预计算的哈夫曼编码。,End,
