多媒体技术基础第3版MPEG视像

《多媒体技术基础第3版MPEG视像》由会员分享，可在线阅读，更多相关《多媒体技术基础第3版MPEG视像（47页珍藏版）》请在金锄头文库上搜索。

1、多媒体技术基础(第3版) 第12章 MPEG视像 张奇 复旦大学 计算机科学技术学院 qz 2011年5月 *第12章 MPEG视像2/46 第12章 MPEG视像目录 12.1 视像数据的冗余 12.2 视像数据的速率 12.2.1 BT.601视像数据速率 12.2.2 VCD视像的压缩比 12.2.3 DVD视像的压缩比 12.3 MPEG-1视像 12.3.1 视像数据的压缩算法 12.3.2 帧内图像I的压缩编码算法 12.3.3 预测图像P的压缩编码算法 12.3.4 双向预测图像B的压缩编码算 法 12.3.5 帧图像的编排顺序 12.3.6 视像数据流的结构 12.4 MPEG

2、-2视像 12.4.1 视像编码器和解码器 12.4.2 视像数据位流的结构 12.4.3 视像质量可变编码 12.5 MPEG-4 Visual视像 12.5.1 MPEG-4 Visual简介 12.5.2 视像对象的编码与解码 概要 12.5.3 可视对象的层次结构 *第12章 MPEG视像3/46 第12章 MPEG视像 MPEG视像 MPEG视像是指使用MPEG视像标准压缩和解压缩 的电视图像 现有的MPEG视像标准包括MPEG-1 Video， MPEG-2 Video，MPEG-4 Visual和MPEG-4 AVC / H.264。这些视像标准有许多共同之处，基本概念 类似，数

3、据压缩和编码方法基本相同，它们的核心 技术都是采用以图像块作为基本单元的变换、量化 、移动补偿、熵编码等技术，在保证图像质量的前 提下获得尽可能高的压缩比 本章将介绍MPEG视像标准1压缩视像数据的基本 原理和方法，对最近几年开发的MPEG-4 AVC / H.264标准将在第13章中作较详细的介绍 *第12章 MPEG视像4/46 12.1 视像数据的冗余 n视像数据存在的冗余 时间冗余(temporal redundancy) n与时间相关的冗余：在某个时间间隔上出现场景相同或基 本相同的连续帧时，帧与帧之间存在大量的冗余数据 空间冗余(spatial redundancy) n与空间位置

4、有关的冗余：在单帧图像中，相邻像素的值常 有相同或变化不大的情况，可用较少数据表达 结构冗余(structural redundancy) n图像自身构造的冗余：若从宏观上来看一帧图像，有些图 像存在相同或类似的结构，如用地板图案构成的图像 视觉冗余(vision redundancy) n与视觉系统有关的冗余：对图像的亮度变化敏感而对颜色 变化不敏感，对剧烈变化区域敏感而对缓慢变化区域不敏 感，对图像的亮度和颜色的分辨率都存在极限 *第12章 MPEG视像5/46 12.1 视像数据的冗余(续) 知识冗余(knowledge redundancy) n与知识有关的冗余：在单帧图像中含有为人熟

5、知的知识， 称为先验知识。例如，正面人头像有相对固定的结构，眼 睛下方是鼻子，鼻子下方是嘴，嘴和鼻子均位于脸的中线 上。这类规律性的结构往往不会改变或变化不大，而用传 统方式录制的视像数据中存在许多重复的数据 n知识是某个感兴趣领域中的实事、概念和关系 (6) 数据冗余(data redundancy) n数据本身的冗余：视像数据本身存的冗余 *第12章 MPEG视像6/46 12.2 视像数据的速率 n12.2.1 BT.601视像数据速率 使用4:2:2采样格式，亮度信号Y的采样频率为13.5 MHz ，色差信号Cr和Cb的采样频率为6.75 MHz，每个样本的 精度为10位，视像数据速率

6、为 (1) 亮度(Y) 858样本/行525行/帧30帧/秒10位/样本135兆位/秒(NTSC) 864样本/行625行/帧25帧/秒10位/样本135兆位/秒(PAL) (2) Cr (R-Y) 429样本/行525行/帧30帧/秒10位/样本68兆位/秒(NTSC) 432样本/行625行/帧25帧/秒10位/样本68兆位/秒(PAL) (3) Cb (B-Y) 429样本/行525行/帧30帧/秒10位/样本68兆位/秒(NTSC) 432样本/行625行/帧25帧/秒10位/样本68兆位/秒(PAL) 总计：27兆样本/秒10位/样本 = 270兆位/秒 *第12章 MPEG视像7/

7、46 12.2 视像数据的速率(续1) 实际上，在荧光屏上实际显示的有效图像的数据 传输率并没有那么高，其中， (1) 亮度(Y) 720样本/行480行/帧30帧/秒10位/样本 104兆位/秒 (NTSC) 720样本/行576行/帧25帧/秒10位/样本 104兆位/秒 (PAL) (2) 色差(Cr，Cb) 2360样本/行480行/帧30帧/秒10位/样本 104兆位/ 秒(NTSC) 2360样本/行576行/帧25帧/秒10位/样本 104兆位/ 秒(PAL) 总计： 207兆位/秒(Mb/s) 如果每个样本的采样精度由10位降为8位，彩色数 字电视信号的数据传输率就降为166

8、Mb/s *第12章 MPEG视像8/46 12.2 视像数据的速率(续2) n12.2.2 VCD视像的压缩比 压缩比的概念 n压缩比是数据压缩程度的一种度量方法，其值等于压缩前 的数据大小与压缩后的数据大小之比。例如，把一幅原来 为1 MB的图像压缩成128 KB，其压缩比就是 10241024/1281024 = 81。 VCD盘要求的压缩比 n使用Video-CD存储器早期的数据传输率为1.4112 Mb/s， 分配给电视信号的数据传输率为1.15 Mb/s，这就意味着 MPEG视像编码器输出的数据速率要达到1.15 Mb/s n如果存储166 Mb/s的数字电视信号就需要对它进行高度

9、压 缩，压缩比高达166/1.15 144:1。 *第12章 MPEG视像9/46 12.2 视像数据的速率(续3) NTSC和PAL的数据传输率 nMPEG-1视像压缩技术不能达到这样高的压缩比。为此首 先把NTSC和PAL数字电视转换成公用中分辨率格式(CIF) 的数字电视，子采样使用4:2:0或4:1:1时，这种格式就相当 于家用录像系统(VHS)的质量，于是彩色数字电视的数据 传输率就要减小到， u3522403081.5 30 Mb/s (NTSC) u3522882581.5 30 Mb/s (PAL) VCD视像的压缩比 n把这种彩色数字电视信号存储到CD盘上所需要的压缩比 为3

10、0/1.15 26:1。这是MPEG-1技术能够获得的压缩比 *第12章 MPEG视像10/46 12.2 视像数据的速率(续4) n12.2.3 DVD视像的压缩比 DVD盘要求的压缩比 nDVD-Video存储器的数据传输率可达到10.08 Mb/s以上， 一张4.7 GB的单面单层DVD盘要存放133分钟的电视节目 ，按照视像数据的平均数据传输率为4.1 Mb/s来计算，压 缩比就要求达到166/4.10 40:1 NTSC和PAL的数据传输率 n如果视像的子采样使用4:2:0格式，每个样本的精度为8位 ，视像数据传输率就减小到124 Mb/s，即 u7204803081.5 124 M

11、b/s (NTSC) u7205762581.5 124 Mb/s (PAL) DVD视像的压缩比 n使用DVD-Video来存储72048030或72057625的数字视 像所需要的压缩比为124/4.1 30:1 *第12章 MPEG视像11/46 12.3 MPEG-1视像 n12.3.1 视像数据的压缩算法 MPEG-1视像(MPEG-1 Video)456压缩 视像数据的基本方法可以归纳成两个要点 n在空间方向上，采用与JPEG类似的算法来去掉 空间冗余数据 n在时间方向上，采用移动补偿(motion compensation)算法来去掉时间冗余数据 MPEG专家组为此开发了两项重要

12、技术 n定义了视像数据的结构 n定义了三种类型的图像 *第12章 MPEG视像12/46 12.3 MPEG-1视像(续1) 视像数据结构 n把视像片段看成由一系列静态图像(picture)组成 的视像序列(sequence) n把视像序列分成许多像组(group of picture， GOP) n把像组中的每一帧图像分成许多像片(slice)，每 个像片由16行组成 n把像片分成16行16像素/行的宏块(macroblock ，MB) n把宏块分成若干个8行8像素/行的图块(block)， 见图12-1(a) n使用子采样格式为4:2:0时，一个宏块由 4个亮度(Y)图块和两个色度图块(C

13、b和Cr)组成， 见图12-1(b) *第12章 MPEG视像13/46 12.3 MPEG-1视像(续2) (a) 视像数据的组织 (方框中的数字为图块编号) (b) 宏块的结构(4:2:0) 图12-1 视像数据结构 *第12章 MPEG视像14/46 12.3 MPEG-1视像(续3) 三种类型的图像(见图12-2) MPEG专家组定义了三种类型的图像，然后采用 三种不同的算法分别对它们进行压缩 n帧内图像I (intra- picture)，简称为I图像或I帧(I- picture / I-frame) u包含内容完整的图像，用于为其他帧图像的编码和解 码作参考，因此也称为关键帧 n预

14、测图像P (predicted picture)，简称为P图像或P 帧(P-picture / P-frame) u指以在它之前出现的帧内图像I作参考图像的图像，对 预测图像P进行编码就是对它们之间的差值进行编码 *第12章 MPEG视像15/46 12.3 MPEG-1视像(续4) n双向预测图像B (bidirectionally-predictive picture )，也称双向插值图像B(bidirectionally- interpolated picture)，简称为B图像或B帧(B- picture/B-frame) u以在它之前和之后的帧图像(I和P)作参考的图像， 对B进行编

15、码就是对帧内图像I和预测图像P的差值 分别进行编码 图12-2 MPEG专家组定义的三种图像 *第12章 MPEG视像16/46 12.3 MPEG-1视像(续5) n12.3.2 帧内图像I的压缩编码算法 不参照过去的帧和将来的帧，采用与JPEG 类似的压缩算法以减少空间的冗余数据，见 图12-3 n如果视像是用RGB空间表示的视像，则首先把 它转换成YCrCb空间表示的视像 n每个图像平面分成88像素的图块，对每个图块 进行离散余弦变换(DCT)，变换后产生的交流分 量系数经过量化之后按照Zig-zag的形状排序。 DCT得到的直流分量系数经过量化之后用差分脉 冲编码(DPCM)，交流分量

16、系数用行程长度编码 RLE，然后再用霍夫曼(Huffman)编码或者用算 术编码 *第12章 MPEG视像17/46 12.3 MPEG-1视像(续6) 图12-3 帧内图像I的压缩编码算法框图3 *第12章 MPEG视像18/46 12.3 MPEG-1视像(续7) n12.3.3 预测图像P的压缩编码算法 (1) 算法原理 n预测图像P的编码以宏块(MB)为基本编码单元， 一个宏块定义为像素的图块，一般取1616 n预测图像P使用两种类型的参数表示 u当前要编码的图像宏块与参考图像的宏块之间的差值 u宏块的移动矢量(motion vector, MV)，见图12-4 图12-4 移动矢量的概念 *第12章 MPEG视像19/46 12.3 MPEG-1视像(续8) (2)求解差值的方法(见图12-5) n假设