《MPEG-4 AVCH.264视像》由会员分享，可在线阅读，更多相关《MPEG-4 AVCH.264视像（42页珍藏版）》请在金锄头文库上搜索。
1、多媒体技术基础(第3版) 第13章 MPEG-4 AVC/H.264视像 *第13章 MPEG-4 AVC/H.264视像2/73第13章 MPEG-4 AVC/H.264视像目录 13.1 MPEG-4 AVC/H.264的由来 13.2 提高编码效率的主要技术 13.3 视像数据的编码结构 13.3.1 分层处理的结构 13.2.2 视像数据的组织 13.3.3 三种类型的视像 13.4 编译码器的结构 13.5 帧内预测 13.5.1 44亮度预测方式 13.5.2 1616亮度预测方式 13.5.3 88色度预测方式 13.6 帧间预测 13.6.1 移动补偿块的大小 13.6.2 子
2、像素移动矢量 13.6.3 移动矢量的预测13.7 变换和量化 13.7.1 变换类型 13.7.2 DCT和IDTC变换简化 13.7.3 正变换与量化 13.7.4 逆变换与逆量化 13.7.5 44亮度DC残差系数的变 换和量化 13.7.6 22色度DC系数的变换和 量化 13.7.7 变换与量化过程举例 13.8 熵编码 13.8.1 指数葛洛姆编码介绍 13.8.2 CAVLC编码 13.8.3 CABAC编码*第13章 MPEG-4 AVC/H.264视像3/73第13章 MPEG-4 AVC/H.264视像 n前言MPEG-4 AVC / H.26412 34是ITU-T 和I
3、SO/IEC联合推荐的视像编码工业标准， 在相同质量下，比先前的MPEG-Video的压 缩效率提高23倍为降低H.264的计算复杂度和提高压缩效率 ，ITU的专家组正在酝酿开发H.265*第13章 MPEG-4 AVC/H.264视像4/7313.1 MPEG-4 AVC/H.264的由来nMPEG-4视像标准从2003年开始，通常认为由两部分组成nMPEG-4 Visual可视对象编码标准 ISO/IEC 14496-2 Part 2。版本1(1999年)，版本2 (2001年)u主要处理自然对象、合成对象和混合对象的编码nMPEG-4 AVC/ H.264高级视像编码 ISO/IEC 1
4、4496-10 Part 10：Advanced Video Coding (AVC)， 2003年发布u主要处理自然视像的编码*第13章 MPEG-4 AVC/H.264视像5/7313.1 MPEG-4 AVC/H.264的由来(续1)nMPEG-4 Visual的问题与传统视像编码的最大差别是引入了“对象编码”n设计思想：将某一确定场景中的不同部分作为视像对象， 采用不同的编码技术分别予以编码和传送，在接收端解码 之后重新组合还原出原来的场景n在理论上说，MPEG-4 Visual的这种设计思想是先进的， 功能是强大的，应用是广泛的。许多观察家也曾预言， MPEG-4 Visual将成为
5、因特网上视听对象的主要编码方法 ，并取代目前正在使用的、享有专利的各种编解码器，但 时至今日这种情况还未出现n主要问题：技术上的困难。目前人工智能技术还不能轻而 易举地识别场景中的各种对象。尽管自1999年发布以来已 经开发了多个版本，但技术上还没有取得较大的突破，使 用的视像压缩技术主要还是20世纪90年代开发的技术*第13章 MPEG-4 AVC/H.264视像6/7313.1 MPEG-4 AVC/H.264的由来(续2)nH.26L的出现VCEG专家组nVideo Coding Experts Group的缩写， ITU专家 组n1995年完成H.263可视电话标准版本1的开发后开 始
6、两个新计划u开发H.263版本2的短期(short-term)计划u开发低位速率可视通信新标准的长期(long-term)计划H.26L的出现n执行长期计划的结果是在1999年10月产生了 H.26L标准草案，n提供的视像压缩性能明显优于以往的ITU-T标准*第13章 MPEG-4 AVC/H.264视像7/7313.1 MPEG-4 AVC/H.264的由来(续3)nH.264的出现JVT联合视像组nMPEG专家组认识到H.26L的潜力，在2001年12 月与VCEG成立了JVT(Joint Video Team) ，其 主要任务就是将H.26L发展为国际标准H.264的出现nJVT专家们努
7、力的结果是在2003年3月产生了两 个名称不同而内容一致的标准uISO MPEG-4 Part 10uITU-T H.264 常写成：MPEG-4 AVC/H.264 或 H.264/ MPEG-4 AVC*第13章 MPEG-4 AVC/H.264视像8/7313.2 提高编码效率的主要技术 nMPEG-4 AVC/H.264是视像数据压缩技术取得 重大进展的标志编码效率明显提高nMPEG-4 AVC/H.264继承了先前开发的视像标准的许多优 点，在结构上没有明显改变，只在各个主要功能模块内部 做了“小打小闹”和“精雕细刻”n在视像质量相同的前提下，采用MPEG-4 AVC/H.264标准
8、 获得的视像数据压缩比是采用MPEG-2视像标准的23倍应用范围得到扩大n可有效降低在有线网络、卫星网络和电信网络上传送高质 量影视节目的成本，使应用范围得到进一步扩大。例如， 原先使用MPEG-2视像技术的DVD影视和数字电视已经开 始转向采用MPEG-4 AVC / H.264技术*第13章 MPEG-4 AVC/H.264视像9/7313.2 提高编码效率的主要技术(续1)n提高编码效率的主要改进技术56 采用可变图块大小的帧间预测和移动补偿n预测图块大小不再局限于1616像素，可小到44像素，于 是提高了预测精度，如将移动矢量精度提高到1/4个像素采用空间的帧内预测n定义了多种预测方式
9、，目的是找到相关性最大的预测采用 “整数变换编码”n从DCT演变来的变换编码，提高了编码的运算速度采用效率更高的熵编码n前后文自适应可变长度编码(context-based adaptive variable length coding, CAVLC)n前后文自适应二元算术编码(Context-based Adaptive Binary Arithmetic Coding，CABAC)。采用多参考帧和消除“块状失真”的滤波等技术*第13章 MPEG-4 AVC/H.264视像10/7313.2 提高编码效率的主要技术(续2)*第13章 MPEG-4 AVC/H.264视像11/7313.3 视
10、像数据的编码结构 n13.3.1 分层处理结构AVC/ H.264标准分成两层，见图13-1n视像编码层(Video Coding Layer, VCL)，用于有 效地表达视像内容n网络抽象层(Network Abstraction Layer，NAL) ，用于组织VLC数据并提供标题(header)等信息 ，便于在各种不同的网络上传输 *第13章 MPEG-4 AVC/H.264视像12/7313.3 视像数据的编码结构(续1)图13-1 MPEG-4 AVC/ H.264的分层结构*第13章 MPEG-4 AVC/H.264视像13/7313.3 视像数据的编码结构(续2)n13.2.2
11、视像数据的组织 1. 画面划分n一帧画面当作一片像片或分割成若干像片，见图13-2(a)n一片像片包含若干宏块(MB)，见图13-2(b)n每个宏块包含u1个1616像素的亮度(luma)样本u2个88像素的色度(chroma)样本n一片或多片像片构成像片组(slice group)，见图13-2(c)n在隔行扫描视像中，每一场可单独编码，2场构成的帧也 可单独编码，偶数场和奇数场相应的宏块构成宏块对，见 图13-2(d)*第13章 MPEG-4 AVC/H.264视像14/7313.3 视像数据的编码结构(续3)图13-2 MPEG-4 AVC_H.264的画面分割*第13章 MPEG-4
12、AVC/H.264视像15/7313.3 视像数据的编码结构(续4)2. 宏块与子宏块n宏块可划分成宏块区(macroblock partition)和子宏块(sub- macroblock)，见图13-3(a)n子宏块(也称子块)可划分成子宏块区(sub-macroblock partition)，见图13-3(b)图13-3 宏块与子宏块的划分*第13章 MPEG-4 AVC/H.264视像16/7313.3 视像数据的编码结构(续5)n宏块的结构u图13-4表示1616 宏块的树状结构 分割法u在编码时有可能 使用88、48、 84或44像素块 的组合 图13-4 树状结构分割法*第13
13、章 MPEG-4 AVC/H.264视像17/7313.3 视像数据的编码结构(续6)3. 像片的类型n5种类型的像片。前3种与MPEG-1，-2的 图像I、P和B类似uI像片：由I宏块构成的像片。所有I宏块编码 都是使用帧内方式(intra mode)的预测编码uP像片：由P宏块构成的像片。 宏块编码包 含n使用帧内方式(intra mode)的预测编码n使用帧间方式(inter mode)的预测编码uB像片：由B宏块构成的像片。所有宏块的编 码都是使用帧间方式的预测编码*第13章 MPEG-4 AVC/H.264视像18/7313.3 视像数据的编码结构(续7)uSP像片(switchin
14、g-P slice)：由SP宏块构成的 像片。SP宏块的编码是用帧间方式(inter mode)的预测编码uSI像片(switching-I slice)：由SI宏块构成的 像片。SI宏块的编码是用帧内方式的预测编 码 nSP和SI的作用u用于在同一视像源而位速率不同的视像流之 间进行切换、随机访问和快进或快退u为简单起见，假设视像的一帧就是一片像片 ，使用SP和SI进行视像流切换的应用见图13- 5n图中的视像流A是高数据率的播放视像流，视像流 B是低数据率的播放视像流，它们之间可通过 “切 换流切换图像SP ”进行切换，或用SI图像进行切 换 SP*第13章 MPEG-4 AVC/H.26
15、4视像19/7313.3 视像数据的编码结构(续8)图13-5 使用SP和SI切换视像流的概念*第13章 MPEG-4 AVC/H.264视像20/7313.3 视像数据的编码结构(续9)n13.3.3 三种类型的视像基本型(Baseline Profile)n支持使用I像片和P像片的帧内编码和帧间编码n使用基于前后文自适应可变长度编码(CAVLC)n具有基本的性能和抗错能力n用于要求低延时的电视会议和可视电话等应用主流型(Main Profile)n支持逐行扫描和隔行扫描视像n支持帧内编码和帧间编码n支持使用B像片的帧间编码和使用加权预测的帧间编码n使用基于前后文自适应二元算术编码(CABA
16、C)n用于质量要求比较高的电视广播和DVD等*第13章 MPEG-4 AVC/H.264视像21/7313.3 视像数据的编码结构(续10)(3) 扩展型(Extended Profile)n不支持隔行扫描视像和CABACn附加SP像片和SI像片的切换功能n使用数据分割改进抗错能力n用于各种网络上的流播(streaming)图13-6 MPEG-4 AVC/H.264的三种类型*第13章 MPEG-4 AVC/H.264视像22/7313.4 编解码器的结构nMPEG-4 AVC/H.264编解码器概要与先前的视像压缩编码标准类似nMPEG-4 AVC/H.264标准没有明确定义编译码器 的结构，只定义编码视像位流的语句、语义和解 码的方法编码器和解码器包含的功能块见图13-7n除了用于消除重构图像的块状失真的“消块滤波 器(Deblocking Filter)”、减少帧内空间冗余的“帧 内移动估算(Intra-frame Estimation)”与“帧内预 测(In
