《多媒体技术基础-mpeg-4 avc h264视像》由会员分享，可在线阅读，更多相关《多媒体技术基础-mpeg-4 avc h264视像（72页珍藏版）》请在金锄头文库上搜索。
1、多媒体技术基础- MPEG-4 AVC/H.264视像,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,2/73,第13章 MPEG-4 AVC/H.264视像目录,13.1 MPEG-4 AVC/H.264的由来 13.2 提高编码效率的主要技术 13.3 视像数据的编码结构 13.3.1 分层处理的结构 13.2.2 视像数据的组织 13.3.3 三种类型的视像 13.4 编译码器的结构 13.5 帧内预测 13.5.1 44亮度预测方式 13.5.2 1616亮度预测方式 13.5.3 88色度预测方式 13.6 帧间预测 13.6.1 移动补偿块的大小 13.6
2、.2 子像素移动矢量 13.6.3 移动矢量的预测,13.7 变换和量化 13.7.1 变换类型 13.7.2 DCT和IDTC变换简化 13.7.3 正变换与量化 13.7.4 逆变换与逆量化 13.7.5 44亮度DC残差系数的变换和量化 13.7.6 22色度DC系数的变换和量化 13.7.7 变换与量化过程举例 13.8 熵编码 13.8.1 指数葛洛姆编码介绍 13.8.2 CAVLC编码 13.8.3 CABAC编码,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,3/73,第13章 MPEG-4 AVC/H.264视像,前言 MPEG-4 AVC / H.
3、26412 34是ITU-T和ISO/IEC联合推荐的视像编码工业标准，在相同质量下，比先前的MPEG-Video的压缩效率提高23倍 为降低H.264的计算复杂度和提高压缩效率，ITU的专家组正在酝酿开发H.265,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,4/73,13.1 MPEG-4 AVC/H.264的由来,MPEG-4视像标准 从2003年开始，通常认为由两部分组成 MPEG-4 Visual可视对象编码标准 ISO/IEC 14496-2 Part 2。版本1(1999年)，版本2 (2001年) 主要处理自然对象、合成对象和混合对象的编码 MPEG
4、-4 AVC/ H.264高级视像编码 ISO/IEC 14496-10 Part 10：Advanced Video Coding (AVC)， 2003年发布 主要处理自然视像的编码,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,5/73,13.1 MPEG-4 AVC/H.264的由来(续1),MPEG-4 Visual的问题 与传统视像编码的最大差别是引入了“对象编码” 设计思想：将某一确定场景中的不同部分作为视像对象，采用不同的编码技术分别予以编码和传送，在接收端解码之后重新组合还原出原来的场景 在理论上说，MPEG-4 Visual的这种设计思想是先进的，
5、功能是强大的，应用是广泛的。许多观察家也曾预言，MPEG-4 Visual将成为因特网上视听对象的主要编码方法，并取代目前正在使用的、享有专利的各种编解码器，但时至今日这种情况还未出现 主要问题：技术上的困难。目前人工智能技术还不能轻而易举地识别场景中的各种对象。尽管自1999年发布以来已经开发了多个版本，但技术上还没有取得较大的突破，使用的视像压缩技术主要还是20世纪90年代开发的技术,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,6/73,13.1 MPEG-4 AVC/H.264的由来(续2),H.26L的出现 VCEG专家组 Video Coding Expe
6、rts Group的缩写， ITU专家组 1995年完成H.263可视电话标准版本1的开发后开始两个新计划 开发H.263版本2的短期(short-term)计划 开发低位速率可视通信新标准的长期(long-term)计划 H.26L的出现 执行长期计划的结果是在1999年10月产生了H.26L标准草案， 提供的视像压缩性能明显优于以往的ITU-T标准,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,7/73,13.1 MPEG-4 AVC/H.264的由来(续3),H.264的出现 JVT联合视像组 MPEG专家组认识到H.26L的潜力，在2001年12月与VCEG成
7、立了JVT(Joint Video Team) ，其主要任务就是将H.26L发展为国际标准 H.264的出现 JVT专家们努力的结果是在2003年3月产生了两个名称不同而内容一致的标准 ISO MPEG-4 Part 10 ITU-T H.264 常写成：MPEG-4 AVC/H.264 或 H.264/ MPEG-4 AVC,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,8/73,13.2 提高编码效率的主要技术,MPEG-4 AVC/H.264是视像数据压缩技术取得重大进展的标志 编码效率明显提高 MPEG-4 AVC/H.264继承了先前开发的视像标准的许多优点
8、，在结构上没有明显改变，只在各个主要功能模块内部做了“小打小闹”和“精雕细刻” 在视像质量相同的前提下，采用MPEG-4 AVC/H.264标准获得的视像数据压缩比是采用MPEG-2视像标准的23倍 应用范围得到扩大 可有效降低在有线网络、卫星网络和电信网络上传送高质量影视节目的成本，使应用范围得到进一步扩大。例如，原先使用MPEG-2视像技术的DVD影视和数字电视已经开始转向采用MPEG-4 AVC / H.264技术,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,9/73,13.2 提高编码效率的主要技术(续1),提高编码效率的主要改进技术56 采用可变图块大小的
9、帧间预测和移动补偿 预测图块大小不再局限于1616像素，可小到44像素，于是提高了预测精度，如将移动矢量精度提高到1/4个像素 采用空间的帧内预测 定义了多种预测方式，目的是找到相关性最大的预测 采用 “整数变换编码” 从DCT演变来的变换编码，提高了编码的运算速度 采用效率更高的熵编码 前后文自适应可变长度编码(context-based adaptive variable length coding, CAVLC) 前后文自适应二元算术编码(Context-based Adaptive Binary Arithmetic Coding，CABAC)。 采用多参考帧和消除“块状失真”的滤波等
10、技术,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,10/73,13.2 提高编码效率的主要技术(续2),2019年10月30日,第13章 MPEG-4 AVC/H.264视像,11/73,13.3 视像数据的编码结构,13.3.1 分层处理结构 AVC/ H.264标准分成两层，见图13-1 视像编码层(Video Coding Layer, VCL)，用于有效地表达视像内容 网络抽象层(Network Abstraction Layer，NAL)，用于组织VLC数据并提供标题(header)等信息，便于在各种不同的网络上传输,2019年10月30日,第13章 MP
11、EG-4 AVC/H.264视像,12/73,13.3 视像数据的编码结构(续1),图13-1 MPEG-4 AVC/ H.264的分层结构,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,13/73,13.3 视像数据的编码结构(续2),13.2.2 视像数据的组织 1. 画面划分 一帧画面当作一片像片或分割成若干像片，见图13-2(a) 一片像片包含若干宏块(MB)，见图13-2(b) 每个宏块包含 1个1616像素的亮度(luma)样本 2个88像素的色度(chroma)样本 一片或多片像片构成像片组(slice group)，见图13-2(c) 在隔行扫描视像中
12、，每一场可单独编码，2场构成的帧也可单独编码，偶数场和奇数场相应的宏块构成宏块对，见图13-2(d),2019年10月30日,第13章 MPEG-4 AVC/H.264视像,14/73,13.3 视像数据的编码结构(续3),图13-2 MPEG-4 AVC_H.264的画面分割,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,15/73,13.3 视像数据的编码结构(续4),2. 宏块与子宏块 宏块可划分成宏块区(macroblock partition)和子宏块(sub-macroblock)，见图13-3(a) 子宏块(也称子块)可划分成子宏块区(sub-macro
13、block partition)，见图13-3(b),图13-3 宏块与子宏块的划分,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,16/73,13.3 视像数据的编码结构(续5),宏块的结构 图13-4表示1616宏块的树状结构分割法 在编码时有可能使用88、48、84或44像素块的组合,图13-4 树状结构分割法,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,17/73,13.3 视像数据的编码结构(续6),3. 像片的类型 5种类型的像片。前3种与MPEG-1，-2的图像I、P和B类似 I像片：由I宏块构成的像片。所有I宏块编码都是使用
14、帧内方式(intra mode)的预测编码 P像片：由P宏块构成的像片。 宏块编码包含 使用帧内方式(intra mode)的预测编码 使用帧间方式(inter mode)的预测编码 B像片：由B宏块构成的像片。所有宏块的编码都是使用帧间方式的预测编码,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,18/73,13.3 视像数据的编码结构(续7),SP像片(switching-P slice)：由SP宏块构成的像片。SP宏块的编码是用帧间方式(inter mode)的预测编码 SI像片(switching-I slice)：由SI宏块构成的像片。SI宏块的编码是用帧内
15、方式的预测编码 SP和SI的作用 用于在同一视像源而位速率不同的视像流之间进行切换、随机访问和快进或快退 为简单起见，假设视像的一帧就是一片像片，使用SP和SI进行视像流切换的应用见图13-5 图中的视像流A是高数据率的播放视像流，视像流B是低数据率的播放视像流，它们之间可通过 “切换流切换图像SP ”进行切换，或用SI图像进行切换,SP,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,19/73,13.3 视像数据的编码结构(续8),图13-5 使用SP和SI切换视像流的概念,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,20/73,13.3
16、 视像数据的编码结构(续9),13.3.3 三种类型的视像 基本型(Baseline Profile) 支持使用I像片和P像片的帧内编码和帧间编码 使用基于前后文自适应可变长度编码(CAVLC) 具有基本的性能和抗错能力 用于要求低延时的电视会议和可视电话等应用 主流型(Main Profile) 支持逐行扫描和隔行扫描视像 支持帧内编码和帧间编码 支持使用B像片的帧间编码和使用加权预测的帧间编码 使用基于前后文自适应二元算术编码(CABAC) 用于质量要求比较高的电视广播和DVD等,2019年10月30日,第13章 MPEG-4 AVC/H.264视像,21/73,13.3 视像数据的编码结构(续10),(3) 扩展型(Extended Profile) 不支持隔行扫描视像和CABAC 附加SP像片和SI像片的切换功能 使用数据分割改进抗错能力 用于各种网络上的流播(streaming),图13-6 MPEG-4 AVC/H.264的三种类型,2019年10月30日,第13章 MPEG-4 AVC/H.264视像
