视频压缩标准

《视频压缩标准》由会员分享，可在线阅读，更多相关《视频压缩标准（78页珍藏版）》请在金锄头文库上搜索。

1、第第4章章 视频压缩标准视频压缩标准4.1 JPEG标准标准4.2 H.261标准标准4.3 MPEG标准简介标准简介4.4 MPEG-2 视频视频4.5 MPEG-2系统系统4.6 MPEG-44.1 JPEG标准标准4.1.1 JPEG标准简介标准简介JPEG(Joint Photographic Experts Group)是是联联合合照照片片(静静止止)图图像像专专家家组组的的英英文缩写。文缩写。JPEG标准包括两种基本压缩方法。标准包括两种基本压缩方法。(1)有损压缩方法：它是以有损压缩方法：它是以DCT变换变换为基础的压缩方法，其压缩比较高，是为基础的压缩方法，其压缩比较高，是JP

2、EG标准的基础。标准的基础。(2)无损压缩方法，又称预测压缩方法，无损压缩方法，又称预测压缩方法，是以二维是以二维DPCM为基础的压缩方式，解码为基础的压缩方式，解码后能完全精确地恢复原图像采样值，其压后能完全精确地恢复原图像采样值，其压缩比低于有损压缩方法。缩比低于有损压缩方法。JPEG标准还包括多种工作模式。标准还包括多种工作模式。(1)顺序模式顺序模式(2)累进模式累进模式(3)分级模式分级模式4.1.2 JPEG压缩编码算法压缩编码算法基基于于DCT的的JPEG编编解解码码原原理理框框图如图图如图4-1所示。所示。图图4-1 JPEG编解码原理框图编解码原理框图1DCT变换变换输输入入

3、端端把把原原始始图图像像分分成成88像像素素块块(Block)之之后后送送入入DCT变变换换器器，目目的的是是去去除除图像数据的空间冗余。图像数据的空间冗余。2量化量化利用人眼的视觉特性设计量化表。利用人眼的视觉特性设计量化表。3之字形扫描之字形扫描在在编编码码之之前前，需需要要把把二二维维的的变变换换系系数数矩阵转换为一维序列。矩阵转换为一维序列。4可变长熵编码可变长熵编码为为了了消消除除码码字字中中的的统统计计冗冗余余，采采用用可可变长熵编码。变长熵编码。具体的编码方法如下。具体的编码方法如下。(1)首首先先对对系系数数序序列列分分组组，把把每每个个非非零零系系数数和和它它前前面面相相邻邻

4、的的全全部部零零系系数数分分在在一一组组内。内。()将每一组用两个符号表示为将每一组用两个符号表示为 (符号符号1)，(符号符号2)相应的交流系数相应的交流系数(AC Coefficient)组表组表示成示成(Run ，Size)，(Amplitude) (3)对每个符号组进行编码对每个符号组进行编码4.1.3 编码举例编码举例4.2 H.261标准标准H.261标准主要应用在综合业务数字标准主要应用在综合业务数字网网ISDN上传输电视电话会议等低码率的多上传输电视电话会议等低码率的多媒体领域。媒体领域。1990年年12月国际电报电话咨询月国际电报电话咨询委员会委员会(CCITT)通过了通过了

5、H.261建议书，即建议书，即“采用采用p64kbit/s的声像业务的图像编解码的声像业务的图像编解码”，其中，其中p=1,2,，32。4.2.1 图像格式图像格式H.261与与H.263的的图图像像格格式式如如表表4-13所所示。示。其其 中中 ， CIF(Common Intermediate Format)为为通通用用中中间间格格式式，QCIF (Quarter CIF)为为1/4通通用用中中间间格格式式，SQCIF为为扩扩展展的的通通用用中中间间格格式式，4CIF为为4倍倍的的通通用用中中间间格格式，式，16CIF为为16倍的通用中间格式。倍的通用中间格式。4.2.2 H.261编码器

6、编码器在在H.261算算法法中中，不不仅仅使使用用了了JPEG算算法法中中的的帧帧内内压压缩缩，还还使使用用了了帧帧间间预预测测和和运运动动补补偿偿技技术术。下下面面简简单单介介绍绍H.261编编码码算算法法。H.261编码器框图如图编码器框图如图4-3所示。所示。图图4-3 H.261编码器框图编码器框图4.3 MPEG标准简介标准简介MPEG(Moving Picture Experts Group)是是ISO和和IEC两个国际组织的两个国际组织的联合技术委员会联合技术委员会(JTCI)领导下的运动领导下的运动图像专家组的英文缩写。图像专家组的英文缩写。4.3.1 MPEG-1 MPEG专

7、专家家组组于于1992年年制制定定了了MPEG-1标标准准。标标准准的的文文件件编编号号为为ISO/IEC11172。MPEG-1主要包括三个部分：主要包括三个部分：第第一一部部分分系系统统(ISO/IEC11172-1)，是是关关于于数数字字视视频频、数数字字音音频频和和辅辅助助数数据据等等多多路压缩数据流复用和同步的规定；路压缩数据流复用和同步的规定；第二部分视频第二部分视频(ISO/IEC11172-2)，是是关于位速率约为关于位速率约为1.5Mbit/s的视频信号的压的视频信号的压缩编码的规定；缩编码的规定；第三部分音频第三部分音频(ISO/IEC11172-3)，是是关于每通道位速率

8、为关于每通道位速率为64kbit/s，128kbit/s和和192kbit/s的数字音频信号的压缩编码的规的数字音频信号的压缩编码的规定。定。MPEG-1标准的目标主要包括以下几标准的目标主要包括以下几方面：方面：(1)在图像和声音的质量上必须高于可在图像和声音的质量上必须高于可视电话和会议电视的声像质量，至少应达视电话和会议电视的声像质量，至少应达到到VHS家用录像机的声像质量；家用录像机的声像质量；(2)压缩后的数码率应能存储在光盘、压缩后的数码率应能存储在光盘、数字录音带数字录音带DAT或可写磁光盘等媒体中；或可写磁光盘等媒体中；(3)压缩后的码率应与目前的计算压缩后的码率应与目前的计算

9、机网络传输码率相适配，为机网络传输码率相适配，为1.21.5Mbit/s；(4)在通信网络上能适应多种通信在通信网络上能适应多种通信网络的传输。网络的传输。4.3.2 MPEG-2MPEG-2是由是由ISO/IEC的的MPEG专家专家组与组与ITU-T(国际电信联盟电信标准化部门国际电信联盟电信标准化部门)的的ATV的图像编码专家组共同开发的，所的图像编码专家组共同开发的，所以以MPEG-2标准也是标准也是ITU-T的建议。的建议。(1)MPEG-2的组成的组成MPEG-2分分为为许许多多个个部部分分，其其中中主主要要有三个部分：有三个部分：第第一一部部分分系系统统(ISO/IEC13818-

10、1)，是是关关于于多多路路音音频频、视视频频和和数数据据的的复复用用和和同同步步的规定；的规定；第第二二部部分分视视频频(ISO/IEC13818-2)，主主要要涉涉及及各各种种比比特特率率的的数数字字视视频频压压缩缩编编解解码码的规定；的规定；第三部分音频第三部分音频(ISO/IEC13818-3)，扩扩充了充了MPEG-1的音频标准，使之成为多通的音频标准，使之成为多通道音频编码系统，可达到的环绕声道音频编码系统，可达到的环绕声5.1声道。声道。(2)兼容性兼容性MPEG-2以以空空间间和和时时间间可可分分级级方方法法提提供供空空间间和和时时间间不不同同分分辨辨率率视视频频格格式式之之间间

11、的的兼容。兼容。(3)MPEG-1与与MPEG-2的区别的区别在在 许许 多多 情情 况况 下下 ， MPEG-2表表 示示 成成MPEG-1的一个超集。的一个超集。(4)MPEG-2的应用的应用MPEG-2已已广广泛泛应应用用于于DVD，SDTV和和 HDTV中。中。4.4 MPEG-2 视频视频4.4.1 MPEG-2的型和级的型和级MPEG-2标标准准支支持持不不同同性性能能和和不不同同复复杂杂性性的的解解码码器器，覆覆盖盖广广泛泛的的应应用用范范围围，充充分分考考虑虑了了各各种种应应用用的的不不同同要要求求，有有较较强强的的通用性。通用性。MPEG-2还还规规定定了了不不同同的的压压缩

12、缩处处理理方方法，称为型法，称为型(Profile)。1级级(Level)级级表表示示MPEG-2编编码码器器输输入入端端的的信信源源图像格式。图像格式。(1)低级低级(Low Level，LL)LL级级对对应应的的输输入入信信源源格格式式是是CIF格格式式，约约 是是 601标标 准准 中中 的的 信信 源源 格格 式式 的的 1/4， 即即35224830或或35228825，相相应应编编码码的的最最大输出码率为大输出码率为4Mbit/s。(2)主级主级(Main Level，ML)ML对对应应于于ITU-R601建建议议的的信信源源格格式式，即即72048029.97或或72057625

13、，最最大大允允许许输输出出码码率率为为15Mbit/s，其其高高型型的的码码率率是是20Mbit/s。(3)高高H-1440级级(High-1440 Level)H-1440属属于于高高清清晰晰度度发发展展道道路路上上的的准准高清晰度级，没有得到实际应用。高清晰度级，没有得到实际应用。(4)高级高级(High Level，HL)HL对应高清晰度电视的信源格式，对应高清晰度电视的信源格式，即即1920108030或或1920115225，最大输，最大输出码率为出码率为80Mbit/s，其高型的码率是其高型的码率是100Mbit/s。2型型(Profile)(1)简单型简单型(Simple Pro

14、file，SP)(2)主型主型(Main Profile，MP)(3)信信 杂杂 比比 可可 分分 级级 型型 SNR(SNR Scalable)(4)空空间间可可分分级级型型(Spatial Scalable Profile，SSP)(5)高型高型(High Profile，HP)(6)4 2 2型型(4 2 2Profile) (7)多多视视点点型型(Mulitiview Profile，MVP)4.4.2 视频结构视频结构1视频序列视频序列视视频频序序列列也也称称图图像像序序列列，它它是是随随机机选选取节目的一个基本单元。取节目的一个基本单元。2图像组图像组图图像像组组是是将将一一个个图

15、图像像序序列列中中连连续续的的几几个图像组成一个小组，简称为个图像组成一个小组，简称为GOP。3图像图像图图像像是是一一个个独独立立的的显显示示单单元元，也也是是图图像像编编码码的的基基本本单单元元，可可分分为为I，P和和B三三种种编编码图像。码图像。4像条像条像像条条是是发发生生误误码码且且不不可可纠纠正正时时，数数据据重重新新获获得得同同步步，从从而而能能正正常常解解码码的的基基本本单单元。元。5宏块宏块宏宏块块是是运运动动预预测测的的基基本本单单元元。运运动动估估计计以以宏宏块块为为单单位位，借借此此得得到到最最佳佳匹匹配配宏宏块块的的运运动动矢矢量量。运运动动预预测测只只对对亮亮度度阵

16、阵列列进进行行，对对应应的的色色差差阵阵列列其其运运动动估估计计使使用用和和亮亮度度阵阵列相同的运动矢量。列相同的运动矢量。6块块(像块像块)块或称像块，是块或称像块，是DCT变换的基本单元。变换的基本单元。4.4.3 图像压缩编码图像压缩编码MPEG算算法法达达到到了了很很高高的的压压缩缩比比，但但仍仍保保持持了了很很好好的的图图像像质质量量，单单靠靠帧帧内内编编码码是是不不可可能能达达到到的的。在在MPEG压压缩缩编编码码中中，主主要要通通过过DCT变变换换和和运运动动预预测测技技术术来来压压缩缩空间冗余和时间冗余。空间冗余和时间冗余。在在MPEG-2压压缩缩编编码码算算法法中中，不不仅仅

17、包包括括了了JPEG算算法法中中的的DCT、自自适适应应量量化化和和熵熵编编码码等等一一系系列列帧帧内内编编码码方方法法，更更重重要要的的是是利用了帧间运动补偿技术。利用了帧间运动补偿技术。1I，P和和B编码图像编码图像(1)帧内编码图像帧内编码图像(Intra Picture)(2)前前向向预预测测编编码码图图像像(Predicated Picture)(3)双双向向预预测测编编码码图图像像(Bidrectional Picture)2编码原理编码原理(1)帧重排帧重排(2)当输入的第一帧作为当输入的第一帧作为I帧图像进入帧图像进入图图4-8所示的编码器中时，开关所示的编码器中时，开关K1，

18、K2和和K4在上方，在上方，K3 在左方。在左方。(3)当当P4作为作为P帧进入编码器时，开关帧进入编码器时，开关K1，K2和和K4切换到下方，切换到下方，K3还在左方。还在左方。图图4-8MPEG-2压缩编码原理框图压缩编码原理框图(4)当当B2作为作为B帧进入编码器时，开关帧进入编码器时，开关K1 在下方，在下方，K2 在上方，在上方，K3 在右方，在右方，K4 在在中间。中间。3图图像像组组(Group of Pictures，GOP)在在图图4-9所所示示的的图图像像序序列列中中，每每 12帧帧中中包包含含1个个I帧帧、3个个P帧帧和和8个个B帧帧，称称为为一一个图像组个图像组(GOP

19、)。图图4-9图像序列原始顺序图像序列原始顺序4.4.4 视频基本码流结构视频基本码流结构经经过过编编码码器器编编码码后后，6个个视视频频层层次次构构成成的的编编码码视视频频码码流流称称为为视视频频基基本本码码流流(ES)，图图4-11所所示示为为简简化化的的基基本本码码流流结结构构图图。图图4-11 视频基本码流结构视频基本码流结构(1)在视频序列层中，一个编码的视频在视频序列层中，一个编码的视频序列由一个序列信头开始，后面跟随一个序列由一个序列信头开始，后面跟随一个图像组头，然后是由许多图像图像组头，然后是由许多图像(I，P和和B)组组成的一系列成的一系列GOP，视频序列结束于一个序视频序

20、列结束于一个序列终止码。列终止码。(2)在在图图像像组组层层中中，GOP头头中中给给出出了了时时间间码码和和紧紧跟跟在在I幀幀后后面面的的B图图像像的的预预测测特特性性等信息。等信息。(3)在图像层中，图像头中给出了时间在图像层中，图像头中给出了时间参考信息、图像编码类型和参考信息、图像编码类型和VBV(视频缓存视频缓存校验器校验器)延时等信息。延时等信息。(4)在在像像条条层层中中，像像条条头头中中给给出出了了像像条条垂直位置、量化因子码等信息。垂直位置、量化因子码等信息。(5)在在宏宏块块层层中中，其其中中的的宏宏块块类类型型码码中中给出了宏块属性、运动矢量。给出了宏块属性、运动矢量。(6

21、)最最后后一一层层是是块块层层，给给出出了了其其DCT系数。系数。4.4.5 MPEG-2的可分级编码的可分级编码分分级级(Scalability)编编码码使使原原本本一一体体的的码码流流呈呈现现一一种种分分级级结结构构，使使其其中中的的部部分分码码流流可可单单独独解解码码，从从而而可可得得到到不不同同的的分分辨辨率和所需的码率。率和所需的码率。可可分分级级编编解解码码的的意意义义在在于于其其码码流流的的独独立立分分层层及及可可分分层层叠叠加加，从从而而使使该该码码流流适适应应不不同同环环境境的的传传输输信信道道和和不不同同用用户户需需求求的的能能力大大增加。力大大增加。MPEG-2中的可分级

22、编解码主要包括中的可分级编解码主要包括以下几种：空间分级以下几种：空间分级 (Spatial Scalability)、时间分级时间分级(Temporal Scalability)、SNR分级分级(SNR Scalability)和和数据划分数据划分(Data Partitioning)等。等。1空间可分级空间可分级2SNR可分级可分级(SNR Scalability)(1)底层编码底层编码底底层层的的编编码码在在帧帧内内/帧帧间间判判决决、自自适适应量化和缓存调整方面和不分级编码类似。应量化和缓存调整方面和不分级编码类似。(2)增强层编码增强层编码在在增增强强层层编编码码中中，首首先先对对底

23、底层层输输出出的的量量化化后后的的DCT系系数数进进行行反反量量化化，然然后后用用未未量量化化的的DCT系系数数和和反反量量化化后后的的DCT系系数数相相减求差值，得到修正系数。减求差值，得到修正系数。3 时时 间间 可可 分分 级级(Temporal Scalability)4混合可分级性混合可分级性混混合合可可分分级级性性(Hybrid Scalability)是是空空间间、SNR和和时时间间可可分分级级的的混混合合，产产生生两两个个以以上上的的视视频频层层，以以支支持持更更多多需需求求的的应应用用。下下面面介介绍绍混混合合可可分分级级在在数数字字电电视视领领域域中中的的应用。应用。(1)

24、空间和空间和SNR混合可分级的应用混合可分级的应用(2) 空间和时间混合可分级的应用空间和时间混合可分级的应用(3)时间和时间和SNR可分级的应用可分级的应用5数据划分数据划分在在信信道道和和发发射射功功率率受受到到限限制制时时，往往往往希希望望能能够够在在比比较较差差的的条条件件下下收收到到质质量量略略差差些的图像，而不致于根本没有图像。些的图像，而不致于根本没有图像。4.4.6 MPEG-2解码解码MPEG-2解解码码是是MPEG-2编编码码处处理理的的逆逆过过程程，从从编编码码比比特特流流中中重重建建图图像像帧帧。MPEG-2解码框图如图解码框图如图4-17所示。所示。图图4-17 MP

25、EG-2解码框图解码框图4.5 MPEG-2系统系统4.5.1 系统复用系统复用复复用用器器是是整整个个系系统统的的关关键键设设备备之之一一，它它接接收收从从前前端端编编码码器器来来的的视视频频、音音频频数数据据流流，按按照照一一定定的的复复用用规规范范将将其其交交织织复复用用成成符符合合MPEG-2系系统统层层规规范范的的单单一一的的系系统统码码流。流。1单路节目的视、音频数据流的单路节目的视、音频数据流的系统复用系统复用单路节目的视、音频数据流的系统复单路节目的视、音频数据流的系统复用框图如图用框图如图4-18所示。所示。图图4-18 简化的简化的MPEG-2系统复用框图系统复用框图按照按

26、照ISO/IEC 13818-2和和ISO/IEC 13818-3标准对视频和音频信号进行压缩编标准对视频和音频信号进行压缩编码后的码流称为基本数据流码后的码流称为基本数据流(Elementary Stream，ES)。4.5.2 PES和和TS流分析流分析(1)打打 包包 基基 本本 码码 流流 (Paketized Elementary Stream，PES)(3)节目流节目流(Program Stream，PS)(4)传传 送送 流流 (Transport Stream，TS)TS包的结构如图包的结构如图4-20所示。所示。图图4-20 TS 包的结构图包的结构图4.5.3 多路节目双层

27、复用系统多路节目双层复用系统如如果果在在一一个个电电视视频频道道内内复复用用几几路路TS流流，也也即即在在一一个个常常规规频频道道内内传传输输多多套套数数字字电电视视节节目目，则则称称为为多多路路节节目目的的双双层层复复用用。多多路路节目的双层复用系统框图如图节目的双层复用系统框图如图4-21所示。所示。第第一一层层复复用用称称为为节节目目复复用用(Program Multiplex)；第第二二层层复复用用称称为为传传输输复复用用(Transport Multiplex)。其其中中，节节目目复复用用有有共共同同的的时时间间基基准准，传传输输复复用用时时彼彼此此可可以以有独立的时间基准。有独立的

28、时间基准。图图4-21 多路节目的双层复用系统框图多路节目的双层复用系统框图4.5.4 节目专用信息节目专用信息(PSI) PSI信息主要由以下几种类型的表构成：信息主要由以下几种类型的表构成：(1)节目关联表节目关联表(Program Association Table，PAT)(2)节节目目映映射射表表(Program Map Table，PMT)(3)条条 件件 接接 收收 表表 (Conditional Access Table，CAT)(4)网网络络信信息息表表(Network Information Table，NIT)(5)传传送送流流描描述述表表(Transport Strea

29、m Description Table，TSDT)(6)专用段专用段(Private_section)(7)描述符描述符(Descripter) 4.5.5 码率控制码率控制1CBR编码复用方式编码复用方式CBR编码复用方式如图编码复用方式如图4-23所示。所示。 图图4-23CBR编码复用方式框图编码复用方式框图 通常码率控制的方法有以下几种。通常码率控制的方法有以下几种。(1)(1)控制缓存器充盈度的方法控制缓存器充盈度的方法控制缓存器充盈度的方法控制缓存器充盈度的方法这是一种利用调节量化系数来控制缓这是一种利用调节量化系数来控制缓冲器充盈度的方法，由于是从总比特数出冲器充盈度的方法，由于

30、是从总比特数出发，其控制能力较弱，在图像的复杂度变发，其控制能力较弱，在图像的复杂度变化较大时会引起图像质量较大的起伏。化较大时会引起图像质量较大的起伏。 (2)(2)预分配法预分配法预分配法预分配法一般来说，一个图像序列中各图像的一般来说，一个图像序列中各图像的内容比较接近，复杂度相当，因而对同一内容比较接近，复杂度相当，因而对同一类型的图像其编码比特数应当相差不大。类型的图像其编码比特数应当相差不大。 (3)(3)Test Model 5(TM5)Test Model 5(TM5)码率控制码率控制码率控制码率控制MPEG-2给给出出了了TM5码码率率控控制制策策略略，主要分为以下三个步骤。

31、主要分为以下三个步骤。第一步为比特分配，以图像组为单元第一步为比特分配，以图像组为单元对其中的每一个图像按其类型分配比特数。对其中的每一个图像按其类型分配比特数。第二步为码率控制。第二步为码率控制。 第三步为自适应量化调整。第三步为自适应量化调整。 2VBR编码复用方式编码复用方式在在VBR编码中，量化系数是固定的，编码中，量化系数是固定的，这样可以使各路图像质量相当。这样可以使各路图像质量相当。 (1)(1)帧平移统计复用帧平移统计复用帧平移统计复用帧平移统计复用MPEG编码的码流具有明显的伪周期编码的码流具有明显的伪周期性，以性，以GOP为周期存在较大的尖峰，在每为周期存在较大的尖峰，在每

32、个个GOP中按中按P帧的间隔出现较小的峰值。帧的间隔出现较小的峰值。 (2)(2)基于率失真理论的联合码率控制基于率失真理论的联合码率控制基于率失真理论的联合码率控制基于率失真理论的联合码率控制联联合合码码率率控控制制在在保保证证信信道道中中传传输输恒恒定定速速率率比比特特流流的的前前提提下下，允允许许各各业业务务信信源源以以变变速速率率码码流流编编码码，以以适适应应不不断断变变化化的的信信源源需求。需求。 4.6 MPEG-4 4.6.1 MPEG-4概述概述1MPEG-4的特点的特点MPEG-4标准的主要特征是采用了基标准的主要特征是采用了基于对象于对象(Object-Based)编码等的

33、第二代编编码等的第二代编码技术。码技术。 MPEG-4可以对不同来源的视、音频可以对不同来源的视、音频对象进行合成。对象进行合成。 基于对象的分级功能是基于对象的分级功能是MPEG-4提供提供的又一个新功能，同时兼容于的又一个新功能，同时兼容于MEPG-2标标准中的图像分级功能。准中的图像分级功能。MPEG-4的编码具有鲁棒性和纠错功的编码具有鲁棒性和纠错功能，从而保证在易出错的通信环境下实现能，从而保证在易出错的通信环境下实现安全的低码率编码和传输。这包含三个方安全的低码率编码和传输。这包含三个方面：再同步面：再同步(Resynchronization)、数据恢复数据恢复(Data Reco

34、very)和错误隐藏和错误隐藏( Error Concealment)。 2 MPEG-4的主要应用的主要应用 MPEG-4标标准准的的目目标标是是多多媒媒体体的的多多领领域域应应用用，它它为为不不同同应应用用定定义义了了编编解解码码器器和和码码流流的的不不同同类类(Profile)和和级级(Level)，从从而而支支持持各各种种码码率率(5kbit/s到到4Mbit/s)、格格式式(逐逐行行和隔行和隔行)和分辨率和分辨率(QCIF到到HDTV)。3 MPEG-4的主要内容的主要内容MPEG-4的的第第一一版版主主要要包包括括系系统统、视视频频、音音频频和和多多媒媒体体传传送送集集成成框框架架

35、(DMIF)等等部部分分，随随着着技技术术的的发发展展，MPEG-4的的内内容容也不断充实和改进。也不断充实和改进。4.6.2 MPEG-4系统系统系统部分主要包括以下内容。系统部分主要包括以下内容。(1)系统解码器模型，这是每一个系统系统解码器模型，这是每一个系统都应该有的特殊模型。都应该有的特殊模型。(2)场景描述场景描述(Scence Description),它它是用来说明根据是用来说明根据AV对象的时间和空间属性对象的时间和空间属性如何有效地将它们组织起来的。如何有效地将它们组织起来的。 (4)基基本本码码流流同同步步层层(SL)，它它是是将将基基本本码码流流数数据据打打包包成成AU

36、单单元元(访访问问单单元元)的的语语法法，打打包包中中附附加加了了时时间间和和同同步步信信息息，接接收收时时从从SL中中提提取取时时间间信信息息能能够够使使解解码码同同步步，并并将将基本流数据合成。基本流数据合成。(5)基本码流的多路合成系统中有两层基本码流的多路合成系统中有两层复用，传输复用复用，传输复用(TransMux)和和MPEG-4复复用用(FlexMux)。 4.6.3 MPEG-4视频视频MPEG-4视视频频由由视视频频序序列列、视视频频对对象象、视视频频对对象象层层、视视频频对对象象平平面面、视视频频包包、宏宏块和块组成，如图块和块组成，如图4-29所示。所示。图图4-29 M

37、PEG-4视频的层次结构视频的层次结构 MPEG-4的的视视频频编编码码包包括括：形形状状编编码码、运运动动估估计计和和补补偿偿、纹纹理理编编码码、可可分分级级编编码码和和Sprite编编码码等等，下下面面分分别别介介绍绍这这些些编编码码概概念。念。1形状编码形状编码MPEG-4引引入入了了形形状状信信息息编编码码，形形状状编编码码在在计计算算机机图图形形学学、计计算算机机视视觉觉和和图图像像压压缩缩领领域域不不属属于于新新技技术术，现现在在将将其其纳纳入入应应用到完整的视频编码标准内。用到完整的视频编码标准内。 VO的形状信息有两类：二值形状信的形状信息有两类：二值形状信息和灰度形状信息。一

38、个息和灰度形状信息。一个VOP的形状限制的形状限制在一个水平和垂直方向像素数都为在一个水平和垂直方向像素数都为16的整的整数倍的边界框数倍的边界框(Bounding Box)内，可以选内，可以选择边界框的位置以使得包含的择边界框的位置以使得包含的1616块数目块数目最小。最小。 2纹理编码纹理编码纹纹理理编编码码的的对对象象可可以以是是帧帧内内编编码码模模式式的的I-VOP，也也可可以以是是帧帧间间编编码码模模式式中中B-VOP或或P-VOP运动补偿后的差值图像。运动补偿后的差值图像。3分级编码分级编码与与MPEG-2中中基基于于帧帧的的可可分分级级编编码码相相比比，MPEG-4所所采采用用的

39、的可可分分级级技技术术是是基基于于对象的可分级编码。对象的可分级编码。4Sprite编码编码 Sprite是指一个相对静止的长背景。是指一个相对静止的长背景。图图4-32所所示示的的是是Sprite编编码码的的例例子子，左左上上方方是是Sprite图图像像，右右上上方方是是前前景景视视频频对对象象，下下方方的的当当前前帧帧的的背背景景是是从从Sprite图图像像中中取出的。取出的。 图图4-32 Sprite编码举例编码举例 4.6.4 MPEG-4音频音频MPEG-4的的音音频频编编码码分分为为两两种种：自自然然声音和合成声音。声音和合成声音。编编码码算算法法有有相相应应的的谐谐波波矢矢量量激激励励编编码码(Harmonic Vector Excitation Coding)和和码码激激 励励 线线 性性 预预 测测 (Code Excited Linear Prediction，CELP)编码技术。编码技术。