{广告传媒}流媒体编解码技术

《{广告传媒}流媒体编解码技术》由会员分享，可在线阅读，更多相关《{广告传媒}流媒体编解码技术（50页珍藏版）》请在金锄头文库上搜索。

1、3流媒体编解码技术,南京工程学院计算机工程学院 徐梦溪,3.1 简介,： （运动图像专家组） 负责制订适用于数字存储媒介、电视广播和通信等应用场合的视频和音频数据的压缩编码标准 1，2，4，7 和 21,南京工程学院计算机工程学院 徐梦溪,3.2 1 和 2 标准,1 标准全称： 1.5 1 标准包括五个部分：系统层；图像层；声音层；一致性测试层；软件仿真技术报告。 第一部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行复合编码。 第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。 第五部分是一个用完整的C语言实现的编码和解码器。 2 标准全称：,

2、南京工程学院计算机工程学院 徐梦溪,3.2.1 12 标准中的三种编码类型图像,I 帧 采用帧内（离散余弦变换）编码 只利用单帧图像内的空间相关性 由于I帧不依赖其它帧，所以是随机存取的插入点，同时是解码的基准帧。 I帧图像可作为B帧和P帧图像的预测参考帧。 I帧图像是周期性出现在图像序列中的，出现频率可由编码器选择。 P 帧 根据前面最靠近的I帧或P帧进行前向预测 采用带运动补偿的帧间预测编码方式 同时利用空间和时间上的相关性 B 帧 双向预测内插帧 既用已传输的在视频序列中处于该帧前的“过去”帧（I帧或P帧）作预测参考帧。进行前向运动补偿预测；又用后面的“未来”帧（I帧或P帧）作预测参考帧

3、，进行后向运动补偿预测 B帧不能用来作为其他帧进行运动补偿预测的参考帧 采用B帧进行双向运动补偿预测是算法的一个重要特点。适合解决景物中由于物体运动对被遮挡区的预测困难。 如对双向预测的结果进行平均，可降低噪声，因此使序列图像的编码效率提高,南京工程学院计算机工程学院 徐梦溪,3.2.2 视频码流的分层结构,视频数据经过压缩编码后形成视频基本码流（） 用句法规定了一个分层结构 对分层要求：支持通用性、灵活性和有效性 视频基本码流的分层结构,南京工程学院计算机工程学院 徐梦溪,视频基本码流的分层结构：,南京工程学院计算机工程学院 徐梦溪,3.2.2 视频码流的分层结构层（图像组层）,在两个参考帧

4、之间插入几个B帧？ B帧数目的增加会降低B帧和参考帧之间以及参考帧与参考帧之间的相关性； B帧数目的增加要求增大参考帧中运动估计的搜索范围； B帧数目的增加会增加接收的延迟时间和要求增加接收机内缓存器的容量。,南京工程学院计算机工程学院 徐梦溪,3.2.2 视频码流的分层结构图像层,包括不同编码类型的图像，即I、B、P帧 1. 1中，逐行扫描（帧格式）； 亮度和色度的采样格式是 4:2:0 2. 2中，逐行或隔行（场格式）扫描； 亮度和色度的采样格式是 4:2:0 或 4:2:2 或 4:4:4,南京工程学院计算机工程学院 徐梦溪,3.2.2 视频码流的分层结构宏块条层,包括若干个连续宏块，其

5、顺序和行扫描顺序一致 从一个宏块行（16行宽）的任何一个宏块开始 2 中，一个宏块条必须在同一宏块行中起始和结束，且一个宏块条至少包括一个宏块 比特流重新同步的基本单元,南京工程学院计算机工程学院 徐梦溪,3.2.2 视频码流的分层结构宏块层,运动补偿预测的基本单元。 算法在 P 帧和 B 帧中以宏块为单位自适应地选择合适的运动补偿预测模式（在 I 帧中全部宏块都采用帧内编码模式）。 P 帧中的宏块采用前向运动补偿预测模式；当预测效果不佳时，切换到帧内编码模式。 B 帧中的宏块采用何种模式取决于哪一种模式下对该宏块进行编码时所需的比特数最少。,南京工程学院计算机工程学院 徐梦溪,3.2.2 视

6、频码流的分层结构像块层,算法中最小的编码单位 88 个像素 亮度信号（Y）、色差信号 或 三种图像信息中的一种信息 的基本单元,南京工程学院计算机工程学院 徐梦溪,3.2.3 12 视频编码关键技术,12 视频压缩的原理：利用序列图像中的空间相关性和时间相关性。 空间相关性：一个像素与其周围的某些像素在亮度和色度上存在的关系 时间相关性：一个视频序列中前后帧图像间存在的关系 采用带运动补偿的帧间预测编码和帧内 编码相结合的方案 帧内编码与帧间编码流程的区别：是否经过预测环的处理,南京工程学院计算机工程学院 徐梦溪,3.2.3 12 视频编码关键技术（d）,1. 离散余弦变换（） 2. 量化器

7、3. “之”字形扫描与游程编码 4. 熵编码 5. 运动估计 6. 运动补偿,南京工程学院计算机工程学院 徐梦溪,3.2.4 2 和 1 的区别,1. 2 定义了“”和“”的概念 规定了6个语法子集（）： , , 4:2:2 , , , 按编码图像的分辨率分成4个 ： , 1440 , , 规定了可以使用哪些语法因素，以及如何使用这些语法元素； 规定了这些语法元素的取值范围,南京工程学院计算机工程学院 徐梦溪,3.2.4 2 和 1 的区别（d）,2. 2 有“按帧编码”和“按场编码”两种模式 1 只支持逐行扫描； 2 支持逐行扫描和隔行扫描， 针对隔行扫描的常规电视图像专门设置了“按帧编码”

8、和“按场编码”两种模式。 1 中，宏块被逐行地分割成像块； 2 中，逐行扫描图像采用逐行分割方式；隔行扫描的帧图像采用逐行分割与隔行分割两种方式。,南京工程学院计算机工程学院 徐梦溪,3.2.4 2 和 1 的区别（d）,3. 2 增加了可分级性 （1）空间可分级性 （2）时间可分级性 （3）信噪比可分级性,南京工程学院计算机工程学院 徐梦溪,3.3 4 视频编码标准,为了支持众多的多媒体应用，4 视频标准将支持8种新的功能，这8种新功能可归为3类： 1. 基于内容的交互性 （1）基于内容的多媒体数据存取工具 4通过使用各种存取工具，例如索引、超链接、查询、浏览、下载、上载、删除，提供基于音/

9、视频内容的数据存取。 （2）基于内容的码流操纵和编辑 4的基于内容的编码表示，允许对景物种的视频对象进行灵活的解码、表示与操纵。,南京工程学院计算机工程学院 徐梦溪,（3）自然数据与合成数据的混合编码 4支持一种有效的组合方法，用于自然或对象与合成的景物或对象的组合（如文本和图形的覆盖），并具有对自然和合成音/视频数据进行编码和处理的能力， 4还支持解码器可控制的方法，该方法可将合成数据和原始音/视频组合在一起且便于交互。 （4）增强的时间域随机存取 4提供一种有效的存取方法，能在有限的时间间隔内，以较高的分辨率，随机地从某个音/视频序列中存取其中的一部分（如视频帧或任意形状的图像内容）。,南

10、京工程学院计算机工程学院 徐梦溪,2. 高压缩比 针对需要对视听信息进行有效存储（或传送）及同步的应用，将增强如上的信息浏览、虚拟现实等一些已有的应用。 （1）改进的编码效率 （2）对多个并发数据流的编码 对一景物的多视角进行有效的编码。 3. 灵活多样的存取,南京工程学院计算机工程学院 徐梦溪,3.4 7 标准,15938 正式名称：多媒体内容描述接口（ ） 是一种多媒体内容描述的标准，而非信息压缩编码标准 定义了描述符、描述语言和描述方案，以便于处理多媒体内容 主要目标是对多媒体信息内容进行各种标准化的描述和有效的检索,南京工程学院计算机工程学院 徐梦溪,3.4 7 标准应用,1. “拉”

11、应用 （1）视频数据库的存储和检索 （2）专业媒体制作方面的图片和视频提交 （3）商业音乐应用（卡拉和音乐销售） （4）声音效果库 （5）历史语言数据库 （6）通过听觉事件进行电影场景检索 （7）商标库的注册和检索,南京工程学院计算机工程学院 徐梦溪,3.4 7 标准应用,2. “推”应用 （1）用户代理驱动的媒体选择和过滤 （2）个性化电视服务 （3）智能多媒体表现 （4）个性化浏览、过滤和搜索 （5）特殊的信息存取,南京工程学院计算机工程学院 徐梦溪,3.4 7 标准应用,3. 特殊的专业应用和控制应用 （1）远程购物 （2）医学应用 （3）遥感应用 （4）教育应用 （5）监测应用 （6）

12、基于视觉的控制,南京工程学院计算机工程学院 徐梦溪,3.4.2 7 与 系列其他标准的关系,应用背景： 1用于多媒体和 质量的广播电视； 2用于常规数字电视和高清晰度电视； 4用于无线窄带可视通信以及可视电视； 从一个角度来看，1、 2和4均涉及到视听信息的编码表示，在某种意义上，编码可看作是一种描述，因而7与的其他标准有共同点 另一方面，7与其他标准相对独立，其宗旨是为信息时代的人们提供多媒体服务，实现的关键在于建立多媒体数据库和相应的搜索引擎之间的接口 共同遵循的原则：只规定最后的数据格式，而不管采用何种方法获得这些数据格式,南京工程学院计算机工程学院 徐梦溪,3.5 21 标准,2100

13、0 正式名称：多媒体框架（ ）。其制订工作于2000年6月开始。 创建一个开放的多媒体传输和消费的框架，通过将不同的协议、标准和技术结合在一起，使用户可以通过现有的各种网络和设备透明地使用网络上的多媒体资源。 21 中的用户可以是任何个人、团体、组织、公司、政府和其它主体，在 21 中，用户在数字项的使用上拥有自己的权力，包括用户出版/发行内容的保护、用户的使用权和用户隐私权等。,南京工程学院计算机工程学院 徐梦溪,3.5 21 标准（d）,包括7个基本要素：数字项声明（ ），数字项识别和描述，内容处理和使用，知识产权管理和保护，终端和网络，内容表示，事件报告。 数字项是 21 框架中的基本单

14、元，它由资源、原数据（）和结构共同组成，是一个带有标准化的结构化数字对象。 要素中的资源包括采用 1、2、4 标准的多媒体信息。 通过数字项的定义，21 集成了 系列的其它标准，因此 21 是建立在其它标准的基础之上的。,南京工程学院计算机工程学院 徐梦溪,3.5 21 标准（d）,支持以下功能：内容创建，内容生产，内容分配，内容的消费和使用，内容的分组，知识产权管理和保护，内容识别和描述，用户权限，终端和网络资源提取，内容表示和事件报告等。 从商业内容和与内容相关服务的前景等角度开发 同已有的其它 系列标准等进行适当结合，从而使用户对视频、音频的处理更加方便和有效，最终为多媒体信息的用户在全

15、球范围内提供透明而有效的视频通信应用环境。 21 的出台可以将现有的标准统一起来，消费者将可以自由使用音视频内容而不被不兼容的格式、编解码器、媒体数据类型及诸如此类的东西所干扰。,南京工程学院计算机工程学院 徐梦溪,3.6 H.261 标准,正式名称：P64（130）视听业务的视频编解码器 P1或2时，仅支持 的输入图像格式，用于帧频低的可视电话； P6时，支持 的输入图像格式的会议电视 利用 格式，可使各国使用的不同制式的电视信号变换为通用中间格式，然后输入给编码器，从而使编码器本身考虑信号是来自哪种制式的。 核心：采用带有运动补偿的预测编码以及基于 的变换编码相结合的混合编码方法,南京工程

16、学院计算机工程学院 徐梦溪,3.6 H.261 标准（d）,3.6.1 视频编码器原理 3.6.2 视频数据复用格式,南京工程学院计算机工程学院 徐梦溪,3.6.3 压缩编码模式,基本判决准则：哪一种模式给出较小的编码比特，就采用这种模式。 运动估计以1616像素的宏块为单位进行，搜索范围为15。 采用全搜索的块匹配算法计算运动矢量。 使用二维空域滤波器对88预测块内的像素进行操作，可以改进预测过程。,南京工程学院计算机工程学院 徐梦溪,3.6.4 量化编码,32个线性量化器 一个用于帧内 变化的直流分量；其余31个用于交流分量。 除帧内 的直流分量，一个宏块内使用同一个量化器。 帧内直流分量是一个量化步长为8的线性量化器，其余31个量化器的量化步长为2，4，62。 量化器的选择由编码控制器决定。 变换后的88系数块中的各个系数按“之