动态自适应流媒体切片技术分析

《动态自适应流媒体切片技术分析》由会员分享，可在线阅读，更多相关《动态自适应流媒体切片技术分析（4页珍藏版）》请在金锄头文库上搜索。

1、动态自适应流媒体切片技术分析 *郭晓霞 王 磊 李学伟 姚颖颖 沈 阳 广播科学研究院摘要：本文首先对高清交互服务和流媒体动态自适应基本情况进行介绍，然后引出几类主流 HAS 技术，并对相关技术框架进行分析，最后阐述流媒体动态自适应切片技术的应用现状，为标准规定之外的技术研究工作指 明方向。关键词：动态自适应 流切片 HAS HLS HDS MPEG-DASH1 概 述户终端屏幕大小、处理能力以及用户 带宽和稳定性差异较大。运营商往往 需要在系统前端进行相关的流处理来 满足上述要求，并且这种要求是动态 的、需要系统自适应的。目前，这类 流处理方式主要以流切片方式进行。 同时， 针对不同的带宽和

2、用户终端要求， 产生不同码率的同步流。此外，动态 自适应流主要以 HTTP 协议进行通信， 最大可能地保证技术通用 性。基于 HTTP 协议的动态自适应流技术称为 HAS， 即 HTTP Adaptive Streaming。 这类技术结合了传统的流媒体技术 和 HTTP 渐进式下载播放的特点，以 HTTP 的方式向用户传送媒体内容。HAS 技术将媒体数据切割分块， 每个分块的时间长度相同，分块之间 解码相对独立。分块文件由 HTTP Web 服务器存储管理，客户端以线性的方 式 向 Web 服 务器请 求适 合网 络状 况 的音视频数据，顺序组合播放形成无 缝播放效果。相对于传统的流媒体内

3、容发布，HAS 部署简单，动态适应网 络条件，内容提供商不需要考虑用户的带 宽。当前主流的 HAS 技术主要 有 Apple 的 HLS、Adobe 的 HDS 和 MPEG 的 DASH。1.1 高清交互服务目前在数字家庭环境下，高清交 互服务表现形式主要基于高清交互机 顶盒来实现，运营商可以通过机顶盒 向用户提供诸如海量产品展示、创新 性的产品销售、一体化的家庭购物服 务等。但是更为普遍、用户感兴趣的 交互服务仍然是音视频内容提供和展 现。结合各类用户终端，音视频高清 交 互 服 务 越 来 越 多 的 表 现 为 跨 终端、 跨网络、跨平台等特点。因此，需要 运营商通过相关的技术革新，为

4、用户 提供更好的交互体验，以适应不同场 景下的音视频内容高清交互服务。2 几类主流 HAS 技术2.1 HLS HLS（HTTP Live Streaming） 方 案设计目标主要是通过普通 Web 服务 器将直播内容或点播内容推送至 Apple 终端设备。在 HTTP Live Streaming 系 统中，将原始内容编码成多个不同码 率或质量的替换流，客户端软件可以 根据实时网络传输速率和缓冲区占有 率的变化在不同的替换流之间进行自 动切换。HLS 流媒体系统由服务器、分发 器和客户端三部分组成，既支持直播， 也适合点播，如图 1 所示。服务器包 括编码器和流分割器。编码器完成摄 像头采集

5、的视频数据或者以文件形式 存储的视频数据的编码，再将编码后 的数据封装为 MPEG-2 TS 格式，并传 递给分割器。分割器将 TS 流读入并将 其顺序分成一系列等时间长度的 TS 文件，同时分割器产生后缀为 .m3u8 的1.2 动态自适应技术在融合网络环境下，音视频高清 节目流的交互服务对动态自适应技术 有了新的要求。这类新的技术要求可 以直观地从网络服务、终端展现以及 用户体验等各个方面得以体现。目前 数字家庭高清交互服务主要以音视频 节目流的形式进行用户呈现，但是用* 本文获“国家科技支撑计划课题，编号：2011BAH16B01”资助企业专栏运维管理节目制播实践应用技术讲座行业动态图

6、1 HLS 流媒体系统结构文件和 媒体对应的 F4M 格式的索引文 件，通过 HTTP 将内容传送给终端的 Flash player。Flash player 客户端下载并播放视 频文件片段。在播放媒体流的开始， Flash player 下载 F4M 格式的索引文件， 索引文件提供所需视频片段所有信息， 包括片段格式、可用比特率、闪存访 问许可证服务器的位置和元数据信息。 Flash player 解析出播放所需要的信息 后，在服务器查找视频文件并下载播 放。在播放过程中，Flash player 中的 ActionScript 监控客户端的带宽情况和 播放效果，并自动切换请求到适当的比特率

7、的文件片段，提高播放体验。间。 （3）每个自适应集合包含一个或 多个 媒体 文件 描 述（representation） ，这是同一时段媒体内容的最小集合。 每个 representation 定义了一个视频质 量描述文件，其中包含了多个参数， 包括带宽、编码、分辨率等。（4） 每 个 representation 包 括 一 个或多个切 片（segment）及它们的 URL，其中每个切片可以按时间顺序 划分为数个彼此连续且不重叠的子切 片（sub-segment） 。（5）每个切片或子切片就是实 际 的 音 / 视 频 的 切 片 文 件， 可 以 通 过 URL，用 HTTP GET 请求

8、直接下载。此 外，MPEG-DASH 协议中还定 义了某些可选的结构，如与集合平行 的子集（Subset） 、与切片平行的 Sub- Representation 等。为了描述上述框架结构，MPEG- DASH 定义了专门的描述文件，称为 MPD（Media Presentation Description） 文件，基于 XML 格式。基于 MPEG-DASH 协议的流媒体索引文件，通过索引文件可将 TS 分片 文件方便地组织成完整的视频流。分 割器可以对媒体文件加密，创建密钥 文件以便在客户端解密。分发器是一个网络服务 器，主 要功能是接收客户端的请求，并通过 HTTP 协议向客户端传送索引

9、文件、分 割好的 TS 切片文件以及相关资源。客户端负责发起正确的视频流请 求，并且接收分发组件返回的结果， 同时对返回的视频数据进行组织和预 处理，以使用户看到的是连续的视频 流播放效 果。对于直播客户端通过 HTTP 不断重新下载索引文件，以便视 频流的连续播放，对于点播则一次性 读取索引文件，播放里面指定的媒体文件。2.3 MPEG-DASH 2011 年 底，MPEG 与 3GPP 联 合 提出了 MPEG-DASH（MPEG Dynamic Adaptive Streaming over HTTP）协议。 MPEG-DASH 协议提出了一个层次化 的文件组织结构，用于存储服务器上 的

10、音视频切片文 件。首 先，MPEG- DASH 协议将一组包含不同比特率音 视频的多媒体资源 定 义 为 一 个 媒 体 文 件 展 示 presentation。 每 一个 presentation的分层结构如下：2.2 HDS HDS （ Adobe HT T P Dyna m i c Streaming） 方 案 是 Adobe 公 司 Flash Media Server 的一个组成部分，支持实 时和随机点播。包括内容准备、内容 分发、HTTP 传输和客户端，如图 2 所 示。内容准备模块完成视频内容的 编码和分片，包括点播和直播两种方 式。对于点播视频，将媒体文件分片 并存储为 F4

11、F 格式的文 件，同时生 成 manifest 索引文件。对于直播视频 图 2 HDS 系统结构43责编：杨玉波 邮箱：数字电视流，则将直播流实 （1） 每 个 presentation 划 分 为 一 时地写入到 F4F 文 系列时间连续且不重叠的媒体时段 件当中，同时更新 （period） 。manifest 文 件。 索（2） 每 个 时 段 包 含 同 一 段 多 引文件 中包含了编 媒体内容的一个或多个自适应集合 码、分辨率以及码（Adaptation Set） ，其中包含视觉上同 率等参数信息。 一段内容的多个多媒体资源，例如不 内 容 分 发 服同 视 角 的 视 频 或 不 同

12、 音 轨 的 音 频等；务器是标准的 Web 同时，每个时段都有一个参数用以标Server，存储了 F4F 识该音 / 视频切片的起始时间和持续时数字电视 技术前沿 专访报道 广电网络 成都广达有线电视接入网专栏 东方有线专栏 3 关键技术3.1内容切片格式 （1）TS 格式TS 是传送流（Transport Stream）的简称，广泛应用于实时传送的广播 电视节 目。TS 传输流能够将音视频 流按时序严格进行复用，任意对传输 流截取和分割后，每一个片段都能独 立进行解码和播放。目前，主要的切 片 技 术 支 持 TS 切 片， 包 括 HLS 和 MPEG-DASH，这节目直播带来便利。（2

13、）MP4 格式MP4 文件格式是一个十分开放的 容器，几乎可以用来描述所有的媒体 结构。MP4 容器中的媒体描述与媒体 数据是分开的，并且媒体数据的组织44有线电视技术 2013 年第 12 期 总第 288 期传输系统的基本架构如图 3 所示。服代表。化， 多码率可以由视频流的不同分辨率、 务器端存放了多个切片文件和 MPD 文（3）FLV 格式不同帧率、不同量化参数来实现。对 件。如上所述，MPD 文件描述了此服 FLV 是 Flash Video 的简称，这种于流媒体应用来说，一段视频的帧率 务器上所有视频内容以及不同码率视容器格式是随着 Flash MX 的推出发展是固定的，压缩帧率可

14、能会使视频不 频的 URI 地址及其他特性。多媒体切而来的一种新兴的视频格式。FLV 容连贯，降低用户体验，而且不同网络 片则包含以单一或数个文件形式存储器格式的文件以其体积小巧、CPU 占终端对视频的分辨率要求不同，在同 的多媒体数据。有率低、视频质量良好等特点在网络一网络中的带宽资源动态变化时，可在流媒体播放过程中，DASH 客上盛行。以在同分辨率情况下选择量化参数低 户端首先下载服务器上的 MPD 文件， 3.2 文件切片策略 的媒体源版本。因此，在媒体源的多 经过解析器解析后得到多媒体内容的 （1）分片长度 码率化中，一般采用同一视频的不同 时间长度、媒体种类、分辨率、最小 / 流媒体

15、文件切片的长度指流媒体 分辨率和不同量化参数形成的多码率 最大带宽等信息，同时也取得媒体元 文件切片的播放时长。按照相同的播 版本。目前的解决方案包括联播和可 素在网络中的位置等信息。基于这些 放时间戳对流媒体文件切片，保证了 分级视频编码等。信息，客户端通过 HTTP Get 请求合适 在多码率自适应切换时视频内容的连 3.4 自适应算法的多媒体切片。经过起始时的适当缓 续性。流媒体文件切片的长度的选择 为了实现自适应流，流媒体服务 冲后，客户端会一边播放当前切片一 会影响 到基于 HTTP 流化自适应算法 器保存了相同媒体内容的多个不同码 边继续请求后面的切片，并同时监控 的准确性和切换速率。过长的切片长 率编码备份，以便在无线网络状况发 网络带宽的变动，必要时还会调整切 度会导致切换速率较慢，在带宽状况 生变化时也可在不同码率备份之间实 片的码率，保证视频的流畅播放。 迅速变差时，客户端可能会出现播放 现无缝的切换。码率的无缝切换可以停顿现象，在带宽状况迅速改善时， 由服务器根据客户端的反馈判断执行不能及时提高视频的质量级别，客户 负责，也可以由客户端根据网络情况 端不能在第一时间获得最佳的用户体等信息向服务器端请求不同的码率流。 验。持续时间短的块能够更快适应网 HAS 自适应算法有两种模式，