《第5章多媒体通信同步技术》由会员分享，可在线阅读，更多相关《第5章多媒体通信同步技术（35页珍藏版）》请在金锄头文库上搜索。
1、第第5 5章章 多媒体通信同步技术多媒体通信同步技术 第第5章章 多媒体通信同步技术多媒体通信同步技术 5.1 概述概述 5.2 多媒体同步参考模型多媒体同步参考模型 练习与思考题练习与思考题 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 5.1 概概 述述 5.1.1 同步的根本概念 多媒体系统中集成了具有各种不同时态特性的媒体， 这些媒体有依赖于时间的媒体(例如视频、 音频、 动画等)和独立于时间的媒体(例如文本、 静止图像、 表格等)。 媒体对象的时间相关性可能隐藏在建立过程中， 也可能由用户自己定义。 在单一的媒体系统中， 所有的媒体表现出同样的时态行为， 时间并不需要特别的注
2、意。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 随着多媒体系统的开展， 媒体间的各种时态关系变得越来越复杂。 任何一种情况下， 媒体对象的时间相关性必须在多媒体系统中得到表达和支持。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 多媒体同步就是保持和维护各个媒体对象之间和各个媒体对象内部存在的时态关系， 组织多种媒体序列以实现某种特定的表现任务。 多媒体同步的核心根底是为这些同步关系建立一个独立于实现环境的抽象的描述模型。 同步问题有两层含义： 首先， 时态行为(包括表示单元的彼此关系)必须有明确的定义， 使用时态定义可以方便用户复审、 系统表示和存储。 其次， 在表示媒体
3、单元的时候， 多媒体系统必须保证各媒体时态的正确性。 多媒体同步可以从多媒体同步标准和多媒体同步控制两个层次来讨论。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 多媒体同步标准描述了媒体对象之间和各个媒体对象内部存在的时态关系， 确定了多媒体的时态说明， 是多媒体系统的重要组成局部。 多媒体同步标准通常包括： 媒体对象内的同步、 媒体对象之间的同步以及业务品质QoS描述。 多媒体同步控制机制是开发各种同步控制策略以及同步控制协议， 解决由于网络延迟、 抖动、 进程调度等各种不确定因素带来的负面影响， 实现多媒体同步标准描述的多媒体时态说明。 第第5 5章章 多媒体通信同步技术多媒体通
4、信同步技术 5.1.2 影响媒体同步的因素 从媒体关系的角度出发， 媒体对象的同步包括两个方面： 媒体内同步和媒体间同步。 媒体内同步主要是维持一个媒体流内部各信息单元的连续性； 媒体间同步主要是维持多个相关媒体流中媒体单元间的时间关系。 媒体同步关系主要受以下因素的影响： 媒体间时延偏移、 网络抖动、 端系统抖动、 时钟漂移和网络条件变化。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 由于各个相关媒体流可能来自不同的信源， 每个信源所处的地理位置可能不同， 每个媒体流选择的信道也不同， 因此各个媒体流的时延也不同， 这就是媒体间的时延偏移， 这些偏移使媒体间的时间关系发生变化。 解
5、决方法可以通过在信宿端设置缓存加以补偿， 也可使各个媒体流在不同时刻发送， 但须保证在经历了不同时延后能够同时到达接收端。 后者特别适合存储数据， 能够充分利用存储数据的灵活性， 大大节省信宿端缓存。 此外还可以将这两种方法配合使用。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 抖动定义为最大时延与最小时延的差， 也即时延的变化。 网络抖动是指数据包从发送方到接收方网络 IO设备的传输过程中所经历的时延变化， 这是由中间节点的缓存引入的。 端系统抖动是指端系统中引起的时延变化， 这些变化主要是由于系统负荷的改变以及媒体单元在各个协议层的打包拆包。 抖动通常是在信宿端通过采用弹性缓冲区
6、来补偿的。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 连续媒体的捕获、 重新生成和播映都是由端系统时钟来驱动的。 一般来说， 不能假定所有时钟同步。 由于温度的变化或晶体振荡器本身的缺陷， 在经过了较长一段时间后， 端系统的时钟频率会发生变化， 其结果是与真实时间或其他时钟产生偏移， 漂移速率从10-610-3。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 时钟漂移的问题可以通过在网络中使用时间同步协议来解决， 例如， 网络时间协议(NTP)为它的用户提供一个全网(虚拟)时钟。 如果忽略时钟漂移， 在较长一段时间后， 客户端的缓存就会发生上溢或下溢。 时钟漂移的结果也称为
7、偏移， 它被定义为一段时间间隔内的平均抖动。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 网络条件的变化不是由抖动引入的， 它是指网络连接性质的变化。 例如， 平均时延的改变或媒体单元丧失率的增高。 般地， 多媒体数据的传输都是利用无证实的数据报效劳， 重传是不适合的， 数据报效劳是种不可靠的效劳， 不时会发生媒体单元丧失的事件。 处理丧失单元的同步机制是重复播映前一个媒体单元的内容。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 5.2 多媒体数据多媒体数据 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 5.2.
8、3 多媒体数据的构成多媒体数据的构成 1 逻辑数据单元逻辑数据单元LDU 各种媒体信息经数字化和编码之后形成的数据根各种媒体信息经数字化和编码之后形成的数据根据其与据其与 时间的关系可分为连续媒体数据实时媒体数时间的关系可分为连续媒体数据实时媒体数据和离散媒体数据静态媒体数据。据和离散媒体数据静态媒体数据。 连续媒体数连续媒体数据可以看成是由逻辑数据单元据可以看成是由逻辑数据单元LDU构成的时间序列构成的时间序列或称为流。或称为流。 LDU的划分即所包含的内容由具体的划分即所包含的内容由具体的应用、的应用、 编码方式、编码方式、 数据的存储方式和传输方式等因数据的存储方式和传输方式等因素决定。
9、素决定。 例如，例如， 对于符合标准的视频码流，对于符合标准的视频码流， 一个一个LDU可以是一个宏块、可以是一个宏块、 一个块组、一个块组、 一帧图像，一帧图像， 或者或者是构成一个场景的几帧图像等。是构成一个场景的几帧图像等。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 连续数据的各个LDU之间存在着固定的时间关系。 例如， 以一帧图像为一个LDU， 那么相继的LDU之间的时间间隔为40 ms。 这种时间关系是在数据的获取时确定的， 而且要在存储、 处理、 传输和播放过程中保持不变， 否那么就会损伤媒体显示时的质量， 例如， 产生图像的停顿、 跳动， 或声音的间断等。 在静态媒体
10、数据内部那么不存在这种时间关系。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 LDU来表示一段音频与一段视频之间的同步关系的例如， 一个音频LDU的展示时间与两个视频LDU的展示时间相同。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 图5.2-1 不同媒体LDU同步关系例如 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 2 同步容限 在一个多媒体系统的实际运作过程中总存在着一些阻碍准确恢复时域场景的因素， 例如其他进程对CPU的抢占、 缓冲区不够大、 传输带宽缺乏等， 这些因素往往会导致在恢复后的时域场景中时域事件间的相对位置发生变化， 我们将这种变化称为事件间偏差
11、。 属于同一媒体对象的时域事件之间的偏差称为对象内偏差， 不同媒体对象的时域事件之间的偏差为对象间偏差。 偏差的存在必然会造成多媒体同步质量的降低。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 同步容限是用户与同步机制之间就偏差的许可范围所达成的协议。 同步容限包含了用户对偏差许可范围的定义， 同步机制那么需依据同步容限， 保证在恢复后的时域场景中， 事件间的偏差在其许可范围之内。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 5.2.4 层次同步模型Meyer、 Effelsberg和Steinmetz提出的一个四层同步
12、模型， 该模型本身的层次结构与ISO-OSI七层网络协议模型以及时域参考框架的大致对应关系如图5.2-2所示。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 图5.2-2 层次同步参考模型 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 为实现同步所做的规划常称为调度。 同步机制首先依照同步描述数据生成某种调度方案， 调度方案与将要进行的对多媒体数据的处理如提取、 发送、 播放等有着直接的关系， 它包括何时对其中哪一个媒体对象或哪个LDU进行处理的安排； 其次， 同步机制需要根据同步容限以及多媒体数据的特点申请必要的资源如 CPU时间、 通信带宽、 通信缓冲区等； 然后， 在执行
13、调度方案的过程中， 同步机制将按照同步容限要求完成对偏差的控制， 以维持多媒体数据的时域关系。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 1. 媒体层 媒体层的处理对象是来自于连续码流如音频、 视频数据流的LDU， LDU的大小在一定程度上取决于同步容限。 偏差的许可范围越小， LDU越小； 反之， LDU越大。 通常， 视频信号的LDU为1帧图像， 而音频信号的LDU那么是由假设干在时域上相邻的采样点构成的一个集合。 此外， 媒体层对LDU的处理通常是有时间限制的， 因而， 需要底层效劳系统如操作系统、 通信系统等提供必要的资源预留及相应的管理措施如效劳质量保障措施等。 第第5
14、5章章 多媒体通信同步技术多媒体通信同步技术 在媒体层接口， 该层负责向上提供与设备无关的操作， 如 ReadDevicehandle， LDU、 WriteDevicehandle， LDU等。 其中， 由Devicehandle所标识的设备可以是数据播放器、 编解码器或文件， 也可以是数据传输通道。 在媒体层内主要完成两项任务， 其一是申请必要的资源如CPU时间、 通信带宽、 通信缓冲区等和系统效劳如效劳质量保障效劳等， 为该层各项功能的实施提供支持； 其二是访问各类设备的接口函数， 获取或提交一个完整的LDU。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 例如， 当设备代表一条
15、数据传输通道时， 发送端的媒体层负责将LDU进一步划分成假设干适合于网络传输的数据包， 而接收端的媒体层那么需要将相关的数据包组合成一个完整的LDU。 实际上， 媒体层是同步机制与底层效劳系统之间的接口， 其内部不包含任何的同步控制操作。 这意味着， 当一个多媒体应用直接访问该层时， 同步控制将全部由应用本身来完成。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 2. 流层 流层的处理对象是连续码流或码流组， 其内部主要完成流内同步和流间同步两项任务， 由于流内同步和流间同步是多媒体同步的关键， 所以在同步机制的三个层次中， 流层是最为重要的一层。 第第5 5章章 多媒体通信同步技术多
16、媒体通信同步技术 在接口处， 流层向用户提供诸如StartStream、 StopStream、 Creategrouplist-of-streams、 Startgroup、 Stopgroup等功能函数。 这些函数将连续码流作为一个整体来看待， 即对该层用户来说， 流层利用媒体层的接口功能对LDU所作的各种处理是透明的。 当多媒体应用直接使用流层的各接口功能时， 连续数据与非连续数据之间的同步控制那么要由应用本身来完成。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 流层在对码流或码流组进行处理前， 首先需要根据同步容限决定LDU的大小以及对各LDU的处理方案即何时对何LDU作何种
17、处理。 此外， 流层还要向媒体层提交必要的效劳质量QoS要求， 这种要求是由同步容限推导而来的， 是媒体层对LDU进行处理所应满足的条件， 例如传输 LDU时， LDU的最大延时及延时抖动的范围等。 媒体层将依照流层提交的 QoS要求， 向底层效劳系统申请资源以及QoS保障。 在执行LDU处理方案的过程中， 流层负责将连续媒体对象内的偏差以及连续媒体对象间的偏差保持在许可的范围之内， 即实施流内与流间的同步控制。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 3. 对象层 对象层能够对不同类型的媒体对象进行统一地处理， 使用户不必考虑连续媒体对象和非连续媒体对象之间的差异。 对象层的主
18、要任务是实现连续媒体对象和非连续媒体对象之间的同步并完成对非连续媒体对象的处理。 与流层相比， 该层同步控制的精度较低。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 对象层在处理多媒体对象之前先要完成两项工作。 第一， 从标准层提供的同步描述数据出发， 推导出必要的调度方案如显示调度方案、 通信调度方案等。 在推导过程中， 为了确保调度方案的合理性及可行性， 对象层除了要以同步描述数据为根据外， 还要考虑各媒体对象的统计特征如静态媒体对象的数据量， 连续媒体对象的最大码率、 最小码率、 统计平均码率等以及同步容限； 同时， 对象层还需要从媒体层了解底层效劳系统现有资源的状况。 第第5
19、 5章章 多媒体通信同步技术多媒体通信同步技术 第二， 进行必要的初始化工作。 对象层首先将调度方案及同步容限中与连续媒体对象相关的局部提交给流层并要求流层进行初始化； 然后， 对象层要求媒体层向底层效劳系统申请必要的资源和QoS保障效劳， 并完成其他一些初始化工作， 如初始化编/解码器、 播放设备、 通信设备等与处理连续媒体对象相关的设备。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 得到调度方案并完成初始化工作以后， 对象层开始执行调度方案。 通过调用流层的接口函数， 对象层执行调度方案中与连续媒体对象相关的局部。 流层利用媒体层的接口函数， 完成对连续媒体对象的LDU处理， 同
20、时实施流内与流间的同步控制。 在调度方案的执行过程中， 对象层主要负责完成对非连续媒体对象的处理以及连续媒体对象和非连续媒体对象间的同步控制。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 对象层的接口提供诸如prepare、 run、 stop、 destroy等功能函数， 这些函数通常以一个完整的多媒体对象为参数。 显然， 同步描述数据和同步容限是多媒体对象的必要组成局部。 当多媒体应用直接使用对象层的功能时， 其内部无需完成同步控制操作， 多媒体应用只需利用标准层所提供的工具完成对同步描述数据和同步容限的定义即可。 第第5 5章章 多媒体通信同步技术多媒体通信同步技术 4 描述层 描述层的处理对象是由多媒体应用生成的时域场景。 它主要解决的是多媒体表现中各个场景的安排与对象同步的描述问题， 这一层关心的是多媒体对象是否能够被描述或描述是否正确， 而不关心具体如何实现同步。 描述层的核心是时域定义方案， 其接口为用户提供了使用时间模型描述多媒体数据时域约束关系的工具， 如同步编辑器、 多媒体文档编辑器和著作系统等。 描述层产生的同步描述数据和同步容限， 经由对象层的适当转换后进入由对象层、 流层和媒体层构成的同步机制。 此外， 还可以将用户级的QoS要求映射到对象层接口。
