多媒体技术教程ch6多媒体的时间表示与同步课件

《多媒体技术教程ch6多媒体的时间表示与同步课件》由会员分享，可在线阅读，更多相关《多媒体技术教程ch6多媒体的时间表示与同步课件（60页珍藏版）》请在金锄头文库上搜索。

1、高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程人民邮电出版社人民邮电出版社国防科学技术大学国防科学技术大学版权所有版权所有第六章多媒体的时间第六章多媒体的时间表示与同步表示与同步多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程人民邮电出版社人民邮电出版社国防科学技术大学国防科学技术大学版权所有版权所有6.1 6.1 多媒体同步的基本概念多媒体同步的基本概念多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.1.1 6.1.1 同步的基本

2、概念同步的基本概念 多媒体是在不同应用环境中文本、图多媒体是在不同应用环境中文本、图像、声音、视频等各种媒体的集成。既然像、声音、视频等各种媒体的集成。既然需要将这些媒体安排在一起表现，就有一需要将这些媒体安排在一起表现，就有一个先来后到的关系。这个关系就是同步关个先来后到的关系。这个关系就是同步关系，系统对各个媒体对象按照这个关系进系，系统对各个媒体对象按照这个关系进行的控制过程，就是同步。行的控制过程，就是同步。 同步的过程与时间有着密切的关系，同步的过程与时间有着密切的关系，大多数同步都建立在时间的基础上。大多数同步都建立在时间的基础上。 多媒体技术教程ch6多媒体的时间表示与同步课件高

3、等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.1.1 6.1.1 同步的基本概念同步的基本概念 基于时间的媒体（基于时间的媒体（Time-based MediaTime-based Media，时基媒体）时基媒体） 或时间依赖媒体（或时间依赖媒体（Time-dependentTime-dependent）：）： 媒体与时间有着强烈的依赖关系，在采样、媒体与时间有着强烈的依赖关系，在采样、传输和回放表现时更需要以时间为参照系进行有传输和回放表现时更需要以时间为参照系进行有序的组织。序的组织。 多媒体同步或合成（多媒体同步或合成（OrchestrationOrchestr

4、ation）：）： 组织时基的、非时基的多种媒体序列通过传组织时基的、非时基的多种媒体序列通过传输、合成并达到某种表现效果输、合成并达到某种表现效果。这个过程既包含这个过程既包含表现过程，也包含多媒体信息的传输过程；既可表现过程，也包含多媒体信息的传输过程；既可以用于并发或顺序的数据流布局，也可以用于对以用于并发或顺序的数据流布局，也可以用于对所产生的外部事件进行安排。所产生的外部事件进行安排。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.1.1 6.1.1 同步的基本概念同步的基本概念 简单的时间线表示如图简单的时间

5、线表示如图多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.1.2 6.1.2 同步的种类同步的种类 1 1应用同步应用同步 应用层同步又称表现同步，或交互同步应用层同步又称表现同步，或交互同步。这一类同步是从用户应用的角度出发而进行这一类同步是从用户应用的角度出发而进行的同步，重点在于表现与交互。的同步，重点在于表现与交互。 2 2合成同步合成同步 合成同步又称为合成同步又称为“媒体之间的同步媒体之间的同步” ” 。这种同步涉及到不同类型的媒体数据，侧重这种同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描

6、述。于它们在合成表现时的时间关系的描述。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.1.2 6.1.2 同步的种类同步的种类 3 3现场同步现场同步 现场同步也属于媒体间的同步。它要表现出现场同步也属于媒体间的同步。它要表现出同一个应用中数据源方与表现方之间存在的实际同一个应用中数据源方与表现方之间存在的实际同步关系，也既端同步关系，也既端端之间的同步关系。端之间的同步关系。 4 4系统同步系统同步 系统同步，又称系统同步，又称“媒体内部的同步媒体内部的同步” ” 。这里这里“系统系统”指的是该层同步如何根据各种输入

7、媒体指的是该层同步如何根据各种输入媒体对应的实际硬件系统（设备）的性能参数来协调对应的实际硬件系统（设备）的性能参数来协调实现其上层合成同步所描述的各对象间的时序关实现其上层合成同步所描述的各对象间的时序关系。系。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.1.3 6.1.3 同步的分层服务模型同步的分层服务模型 对于多媒体的应用来说，同步是建立在不同对于多媒体的应用来说，同步是建立在不同的分层的基础上的。不同层次的同步依据不同的的分层的基础上的。不同层次的同步依据不同的接口机制来保证，如下图所示。接口机制来保证，如

8、下图所示。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.1.3 6.1.3 同步的分层服务模型同步的分层服务模型 媒体层针对的是单独的媒体数据流，媒体层针对的是单独的媒体数据流，属于物理层的同步，其同步的基础是数据流属于物理层的同步，其同步的基础是数据流中的一个个基本逻辑数据单元，通过对这些中的一个个基本逻辑数据单元，通过对这些逻辑数据单元的操纵来保证媒体在时间上的逻辑数据单元的操纵来保证媒体在时间上的准确。准确。 流层也是媒体内的同步，但是属于服务流层也是媒体内的同步，但是属于服务层，其面对的是多个媒体数据流。它处理

9、的层，其面对的是多个媒体数据流。它处理的是多流之间的同步，以保证多个数据流在传是多流之间的同步，以保证多个数据流在传输和表现过程中能够实现并行和同步。输和表现过程中能够实现并行和同步。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.1.3 6.1.3 同步的分层服务模型同步的分层服务模型 对象层的同步是针对多媒体演示过程之对象层的同步是针对多媒体演示过程之中的各个多媒体对象的。通过相应的时间同中的各个多媒体对象的。通过相应的时间同步方案，保证各个多媒体对象能够按照规定步方案，保证各个多媒体对象能够按照规定的次序出现，并且

10、能够响应用户的输入事件。的次序出现，并且能够响应用户的输入事件。 描述层的同步解决的是多媒体表现中各描述层的同步解决的是多媒体表现中各个场景的安排与对象同步的描述。其重点是个场景的安排与对象同步的描述。其重点是作者与系统的接口，只关心是否能够被描述作者与系统的接口，只关心是否能够被描述或描述的是否正确，而不关心具体如何实现或描述的是否正确，而不关心具体如何实现同步。同步。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程人民邮电出版社人民邮电出版社国防科学技术大学国防科学技术大学版权所有版权所有6.2 6.2 时间模型时间模型

11、多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.2.1 6.2.1 时间依赖的定义时间依赖的定义 多多媒媒体体是是在在不不同同应应用用环环境境中中对对文文本本、图图象象、声声音、视频的集成。音、视频的集成。 基于时间的媒体与时间有强烈的依赖关系。基于时间的媒体与时间有强烈的依赖关系。 时时基基媒媒体体的的表表示示方方法法、时时间间模模型型、用用户户交交互互、系统实现方法等是问题的核心。体现在三个层次上：系统实现方法等是问题的核心。体现在三个层次上：l物理层：低层的时间关系物理层：低层的时间关系l服务层：应用媒体之间的时间关

12、系服务层：应用媒体之间的时间关系l人机接口层：用户的随机交互过程，浏览人机接口层：用户的随机交互过程，浏览 （与时间有关，延迟不定）（与时间有关，延迟不定）多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.2.1 6.2.1 时间依赖的定义时间依赖的定义 根据各种媒体及其表现特性确定时间的依赖关系。根据各种媒体及其表现特性确定时间的依赖关系。StaticStatic静态的没有时间依赖静态的没有时间依赖DiscreteDiscrete离散的单一元素离散的单一元素TransientTransient短暂的一时的短暂的一时的Nat

13、uralNatural或或ImpliedImplied自自然然/ /蕴蕴含含的的真真实实世世界界中中的的时时间间依赖依赖SyntheticSynthetic综合的、合成的人工产生的时间依赖综合的、合成的人工产生的时间依赖ContinuousContinuous连续的在时间上连续连续的在时间上连续PersistantPersistant持续的在数据库中维持的持续的在数据库中维持的多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.2.1 6.2.1 时间依赖的定义时间依赖的定义 数据对象分类：数据对象分类：l表现及应用生命周期表

14、现及应用生命周期 持续对象存在于整个应用周期持续对象存在于整个应用周期 非持续对象动态建立并且用后丢弃非持续对象动态建立并且用后丢弃 短暂对象出现很短，不需操纵短暂对象出现很短，不需操纵 静态对象长期存在静态对象长期存在多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.2.1 6.2.1 时间依赖的定义时间依赖的定义 l数据采集数据采集 自然：真实时间记录时间关系，存储自然：真实时间记录时间关系，存储 人工：综合时间关系（合成）人工：综合时间关系（合成） 实况：不能进行时间操作实况：不能进行时间操作多媒体技术教程ch6多媒体

15、的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.2.1 6.2.1 时间依赖的定义时间依赖的定义 l媒体媒体 连续媒体连续媒体 离散媒体离散媒体 连连续续媒媒体体是是能能在在时时间间上上连连续续播播放放的的离离散数据单元序列散数据单元序列多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.2.2 6.2.2 时间的概念模型时间的概念模型 1时间点和时间段时间点和时间段l时时间间点点瞬瞬时时，时时间间的的零零长长度度运运动动，例例：4:004:00pmpml时间段两个时间点之间的区间

16、时间段两个时间点之间的区间 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.2.2 6.2.2 时间的概念模型时间的概念模型 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.2.2 6.2.2 时间的概念模型时间的概念模型 2时间关系时间关系 时间关系有十三种：时间关系有十三种： before, before, starts, starts, meets, meets, overlaps, overlaps, during, finishes, equ

17、alsduring, finishes, equals 除除equalsequals外外，其其余余六六种种都都有有逆逆关关系系，共共十十三种。三种。 连续媒体：连续媒体：meetsmeets， 非连续媒体：非连续媒体：beforebeforel基基于于时时态态区区间间的的建建模模（TIBTIB建建模模）可可以以勾勾画画出出复杂的时间线表示复杂的时间线表示多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.2.2 6.2.2 时间的概念模型时间的概念模型 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世

18、纪教材世纪教材多媒体技术教程多媒体技术教程6.2.2 6.2.2 时间的概念模型时间的概念模型 用用meetsmeets和和equalsequals时间关系表示同步的例。时间关系表示同步的例。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程人民邮电出版社人民邮电出版社国防科学技术大学国防科学技术大学版权所有版权所有6.3 6.3 时间的规范与表示时间的规范与表示多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.3.1 6.3.1 时间规范时间规范 时时间间

19、规规范范的的目目的的是是为为了了向向在在创创建建时时和和合合成成过过程程中中所所要要求求同同步步的的数数据据对对象象提提供供一一种种时时间间关系的表达手段。关系的表达手段。l来源：从来源：从DBDB或从或从NETNET（包括包括DBDB和和LiveLive）l存储时的时间表达存储时的时间表达l合成时的时间表达合成时的时间表达l实时时的时间表达实时时的时间表达多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.3.1 6.3.1 时间规范时间规范 表现的需求：表现的需求：l对异质的数据能够同时地、顺序地、独立地表现对异质的数据能

20、够同时地、顺序地、独立地表现l对对显显示示则则要要求求不不同同的的元元素素能能对对有有关关的的过过程程和和事事件件进行特征描述的模型进行特征描述的模型l“数据表现、用户交互、物理设备数据表现、用户交互、物理设备”同步折衷同步折衷l与计算系统中与计算系统中“并行、并发、多线程并行、并发、多线程”的区别的区别 计算系统解题计算系统解题 多媒体系统多媒体系统“人人”及及“与人交互与人交互” 连贯地表现异质数据连贯地表现异质数据 用户理解的最小时间范围用户理解的最小时间范围 人作为系统的一部分人作为系统的一部分“延迟、交互延迟、交互”多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21

21、21世纪教材世纪教材多媒体技术教程多媒体技术教程6.3.1 6.3.1 时间规范时间规范 两者关键的区别：两者关键的区别：时间的依赖：时间的依赖：“处理处理”（计算）（计算） “ “表现表现”（多媒体）（多媒体）信息流控制：信息流控制：“任务任务”控制（计算）控制（计算） “ “人人”控制（多媒体）控制（多媒体）l其它的要求其它的要求没有绝对时间需求（允许迟到）没有绝对时间需求（允许迟到）实时限制：时限实时限制：时限时间操作建模时间操作建模 反转、随机存取、控制反转、随机存取、控制多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教

22、程6.3.2 6.3.2 相对时间规范与绝对时间规范相对时间规范与绝对时间规范 1时态瞬时时态瞬时l绝绝对对时时间间参参考考系系：以以VideoVideo作作为为绝绝对对时时间间参参考考。本本来来ImageImage和和AudioAudio没没有有时时间间关关系系，但但都都以以VideoVideo作参考后，作参考后，ImageImage和和AudioAudio也有了关系。也有了关系。 以以时时间间轴轴作作为为参参考考对对象象，编编辑辑时时某某些些时时间间关关系系会会丢丢失失。如如取取消消参参考考对对象象，则则无无时时间间关关系系了，无法同步。了，无法同步。l相相对对时时间间参参考考系系：相相对

23、对于于绝绝对对时时间间轴轴（World World TimeTime）。）。失步可用丢弃的方法进行校正。失步可用丢弃的方法进行校正。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.3.2 6.3.2 相对时间规范与绝对时间规范相对时间规范与绝对时间规范 相对于绝对时间轴同步相对于绝对时间轴同步多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.3.2 6.3.2 相对时间规范与绝对时间规范相对时间规范与绝对时间规范 2时态区间时态区间 基基于于时时态态区区

24、间间（TIBTIB）可可用用于于建建立立多多媒媒体体表表现现模模型，如：型，如：HyTimeHyTime，ODAODA，扩展扩展ODAODA，层次化方法层次化方法ai: ai: 单一媒体单一媒体 用户输入用户输入 延迟延迟只在只在aiai的起始点或结束点确定同步。的起始点或结束点确定同步。参考点方法参考点方法系统只在动作流的固定参考点才检查同步，如系统只在动作流的固定参考点才检查同步，如AVIAVI同步同步。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.3.2 6.3.2 相对时间规范与绝对时间规范相对时间规范与绝对时间

25、规范 （a） 层次图层次图 （b）层次图的执行过程层次图的执行过程多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.3.2 6.3.2 相对时间规范与绝对时间规范相对时间规范与绝对时间规范 参考点方法参考点方法多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.3.2 6.3.2 相对时间规范与绝对时间规范相对时间规范与绝对时间规范 3并行与顺序关系并行与顺序关系 用用于于时时间间依依赖赖媒媒体体的的公公共共表表示示方方法法，可可以以只只用用并行和顺序的关系

26、来表示。并行和顺序的关系来表示。 引引入入计计时时器器T T，将将原原来来在在时时间间上上的的许许多多差差别别都都归纳进了计时器的采用。归纳进了计时器的采用。用串行和并行表示时间关系如下图。用串行和并行表示时间关系如下图。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程人民邮电出版社人民邮电出版社国防科学技术大学国防科学技术大学版权所有版权所有6.4 6.4 多媒体同步的表示方法多媒体同步的表示方法多媒体技术教

27、程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.16.4.1 基于图形的表示法基于图形的表示法 具具有有形形象象直直观观地地说说明明同同步步语语义义的的优优势势，适适合于可视的、基于图形的多媒体表现的表示。合于可视的、基于图形的多媒体表现的表示。 基于图形的表示法有：基于图形的表示法有：l时间线时间线l流图流图lPetriPetri网网l时间层次法时间层次法 最著名的是最著名的是OCPNOCPN方法。方法。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.1

28、6.4.1 基于图形的表示法基于图形的表示法 1Petri网的定义网的定义CPN = T,P,A，其中其中T = t1,t2,tn,P = P1,P2,Pm,A：TPPTI，其中其中 I = 1,2, T代代表表变变迁迁集集合合，P代代表表库库所所集集合合，A代代表表有有向弧集合。向弧集合。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.16.4.1 基于图形的表示法基于图形的表示法 2标标记记Petri网网（Marked PetriNet: MPN）的的定义定义CMPN = T,P,A,M,其中其中T、P、A的定义

29、同的定义同PetriNet中的定义，而中的定义，而M：PI，I0,1,2,。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.16.4.1 基于图形的表示法基于图形的表示法 3OCPN（Object Composite Petri-Net：对对象合成网）的定义象合成网）的定义COCPN = T, P, A, D, Re, M其中其中T、P、A、M的定义同的定义同MPN中的定义，而中的定义，而D：PR（实数集）实数集）Re：Pr1,r2,r3,rk D是是从从库库所所集集合合到到实实数数（持持续续时时间间）的的映映射射，R

30、e是从库所集合到资源集合的映射。是从库所集合到资源集合的映射。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.16.4.1 基于图形的表示法基于图形的表示法 4OCPN模型模型 两两个个对对象象的的时时间间合合成成能能够够基基于于顺顺序序的的和和并并行行的的两两种种时时间间关关系系发发生生。给给定定两两个个对对象象，则则在在时时间间上上存存在在13种种关关系系。OCPN能能够够捕捕捉捉用用于于说说明明不不同同对对象象计计时时和和显显示示需需求求的的任任何何时时间间关关系系，如如下下图所示。其中，图所示。其中，Pd是延

31、时计时。是延时计时。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.16.4.1 基于图形的表示法基于图形的表示法 5统一统一OCPN模型模型 对对于于任任何何两两个个原原子子进进程程和和它它们们的的时时间间关关系系，存存在在相相应应的的OCPN模模型型。反反过过来来也也为为真真，对对于于任任何何OCPN模模型型能能够够惟惟一一确确定定相相应应的的时时间间关关系系。为为了了便便于于存存储储和和检检索索多

32、多媒媒体体数数据据，可可对对形形式式进进行行简简化化，采采用用统统一一OCPN模模型型，如如下下图图所所示示，这这个个模模型型用用于于表表示示任任何何时间关系。时间关系。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.16.4.1 基于图形的表示法基于图形的表示法 统一统一OCPN模型模型 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.16.4.1 基于图形的表示法基于图形的表示法 下下图图是是“世世界界报报道道”例例子子的的OCPN表表示

33、示法法。这这个个OCPN捕捕获获了了全全部部时时间间关关系系，可可以以在在前前向向和和逆逆向向两两个个方方向上模拟。向上模拟。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.26.4.2 基于脚本的表示法基于脚本的表示法 脚脚本本（scriptscript）可可用用来来表表示示特特定定领领域域内内的的特特定定问问题题。一一个个脚脚本本其其实实就就是是一一个个具具有有专专门门结结构构的的框框架架，它它像像一一个个电电影影剧剧本本一一样样，一一场场一一场场地地表表示示一一些些特特定定的的事事件件序序列列。脚脚本本具具有有

34、强强烈烈的的逻逻辑辑结结构构性性和和时时序序表表现现性性，因因而而利利用用脚脚本本概概念念来来对对多多媒媒体体表表现现进进行行建建模，是一种很好的途径。模，是一种很好的途径。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.26.4.2 基于脚本的表示法基于脚本的表示法1 1几个表现的概念几个表现的概念 v表现表现 ：表现意味着一次活动。：表现意味着一次活动。v演员演员 ：通过各种媒体进行传播信息的实体。：通过各种媒体进行传播信息的实体。v角色：多媒体表现环境中的各种资源。角色：多媒体表现环境中的各种资源。 v活动：由

35、多媒体表现环境中预定义的多媒体表现活动：由多媒体表现环境中预定义的多媒体表现的空间和时间序列，而引起发生的事件。的空间和时间序列，而引起发生的事件。 v场景场景 ：各种角色的活动编排组合构成的多媒体空：各种角色的活动编排组合构成的多媒体空间表现环境。间表现环境。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.26.4.2 基于脚本的表示法基于脚本的表示法2脚本的同步关系脚本的同步关系 两个活动之间的时间关系，也可以由两个活动之间的时间关系，也可以由before、meets、during、overlaps、starts

36、、finishes、equals及相应的逆关系（不含及相应的逆关系（不含equals）表示出来。表示出来。 对应以上关系，对应以上关系，Petra Hoepner等人提出了相等人提出了相应的算子集合，运用该集合中的算子，可以规范应的算子集合，运用该集合中的算子，可以规范地描述多媒体对象之间的同步及同步机制的语义。地描述多媒体对象之间的同步及同步机制的语义。可以用它们来将原子活动构造成合成活动，将一可以用它们来将原子活动构造成合成活动，将一元活动构造成包含同步关系的元活动构造成包含同步关系的n元活动。元活动。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教

37、材多媒体技术教程多媒体技术教程6.4.26.4.2 基于脚本的表示法基于脚本的表示法比较常用的算子：比较常用的算子： AB 并行后决并行后决 AB 并行先决并行先决 A B 串行串行 A | B 可选的可选的 Ai* 重复重复N A 并发并发多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.26.4.2 基于脚本的表示法基于脚本的表示法3 3脚本语言的表示脚本语言的表示（1 1）事件）事件 事事件件是是对对象象间间特特殊殊的的信信息息传传递递机机制制，是是协协调调活动和资源，使之有序化的任意分散的时间点。活动和资源，使之

38、有序化的任意分散的时间点。 （2 2）情节情节 情情节节是是预预定定义义的的多多媒媒体体对对象象表表现现的的空空间间和和时时间序列，可以是静态的，也可以是动态的。间序列，可以是静态的，也可以是动态的。 （3 3）场场 场场是是对对象象、活活动动、事事件件、情情节节的的有有机机组组合合，是组成脚本的信息单元。是组成脚本的信息单元。 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.26.4.2 基于脚本的表示法基于脚本的表示法（4 4）实现方法）实现方法 实实现现方方法法应应该该与与具具体体系系统统有有关关，不不同同的的系

39、系统统对对脚脚本本的的实实现现方方法法也也不不一一样样。一一般般包包括以下一些内容：括以下一些内容：管理数据管理数据 对象列表对象列表 时态合成时态合成 方法方法 多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.26.4.2 基于脚本的表示法基于脚本的表示法4 4脚本模型的规范化脚本模型的规范化脚本编程语言脚本编程语言 编编程程语语言言是是非非常常规规范范的的、有有严严格格的的数数据据类类型型定定义义和和结结构构定定义义的的，能能够够很很好好表表达达用用户户意意图图的的工工具具。但但一一般般编编程程语语言言（如如C C

40、、C+C+或或smalltalksmalltalk等等）都都没没有有定定义义时时间间语语义义。因因而而在在这这样样的的环环境境中中，很很难难规规范范地地实实现现时时间间约约束束的的表表示示。因因此此，脚脚本本编编程程语语言言必必须须有有明明确确的的时时间间语语义义的的定定义义，以以满满足足用用户户或或设设计者对时间约束的严格描述。计者对时间约束的严格描述。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.4.3 6.4.3 交互和同步交互和同步 当当一一个个人人与与多多媒媒体体系系统统交交互互时时，应应用用必必须须能能够够使

41、使用用户户和和外外部部世世界界同同步步。这这种种同同步步可可以以采采用用多多种种方方法法做做到到，如如启启动动或或停停止止一一个个对对象象的的表表现现、提提出出对对某某一一数数据据库库的的查查询询、对对象象的的浏浏览览、或或者者其其他他不不可可预预见见的的用用户户起起始始动动作作等等。对对于于连连续续媒媒体体系系统统，用用户户交交互互也也蕴蕴含含了了对对信信息息顺顺序序形形式的随机存取。式的随机存取。 在在多多媒媒体体中中，其其他他重重要要的的时时间间顺顺序序还还包包括括在在CSCWCSCW中中多多个个用用户户的的协协调调。在在这这里里要要重重点点考考虑虑对对于于共共享享对对象象的的并并发发控

42、控制制及及分分布布数数据据资资源源的的管管理。理。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程人民邮电出版社人民邮电出版社国防科学技术大学国防科学技术大学版权所有版权所有6.5 6.5 时间同步与系统支持时间同步与系统支持多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.5.1 概述 实时系统的最后期限实时系统的最后期限硬。硬。 多媒体数据表现的最后期限软。多媒体数据表现的最后期限软。 但但多多媒媒体体表表现现有有其其独独特特的的性性质质，具具有有实实时

43、时播播放放的的性性质质。数数据据需需要要根根据据预预先先确确定定的的时时间间表表从从存存储储中中提提交交出出来来，一一个个对对象象的的表表现现能能够持续在整个时间段中。够持续在整个时间段中。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.5.2 系统支持的有关问题1时间表示的数据结构时间表示的数据结构 为为了了支支持持基基于于时时间间的的表表示示，多多媒媒体体系系统统应能识别某种合适的数据结构。应能识别某种合适的数据结构。要求：适合于应用要求：适合于应用 适合适合TACTAC功能特性功能特性 适合于用对象编辑进行对象演变适

44、合于用对象编辑进行对象演变 适合于通过数据库索引和查询进行有效的检索适合于通过数据库索引和查询进行有效的检索多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.5.2 系统支持的有关问题 基基于于语语言言或或基基于于图图形形的的表表示示技技术术不不能能指明合适的数据结构。指明合适的数据结构。 用用Petri网网和和关关系系数数据据库库模模型型将将规规范范方方法法映映射射到到一一个个数数据据库库模模式式。此此时时，时时间间区区间间和和关关系系将将被被用用一一种种非非结结构构化化格格式式，或或以以结结构构化化的的格格式式中中的的P

45、etri网网的的时时间间线线表表示示法法描述出来。描述出来。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.5.2 系统支持的有关问题 2数据压缩的影响数据压缩的影响 压压缩缩后后，在在所所要要求求同同步步的的流流之之间间识识别别出同步关系十分困难。出同步关系十分困难。l希希望望在在连连续续媒媒体体流流中中的的任任意意点点都都具具有有起起始始的的能能力，帧间编码时没有中间帧是无法实现的。力，帧间编码时没有中间帧是无法实现的。l为为了了提提供供逆逆向向表表现现，希希望望在在两两个个方方向向上上都都应应可可以使用。以使用。MP

46、EGMPEG中，使用帧内编码，解决第中，使用帧内编码，解决第1 1个问题。个问题。 双向插值帧，解决第双向插值帧，解决第2 2个问题。个问题。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.5.2 系统支持的有关问题 3同步的系统支持同步的系统支持 为为支支持持时时间间依依赖赖媒媒体体，多多媒媒体体系系统统必必须须具具有有对对存存储储设设备备进进行行处处理理的的潜潜力力，包包括括通通过过跨跨网网做做到到的的数数据据分分布布能能力力，和和在在计计算算机机网网络络资资源源管管理理下下对对时时间依赖数据的支持。间依赖数据的支持。

47、多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程6.5.2 系统支持的有关问题 4同步异常同步异常 数数据据延延迟迟不不能能用用于于播播放放时时，发发生生了了同同步步异异常常。导导致致表表现现单单元元的的序序列列产产生生缝缝隙隙或或在在单位时间内数据短缺。单位时间内数据短缺。l数据迟到时，丢掉一些数据，或改变播放速率数据迟到时，丢掉一些数据，或改变播放速率l数数据据丢丢失失时时采采用用重重建建技技术术，用用一一定定的的值值替替换换流流中的丢失数据中的丢失数据l数据不可用时，延长前面单元的播放时间数据不可用时，延长前面单元的播放

48、时间多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程人民邮电出版社人民邮电出版社国防科学技术大学国防科学技术大学版权所有版权所有6.6 6.6 小结小结多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程本章重点时间关系是多媒体对象的本质特征。时间关系是多媒体对象的本质特征。视视频频、音音频频等等基基于于时时间间的的连连续续媒媒体体必必须须要要有严格的同步时间要求。有严格的同步时间要求。同同步步的的过过程程与与时时间间有有着着密密切切的的关关系系，同同步步有有应应

49、用用同同步步、合合成成同同步步、现现场场同同步步和和系系统统同步。同步。多媒体的时间表示模型多媒体的时间表示模型时间规范有相对时间规范和绝对时间规范。时间规范有相对时间规范和绝对时间规范。多媒体技术教程ch6多媒体的时间表示与同步课件高等学校高等学校21 21世纪教材世纪教材多媒体技术教程多媒体技术教程本章重点用用于于时时间间规规范范有有基基于于语语言言和和基基于于图图形形的的表表示示方方法法。基基于于语语言言的的表表示示法法主主要要是是脚脚本本；基基于于图图形形的的表表示示法法包包括括时时间间线线、流流图图、PetriPetri网、时间层次法等。网、时间层次法等。系系统统对对时时间间同同步步支支持持的的主主要要问问题题有有：数数据据库库的的同同步步化化方方法法；数数据据压压缩缩；操操作作系系统统支支持；同步异常处理等持；同步异常处理等多媒体技术教程ch6多媒体的时间表示与同步课件