《多媒体技术教程 第3版 普通高等教育十一五 国家级规划教材 教学课件 ppt 胡晓峰 吴玲达 老松杨 司光亚 多媒体技术教程V3-ch6》由会员分享，可在线阅读，更多相关《多媒体技术教程 第3版 普通高等教育十一五 国家级规划教材 教学课件 ppt 胡晓峰 吴玲达 老松杨 司光亚 多媒体技术教程V3-ch6（60页珍藏版）》请在金锄头文库上搜索。
1、第六章多媒体的时间表示与同步,6.1 多媒体同步的基本概念,6.1.1 同步的基本概念,多媒体是在不同应用环境中文本、图像、声音、视频等各种媒体的集成。既然需要将这些媒体安排在一起表现，就有一个先来后到的关系。这个关系就是同步关系，系统对各个媒体对象按照这个关系进行的控制过程，就是同步。 同步的过程与时间有着密切的关系，大多数同步都建立在时间的基础上。,6.1.1 同步的基本概念,基于时间的媒体（Time-based Media，时基媒体） 或时间依赖媒体（Time-dependent）： 媒体与时间有着强烈的依赖关系，在采样、传输和回放表现时更需要以时间为参照系进行有序的组织。 多媒体同步或
2、合成（Orchestration）： 组织时基的、非时基的多种媒体序列通过传输、合成并达到某种表现效果。这个过程既包含表现过程，也包含多媒体信息的传输过程；既可以用于并发或顺序的数据流布局，也可以用于对所产生的外部事件进行安排。,6.1.1 同步的基本概念,简单的时间线表示如图,6.1.2 同步的种类,1应用同步 应用层同步又称表现同步，或交互同步。这一类同步是从用户应用的角度出发而进行的同步，重点在于表现与交互。 2合成同步 合成同步又称为“媒体之间的同步” 。这种同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描述。,6.1.2 同步的种类,3现场同步 现场同步也属于媒体间
3、的同步。它要表现出同一个应用中数据源方与表现方之间存在的实际同步关系，也既端端之间的同步关系。 4系统同步 系统同步，又称“媒体内部的同步” 。这里“系统”指的是该层同步如何根据各种输入媒体对应的实际硬件系统（设备）的性能参数来协调实现其上层合成同步所描述的各对象间的时序关系。,6.1.3 同步的分层服务模型,对于多媒体的应用来说，同步是建立在不同的分层的基础上的。不同层次的同步依据不同的接口机制来保证，如下图所示。,6.1.3 同步的分层服务模型,媒体层针对的是单独的媒体数据流，属于物理层的同步，其同步的基础是数据流中的一个个基本逻辑数据单元，通过对这些逻辑数据单元的操纵来保证媒体在时间上的
4、准确。 流层也是媒体内的同步，但是属于服务层，其面对的是多个媒体数据流。它处理的是多流之间的同步，以保证多个数据流在传输和表现过程中能够实现并行和同步。,6.1.3 同步的分层服务模型,对象层的同步是针对多媒体演示过程之中的各个多媒体对象的。通过相应的时间同步方案，保证各个多媒体对象能够按照规定的次序出现，并且能够响应用户的输入事件。 描述层的同步解决的是多媒体表现中各个场景的安排与对象同步的描述。其重点是作者与系统的接口，只关心是否能够被描述或描述的是否正确，而不关心具体如何实现同步。,6.2 时间模型,6.2.1 时间依赖的定义,多媒体是在不同应用环境中对文本、图象、声音、视频的集成。 基
5、于时间的媒体与时间有强烈的依赖关系。 时基媒体的表示方法、时间模型、用户交互、系统实现方法等是问题的核心。体现在三个层次上： 物理层：低层的时间关系 服务层：应用媒体之间的时间关系 人机接口层：用户的随机交互过程，浏览 （与时间有关，延迟不定）,6.2.1 时间依赖的定义,根据各种媒体及其表现特性确定时间的依赖关系。 Static静态的没有时间依赖 Discrete离散的单一元素 Transient短暂的一时的 Natural或Implied自然/蕴含的真实世界中的时间依赖 Synthetic综合的、合成的人工产生的时间依赖 Continuous连续的在时间上连续 Persistant持续的在
6、数据库中维持的,6.2.1 时间依赖的定义,数据对象分类： 表现及应用生命周期 持续对象存在于整个应用周期 非持续对象动态建立并且用后丢弃 短暂对象出现很短，不需操纵 静态对象长期存在,6.2.1 时间依赖的定义,数据采集 自然：真实时间记录时间关系，存储 人工：综合时间关系（合成） 实况：不能进行时间操作,6.2.1 时间依赖的定义,媒体 连续媒体 离散媒体 连续媒体是能在时间上连续播放的离散数据单元序列,6.2.2 时间的概念模型,1时间点和时间段 时间点瞬时，时间的零长度运动，例：4:00pm 时间段两个时间点之间的区间,6.2.2 时间的概念模型,6.2.2 时间的概念模型,2时间关系
7、 时间关系有十三种： before, starts, meets, overlaps, during, finishes, equals 除equals外，其余六种都有逆关系，共十三种。 连续媒体：meets， 非连续媒体：before 基于时态区间的建模（TIB建模）可以勾画出复杂的时间线表示,6.2.2 时间的概念模型,6.2.2 时间的概念模型,用meets和equals时间关系表示同步的例。,6.3 时间的规范与表示,6.3.1 时间规范,时间规范的目的是为了向在创建时和合成过程中所要求同步的数据对象提供一种时间关系的表达手段。 来源：从DB或从NET（包括DB和Live） 存储时的时
8、间表达 合成时的时间表达 实时时的时间表达,6.3.1 时间规范,表现的需求： 对异质的数据能够同时地、顺序地、独立地表现 对显示则要求不同的元素能对有关的过程和事件进行特征描述的模型 “数据表现、用户交互、物理设备”同步折衷 与计算系统中“并行、并发、多线程”的区别 计算系统解题 多媒体系统“人”及“与人交互” 连贯地表现异质数据 用户理解的最小时间范围 人作为系统的一部分“延迟、交互”,6.3.1 时间规范,两者关键的区别： 时间的依赖：“处理”（计算） “表现”（多媒体） 信息流控制：“任务”控制（计算） “人”控制（多媒体） 其它的要求 没有绝对时间需求（允许迟到） 实时限制：时限 时
9、间操作建模 反转、随机存取、控制,6.3.2 相对时间规范与绝对时间规范,1时态瞬时 绝对时间参考系：以Video作为绝对时间参考。本来Image和Audio没有时间关系，但都以Video作参考后，Image和Audio也有了关系。 以时间轴作为参考对象，编辑时某些时间关系会丢失。如取消参考对象，则无时间关系了，无法同步。 相对时间参考系：相对于绝对时间轴（World Time）。失步可用丢弃的方法进行校正。,6.3.2 相对时间规范与绝对时间规范,相对于绝对时间轴同步,6.3.2 相对时间规范与绝对时间规范,2时态区间 基于时态区间（TIB）可用于建立多媒体表现模型，如：HyTime，ODA
10、，扩展ODA， 层次化方法 ai: 单一媒体 用户输入 延迟 只在ai的起始点或结束点确定同步。 参考点方法 系统只在动作流的固定参考点才检查同步，如AVI同步。,6.3.2 相对时间规范与绝对时间规范,（a） 层次图 （b）层次图的执行过程,6.3.2 相对时间规范与绝对时间规范,参考点方法,6.3.2 相对时间规范与绝对时间规范,3并行与顺序关系 用于时间依赖媒体的公共表示方法，可以只用并行和顺序的关系来表示。 引入计时器T，将原来在时间上的许多差别都归纳进了计时器的采用。 用串行和并行表示时间关系如下图。,6.4 多媒体同步的表示方法,6.4.1 基于图形的表示法,具有形象直观地说明同步
11、语义的优势，适合于可视的、基于图形的多媒体表现的表示。 基于图形的表示法有： 时间线 流图 Petri网 时间层次法 最著名的是OCPN方法。,6.4.1 基于图形的表示法,1Petri网的定义 CPN = T,P,A， 其中 T = t1,t2,tn, P = P1,P2,Pm, A：TPPTI， 其中 I = 1,2, T代表变迁集合，P代表库所集合，A代表有向弧集合。,6.4.1 基于图形的表示法,2标记Petri网（Marked PetriNet: MPN）的定义 CMPN = T,P,A,M, 其中T、P、A的定义同PetriNet中的定义，而 M：PI，I0,1,2,。,6.4.1
12、 基于图形的表示法,3OCPN（Object Composite Petri-Net：对象合成网）的定义 COCPN = T, P, A, D, Re, M 其中T、P、A、M的定义同MPN中的定义，而 D：PR（实数集） Re：Pr1,r2,r3,rk D是从库所集合到实数（持续时间）的映射，Re是从库所集合到资源集合的映射。,6.4.1 基于图形的表示法,4OCPN模型 两个对象的时间合成能够基于顺序的和并行的两种时间关系发生。给定两个对象，则在时间上存在13种关系。OCPN能够捕捉用于说明不同对象计时和显示需求的任何时间关系，如下图所示。其中，Pd是延时计时。,6.4.1 基于图形的表示
13、法,5统一OCPN模型 对于任何两个原子进程和它们的时间关系，存在相应的OCPN模型。反过来也为真，对于任何OCPN模型能够惟一确定相应的时间关系。为了便于存储和检索多媒体数据，可对形式进行简化，采用统一OCPN模型，如下图所示，这个模型用于表示任何时间关系。,6.4.1 基于图形的表示法,统一OCPN模型,6.4.1 基于图形的表示法,下图是“世界报道”例子的OCPN表示法。这个OCPN捕获了全部时间关系，可以在前向和逆向两个方向上模拟。,6.4.2 基于脚本的表示法,脚本（script）可用来表示特定领域内的特定问题。一个脚本其实就是一个具有专门结构的框架，它像一个电影剧本一样，一场一场地
14、表示一些特定的事件序列。脚本具有强烈的逻辑结构性和时序表现性，因而利用脚本概念来对多媒体表现进行建模，是一种很好的途径。,6.4.2 基于脚本的表示法,1几个表现的概念 表现 ：表现意味着一次活动。 演员 ：通过各种媒体进行传播信息的实体。 角色：多媒体表现环境中的各种资源。 活动：由多媒体表现环境中预定义的多媒体表现的空间和时间序列，而引起发生的事件。 场景 ：各种角色的活动编排组合构成的多媒体空间表现环境。,6.4.2 基于脚本的表示法,2脚本的同步关系 两个活动之间的时间关系，也可以由before、meets、during、overlaps、starts、finishes、equals及
15、相应的逆关系（不含equals）表示出来。 对应以上关系，Petra Hoepner等人提出了相应的算子集合，运用该集合中的算子，可以规范地描述多媒体对象之间的同步及同步机制的语义。可以用它们来将原子活动构造成合成活动，将一元活动构造成包含同步关系的n元活动。,6.4.2 基于脚本的表示法,比较常用的算子： AB 并行后决 AB 并行先决 AB 串行 A | B 可选的 Ai* 重复 NA 并发,6.4.2 基于脚本的表示法,3脚本语言的表示 （1）事件 事件是对象间特殊的信息传递机制，是协调活动和资源，使之有序化的任意分散的时间点。 （2）情节 情节是预定义的多媒体对象表现的空间和时间序列，
16、可以是静态的，也可以是动态的。 （3）场 场是对象、活动、事件、情节的有机组合，是组成脚本的信息单元。,6.4.2 基于脚本的表示法,（4）实现方法 实现方法应该与具体系统有关，不同的系统对脚本的实现方法也不一样。一般包括以下一些内容： 管理数据 对象列表 时态合成 方法,6.4.2 基于脚本的表示法,4脚本模型的规范化脚本编程语言 编程语言是非常规范的、有严格的数据类型定义和结构定义的，能够很好表达用户意图的工具。但一般编程语言（如C、C+或smalltalk等）都没有定义时间语义。因而在这样的环境中，很难规范地实现时间约束的表示。因此，脚本编程语言必须有明确的时间语义的定义，以满足用户或设计者对时间约束的严格描述。,6.4.3 交互和同步,
