《多媒体技术应用 普通高等教育“十一五”国家级规划教材 教学课件 ppt 作者 龚声蓉 王林 刘纯平 陆建德2 第8章 多媒体数据库》由会员分享，可在线阅读，更多相关《多媒体技术应用 普通高等教育“十一五”国家级规划教材 教学课件 ppt 作者 龚声蓉 王林 刘纯平 陆建德2 第8章 多媒体数据库（55页珍藏版）》请在金锄头文库上搜索。
1、,本章重点：,第8章 多媒体数据库技术,多媒体数据的存储与管理 多媒体数据模型的特点 基于内容的检索技术,第8章 多媒体数据库技术,8.1 概述 8.2 多媒体数据的管理问题 8.3 多媒体数据的存储问题 8.4 多媒体数据库结构 8.5 多媒体数据模型 8.6 基于内容的检索技术 8.7 本章小结,8.1概述,在数据库系统中用户对数据的任何操纵，是通过向数据库管理系统(DBMS)发请求实现。DBMS统一实施对数据的管理，包括存储、查询处理和故障恢复等，同时也保证能在不同用户之间进行数据共享。如果是分布数据库，这些内容将扩大到网络范围之上。 数据库系统的一个重要概念是数据独立性。,8.1概述,
2、依据独立性原则，DBMS一般按层次被划分为三种模式：物理模式、概念模式、外部模式(视图)。 物理模式的主要职能是定义数据的存储组织方法，如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方法等。 概念模式定义抽象现实世界的方法;概念模式通过数据模型来描述 ;数据库系统的性能与数据模型直接相关。 外部模式又称子模式，是概念模式对用户有用的那一部分。,8.1概述,数据库数据模型先后经历了网状模型、层次模型、关系模型等阶段。 关系模型有比较完整的理论基础，“表格”一类的概念易于被用户理解，在数据库中居主导地位。 关系模型把现实世界事物的特性抽象成数字或字符串表示的属性，每一种属性都有固定的取
3、值范围。于是，每一个事物都有一个属性集及对应它的属性值集合。,8.1概述,传统数据库模型主要针对的是整数、实数、定 长字符等规范数据。而多媒体数据库处理的是 不规则的数据。 多媒体数据库技术需要研究的问题： 如何用数据库系统来描述 将怎样进行检索查询 如何表达多媒体信息的内容 该如何处理这些数据呢,8.2 多媒体数据的管理问题,8.2.1 传统的数据管理 8.2.2 多媒体数据带来的问题 8.2.3 多媒体数据的管理,8.2.1 传统的数据管理,关系数据库采用关系框架来描述数据之间的关 系，通过把数据抽象成不同的属性和相互关系 建立起数据的管理机制。 对于一个具有复杂结构的实体(如雇员)，关系
4、数据库需要把它分解，分解的结果可以用最简单实用的关系(如雇员和部门)表示。实体的结构语义隐性地包含在两个关系的相同属性(部门编号)中。只有通过联结(join)、投影(project)等操作才能体现出结构语义。,8.2.2 多媒体数据带来的问题,多媒体DBMS(MMDBMS)的三层模型如图,8.2.2 多媒体数据带来的问题,多媒体对数据库设计的影响主要表现在以下几个 方面： 数据量庞大且媒体之间数据量的差异也极大，从而影响数据库的组织和存储方法。 媒体种类的增多就增加了数据处理的困难。 数据库的多解查询。 用户接口的支持。,8.2.2 多媒体数据带来的问题,多媒体信息的分布对多媒体数据库体系带来
5、了巨大的影响。 在多媒体数据库管理系统中尽可能采用短事务，然而有时需要有处理长事务的能力。 服务质量的要求。 多媒体数据管理还有考虑版本控制的问题。,8.2.3 多媒体数据的管理,要把不同形式的信息（包括文本、图像和视频）组合在他们的应用程序中且多媒体数据库必须是完全分布的，于是有数据库的存储方式如下： 有关系数据库管理系统(RDBMS)进行扩展（二进制）。 把关系数据库中基本二进制对象扩展为继承和类的概念。 将数据库和应用程序转换为面向对象的数据库，并使用C+或SQL这样的面向对象的语言进行开发。,8.2.3 多媒体数据的管理,关系数据库是当前占主流地位的数据库。但它缺乏对多媒体数据库的支持
6、，因为后者是数字和文本数据、GUI前端的图像、CAD/CAM系统和GIS应用程序、静态视频、音频和记录有音乐、伴音的全动作视频的组合。在关系数据库上实现多媒体应用程序的关键局限是：其关系数据模型和关系计算模型。,8.2.3 多媒体数据的管理,RDBMS的多媒体扩展 （1）大多数先进的关系数据库将大二进制对象(BLOB)作为新的数据类型看作二进制和自由格式文本。BLOB构成关系表中的列，用于图像和其他的二进制的数据类型。关系数据表包含BLOB的位置信息，而BLOB实际储存于数据库外部的独立的图像、视频服务器中。关系数据库经过扩充能访问这些BLOB，从而提供给用户一个完整的数据集。,8.2.3 多
7、媒体数据的管理,（2）RDBMS模型的另一个扩展是，除了存储在数据库内部以外，BLOB也受到并发性和事务控制的影响。也就是说，如果事务的后续部分失败了，对BLOB进行的所有修改都可以被退回。并发控制对BLOB的作用与对其它数据类型的作用是一样的。,8.2.3 多媒体数据的管理,多媒体的面向对象数据库 只要建立了类，其中所有的对象都有了该类的属性。类的定义能加速应用程序的开发速度，还能提供更广泛的对象能力和对复杂的多媒体应用的开发和维护工具。对象数据库的诸如消息传送、可扩展性和对层次结构的支持等能力对多媒体系统是很重要的。 ODMS(对象数据库)允许对数据库应用程序的增量修改。,8.2.3 多媒
8、体数据的管理,面向对象的软件技术基于下面三个概念，对多媒体系统是十分重要的： 封装性，或者说以预定义、可控制的方式把软件实体作为单元来处理，其中控制程序是与实体结合在一起的。 联系，或以与另一实体的差异来定义一个软件实体的能力。 分类，或以有相同行为、属性的数据项来代表一个单独的软件实体的能力,8.3 多媒体数据的存储问题,庞大的数据量 存储技术（光盘存储系统和高速磁盘存储 ） 多媒体对象存储 多媒体文档检索,8.4 多媒体数据库结构,1. 单一型多媒体数据库结构：每一种媒体的数据库都有自己独立的数据库管理系统，通过相互通信来进行协调和执行相应的操作。 2. 集中型多媒体数据库结构,集中型多媒
9、体数据库系统的组织结构图,8.4 多媒体数据库结构,3. 主从型多媒体数据库结构,主从型多媒体数据库管理系统,8.4 多媒体数据库结构,4. 协作型多媒体数据库结构,协作型MDBMS的组织结构,8.5多媒体数据模型,8.5.1 概述 8.5.2 多媒体数据模型的种类,8.5.1概述,数据库数据模型的组成：数据库数据结构、数据库操作集合和完整性规则集合 多媒体数据模型的基本任务：能够表示各种不同媒体数据的构造及其属性特征；能够指出不同媒体数据之间的相互关系。 常用的多媒体数据模型：三种多媒体数据库的数据模型(NF2数据模型、面向对象数据模型、对象-关系模型)、基于内容的数据模型、超媒体模型等。,
10、8.5.2 多媒体数据模型的种类,图像可模型化为图像和图像对象，图像可以包含许多图像对象，且对图像对象的解释是领域相关的。相关的图像对象可以在图像插入数据库时由用户决定。图像基表示和图像对象基表示是图像的物理存储格式，从中抽出图像的物理特性。图像必须具有图像基表示。,8.5.2 多媒体数据模型的种类,视频媒体的数据模型就是对视频的分割合并进行结构化描述。以传统的帧或像素为描述单元是很难实现基于内容的管理和检索，由此需要新的视频结构表示视频信息的内容和语义结构。这种层次化结构将视频分为三级，最高级为“故事单元”，中间为“镜头”，最低一级是“帧”，对最后一层的描述可以采用图像描述方法。,8.5.2
11、 多媒体数据模型的种类,音频信号携带各种信息。对于语音来说，判断其是否为语音，只需提取人类语音信号的一般特征就足够了；而为了区分是清音还是浊音，就应该了解其能量谱分布和基音频率。为了满足音频管理和检索的需要，基于内容的音频数据模型需要提取音频的低层特征来表现音频低层内容。音频有心理属性和物理属性两种属性。,8.6基于内容的检索技术,8.6.1 概述 8.6.2 系统的一般结构 8.6.3 媒体的内容语义 8.6.4 检索过程 8.6.5 图像检索系统实例,8.6.1 概述,基于内容检索技术一般用于多媒体数据库系统之中，也可以单独建立应用系统。 基于内容检索的主要研究内容:如何使系统直接从各种媒
12、体中获取信息线索，并将这些线索用于数据库中的检索操作，帮助用户从数据库中检索出合适的多媒体信息对象。 实现:从媒体数据中分析、提取出可供检索的内容特征，并将这些内容特征进行结构化的表示。 相对于媒体数据层次的处理过程，将对媒体语义层次的处理称为媒体的内容处理。,8.6.2 系统的一般结构,从基于内容检索的角度出发，系统由组织媒体输入的插入子系统、对媒体做特征提取的媒体处理子系统、储存插入时获得的特征和相应媒体数据的数据库以及支持对该媒体的查询子系统等组成，同时需要相应的知识辅助支持特定领域的内容处理。,8.6.2 系统的一般结构,插入子系统：负责将媒体输入到系统之中，同时根据需要为用户提供一种
13、工具，以全自动或半自动(即需用户部分干预)的方式对媒体进行分割，标识出需要的对象或内容关键点，以便有针对性地对目标进行特征提取。 特征提取子系统：对用户或系统标明的媒体对象进行特征提取处理。可以由人完成，也可以通过对应的媒体处理例程完成，提取些所关心的媒体特征。提取的特征可以是全局性的，也可以针对某个内部的对象，在提取特征时，往往需要知识处理模块的辅助，由知识库提供有关的领域知识。,8.6.2 系统的一般结构,数据库：媒体数据和插入时得到的特征数据分别存入媒体数据库和特征数据库。数据库通过组织与媒体类型相匹配的索引来达到快速搜索的目的，从而可以应用到大规模多媒体数据检索过程中。 查询子系统：主
14、要以示例查询的方式向用户提供检索接口。检索主要是相似性检索，模仿人类的认知过程，可以从特征库中寻找匹配的特征，也可以临时计算对象的特征。,8.6.2 系统的一般结构,多媒体数据库中基于内容检索系统的结构示意,8.6.2 系统的一般结构,查询的方法示意,8.6.3 媒体的内容语义,媒体的内容语义是基于内容检索的基础，与任务有关，也与领域有关。 基于内容的检索应该分阶段完成，第一阶段先用无领域知识的方法缩小检索空间，第二阶段再逐步利用领域知识进行更细致的查找和匹配。 在这里介绍的部分媒体内容语义大多数是与领域无关的。,8.6.3 媒体的内容语义,文本内容检索已经比较成熟，有对字符、词、词组、基于上
15、下文的内容检索。 图像媒体检索内容主要包括颜色、纹理、轮廓、对象及领域内容等。 视频建立在图像的基础上，常用检索主要包括镜头、摄像动作、运动对象以及场景等。 声音的内容检索包括特定模式的查找，特定词、短语、音乐旋律和特定声音的查找等,8.6.4 检索过程,基于内容检索是一个逐步求精的过程。主要过程如图,8.6.4 检索过程,初始检索说明：用户开始检索时，要形成一个检索的格式。系统对示例的特征进行提取，或是把用户描述的特征映射为对应的查询参数。 相似性匹配：将特征与特征库中的特征按照一定的匹配算法进行匹配。满足一定相似性的一组候选结果按相似度大小排列返回给用户。,8.6.4 检索过程,特征调整：
16、用户对系统返回的一组满足初始特征的检索结果进行浏览，挑选出满意的结果，检索过程完成；或者从候选结果中选择一个最接近的示例，进行特征调整，然后形成一个新的查询。 重新检索：逐步缩小查询范围，重新开始。该过程直到用户放弃或者得到满意的查询结果时为止。,8.6.5 图像检索系统实例,实现基于内容的检索系统主要有两种途径：一是基于传统的数据库检索方法，即采用人工方法将多媒体信息内容表达为属性(关键字)集合，再在传统的数据库管理系统内处理，这种方法对信息采用了高度抽象，留给用户的选择余地较小，查询方法和范围有所限制；二是基于信号处理理论，即采用特征抽取和模式识别结合人工智能等手段来克服数据库方法的局限性。,8.6.5 图像检索系统实例,有时人们很难对一个对象进行描述，如人的面部，人的声音等。这时常见的做法是给定一个实例，使系统自动(或在人工干预下)获取其特征，然后进行模式匹配识别，只能是相似性查询。 计算两个媒体对象间的相似程度，首先必须借助于图像理解、语音识别等领域发展起来的模式识别技术进行特征抽取，得到特征值后计算其相似性。 目前，学术界和商业界已经发展出了一些基于内容的图像检索系统，如
