第11章-多媒体信息检索

《第11章-多媒体信息检索》由会员分享，可在线阅读，更多相关《第11章-多媒体信息检索（20页珍藏版）》请在金锄头文库上搜索。

1、多媒体信息检索多媒体信息检索主要内容：主要内容： 1 1、多媒体检索的意义和方法、多媒体检索的意义和方法 2 2、图像信息的检索和利用、图像信息的检索和利用 3 3、视频信息的检索和利用、视频信息的检索和利用 4 4、音频信息的检索和利用、音频信息的检索和利用第一节第一节 多媒体信息检索的意义和方法多媒体信息检索的意义和方法一、多媒体信息检索的概念和意义一、多媒体信息检索的概念和意义 (一) 多媒体信息检索的概念1. 多媒体信息的特征元数据提取、索引建库2. 相似度匹配运算，识别和返回用户所需信息3. 通过与用户之间的反馈，不断优化、调整显示结 果 (二) 多媒体信息检索兴起的意义多媒体信息的

2、优势、视频网站的兴起、国内外 的研究热点二、多媒体数据库结构与标引 1、多媒体数据库结构 （1）面向对象的关系数据模型关系数据库中存储了多媒体对象的位置信息，如关键词、 文本标题、数据的存储路径及名称等描述信息 （2） 纯粹面向对象模型OODB，利用ODQL语言实现数据库的查询，在SQL功能 的基础之上增加了适合基于内容检索的机制，如复杂的信 息建模能力。 （3）关系+面向对象模型对象-关系型数据库（Object Relational Database,ORDB），在原有关系型数据库基础上增加描 述非文本、非结构化数据的对象类和相应的对象支持功能 ，利用大二进制对象（BLOB）来存储和管理多媒

3、体对象 ，以使数据库系统可以满足跨平台和不同媒体对象的应用二、多媒体数据库结构与标引 2、多媒体数据库标引 （1）依外在特征的标引法标签法n将多媒体信息某些显著的外在特征作为索引标识。n优劣分析： 显而易见，避免了内容分析的繁琐与艰难，相对 简单。 但缺乏直观性，加重了用户的认知负担，若外部 特征不明显或难以确定时，则难以行通。二、多媒体数据库结构与标引 2、多媒体数据库标引 （2）以内容分析为主的标引方法n编码系统法：采用某种特定的编码系统来标识多媒体信息中 分析出来的各个独立对象，并根据对象间存在的联系进行相 应的代码拼接、组合，以完成多媒体信息的整体标引。n自由文本法（报告法）：利用自然

4、语言的特点，将图像、声 音等多媒体信息的内容用文字进行描述，揭示其内在的各种 语义联系、时空关联性等，形成描述性的自由文本。然后， 通过对该文本内容的概念进行标引，间接地完成对原多媒体 信息记录内容的标引。n特征描述法：从图像、声音等多媒体信息中捕获人们感觉最 明显的特征，如图像的形状、颜色，音乐的基调、序曲等主 要特征，直接建立相应的“相似图像”索引与“相似声音”索引 以便于描述和标引多媒体信息，是一种为人们所习惯使用的 方法。二、多媒体数据库结构与标引 2、多媒体数据库标引 （3）全方位语义分析法 基本原理：强调内容特征与外在特征相结合，从整体到局部，从 各个角度为各个对象建立全面的特征标

5、引；并利用 语义分析的方法，将各个部分、各个对象之间丰富 的语义联系描绘成语义图的形式，一起存储在数据 库中，从而建立多媒体数据库最全面、最精确的标 引系统。 基本过程： a，从整体到局部，进行特征抽取； b，根据语义分析法建立相应语义联系； c，绘制相应的语义图。三、多媒体信息检索的方法、原理及优劣分析 (一)基于文本的多媒体信息检索方法原理：原理：人工建立元数据标引，其本质与纯文本信息其本质与纯文本信息 的检索并无二致的检索并无二致。普及程度：普及程度：是现行网络检索系统中的主流方式。检索方式：检索方式：信息分类、扩展名、关键字段优劣分析优劣分析n n优势优势：实现原理相对简单，技术成熟：

6、实现原理相对简单，技术成熟n n劣势劣势：具有主观性，仁者见仁、智者见智。具有主观性，仁者见仁、智者见智。多媒体信息的多维性，人工描述难以穷尽。多媒体信息的多维性，人工描述难以穷尽。( (二二) ) 基于内容的多媒体信息检索基于内容的多媒体信息检索原理：原理：特征量化，表示成向量空间，建立索 引库，将用户提问转化成向量，并与已有信 息的向量空间进行相似度匹配计算。常用文件特征：常用文件特征：图像：图像：颜色、纹理及时空关系等视频：视频：对象运动特征、颜色和光线变化等音频：音频：时域、频域、时频特征和音频片段 等等普及程度：普及程度：局限在较小的数据集合上，大多 只是实验室研究成果优劣分析优劣分

7、析优势：源于多媒体内容本身的特征信息，具有优势：源于多媒体内容本身的特征信息，具有客观性客观性劣势：劣势：复杂度高复杂度高语言鸿沟语言鸿沟选取好的特征的难度大、特征的量化、建模、建立选取好的特征的难度大、特征的量化、建模、建立 向量空间复杂。向量空间复杂。讨论：此处的“语言鸿沟”应作何理解？比较基于文本的多媒体检索方法和基于内容的多媒 体检索方法的优劣？第二节第二节 图像信息的检索与利用图像信息的检索与利用一、图像信息检索的原理一、图像信息检索的原理 ( (一一) ) 原理原理：1. 提取其颜色、形状、纹理，以及对象空间关 系等信息，建立图像的特征索引库2. 检索匹配 ( (二二) ) 特征提

8、取方法特征提取方法：彩相关曲线图、边缘密度比较 和灰度图像量化( (三三) )用户查询过程的表达用户查询过程的表达: :Q = I Q = IQQ,F,FQQ,S,SQQ,Z,ZQQ l lI IQ Q 代表从数据库中选择图像代表从数据库中选择图像l lF FQ Q 代表图像特征的选取代表图像特征的选取l lS SQ Q 代表相似度计算代表相似度计算l lZ ZQ Q 代表一组总体语义的标签代表一组总体语义的标签二、常见的图像检索工具二、常见的图像检索工具n nQBIC(QueryQBIC(Query By Image Content) By Image Content) IBMIBM的产品的

9、产品n nWebSEEKWebSEEK http:/persia.ee.columbia.edu:8008/http:/persia.ee.columbia.edu:8008/n nTinEyeTinEye、TitomoTitomo、VASTVAST、ImageRoverImageRover、ScourScour http:/http:/ http:/ http:/ http:/http:/ /了解：已有图像搜索工具的特点？目前普遍提取使用了解：已有图像搜索工具的特点？目前普遍提取使用 的特征主要有哪些？每个系统的检索功能有什么特色？是的特征主要有哪些？每个系统的检索功能有什么特色？是 否基于

10、文本和基于内容两种检索方法兼具？否基于文本和基于内容两种检索方法兼具？第三节第三节 视频信息的检索与利用视频信息的检索与利用一、视频信息检索的原理和过程一、视频信息检索的原理和过程 ( (一一) ) 原理：原理：片段划分、特征提取、索引建库 ( (二二) ) 常用方法：常用方法：基于属性、基于对象 ( (三三) )常用特征常用特征：颜色、纹理、形状、空间联系、原始语义 、显示、客观属性、主观属性、动作、文本和领域概念 ( (四四) ) 过程阶段：过程阶段：数据库建立阶段视频检索阶段二、常见的视频检索工具二、常见的视频检索工具nVisualSeeknInformedia-II Digital V

11、ideo LibrarynGoogle Video Search、Yahoo Video Search、 Open V、VideoQ http:/ http:/ 检索功能和检索方式上有何特色？检索功能和检索方式上有何特色？第四节第四节 音频信息检索与利用音频信息检索与利用一、图像检索的原理一、图像检索的原理 ( (一一) ) 图像检索的方法图像检索的方法n 同音(Simile)比较n 听觉或知觉特征的提取n 个人语言的主观特征描述n 拟声法( (二二) ) 原理：基于内容的声音检索原理：基于内容的声音检索(Content-Based (Content-Based Audio Retrieval

12、)Audio Retrieval)主要步骤主要步骤选取音频的响度、音调、音强、带宽、音长和音色等 特征予以量化，利用分析技术将大量的声音数据减少为一 小组变量；将音频信息的N个特征表示为N维向量，并将听觉属 性对应到不同的向量空间；计算并存储每个属性在不同向量空间中的均值、方差 、自相关度和音长，完成对音频信息的识别、分类和检索 ( (三三) ) 常用特征：常用特征：响度、音调、音强、带宽、音长和 音色等。基于内容的音频检索系统结构示意图二、常见的音频检索工具二、常见的音频检索工具n上海交通大学的音乐数据库检索系统 http:/ P345nMaART http:/ （2）基于内容的多媒体搜索工具缘何不能普及使用于网络 资源？ （3）不同多媒体信息检索方法的优劣比较？ （4）调查现行主流的多媒体搜索工具都是基于什么原理实 现？ （5）选取一些多媒体检索工具，归纳其检索特色及不足？本章所列的思考题选择本章所列的思考题选择1 1个，进行资料查找和分析。在个，进行资料查找和分析。在 下周课前提交。下周课前提交。