《多媒体信息处理技术 工业和信息化普通高等教育十二五 规划教材立项项目 教学课件 ppt 作者 卢官明 焦良葆 第10章 基于内容的多媒体信息检索》由会员分享，可在线阅读，更多相关《多媒体信息处理技术 工业和信息化普通高等教育十二五 规划教材立项项目 教学课件 ppt 作者 卢官明 焦良葆 第10章 基于内容的多媒体信息检索（60页珍藏版）》请在金锄头文库上搜索。
1、10.1 基于内容检索技术概述 10.2 基于内容的图像检索 10.3 基于内容的视频检索 10.4 基于内容的音频检索,第10章 基于内容的多媒体信息检索,熟悉基于内容检索系统的一般结构、检索过程及特点。 了解基于内容检索的研究方向。 掌握基于颜色、纹理以及简单的形状和空间关系等特征的图像检索的一般方法。 了解图像颜色、纹理、形状、空间关系特征的提取与表示方法。 掌握基于内容的视频检索工作流程和系统结构。 了解镜头转换的基本概念、镜头边界检测的一般方法。 掌握基于内容的音频检索的一般方法。 了解音频声学特征及提取方法、音频分类的一般方法。,本章学习目标,10.1 基于内容检索技术概述,所谓信
2、息检索，就是根据用户的信息需求，从信息集合中检索出与用户信息需求相关的信息子集。 多媒体信息数据量极其庞大，并且多媒体数据在组织结构、表达形式等方面也不同于传统的文字数据，如何对它们进行组织、表达、存储、管理、查询和检索是对传统数据库技术提出的一个严峻挑战。特别是视频信息检索问题，尤其是基于内容的图像和视频检索技术已经成为国内外研究的热点问题。,多媒体数据库的早期检索方法,基于属性的检索(Attribute-Based Retrieval) 基于文本的检索(Text-Based Retrieval) 先利用文本标注媒体内容，将对媒体内容的检索转换为基于文本描述的检索。检索时，系统根据用户输入的
3、关键字按照相似度大小排序返回部分匹配的结果。,10.1 基于内容检索技术概述,基于文本的多媒体信息检索,人工建立元数据标注，本质类似于纯文本信息检索 检索方式：信息分类、扩展名、关键词 普及程度：是现行网络检索系统中的主流方式，如Google 图片搜索、音乐搜索与视频搜索，Yahoo 音乐搜索与图片搜索，Yahoo Video Search，百度mp3、图片与视频搜索等 优势：实现原理相对简单，技术成熟 劣势：目前的技术无法对多媒体信息进行自动文本描述，人工标注费时费力。而且，文字描述受观察者的主观因素影响很大，缺乏统一的描述标准，如，同一幅图像在不同人眼中会有不同的描述。,基于文本的检索方式
4、，适合于处理结构化的文本类和数值类的记录信息检索。在数据库中，每个记录都有固定数目的域，每个域也都具有明确的意义（定性描述），这样每个记录仅具有特定和有限的语义信息，通过对不同域的（关键字）是否比较和（数值）大小比较可进行检索。 但这种方法用于多媒体信息检索则具有相当大的局限性。,基于文本的多媒体信息检索,基于文本的图像检索,基于文本检索的缺陷: 文本描述难于充分表达媒体的丰富内容 文本描述具有一定的主观性 处理文本描述涉及到自然语言理解问题 手工输入文本描述效率低，难以满足大容量媒体库的要求,10.1 基于内容检索技术概述,基于内容的检索(Content-Based Retrieval，CB
5、R)在传统的检索框架中融合了对媒体内容的理解，是对多媒体对象的内容及上下文语义环境进行检索。 原理：提取特征并进行量化，表示成向量空间，建立索引库，将用户提问转化成向量，并与已有信息的向量空间进行相似度匹配计算。 常用的媒体特征： 图像：颜色、纹理、形状及空间关系等 视频：镜头、场景、镜头的运动等 音频：时域、频域、时频特征等,10.1 基于内容检索技术概述,基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。 在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为基础技术，是
6、多种技术的合成。,10.1 基于内容检索技术概述,多媒体信息检索分类,根据所检索媒体对象的不同，基于内容的多媒体信息检索又可分为基于内容的图像检索、基于内容的视频检索和基于内容的音频检索等。,10.1 基于内容检索技术概述 10.2 基于内容的图像检索 10.3 基于内容的视频检索 10.4 基于内容的音频检索,第10章 基于内容的多媒体信息检索,图像的特征是人们对图像视觉感受的量化描述。图像特征从各个方面描述了图像的内在语义，从而可以作为图像的抽象表示，然后根据对每个不同特征定义的相似度来表示不同图像之间的相似程度，从而实现对图像的检索。这就是所谓的基于内容的图像检索（Content-bas
7、ed Image Retrieval， CBIR） 。,10.2 基于内容的图像检索,基于内容的图像检索（ CBIR）技术涉及图像特征的提取、分析及匹配三个模块。,特征提取：提取各种特征，如颜色、纹理、形状以及对象空间关系等。根据提取的特征不同，采取不同的处理，比如提取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确性方面加以改进，以适应检索的需要，实现特征提取模块。 特征分析：对图像的各种特征进行分析，建立图像的特征索引。 特征匹配：选择何种模型来衡量图像特征间的相似度。,10.2.1 基于内容的图像检索概述,图像特征 提取技术,颜色特征,纹理特征,形状特征,图
8、 像 检 索 主 要 技 术,颜色直方图、颜色矩、 颜色集、颜色聚合向量、 颜色相关图,Tamura纹理特征 自回归纹理模型 基于小波变换的纹理特征,傅里叶形状描述符 形状无关矩 其他形状特征,空间关系特征,基于图像分割的方法 基于图像子块方法,10.2.1 基于内容的图像检索概述,颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中包含的物体或场景十分相关。此外，与其他特征相比，颜色特征计算简单，同时对图像本身的尺寸、方向、视角的依赖性较小，具有较好的紧致性。 颜色具有一定的稳定性。在许多情况下，颜色是描述一幅图像最简便而有效的特征。,10.2.2 图像颜色特征的提取与
9、表示,颜色特征的表达,颜色直方图 颜色矩 颜色集 颜色聚合向量 颜色相关图 ,定义如下： 其中ni为图像中颜色取值为i的像素个数，N为像素总数，K为可能的颜色取值范围。 这样计算得到的颜色直方图就是一个K维的特征向量。颜色直方图所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，所以特别适合描述那些不需要考虑特定物体空间位置的图像内容。,颜色特征颜色直方图,颜色特征颜色矩（Color Moments）,图像中任何的颜色分布均可以用它的矩来表示 ； 矩也是图形处理中常用概念； 由于颜色分布信息主要集中在低阶矩中，所以只采用颜色的一阶矩、二阶矩和三阶矩就可以表达图像的颜色分
10、布。 与颜色直方图比较，该方法的一个好处就是无需对于特征进行量化。,优点：可以反映颜色分布 缺点：计算量大,一阶矩（mean）,二阶矩（variance）,三阶矩（skewness）,颜色特征颜色矩（Color Moments）,颜色特征颜色聚合向量,针对颜色直方图和颜色矩无法表达图像色彩的空间位置的缺点，Pass提出了图像的颜色聚合向量（color coherence vector）。 它是颜色直方图的一种演变，其核心思想是将属于直方图每一个bin的像素分为两部分：如果该bin内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。 由于包含了颜色
11、分布的空间信息，颜色聚合向量相比颜色直方图可以达到更好的检索效果。,颜色特征颜色相关图,颜色相关图（color correlogram）是图像颜色分布的另一种表达方式。这种特征不但刻画了某一种颜色的像素数量占整个图像的比例，还反映了不同颜色对之间的空间相关性。实验表明，颜色相关图比颜色直方图和颜色聚合向量具有更高的检索效率，特别是查询空间关系一致的图像。 如果考虑到任何颜色之间的相关性，颜色相关图会变得非常复杂和庞大。一种简化的变种是颜色自动相关图（color auto-correlogram），它仅仅考察具有相同颜色的像素间的空间关系。,纹理是图像中颜色或灰度按一定的规律变化或分布形成的图案
12、。 具有一定的重复性、均匀性和方向性等。 规律变化或分布的局部区域常称作纹理元，纹理就是纹理元规律性分布的结果。,10.2.3 图像纹理特征的提取与表示,纹理描述方法,纹理特征Tamura纹理特征,基于对纹理的视觉感知心理学研究，Tamura等人提出了纹理特征的表达方法。 Tamura纹理特征的6个分量： 粗糙度（coarseness） 对比度（contrast） 方向度（directionality） 线像度（linelikeness） 规整度（regularity） 粗糙度（roughness） 在Tamura表示中的所有纹理性质都是有意义的，与人的主观感受比较吻合，这使得Tamura纹理
13、表示在图象检索中非常具有吸引力，而且可提供一个更有友好的用户界面。,形状是描述图像内容的一个重要特征。它常与目标联系在一起，又有一定的语义含义，因而可以看作是比颜色或纹理更高层次的特征。 但另一方面，对形状的表达比对颜色或纹理的表达从本质上要复杂得多，常需要先对图像进行分割。由于当前的技术无法做到准确和通用的自动图像分割，图像检索中的形状特征只能在特定应用场合使用。在这些应用中，利用特定领域知识可以从图像中分割出目标（物体或区域）。,10.2.4 图像形状特征的提取与表示,形状描述,关键在于边缘检测的研究,关键在于图像分割的研究,傅立叶描述符、小波描述符、不变矩等,基于形状特征的图像检索,基本
14、原理 形状是刻划物体的本质特征之一。 可以针对面积 (可用像素点的个数计算 )、主轴方向、偏心率、圆形率、连通性、正切角等形状特征进行匹配。,颜色、纹理特征反映的是图像的整体特征，而无法体现图像中所包含的对象或物体。 复杂物体或物体间的关系有时成为图像检索的兴趣点。,10.2.5 图像空间关系特征的提取与表示,图像的目标关系 空间关系(如绝对位置和相对位置) 朝向关系(如上、下、左、右等) 拓扑关系(如相邻、覆盖、包含等) 结构关系,提取图像空间关系特征的方法 基于区域的图像检索 基于分块的图像检索,对图像进行自动分割,划分出图像中所包含的对象或颜色区域,索引,将图像划分为若干子块,对每个图像
15、子块提取特征,索引,空间位置关系的讨论 空间关系描述包括基于目标的描述和基于关系的描述。 空间关系检索要解决空间关系的建模、表征、相似性量度等问题。 由于空间关系特征的模糊性、不确定性以及对自然语言描述的依赖性，因此基于空间关系的检索更复杂、更困难。,小结 视觉特征的提取是CBIR的基础。 仅仅靠单一特征很难完成图像内容的描述。 趋势：综合多个特征进行检索。,综合特性检索,目前，比较成功的基于内容的图像检索系统有： IBM公司的QBIC系统 MIT媒体实验室的Photobook系统 美国哥伦比亚大学的VisualSEEK系统 Virage公司开发的virage检索系统 香港公共图书馆的多媒体信
16、息系统（MMIS）,基于内容的图像检索典型系统介绍,IBM公司的QBIC系统,Query By Image Content http:/ IBM Almaden研究中心开发的第一个商用的基于内容的图像及视频检索系统 提供对静止图像及视频信息基于内容的检索手段 系统结构及所用技术对后来的视频检索有深远的影响,MIT媒体实验室的Photobook系统,http:/vismod.media.mit.edu/vismod/demos/photobook/ 由MIT的媒体实验室开发研制 图像在存储时按人脸、形状或纹理特征自动分类 图像根据类别通过显著语义特征压缩编码,VisualSEEk系统,http:/www.ee.columbia.edu/ln/dvmm/researchProjects/ MultimediaIndexing/VisualSEEk/VisualSEEk.htm 美国哥伦比亚大学开发的图像查询系统 主要特点是用到了图像区域的空
