《多媒体信息检索技术演示文稿》由会员分享，可在线阅读，更多相关《多媒体信息检索技术演示文稿（45页珍藏版）》请在金锄头文库上搜索。
1、多媒体信息检索技术演示多媒体信息检索技术演示(ynsh)文稿文稿1页，共45页，星期一。多媒体信息检索技术多媒体信息检索技术(jsh)ppt课件课件2页，共45页，星期一。多媒体检索多媒体检索(jinsu)概念理解概念理解v多媒体检索是一种基于内容特征的检索（多媒体检索是一种基于内容特征的检索（CBR：content-basedretrieval）。所谓基于内容）。所谓基于内容的检索是对媒体对象的内容及上下文语义环境进的检索是对媒体对象的内容及上下文语义环境进行检索，行检索，如图像中的颜色、纹理、形状，视频中如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响的镜头、场
2、景、镜头的运动，声音中的音调、响度、音色等。度、音色等。基于内容的检索突破了传统的基于基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容进行分析，抽取特征和语义，利用这些(zhxi)内容特征建立索引并进行检索。内容特征建立索引并进行检索。在这一检索过程在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，图像理解等学科中的一些方法为部分基础技术，是多种技术的合成。是多种技术的合成。3页，共45页，星期
3、一。多媒体检索多媒体检索(jinsu)的的特点特点v(1)相似性检索：相似性检索：CBR采用一种近似匹配（或局部匹配）的方法和技术逐步求采用一种近似匹配（或局部匹配）的方法和技术逐步求精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了因采用传统检索精来获得查询和检索结果，摒弃了传统的精确匹配技术，避免了因采用传统检索方法所带来的不确定性。方法所带来的不确定性。v(2)直接从内容中提取信息线索：直接从内容中提取信息线索：CBR直接对文本、图像、视频、音频进行直接对文本、图像、视频、音频进行分析，从中抽取内容特征，然后利用这些内容特征建立索引并进行检索。分析，从中抽取内容特征，然后利用这些内
4、容特征建立索引并进行检索。v(3)满足用户多层次的检索要求：满足用户多层次的检索要求：CBR检索系统通常由媒体库、特征库和检索系统通常由媒体库、特征库和知识库组成。媒体库包含多媒体数据，如文本、图像、音频、视频等；知识库组成。媒体库包含多媒体数据，如文本、图像、音频、视频等；特征库包含用户输入的特征和预处理自动提取的内容特征；知识库包含特征库包含用户输入的特征和预处理自动提取的内容特征；知识库包含领域知识和通用知识，其中的知识表达可以更换，以适应各种不同领域领域知识和通用知识，其中的知识表达可以更换，以适应各种不同领域的应用的应用(yngyng)要求。要求。v(4)大型数据库大型数据库(集集)
5、的快速检索：的快速检索：CBR往往拥有数量巨大、种类繁多的往往拥有数量巨大、种类繁多的多媒体数据库，能够实现对多媒体信息的快速检索。多媒体数据库，能够实现对多媒体信息的快速检索。4页，共45页，星期一。基于基于(jy)内容的多媒体信息检索体系结构内容的多媒体信息检索体系结构媒体数据(shj)特征提取目标标识媒体库特征库知识库知识辅助用户查询接口检索引擎索引/过滤数据库特征提取子系统数据库查询子系统5页，共45页，星期一。多媒体信息检索过程多媒体信息检索过程(guchng)用户需求媒体资源内容查询内容索引匹配6页，共45页，星期一。多媒体信息检索分类多媒体信息检索分类(fnli)文本检索多媒体检
6、索(jin su)图像检索视频检索音频检索7页，共45页，星期一。基于内容基于内容(nirng)的图像检索的图像检索-图像检索的过程就是图像特征的图像检索的过程就是图像特征的提取、分析及匹配。提取、分析及匹配。v特征提取：提取各种特征，如颜色，纹理，形状特征提取：提取各种特征，如颜色，纹理，形状等。根据提取的特征不同，采取不同的处理，比等。根据提取的特征不同，采取不同的处理，比如提取形状特征，就需要先进行图像分割和边缘如提取形状特征，就需要先进行图像分割和边缘提取等步骤。选择合适的算法，并在效率和精确提取等步骤。选择合适的算法，并在效率和精确性方面加以改进，以适应检索的需要，实现性方面加以改进
7、，以适应检索的需要，实现(shxin)特征提取模块。特征提取模块。v特征分析：对图像的各种特征进行分析，选择提特征分析：对图像的各种特征进行分析，选择提取效率高、信息浓缩性好的特征，或者将几种特取效率高、信息浓缩性好的特征，或者将几种特征进行组合，用到检索领域。征进行组合，用到检索领域。v特征匹配：选择何种模型来衡量图像特征间的相特征匹配：选择何种模型来衡量图像特征间的相似度。似度。8页，共45页，星期一。*基于基于(jy)内容的图像检索工作原理内容的图像检索工作原理图像(t xin)特征库数字图像源用户相关反馈图像检索特征提取图像索引9页，共45页，星期一。基于内容的图像索引基于内容的图像索
8、引(suyn)技术：技术：图像特征(tzhng)提取技术颜色特征纹理特征形状特征图像索引主要技术颜色直方图、颜色矩颜色集、颜色聚合向量、颜色相关图Tamura纹理特征自回归纹理模型基于小波变换的纹理特征傅里叶性状描述符形状无关矩其他形状特征空间关系特征基于图像分割的方法基于图像子块方法10页，共45页，星期一。图像颜色图像颜色(yns)特征特征v颜色颜色(yns)特征是在图像检索中应用最为广泛的视特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色觉特征，主要原因在于颜色(yns)往往和图像中包往往和图像中包含的物体或场景十分相关。此外，与其他特征相含的物体或场景十分相关。此外，与其他特
9、征相比，颜色比，颜色(yns)特征计算简单，同时对图像本身的特征计算简单，同时对图像本身的尺寸、方向、视角的依赖性较小，具有较好的紧尺寸、方向、视角的依赖性较小，具有较好的紧致性。致性。11页，共45页，星期一。v，定义如下：，定义如下：v其中其中ni为图像中颜色取值为为图像中颜色取值为i的像素个数，的像素个数，N为像为像素总数素总数(zngsh)，K为可能的颜色取值范围。为可能的颜色取值范围。这样计算得到的颜色直方图就是一个这样计算得到的颜色直方图就是一个K维的特征维的特征向量。颜色直方图所描述的是不同色彩在整幅图向量。颜色直方图所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所
10、处的空像中所占的比例，而并不关心每种色彩所处的空间位置，所以特别适合描述那些不需要考虑特定间位置，所以特别适合描述那些不需要考虑特定物体空间位置的图像内容。物体空间位置的图像内容。颜色(yns)特征颜色直方图12页，共45页，星期一。颜色(yns)特征颜色矩v这种方法的数学基础在于图像中的任何颜色分布均可用他的矩来表示。这种方法的数学基础在于图像中的任何颜色分布均可用他的矩来表示。由于颜色分布信息主要集中在低阶矩中，所以只采用颜色的一阶矩、由于颜色分布信息主要集中在低阶矩中，所以只采用颜色的一阶矩、二阶矩和三阶矩就可以表达图像的颜色分布。与颜色直方图比较，该二阶矩和三阶矩就可以表达图像的颜色分
11、布。与颜色直方图比较，该方法的一个好处就是无需对于特征进行量化。设方法的一个好处就是无需对于特征进行量化。设pij是图像中第是图像中第j个像个像素素(xin s)的第的第i个颜色分量，则该颜色分量上矩的计算如下：个颜色分量，则该颜色分量上矩的计算如下：v图像的颜色矩一共有九个分量，每个颜色通道均有三个低阶矩。图像的颜色矩一共有九个分量，每个颜色通道均有三个低阶矩。颜色矩仅仅使用少数几个矩，从而导致过多的虚警，因此颜色颜色矩仅仅使用少数几个矩，从而导致过多的虚警，因此颜色矩常和其他特征结合使用。矩常和其他特征结合使用。13页，共45页，星期一。颜色(yns)特征颜色集为了提高检索的速度，为了提高
12、检索的速度，Smith和和Chang提出了用提出了用颜色集的方法，首先将颜色集的方法，首先将RGB颜色空间转换成视觉颜色空间转换成视觉均衡的颜色空间（均衡的颜色空间（HSV），并将颜色空间量化成），并将颜色空间量化成若干个若干个bin，然后运用颜色自动分割技术将图像，然后运用颜色自动分割技术将图像分为若干个区域，每个区域用量化颜色空间的某分为若干个区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达成一个个颜色分量来索引，从而将图像表达成一个(y )二进制的颜色索引表。在图像匹配中，比较不同二进制的颜色索引表。在图像匹配中，比较不同图像颜色集之间的距离和颜色区域的空间关系。图像颜色
13、集之间的距离和颜色区域的空间关系。因为，颜色集表达为二进制的特征向量，可以构因为，颜色集表达为二进制的特征向量，可以构造二分查照树来加快检索速度，对大规模的图象造二分查照树来加快检索速度，对大规模的图象集合十分有力。集合十分有力。14页，共45页，星期一。颜色(yns)特征颜色聚合向量v针对颜色直方图和颜色矩无法表达图像色彩的空针对颜色直方图和颜色矩无法表达图像色彩的空间位置的缺点，间位置的缺点，Pass提出了图像的颜色聚合向量提出了图像的颜色聚合向量（colorcoherencevector）。它是颜色直）。它是颜色直方图的一种演变，其核心思想是将属于直方图每方图的一种演变，其核心思想是将属
14、于直方图每一个一个bin的像素进行分为两部分：如果该的像素进行分为两部分：如果该bin内的内的某些像素所占据的连续某些像素所占据的连续(linx)区域的面积大于给定区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。由于包含了颜色分布的空间信作为非聚合像素。由于包含了颜色分布的空间信息，颜色聚合向量相比颜色直方图可以达到更好息，颜色聚合向量相比颜色直方图可以达到更好的检索效果。的检索效果。15页，共45页，星期一。颜色特征(tzhng)颜色相关图v颜色相关图（颜色相关图（colorcorrelogram）是图像颜色分布的另一）是
15、图像颜色分布的另一种表达方式。这种特征不但刻画了某一种颜色的像素数量占整种表达方式。这种特征不但刻画了某一种颜色的像素数量占整个图像的比例，还反映了不同颜色对之间的空间相关性。实验个图像的比例，还反映了不同颜色对之间的空间相关性。实验表明，颜色相关图比颜色直方图和颜色聚合向量具有表明，颜色相关图比颜色直方图和颜色聚合向量具有(jyu)更高更高的检索效率，特别是查询空间关系一致的图像。的检索效率，特别是查询空间关系一致的图像。v如果考虑到任何颜色之间的相关性，颜色相关图会变得非常复杂如果考虑到任何颜色之间的相关性，颜色相关图会变得非常复杂和庞大和庞大(空间复杂度为空间复杂度为O(N2d)。一种简
16、化的变种是颜色自动。一种简化的变种是颜色自动相关图（相关图（colorauto-correlogram），它仅仅考察具有相同颜），它仅仅考察具有相同颜色的像素间的空间关系，因此空间复杂度降到色的像素间的空间关系，因此空间复杂度降到O(Nd)。16页，共45页，星期一。纹理纹理(wnl)特征特征v纹理特征也是一种全局特征，它也描述了图像或图像区域所对应纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物景物(jngw)的表面性质。但由于纹理只是一种物体表面的特性，并的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作
