多媒体信息检索技术

《多媒体信息检索技术》由会员分享，可在线阅读，更多相关《多媒体信息检索技术（46页珍藏版）》请在金锄头文库上搜索。

1、多媒体检索 多媒体信息检索技术与方法多媒体信息检索技术与方法 基于内容的图像检索技术 基于文本的信息检索方法 多媒体检索 概念理解 v多媒体检索是一种基于内容特征的检索 CBR content based retrieval 所谓基于内容 的检索是对媒体对象的内容及上下文语义环境进 行检索 如图像中的颜色 纹理 形状 视频中 的镜头 场景 镜头的运动 声音中的音调 响 度 音色等 基于内容的检索突破了传统的基于 文本检索技术的局限 直接对图像 视频 音频 内容进行分析 抽取特征和语义 利用这些内容 特征建立索引并进行检索 在这一检索过程中 它主要以图像处理 模式识别 计算机视觉 图 像理解等学

2、科中的一些方法为部分基础技术 是 多种技术的合成 多媒体检索的 特点 v 1 相似性检索 CBR采用一种近似匹配 或局部匹配 的方法和 技术逐步求精来获得查询和检索结果 摒弃了传统的精确匹配技术 避免了因采用传统检索方法所带来的不确定性 v 2 直接从内容中提取信息线索 CBR直接对文本 图像 视频 音频进行分析 从中抽取内容特征 然后利用这些内容特征建立索引 并进行检索 v 3 满足用户多层次的检索要求 CBR检索系统通常由媒体库 特 征库和知识库组成 媒体库包含多媒体数据 如文本 图像 音频 视频等 特征库包含用户输入的特征和预处理自动提取的内容特征 知识库包含领域知识和通用知识 其中的知

3、识表达可以更换 以适应 各种不同领域的应用要求 v 4 大型数据库 集 的快速检索 CBR往往拥有数量巨大 种类繁 多的多媒体数据库 能够实现对多媒体信息的快速检索 基于内容的多媒体信息检索体系结构 媒体数据 特征提取 目标标识 媒体库特征库知识库 知识辅助 用户 查询接口 检索引擎 索引 过滤 数据库特征 提取子系统 数据库查询 子系统 多媒体信息检索过程 用户需求媒体资源 内容查询内容索引 匹配 多媒体信息检索分类 文本检索 多媒体 检索 图像检索 视频检索 音频检索 基于内容的图像检索 图像检索的过程就是图像特征 的提取 分析及匹配 v特征提取 提取各种特征 如颜色 纹理 形状 等 根据

4、提取的特征不同 采取不同的处理 比 如提取形状特征 就需要先进行图像分割和边缘 提取等步骤 选择合适的算法 并在效率和精确 性方面加以改进 以适应检索的需要 实现特征 提取模块 v特征分析 对图像的各种特征进行分析 选择提 取效率高 信息浓缩性好的特征 或者将几种特 征进行组合 用到检索领域 v特征匹配 选择何种模型来衡量图像特征间的相 似度 基于内容的图像检索工作原理 图像特征库 数字图像源 用户 相关反馈 图像检索 特征提取 图像索引 基于内容的图像索引技术 图像特征 提取技术 颜色特征 纹理特征 形状特征 图 像 索 引 主 要 技 术 颜色直方图 颜色矩 颜色集 颜色聚合向量 颜色相关

5、图 Tamura纹理特征 自回归纹理模型 基于小波变换的纹理特征 傅里叶性状描述符 形状无关矩 其他形状特征 空间关系特征 基于图像分割的方法 基于图像子块方法 图像颜色特征 v颜色特征是在图像检索中应用最为广泛的视觉特 征 主要原因在于颜色往往和图像中包含的物体 或场景十分相关 此外 与其他特征相比 颜色 特征计算简单 同时对图像本身的尺寸 方向 视角的依赖性较小 具有较好的紧致性 v 定义如下 v其中ni为图像中颜色取值为i的像素个数 N为像 素总数 K为可能的颜色取值范围 这样计算得到的颜色直方图就是一个K维的特征 向量 颜色直方图所描述的是不同色彩在整幅图 像中所占的比例 而并不关心每

6、种色彩所处的空 间位置 所以特别适合描述那些不需要考虑特定 物体空间位置的图像内容 颜色特征 颜色直方图 颜色特征 颜色矩 v 这种方法的数学基础在于图像中的任何颜色分布均可用他 的矩来表示 由于颜色分布信息主要集中在低阶矩中 所 以只采用颜色的一阶矩 二阶矩和三阶矩就可以表达图像 的颜色分布 与颜色直方图比较 该方法的一个好处就是 无需对于特征进行量化 设pij是图像中第j个像素的第i个 颜色分量 则该颜色分量上矩的计算如下 v 图像的颜色矩一共有九个分量 每个颜色通道均有三个低 阶矩 颜色矩仅仅使用少数几个矩 从而导致过多的虚警 因此颜色矩常和其他特征结合使用 颜色特征 颜色集 为了提高检

7、索的速度 Smith和Chang提出了用 颜色集的方法 首先将RGB颜色空间转换成视觉 均衡的颜色空间 HSV 并将颜色空间量化成 若干个bin 然后运用颜色自动分割技术将图像 分为若干个区域 每个区域用量化颜色空间的某 个颜色分量来索引 从而将图像表达成一个二进 制的颜色索引表 在图像匹配中 比较不同图像 颜色集之间的距离和颜色区域的空间关系 因为 颜色集表达为二进制的特征向量 可以构造二 分查照树来加快检索速度 对大规模的图象集合 十分有力 颜色特征 颜色聚合向量 v针对颜色直方图和颜色矩无法表达图像色彩的空 间位置的缺点 Pass提出了图像的颜色聚合向量 color coherence

8、vector 它是颜色直 方图的一种演变 其核心思想是将属于直方图每 一个bin的像素进行分为两部分 如果该bin内的 某些像素所占据的连续区域的面积大于给定的阈 值 则该区域内的像素作为聚合像素 否则作为 非聚合像素 由于包含了颜色分布的空间信息 颜色聚合向量相比颜色直方图可以达到更好的检 索效果 颜色特征 颜色相关图 v 颜色相关图 color correlogram 是图像颜色分布的 另一种表达方式 这种特征不但刻画了某一种颜色的像素 数量占整个图像的比例 还反映了不同颜色对之间的空间 相关性 实验表明 颜色相关图比颜色直方图和颜色聚合 向量具有更高的检索效率 特别是查询空间关系一致的图

9、 像 v 如果考虑到任何颜色之间的相关性 颜色相关图会变得非 常复杂和庞大 空间复杂度为O N2d 一种简化的变种 是颜色自动相关图 color auto correlogram 它 仅仅考察具有相同颜色的像素间的空间关系 因此空间复 杂度降到O Nd 纹理特征 v 纹理特征也是一种全局特征 它也描述了图像或图像区域 所对应景物的表面性质 但由于纹理只是一种物体表面的 特性 并不能完全反映出物体的本质属性 所以仅仅利用 纹理特征是无法获得高层次图像内容的 与颜色特征不同 纹理特征不是基于像素点的特征 它需要在包含多个像 素点的区域中进行统计计算 在模式匹配中 这种区域性 的特征具有较大的优越性

10、 不会由于局部的偏差而无法匹 配成功 作为一种统计特征 纹理特征常具有旋转不变性 并且对于噪声有较强的抵抗能力 但是 纹理特征也有 其缺点 一个很明显的缺点是当图像的分辨率变化的时候 所计算出来的纹理可能会有较大偏差 另外 由于有可 能受到光照 反射情况的影响 从2 D图像中反映出来的 纹理不一定是3 D物体表面真实的纹理 纹理特征 Tamura纹理特征 v基于对纹理的视觉感知心理学研究 Tamura等 人提出了纹理特征的表达方法 Tamura纹理特 征的6个分量对应于心理学角度的纹理特征的6种 属性 分别是粗糙度 coarseness 对比度 contrast 方向度 directional

11、ity 线像度 linelikeness 规整度 regularity 粗略度 roughness 其中 粗糙度 方向度和对比度在检索中最为重要 在 Tamura表示中的所有纹理性质都是有意义的 与人的主观感受比较吻合 这使得Tamura纹理 表示在图象检索中非常具有吸引力 而且可提供 一个更有友好的用户界面 形状特征 v形状是描述图像内容的一个重要特征 它常与目 标联系在一起 又一定的语义含义 因而可以看 作是比颜色或纹理要高层一些的特征 但另一方 面 对形状的表达比对颜色或纹理的表达从本质 上要复杂得多 常需要先对图像进行分割 由于 当前的技术无法做到准确和通用的自动图像分割 图像检索中的

12、形状特征只能在特定应用场合使 用 在这些应用中 利用特定领域知识可以从图 像中分割获得包含的目标 物体或区域 形状特征 v一般来说 形状特征有两种表示方法 一种是 轮廓特征 一种是区域特征 前者适用于对形状 边界的描述 而后者则适用于表达形状包含的整 个区域 这两类形状特征的最典型方法分别是傅 立叶描述符 Fourier Descriptor 和形状无 关矩 Moment Invariants 形状特征 傅立叶描述符 v傅立叶描述符的主要思想是将经过傅立叶变换后 的边界作为形状特征 从轮廓上的任一点开始绕 轮廓一周可以定义一个复数序列 v对其进行离散傅立叶变换 就得到轮廓的傅立叶 描述 v在此

13、基础上 文献提出了一种改进的傅立叶算法 这种算法不仅对噪音具有很好的鲁棒性 而且 对几何变换具有不变性 更加适合图像检索的需 要 图像空间关系特征 图像空间关系特征主要用来描述图像中的对象或者 物体 在图像处理过程中有时会出现上面的特征 相似的情况 此时就需要利用空间关系来描述图 像 图像空间关系特征的提取通常有两种方法 一种是 现对图像进行自动分割 划分出图像中所包含的 对象或者颜色区域 然后根据这些颜色区域来对 图像进行索引 另一种是将图像均匀的划分若干 个规则的子块 然后针对每个图像子块分别提取 特征并建立索引 基于内容的图像检索方法 基于图例的 图像检索方法 外部图像查询 内部图像查询

14、 草图查询 综合检索方法 利用检索系统外部图像进行检索 查询提问的图像是检索系统 内部的图像 用户先画出一幅草图 再根据草 图在系统中查询自己想要的图像 现有的图像检索系统通常都是 综合利用上述方法 图像综合检索方法示意图 草图 数字图像 抽象特征 用户输入 草图检索 外部图像检索 直接检索 浏览 图像综合检索示意图 图像 图像 图 像 图像相似度比较方法 v基于内容的图像检索是通过计算查询与候选图像 之间视觉特征的相似度来完成 在对图像内容进 行描述的时候主要采用特征向量的方式 因此 常用的图像相似度比较方法也是基于向量空间模 型的 可以将向量特征看作是向量空间中的点 通过计算两点之间的接近

15、程度来衡量图像之间的 相似度 常用的图像相似度比较方法如下 直方 图相交 二次距离 马氏距离 欧拉距离 非几 何的相似度方法 相关反馈 v相关反馈是一种查询逐步求精技术 最初用于文 本检索系统中 主要特点是将用户引入查询过程 根据用户的反馈信息调整查询要求 从而进一 步优化查询结果 直到用户满意为止 用户的参 与使系统能更好地揣测用户的意图 也使得在低 层可视特征和高层语义概念之间建立某种联系成 为可能 v图象检索中的相关反馈方法大致可以分为两种类 型 参数调整方法和机器学习方法 基于内容的图像检索系统举例 IMEDIA v IMEDIA按照数据库的内容划分为五个功能系统 Visual Ret

16、rieval generalist databases Visual Retrieval biodiversity collections Visual Retrieval with relevance feedback satellite images partial visual queries local descriptors 和 3D retrieval IMEDIA之 Visual Retrieval图像库 v Visual Retrieval generalist databases 和 Visual Retrieval biodiversity collections 的界 面是基本一致的 但是Visual Retrieval biodiversity collections 更加专业 主要是生物学 图像库 下面以Visual Retrieval biodiversity collections 为例介绍一下该系统的界面操作 Visual Retrieval biodiversity collections 界 面示意图 利用 fadeback mode 检索的结果 v