《视觉词汇介绍课件》由会员分享，可在线阅读，更多相关《视觉词汇介绍课件（31页珍藏版）》请在金锄头文库上搜索。
1、BoVW(bag of visual words )模型介绍,BoVW模型介绍,主要内容 一、提出背景 二、框架 三、关键步骤 四、应用领域 五、存在问题及改进分析,BoVW模型介绍,一、提出背景 词袋模型最先是由Josef等基于自然语言处理模型而提出的。 类比一篇文章由很多文字 (textual words) 组合而成，如果將一張图片表示成由许多 视觉单词（visual words） 组合而成，就能将过去在文本检索（text retrieval）领域的技巧直接利用在图像检索（image retrieval）中，以文字检索系统现在的效率，图像表示的“文字化”也有助于大规模(large-scal
2、e)图像检索系统的效率。,BoVW模型介绍,一、提出背景,与文本文档进行类比,BoVW模型介绍,二、框架,视觉词典,生成sift描述子,生成视觉单词,视觉单词直方图,BoVW模型介绍,二、BoVW模型框架,视觉词典生成流程,图像视觉单词直方图生成过程,BoVW模型介绍,BoVW模型介绍,三 关键步骤 (i) 自动检测特征兴趣的区域/点； (ii) 计算该特征区域/点的描述子； (iii) 利用视觉词典(visual vocabulary)将特征描述子映射为视觉单词； (iv) 统计每个visual word在图像中的出现频率，生成视觉单词直方图。,BoVW模型介绍,三 关键步骤 3.1 关键区
3、域/点检测 3.1.1 Harris-Laplace 检测子 旋转和尺度不变量,检测角点结构特征。,BoVW模型介绍,三 关键步骤 3.1 关键区域/点检测 3.1.2 DoG 检测子 检测高斯差分尺度空间的局部极值点区域。该检测子适合发现斑状结构（blob-like structures)。另外，DoG 点检测子目前在各类应用中性能很好，能够比其他检测子运算速度更快，同时根据压缩性（检测的特征点数更少）。,BoVW模型介绍,三 关键步骤 3.1 关键区域/点检测 3.1.3 Hessian-Laplace 检测子 与DoG检测近似，但是在尺度空间能获得更高的准确度，并且在尺度选择上的准确度也
4、高于Harris-Laplace 。,BoVW模型介绍,三 关键步骤 3.1 关键区域/点检测 3.1.4 显著区域（Salient regions）检测子 3.1.5 Maximally stable extremal regions (MSERs),BoVW模型介绍,三 关键步骤 3.2 局部描述子SIFT 1999年British Columbia大学大卫.劳伊（David G.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFT（尺度不变特征变换），这种算法在2004年被加以完善。,
5、BoVW模型介绍,三 关键步骤 3.2 局部描述子 sift 3.2.1 sift的特点 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。,BoVW模型介绍,三 关键步骤 3.2 局部描述子 sift 3.2.1 sift的特点(cont.) 经过优化的SIFT算法可满足一定的速度需求。 可扩展性，可以很方便的与其他形式的特征向量进行联合。,BoVW模型介绍,三 关键步骤 3.2.2 SIFT算法可以解决的问题 目标的旋转、缩放、平移（RST） 图像仿射/投影变换（视点viewpoint） 光照影响（illumin
6、ation） 目标遮挡（occlusion） 杂物场景（clutter） 噪声,BoVW模型介绍,三 关键步骤 3.2.3 sift算法主要步骤 a) 尺度空间的生成,BoVW模型介绍,三 关键步骤 3.2.3 sift算法主要步骤 b) 检测尺度空间极值点,BoVW模型介绍,三 关键步骤 3.2.3 sift算法主要步骤 C) 精确定位极值点 D) 为每个关键点指定方向参数,梯度直方图,BoVW模型介绍,三 关键步骤 3.2.3 sift算法主要步骤 e) 关键点描述子的生成,BoVW模型介绍,Sift检测效果图,BoVW模型介绍,三 关键步骤 3.3 视觉单词的产生 3.3.1 聚类方法
7、最常用、最简单的方法是K_means，其他还有x_means,层次聚类等方法。 3.3.2 权重机制 TF、TF-IDF（term frequency and term frequency-inverse document Frequency）、binary weighting.,BoVW模型介绍,三 关键步骤 3.3 视觉单词的产生 3.3.3 软权重方法(soft_weighting) 3.3.4 停词(stop word)消除 Sivic and Zisserman 认为图像中最常见的视觉单词也是停词 ，可以从词典中删除。但目前没有实验表明删除视觉词典中的停词后有助于分类性能提升。,Bo
8、VW模型介绍,三 关键步骤 3.3 视觉单词的产生 3.3.5 视觉单词的选取 五种特征选取评判准则： i) document frequency (DF) 表示包含某视觉单词的图片的数目，在文本分类任务中，具有较小DF的单词会被删掉，因为在文本分类中较小DF的单词可能对分类而言没有多大意义。,BoVW模型介绍,BoVW模型介绍,BoVW模型介绍,iii) Information gain (IG) 信息增益是测量两个随机变量独立性的又一种方法。 单词t和类标签ci的信息增益计算如下：,然后计算平均信息增益，将低于平均信息增益的单词删除。,BoVW模型介绍,iv) Mutual informa
9、tion (MI),视觉单词小于平均MI值的将从视觉词典中剔除。,与信息增益有关，其计算方法如下：,BoVW模型介绍,四、应用领域 （1）视频/图像检索(Content-based image retrieval) （2）图像自动标注( image annotation) （3）物体识别(object recognize) （4）场景分类(scene classify),BoVW模型介绍,五、存在问题及改进分析 （1）空间信息的缺失：BoW模型一个很大的缺点是缺少特征点的空间关系信息，但这却是一个很重要的图片信息。 一些改进方法已经被提出：基于区域划分的方法；分层词袋模型；空间金字塔匹配方法；,BoVW模型介绍,五、存在问题及改进分析 （2）语义鸿沟：从低层特征到视觉单词生成过程时使用基于欧几里得距离的kmeans算法导致语义信息的丢失。 改进方法：利用机器学习方法构造具有语义保护的视觉单词词典。,
