《物体识别中特征依据SIFT特征提取、描述、匹配》由会员分享，可在线阅读，更多相关《物体识别中特征依据SIFT特征提取、描述、匹配（39页珍藏版）》请在金锄头文库上搜索。
1、物体识别中的局部特 征提取 基于SIFT算法的检测、描述和匹配 基于图像进行物体识别的过程 待训练的 图像 包含感兴 趣的的物体 特征提取 （检测子 ） 使感兴趣 的物体区别 于其他部分 特征描述 （描述子 ） 形成独特的 特征向量 特征库 特征提取特征匹配 待识别的 图像 包含待识 别的物体 特征提取 使感兴趣 的物体区 别于其他 部分 特征描述 形成独特的 特征向量 在特征库 中进行匹 配 判断识别 情况 图像特征 l全局特征 l大小、灰度分布、颜色、全局边缘 l局部特征 l点、线 l角点 l区域内的边缘 l局部极值 特征提取中的常见问题 物体所在环境复杂 l光照 l对比度 l杂散背景 l
2、目标被遮挡 物体运动导致的识别困难 l平移、旋转 l尺度变化 l彷射变换 l视点变化（例如站在立体物体不同侧面，看到的图像可能大不相同） 局部特征 用于识别的要求局部特征： l重复性 l可区分性 l准确性 l数量以及效率 l不变性 图图像变变化对应对应 特征不变变性 亮度亮度不变性 对比度对比度不变性 平移平移不变性 旋转旋转不变性 尺度变化尺度不变性 仿射变换仿射不变性 视角变化立体物体多角度建模 传统的局部特征提取 l 成像匹配的核心问题是将同一目标在不同时间、不同分辨率、 不同光照、不同位姿情况下所成的像相对应。 l传统的匹配算法往往是直接提取角点、线或边缘，对环境的适 应能力较差。 l
3、需要一种鲁棒性强、能够适应不同光照、不同位姿等情况下能 够有效识别目标的方法。 7 1999年British Columbia大学David G.Lowe教授总结了现有的基于不变量技术的 特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射 变换保持不变性的图像局部特征描述算子SIFT（scale-invariant feature transform），这种算法在2004年被加以完善。 David G. Lowe Computer Science Department 2366 Main Mall University of British Columbia Vancouv
4、er, B.C., V6T 1Z4, Canada E-mail: lowecs.ubc.ca SIFT算法 SIFT算法的主要特点 lSIFT特征是图像的局部特征，其对平移、旋转、尺度缩放、亮 度变化保持不变性。 l对视角变化、仿射变换、噪声也保持一定程度的稳定性。 l独特性好，信息量丰富，适用于在海量特征数据库中进行快 速、准确的匹配。 l多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 l可扩展性，可以很方便的与其他形式的特征向量进行联合。 9 例如旋转不变性例如旋转不变性 Original image courtesy of David Lowe 尺度空间 l我们要精确表示的
5、物体都是通过一定的尺度来反映的。现实世 界的物体也总是通过不同尺度的观察而得到不同的变化。 l尺度空间理论最早在1962年提出，其主要思想是通过对原始图 像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这 些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征 向量，实现边缘、角点检测和不同分辨率上的特征提取等。 l尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距 离目标由近到远时目标在视网膜上的形成过程。 尺度是自然存在的，不是人为创造的！高斯卷 积只是表现尺度空间的一种形式 尺度空间 l尺度空间就是将要处理的维函数（计算机视觉中为维）， 嵌入到一族单参数函数族中。这个单参数函
6、数族就叫做尺度空 间。 l单参数函数族的生成方法就是将要处理的函数与核函数进行卷 积。 l核函数选择的核心原则是保证在生成的单参数函数族中，局部 极值的稳定性和数目随单参数的增加的递减性。 l由于几个条件的约束导致，对连续函数必须使用高斯函数做为 卷积核。对离散函数要使用高斯函数的某种离散近似。 图像多尺度表示 根据尺度理论，高斯卷积核是实现尺度变换的唯一变换核，也是 唯一的线性核： 一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核 卷积得到： 图像多尺度表示 称为尺度空间因子，其值越小则表征该图像被平滑 的越少相应的尺度也就越小。 大尺度对应于图像的概貌特征，小尺度对应于图像的细 节
7、特征。 SIFT算法步骤 检测尺度关键点（空间极值点 ） 精确定位关键点，去除低对比度点和不稳定边缘点 为每个关键点指定方向参数 关键点描述子的生成 15 所谓关键点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极 值点。 根据归纳，特征点具有的三个特征： 尺度 方向 大小 1. 哪些点是SIFT中要查找的关键点（特征点）？ 这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、 边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物， 那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配 点。 关键点检测相关问题 关键点检测相关问题 17 2. 高斯模
8、糊 高斯模糊是在Adobe Photoshop等图像处理软件中广泛使用的处理 效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成 的图像的视觉效果是好像经过一个半透明的屏幕观察图像。 关键点检测相关问题 在实际应用中，在计算高斯函数的离散近似时，在大概3距离之外的像 素都可以看作不起作用，这些像素的计算也就可以忽略。 通常，图像处理程序只需要计算 18 3.高斯模板大小的选择 关键点检测相关问题 l高斯金子塔的构建过程可分为两步： （1）对图像做高斯平滑； （2）对图像做降采样。 为了让尺度体现其连续性，在简单 降采样的基础上加上了高斯滤波。 一幅图像可以产生几组（octave）
9、图像，一组图像包括几层 （interval）图像。 19 4. 高斯金字塔 关键点检测相关问题 20 高斯图像金字塔共o组、s层， 则有： 尺度空间坐标； ssub-level层坐标； 0初始尺度； S每组层数 关键点检测相关问题 高斯金字塔的组内尺度与组间尺度 21 组内尺度是指同一组（octave）内的 尺度关系，组内相邻层尺度化简为： 组间尺度是指不同组直接的尺度关 系，相邻组的尺度可化为： 由此可见，相邻两组的同一层尺度为2倍的关系 关键点检测相关问题 22 最后可将组内和组间尺度归为： i金字塔组数 n每一组的层数 关键点检测相关问题 23 上一组图像的底层是由前一 组图像的倒数第二
10、层图像隔 点采样生成的。 这样可以保持尺度的连续 性。 关键点检测相关问题 24 对应DOG算子，我们要构建DOG金字塔 我们可以通过高斯差分图 像看出图像上的像素值变 化情况。（如果没有变化 ，也就没有特征。特征必 须是变化尽可能多的点。 ）DOG图像描绘的是目标 的轮廓。 关键点检测相关问题 5. 高斯差分（DOG）金字塔 25 中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的92个点 共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。 l DoG的局部极值点 关键点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点， 每一个像素点要和它所有的相邻点比较，看其是
11、否比它的图像域和尺度域 的相邻点大或者小。 关键点检测关键点检测 26 精确确定极值点位置精确确定极值点位置 27 去除低对比度极值点：去除低对比度极值点： 28 边缘响应处的极值点的边缘响应处的极值点的去除去除 DOG算子会产生较强的边缘响应，需要剔除不稳定的边缘响应点。 获取特征点处的Hessian矩阵， D的主曲率和H的特征值成正比，通过一个2x2 的Hessian矩阵 H的特征值表示： H的特征值和为特征值。 假设是较大的特征值，而是较小的特征值，令 ，则 两个特征值相等时最小，随着的增大而增大。让该比值小于一定的阈值。 为了检测主曲率是否在某域值r下，只需检测 成立时将关键点保留，反
12、之剔除。在Lowe的文章中，取r10。 29 关键点方向分配关键点方向分配 通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点 邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方向 ，从而使描述子对图像旋转具有不变性。 l 像素点的梯度表示 梯度幅值： 梯度方向： 我们通过求每个极值点的梯度来为极值点赋予方向。 30 关键点方向分配关键点方向分配 l 方向直方图的生成 确定关键点的方向采用梯度直方图统计法，统计以关键点为原点， 一定区域内的图像像素点对关键点方向生成所作的贡献。 31 关键点方向分配关键点方向分配 关键点主方向：极值点周围区域梯度直方图的主峰值,也是特征
13、点方向 关键点辅方向：在梯度方向直方图中，当存在另一个相当于主峰值 当 某方向80%能量的峰值时，则将该方向认为是该关键点的辅方向，生成 一个新的特征向量。 l 关键点的主方向与辅方向 特征检测 32 图像的关键点和特征已检测完毕，每个关键点有三个信 息：位置、尺度、方向；同时也就使关键点具备平移、缩 放、和旋转不变性。 关键点关键点描述描述 l描述的目的 l描述的目的是在计算关键点后，用一组向量将这个关键点描述出来，这 个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。用 来作为目标匹配的依据，也可使关键点具有更多的不变特性，如光照变 化、3D视点变化等。 l 描述的思路 l通过对
14、关键点周围图像区域分块，计算块内梯度直方图，生成具有独特 性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。 33 34 关键点描述关键点描述 下图是一个SIFT描述子事例。其中描述子由228维向量表征，也即是22个8 方向的方向直方图组成。左图的种子点由88单元组成。每一个小格都代表了 特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头 长度代表该像素的幅值。然后在44的窗口内计算8个方向的梯度方向直方图。 绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个特征点由4个 种子点的信息所组成。 35 关键点描述关键点描述 Lowe实验结果 表明：描述子 采用44
15、8 128维向量表征 ，综合效果最 优（不变性与 独特性）。 36 关键点描述关键点描述 是关键点所在组（octave）的组内尺度， 1. 确定计算描述子所需的图像区域 描述子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像 区域的半径通过下式计算： l 128维关键点描述子生成步骤 37 关键点描述关键点描述 2. 将坐标移至关键点主方向 那么旋转角度后新坐标为： 38 3.将产生的图像区域划分成4*4的小块，对每个小块统计其每个像素的梯 度值和方向，形成梯度直方图。整个图像块就表示为4*4*8=128为的特征 向量。 4.描述子向量元素门限化及门限化后的描述子向量规范化。 描述子向量元素规范化： 为得到的128描述子向量, 为规范化后的向量 关键点描述关键点描述 关键点描述子向量的规范化正是可去除满足此模型的光照影响。对 于图像灰度值整体漂移 ，图像各点的梯度是邻域像素相减得到，所 以也能去除。 谢谢！谢谢！谢谢！
