《尺度不变特征变换匹配算法课件》由会员分享，可在线阅读，更多相关《尺度不变特征变换匹配算法课件（69页珍藏版）》请在金锄头文库上搜索。
1、2018/9/14,1,尺度不变特征变换匹配算法 Scale Invariant Feature Transform （SIFT）,2018/9/14,2,SIFT简介 SIFT算法实现细节,提纲,SIFT算法的应用领域 SIFT算法的扩展与改进,2018/9/14,3,SIFT简介,传统的特征提取方法,成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。传统的匹配算法往往是直接提取角点或边缘，对环境的适应能力较差，急需提出一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。,2018/9/14,4,1999年British Col
2、umbia大学大卫.劳伊（David G.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFT（尺度不变特征变换），这种算法在2004年被加以完善。,SIFT提出的目的和意义,David G. Lowe Computer Science Department 2366 Main Mall University of British Columbia Vancouver, B.C., V6T 1Z4, Canada E-mail: lowecs.ubc.ca,SIFT简介,2018/9/14,
3、5,SIFT简介,将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性。,Original image courtesy of David Lowe,2018/9/14,6,SIFT简介,SIFT算法特点,SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。经过优化的SIFT算法可满足一定的速度
4、需求。可扩展性，可以很方便的与其他形式的特征向量进行联合。,2018/9/14,7,目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决：,目标的旋转、缩放、平移（RST）图像仿射/投影变换（视点viewpoint）光照影响（illumination）目标遮挡（occlusion）杂物场景（clutter）噪声,SIFT算法可以解决的问题,SIFT简介,Back,2018/9/14,8,SIFT算法实现细节,SIFT算法实现步骤简述,SIFT算法的实质可以归为在不同尺度空间上查找特征点（关键点）的问题。,SIFT算法实现物体
5、识别主要有三大工序，1、提取关键点；2、对关键点附加详细的信息（局部特征）也就是所谓的描述器；3、通过两方特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，也就建立了景物间的对应关系。,2018/9/14,9,关键点检测关键点描述 关键点匹配消除错配点,SIFT算法实现细节,SIFT算法实现步骤,2018/9/14,10,所谓关键点，就是在不同尺度空间的图像下检测出的具有方向 信息的局部极值点。 根据归纳，我们可以看出特征点具有的三个特征：尺度 方向 大小,关键点检测的相关概念,1. 哪些点是SIFT中要查找的关键点（特征点）？,这些点是一些十分突出的点不会因光照条件的改变
6、而消失，比如角点、 边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物， 那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。,2018/9/14,11,我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的 物体也总是通过不同尺度的观察而得到不同的变化。尺度空间理论最早在1962年提出，其主要思想是通过对原始图像进 行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行 尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、 角点检测和不同分辨率上的特征提取等。尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目 标由近到远时目标在视
7、网膜上的形成过程。尺度越大图像越模糊。,2. 什么是尺度空间（scale space ）？,关键点检测的,关键点检测的相关概念,2018/9/14,12,根据文献Scale-space theory: A basic tool for analysing structures at different scales我们可知，高斯核是唯一可以产生 多尺度空间的核，一个图像的尺度空间，L（x,y,) ,定义为原始图像 I(x,y)与一个可变尺度的2维高斯函数G(x,y,) 卷积运算。,关键点检测,高斯函数,尺度是自然存在的，不是人为创造的！高斯卷积只是表现尺度空间的一种形式,关键点检测的相关概念,
8、2018/9/14,13,3. 高斯模糊高斯模糊是在Adobe Photoshop等图像处理软件中广泛使用的处理 效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成 的图像的视觉效果是好像经过一个半透明的屏幕观察图像。,关键点检测,关键点检测的相关概念,2018/9/14,14,关键点检测,r为模糊半径，,在减小图像尺寸的场合经常使用高斯模糊。在进行欠采样的时，通常在采样之前对图像进行低通滤波处理。这样就可以保证在采样图像中不会出现虚假的高频信息。,关键点检测的相关概念,2018/9/14,15,在实际应用中，在计算高斯函数的离散近似时，在大概3距离之外的像素都可以看作不起作用，这
9、些像素的计算也就可以忽略。通常，图像处理程序只需要计算,关键点检测,高斯模板大小的选择,高斯模板,关键点检测的相关概念,2018/9/14,16,高斯模糊具有圆对称性。高斯模糊具有线性可分的性质，也可以在二维图像上对两个独立的一维空间分别进行计算。这样可以大大减少了运算的次数。 对一幅图像进行多次连续高斯模糊的效果与一次更大的高斯模糊可以产生同样的效果，大的高斯模糊的半径是所用多个高斯模糊半径平方和的平方根。例如，使用半径分别为 6 和 8 的两次高斯模糊变换得到的效果等同于一次半径为 10 的高斯模糊效果， 根据这个关系，使用多个连续较小的高斯模糊处理不会比单个高斯较大处理时间要少。,高斯模
10、糊的性质,关键点检测,关键点检测的相关概念,2018/9/14,17,高斯金子塔的构建过程可分为两步： （1）对图像做高斯平滑； （2）对图像做降采样。为了让尺度体现其连续性，在简单 下采样的基础上加上了高斯滤波。 一幅图像可以产生几组（octave） 图像，一组图像包括几层 （interval）图像。,4. 高斯金字塔,关键点检测,关键点检测的相关概念,2018/9/14,18,高斯图像金字塔共o组、s层， 则有：,关键点检测的相关概念,尺度空间坐标； ssub-level层坐标； 0初始尺度； S每组层数（一般为35）。,2018/9/14,19,高斯金字塔的初始尺度 当图像通过相机拍摄时
11、，相机的镜 头已经对图像进行了一次初始的模 糊，所以根据高斯模糊的性质：,M、N分别为图像的行数和列数,第0层尺度,被相机镜头模糊后的尺度,高斯金字塔的组数,关键点检测的相关概念,2018/9/14,20,高斯金字塔的组内尺度与组间尺度,组内尺度是指同一组（octave）内的 尺度关系，组内相邻层尺度化简为：,组间尺度是指不同组直接的尺度关 系，相邻组的尺度可化为：,由此可见，相邻两组的同一层尺度为2倍的关系,关键点检测的相关概念,2018/9/14,21,最后可将组内和组间尺度归为：,i金字塔组数 n每一组的层数,关键点检测的相关概念,2018/9/14,22,关键点检测的相关概念,上一组图
12、像的底层是由前一组图像的倒数第二层图像隔点采样生成的。这样可以保持尺度的连续性。,2018/9/14,23,关键点检测DOG,通过研究Lowe教授的论文发现，所有特征点的检测都是基于了尺度不 变的特性，特征点的检测占据了论文的大部分的篇章，具有十分重要的 意义！,Lindeberg在文献Scale-space theory: A basic tool for analysing structures at different scales指出尺度规范化的LoG算子具有真正 的尺度不变性。,LoG算子即（Laplacion of Gaussian）,可以由高斯函数梯度算子GOG构建,尺度规范化的
13、GoG算子,尺度规范化的LoG算子,2018/9/14,24,LOG算子与高斯核函数的关系,通过推导可以看出，LOG算子与高斯核函数的差有直接关系， 由此引入一种新的算子DOG（Difference of Gaussians）， 即高斯差分算子。,关键点检测DOG,2018/9/14,25,DoG（Difference of Gaussian）函数,DoG在计算上只需相邻尺度高斯平滑后图像相减，因此简化了计算！,关键点检测DOG,2018/9/14,26,DoG高斯差分金字塔,对应DOG算子，我们要构建DOG金字塔,我们可以通过高斯差分图像看出图像上的像素值变化情况。（如果没有变化，也就没有特
14、征。特征必须是变化尽可能多的点。）DOG图像描绘的是目标的轮廓。,关键点检测DOG,2018/9/14,27,关键点检测DOG,2018/9/14,28,在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以Lowe建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。,在Lowe的论文中，将第0层的初始尺度定为1.6，图片的初始尺度定为0.5， 则图像金字塔第0层的实际尺度为,当对图像长宽扩展一倍时，便构建了-1层，该层尺度为,关键点检测DOG,P.S.:图像插值时，选用的插值函数可以是多种多样的。,2018/9/14,29,中间的检测点和它同尺度的8个相
15、邻点和上下相邻尺度对应的92个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。,DoG的局部极值点,关键点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点， 每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域 的相邻点大或者小。,DoG局部极值检测,2018/9/14,30,在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了3幅图像，高斯金字塔有每组S+3层图像。DOG金字塔每组有S+2层图像右图为不同尺度不同层间极值检测示意图。,P.S.: 我们只牺牲了-1组的第0层和第
16、N组的最高层,DoG局部极值检测,2018/9/14,31,DoG局部极值检测,关键点精确定位,为了提高关键点的稳定性，需要对尺度空间DoG函数进行曲线拟合。利用DoG函数在尺度空间的Taylor展开式：,其极值点,由于DoG值对噪声和边缘较敏感,因此,在上面DoG尺度空间中检测到局部 极值点还要经过进一步的检验才能精确定位为特征点。,2018/9/14,32,DoG局部极值检测,上式去除那些对比度较低的不稳定极值点。Lowe的试验显示，所有 取值小于0.04的极值点均可抛弃（像素灰度值范围0，1）。,在计算过程中，分别对图像的行、列及尺度三个量进行了修正，其修正结果如下：,为修正值,在Lowe的程序中，对坐标进行了五次修正。,将修正后的结果代入式,求解得,2018/9/14,33,DoG局部极值检测,去除边缘响应,仅仅去除低对比度的极值点对于极值点的对于特征点稳定性是远远不够的。DoG函数在图像边缘有较强的边缘响应，因此我们还需要排除边缘响应。 DoG函数的（欠佳的）峰值点在横跨边缘的方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率可以通过计算在该点位置尺度的22的Hessian矩阵得到，导数由采样点相邻差来估计：,
