图像采集与处理-c10-r

《图像采集与处理-c10-r》由会员分享，可在线阅读，更多相关《图像采集与处理-c10-r（26页珍藏版）》请在金锄头文库上搜索。

1、图像采集与处理视觉特征的提取与表达 (3) SIFT特征 2012-11-1作业：Gabor滤波器Gabor滤波器的频率域表达：上节课回顾?归一化偏导：?两个观测函数各自多尺度表达的归一化偏导相同：?尺度不变性：给定一个观测尺度图像的多尺度表达，如 果在某个尺度下找到一个归一化偏导的极值（该极值是 针对所有尺度和空间位置而言），我们就能够在另一个 观测尺度图像的多尺度表达中的某一个尺度下找到对应 的极值点。mmxm norm=,LLmm=尺度不变的兴趣点提取?基于归一化偏导得到的尺度不变性，可以用来提取具有 尺度不变性的兴趣点特征。?提取步骤：?1. 给定一幅图像，首先用高斯核卷积来逐级构建该

2、图像 的多尺度表达；?2. 求每个尺度下图像的归一化偏导；?由于第一步使用了高斯平滑滤波，所以这两步可以改变 顺序，即可以先求高斯核的归一化偏导，然后再与相应 的尺度图像进行卷积。?LoG算子：高斯核的拉普拉斯算子（高斯核的二阶偏导 之和），常被用来作为求高斯核偏导的方法。尺度不变的兴趣点提取?提取步骤：?3. 在多尺度空间内寻找归一化偏导的极值点，这些点可 以确定为兴趣点。?给定另一幅图像，欲和上一幅图像进行比较，怎么做？?根据尺度不变性原理，给定一幅新的图像，用同样的方 法提取出来的兴趣点，寻找和上一幅图像提取的兴趣点 之间的匹配关系。?问题：?给定了一个观测尺度下的图像，如何在其多尺度表

3、达中 确定偏导极值点的空间坐标和尺度坐标？即如何确定极 值点？视觉特征的提取与表达?兴趣点的特性与内容?图像的多尺度表达?尺度不变性?SIFT特征提取SIFT特征概述?SIFT是Scale Invariant Feature Transform的缩写，是由UBC教授 David Lowe提出。它是一个提取兴趣点特征的算法，提取出的特 征具有高匹配率，目前广泛应用于物体识别和图像匹配等领域。?SIFT算法包含四个连续过程：?1. 尺度空间极值检测：首先构建一幅图像的多尺度表达，然后搜 索所有尺度和像素，从中选取一些具有尺度不变性的极值点，即确 定这些极值点的空间坐标和尺度坐标。?2. 定位关键点

4、(keypoint localization)：对每一个极值点进行稳定性 评估，从中选取具有稳定性能的点作为关键点。?3. 方向分配(orientation assignment)：在每一个关键点的相关邻域 内，确定每个邻域内像素的梯度方向。?4. 关键点描述(keypoint descriptor)：用每个关键点邻域内的梯度 方向组合成该关键点的特征描述。该描述对尺度变化、旋转、平移 和光照变化等具有不变性。SIFT算法：多尺度图像表达的偏导?SIFT算法使用DoG算子来计算多尺度图像表达的归一化二阶 偏导。的拉普拉斯代表 其中：g热扩散方程：22ggg高斯核= kyxgkyxg);,();

5、,(g?g关于的一阶偏导可以用差分近似计算：?因此得到： gkyxgkyxg22) 1();,();,(?DoG算子可以近似等于归一化的LoG算子：),();,();,(),(yxfyxgkyxgyxD=该方程描述了拉普拉斯和一阶偏导之间的数学关系。SIFT算法：多尺度图像表达的偏导?此式表明：尺度因子为常量k的两个不同尺度图像的 DoG，可以近似等于归一化的拉普拉斯算子。?在构建多尺度图像表达时，如果使用尺度因子为常量k的 高斯核，我们就可以用DoG来代替归一化的LoG算子。?当k2时，DoG和归一化LoG算子之间的误差接近0。?不过实验证实，当k取2附近的数值时，不会影响寻找极值 点的效果

6、。?SIFT算法取：gkyxgkyxg22) 1();,();,(2=kSIFT算法：多尺度表达和DoG构建2222222424822222424422SIFT算法：多尺度表达和DoG构建?多尺度表达的构建步骤：?1. 用高斯核g(x,y;)与细一级尺度的图像进行卷积，得到粗一 级尺度的图像。每一级高斯核的标准偏差的倍数为k，从而达 到尺度因子为常量的目的，即1=llk?2. 相邻两尺度级的图像相减，得到每个尺度级别的DoG图像。?3. 为了达到降低计算量的目的，当粗一级尺度图像的分辨率降 低2倍时，对该图像进行子采样。所有大小相同的一组多尺度图 像，构成了一个倍频段(octave)。?由于，

7、所以每一个倍频段将包含3个不同尺度的图像。?同时，为了保证DoG图像和下一步的极点检测包含一个倍频段 内的所有尺度，每个倍频段由5个尺度图像组成。2=kSIFT算法：极值检测?极值检测步骤：?1. 在每一级尺度的DoG图像中，检测每一个像素是否在其 33邻域内是极值（DoG最大值或者最小值）。?2. 如果是，在上一级尺度DoG图像和下一级尺度DoG图像中， 检测相应的33邻域内，该点是否也是极值。?3. 如果上述两个条件都满足，该点就可以近似为跨越了所有尺 度的极值点。因此，该点被确定为关键点的候选。同时，存储 该点的空间坐标和尺度坐标。SIFT算法：关键点定位?由于检测到的极值点并不是全局最

8、优，而是局部极值，因此要 删除掉一部分不稳定的点。这些点包括：?1. 极值的绝对值不是很大的点；这些点可能是噪声引起的。?2. DoG算子会在边缘区域有很大的响应，从而产生较多极值 点。但是，这些极值点中存在一些很难定位的点，即不靠近边 缘起始位置或者终止位置的边缘点。?关键点定位就是通过解决上述两个问题，淘汰一些不稳定的 点，保留下来的极值点即为关键点。?1. 淘汰DoG极值较小的点。通过对DoG极值设置一个阈值，从 而滤掉一些极值绝对值不是很大的点。?如果图像灰度归一化到0,1的范围，该阈值可以设置为0.03。SIFT算法：关键点定位?2. 淘汰不易定位的边缘点。?不易定位的边缘点有如下特

9、性：在该点， DoG函数沿着横跨 边缘的方向会有较大的主曲率，但在沿着边缘方向的主曲率 会很小。?一个函数在某个点的Hessian矩阵可以用来判断该函数在该点 主曲率的大小。?Hessian矩阵是由函数在该点的二阶偏导组成的22矩阵。 =222222yD yxDyxD xDH?Hessian矩阵的特征向量方向表达了主曲 率的方向，特征值反映了主曲率的大小。?因此，如果一个点的Hessian矩阵的两个 特征值相差较大，就认为该点是不易定位 的边缘点。SIFT算法：关键点定位?2. 淘汰不易定位的边缘点。?为了避免计算Hessian矩阵的特征值（计算量比较大），可以 通过比较Hessian矩阵的行

10、列式和trace，达到比较两个特征值 相差程度的目的。 )det()(2HHtrace?阈值的设定：?假设r代表两个特征值a和b的比值，即r=a/b，可以得到：rr rbbrb abbatrace22222) 1()()( )det()(+=+=+=HH?当a=b时，即r=1时，(r+1)2/r最小。因此，可以设置一个关于r 的阈值Tr，判断如下：保留该点 ,) 1( )det()(22rr TTtraceif+HHSIFT算法：方向分配?方向分配：在每一个关键点的邻域内计算每个像素的梯度方向。?方向分配的目的：为构建具有旋转不变性的特征描述提供基础。?方向分配算法：?1. 已知每个关键点的位

11、置(x0,y0)和尺度坐标，以该关键点为中心构 建一个邻域，邻域内每个像素(x,y)的梯度方向和幅值估计如下：22), 1,(), 1,(), 1(), 1(),(+=yxLyxLyxLyxLyxM), 1(), 1(), 1,(), 1,(tanarg),(yxLyxLyxLyxLyx+=?2. 为了构建具有旋转不变性的特征描述，关键点的相邻像素的梯度 方向变换为相对于该关键点梯度方向的相对值。),(),(),(00yxyxyx=SIFT算法：关键点描述?关键点描述(keypoint descriptor)：使用方向直方图(Orientation histogram)来构建。?为了简化，图中

12、所示邻域为22区域，实际使用的是44区域。SIFT算法：关键点描述?1. 方向直方图由8个项组成，即将360度方向范围分为8份。?2. 因为与关键点越近的像素就越重要，在关键点的邻域内使 用一个高斯低通滤波器来加权平均每个像素的梯度幅值，该 高斯滤波器的标准偏差为邻域宽度的一半。?3. 关键点邻域内每个像素根据其相对梯度方向，分配到直方 图相应的项中，其加权平均后的梯度幅值作为权重。?4. 为了进一步提高描述精度，邻域被平均分割成44的区 域，每个区域都对应一个方向直方图。?最后，每个关键点形成一个448128维的描述向量。?补充：在计算关键点描述时，还有一些微小的细节操作，请 参考相关文献。

13、SIFT特征：关键点提取示例原图检测到的DoG所有极值点，箭头方向为该点的梯度方向，长度表示尺度大小。淘汰掉极值较小点后的结果。又淘汰掉不易定位的边缘点后的结果。SIFT特征：关键点之间的匹配SIFT特征：物体检测与识别?在有遮挡的情况下，SIFT特征也能将物体从复杂环境中 检测与识别出来SIFT特征总结?1. 由于SIFT特征基于DoG算子来定位关键点，DoG算子 近似于归一化拉普拉斯算子，因此，SIFT算法得到的关 键点具有尺度不变性。?2. 由于关键点的描述是基于相邻像素相对于关键点的相 对梯度方向，所有该描述保证了旋转不变性。?3. 由于关键点描述的直方图经过了归一化，同时DoG算 子

14、本身就是一种基于灰度值的差值操作，所以SIFT特征 具有一定的光照不变性。?缺点：特征提取的计算量比较大，后续进行特征匹配 时，计算量更大。图像采集与处理视觉特征的提取与表达 (4)纹理特征 2012-11-1纹理的概念?纹理(texture)：是物体表面 的一种属性。它是由区域内 的一组元素构成，这些元素 在亮度、颜色、边缘方向、 形状、尺寸、空间联系（结 构）等属性上表现出一定的 内在关系，例如相似性、周 期性重复出现等。?这些元素被称为纹理基元 (texture primitive)。纹理基元的概念?纹理基元通常是一个具有某种颜色或者区域属性的像素集合。 例如，茅草纹理中，一个基元对应于茎杆；在狗毛纹理中，一 个基元对应于一簇绒毛；花格纺织纹理中，一个基元对应于一 个纺织格子或者编制条纹。?因此，由纹理基元组成的纹理特征，是对整个区域的一个整体 特征描述，而不是针对某个特征点及其邻域的特征描述。?不同基元在颜色、大小、形状、空间关系等方面的不同组合， 可以形成不同的纹理特征。纹理的种类?精细纹理：如果纹理基元 小、并且相邻基元之间的色 调等特征相差很大，则产生 精细纹理。?粗糙纹理：如果纹理基元 大，包含了很多像素，则产 生粗糙纹理。?常数纹理：每一个或者每组 基元的集合在属性上呈现恒 定的、或近似周期性的变 化。即这些属性按照一定的 频率重复出现。精细纹理粗糙纹理常数纹理