《[1]提出一种图像中角结构（corner）的检测子Harris》由会员分享，可在线阅读，更多相关《[1]提出一种图像中角结构（corner）的检测子Harris（7页珍藏版）》请在金锄头文库上搜索。
1、检测子1提出一种图像中角结构(corner)的检测子 Harris Detector。它是通过计算图像中（x, y）点的 corner response: =2 2 = () ()2其中指 x 方向一阶导数。在计算 M 之前，图像首先用一个高斯窗平滑过。Cornerness 值大于一定阈值的点被认为是 corner。 5提出一个称为”Maximally Stable Extremal Region Detector”,即最大稳定性极值区域检测子。这个检测子检测到的区域是不规则的，并且该区域满足：区域内的像素点的值都大于（或小于）一个阈值 K区域内边缘的点都大于（或小于）和它们相邻的并且在区域外
2、的点当阈值 K 变换时，该区域的大小不变或只有很小的变化，呈现稳定性用该方法检测到的区域在图像中主要是位于场景中同一平面的区域，而且这种方法保留了该区域本来的结构，能够检测到不同尺度的图像特征，具有仿射不变性和尺度不变性。12提出了一种基于信息熵的检测子。这种方法首先检测出那些在尺度空间中同时在空间维和尺度维上信息熵取得最大值的区域，然后检测这些区域的信息熵在尺度维上的变换剧烈程度，保留那些该变化比较剧烈的区域。这种基于信息熵的检测子检测出的区域在空间维和尺度维上具有很好的独特性。使用如6中提出的椭圆采样窗口可以实现该检测子的仿射不变性。16提出了两种检测子基于 Harris Detector
3、 的检测子。该方法首先用 Harris Detector 检测出角点，然后以该点为一个顶点，取从该点延伸出的两个边上的两个点做另外两个顶点做一个平行四边形，然后在该平行四边形区域内的像素值上计算以下三个函数1()= 1 000 002()= (|(1 ) (2 )|( 1) ( 2)|) 1 002 000 00 (1 00)23()= (|(1 ) ( )|( 1) ( 2)|) 1 002 000 00 (1 00)2With (,)=(1 101 00,1 011 00)这三个函数中任意一个在该区域中取得极值的话，就把该区域作为兴趣区域。可以证明这三个函数和图像的仿射变换和线性光照变换是
4、共变的，因此取得的区域具有仿射不变性和线性光照变换不变性。基于灰度的检测子。该方法（参考下图）首先检测出图像中的像素值极值点，然后沿从该点向四周发出射线计算以下函数的值：() =() 0)(0() 0),)其中 t 是到中心点的欧氏距离，I(t) 是在该点的像素值， 是中心点的像0素值。该函数的最大值点位于图像中像素值突然增大或者减小的地方，比如一个同质区域的边缘。把所有这些最大值点连接起来并拟合为一个椭圆，然后把该椭圆面积增大一倍，就构成该检测子所检测到的区域。由于该检测方法是去监测同质的区域，紧紧依赖图像本身的结构，所以具有和图像仿射变换和线性光照变换共变的特性，因此具有仿射不变性和线性光
5、照不变性。6基于 Harris Detector 提出了一种尺度和仿射变换无关的检测子。其尺度不变性是通过一个迭代的方法实现：第一步，在尺度空间中用 Harris Detector 寻找极值点第二步，在上一步所求极值点的空间位置上，寻找极值点所在尺度领域内（如）LoG 空间的极值点。0.7 1.4第三步，在第二步所求的极值点尺度上，用 Harris Detector 寻找极值点所在空间领域内的极值点。如果第三步极值点的位置发生了变换，则返回到第二步，如此反复，直到最后求得的极值点在空间上的 Harris Detecor 和尺度领域内的 LoG 空间同时取得极值。通过上述步骤检测出的区域是具有尺
6、度不变性的角点区域。其仿射无关的算法我还没有完全看明白，目前仍然在继续研究。描述子17在检测子检测到的区域选取 41 * 41 大小的一块，然后在该块内计算每一点的水平梯度和垂直梯度，得到一个 2 * 39 * 39 = 3042 的区域特征向量。在一个具有各种图像的较大的图像库上，提取该图像库中所有图像的所有特征向量，然后对所有这些向量采用 PCA 技术得到一个降维的投影矩阵。然后该矩阵可以用于图像库以外的其他任何图像中提取出的特征向量的降维。最终得到的局部特征描述向量维数比 SIFT 描述子还要低（17中使用 20 维）。4提出一种称为 ARPIH（Angular Radial Parti
7、tioning Intensity Histogram）的描述子。该描述子（可参看下图）提取一个圆形兴趣区域，然后按照径向和角度划分为 12 个子区域，每一个子区域计算灰度直方图，然后把所有的这些子区域的灰度直方图拼接起来并进行归一化得到最终的描述子。8在 SIFT 描述子的基础之上提出了一种称为 GLOH(gradient location and orientation histogram)的描述子。该描述子（可参看下图）将检测到的兴趣区域按照径向和角度划分为 17 个子区域，然后每一个区域按照 SIFT 描述子的方法计算灰度梯度直方图，其中梯度角度划分为 16 个 bin，然后各子区域的
8、梯度直方图拼接成一个向量并用 PCA 降维，得到一个 128 维的最终的描述子。8对 9 种的描述子的效果做了一个评测，包括 SIFT， GLOH，Shape Context，PCA-SIFT，Spin image，Steerable filters， differential invariants，Complex filters，Moment invariants 以及 Cross correlation。从该工作可以看到，在纹理占主要成分的图像（textured image）中，SIFT 效果最好，在结构占主要成分的图像(structured image)中，GLOH 最好。当不能接受 S
9、IFT或 GLOH 描述子的维数时，可以选择 gradient moments 或者 steerable filters。其他延伸阅读其他延伸阅读11结合局部特征点提取方法实现了一种视频搜索技术。该方法首先提取关键帧，然后在关键帧中提取局部特征点描述子，然后采用文档索引的方法，以描述子为索引键，以该描述子所在的所有关键帧为索引对象。这样每一个关键帧转换为一个向量，如果一个特征描述子在该关键帧出现了，该描述子对应的那一维为 1（或者为一个权重值，该权重值可按照 tf-idf 的方式分配），否则为 0。在提取和描述特帧时可以使用多种检测子和描述子，如结合检测角点的 harris-laplace 检
10、测子或者是检测圆形区域的基于 DoG 的检测子。10采用了局部特征点提取和匹配的方法，把一组照片聚类，同时对同一聚类内的照片，然后计算照片间的视角变化，按照其视角的变换顺序将类内的照片排序。18是一个 image registration 领域内的综述。Image registration 是一个将不同视角下，不同时间甚至是不同类型的拍摄设备拍摄的同一场景的照片进行配准的过程，其和图像匹配的任务十分相似。Image registration 分为四个步骤：1. 检测并描述特征点。 2. 特征匹配。 3. 设计映射函数。 4. 图像变形和重采样。我认为图像匹配和图像配准的最大区别就在于第 3 和
11、第 4 步，图像匹配并不需要将一副图像真正变形和重采样后与另一幅图像做配准，而只是需要找到图像间的对应关系，如外极约束等。但是图像匹配和配准任务还是有很多重和的地方，如配准的前两个步骤，可以作为同一个问题进行研究。14提出了尺度空间理论。虽然我对其具体的数学推导看的还不是很明白，但是有两点还是很有启发。首先， 任何图像特征都是在一定尺度下考虑才有意义，例如一片树叶，假如我们在原子分子尺度或者是光年尺度上去讨论它所成的图像特征都是没有意义的。物体的特征依赖于一定的空间尺度(characteristic length)，而该尺度与具体成像的过程无关， 所以如果我们充分分析成像物体本身的特征尺度，而
12、将图像间的尺度比例因素去除掉，就可以得到与图像本身尺度无关而只和空间物体本身尺度相关的所谓“尺度无关”的局部特征描述，而这就需要我们在多个尺度下去分析图像，高斯金子塔，尺度空间以及小波分析都是多尺度分析的工具。其次，高斯核是唯一的具有半群结构同时随着尺度增加不会增加图像中新的极值点的平滑核，因此是唯一能够产生尺度空间的卷积核。文献文献1 Harris, C. and Stephens, M. 1988. A combined corner and edge detector. In Alvey Vision Conference, pp. 147151.2 Kadir, T. and Brad
13、y, M. 2001. Saliency, Scale and Image Description. Int. J. Comput. Vision 45, 2 (Nov. 2001), 83-105.3 Kolomenkin, M.; Shimshoni, I., “Image Matching Using Photometric Information,“ Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on , vol.2, no., pp. 2506-2514, 20064 Le
14、i Qin; Wen Gao, “Image matching based on a local invariant descriptor,“ Image Processing, 2005. ICIP 2005. IEEE International Conference on , vol.3, no., pp. III-377-80, 11-14 Sept. 20055 Matas, J., Chum, O., Urban, M., and Pajdla, T. 2004. Robust wide-baseline stereo from maximally stable extremal
15、regions.Image and Vision Computing 22(10):7617676 Mikolajczyk, K. and Schmid, C. 2004. Scale Schmid, C., “A performance evaluation of local descriptors,“ Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.27, no.10, pp. 1615-1630, Oct. 20059 Olson, C.F., “Maximum-likelihood image matching,“ Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.24, no.6, pp.853-857, Jun 200210 Schaffalitzky, F., and Zis
