《第08章遥感图像配准与镶嵌》由会员分享，可在线阅读，更多相关《第08章遥感图像配准与镶嵌（54页珍藏版）》请在金锄头文库上搜索。
1、遥感图像处理遥感图像处理- -遥感图像配准与镶嵌遥感图像配准与镶嵌内容概要内容概要遥感图像配准遥感图像镶嵌1、遥感图像配准图像配准（一）图像配准（一） 图像配准是指依据一些相似性度量决定图像间的变换参数使从不同传感器不同视角不同时间获取的同一场景的两幅或多幅图像变换到同一坐标系下在像素层上得到最佳匹配的过程。 待配准图像相对于参考图像的配准可定义为两幅图像在空间和亮度上的映射两幅图像可定义为两个二维数组分别用I1(x,y)和I2(x,y)表示它们分别是两幅图像的亮度值(或其他度量值) 则两幅图像间的映射可表示为： 其中： f 为二维空间坐标变换（如仿射变换），g 为一维亮度或其他度量值变换。
2、最佳空间变换是图像配准问题的关键。当需配准多幅图像时选取其中某一幅图像作为参考图像，其余图像分别相对参考图像进行配准。图像配准（二）图像配准（二）图像配准的意义图像配准的意义 由于各传感器通过的光路不同，或成像体制不同等原因，图像间可能出现相对平移、旋转、比例缩放等，影像镶嵌或融合不能直接进行，而必须进行图像配准。多源图像配准与单传感器图像配准相比，技术难度更大，特别是要实现波段相距较远的图像自动配准，由于图像间相关性小，则更加困难。多传感器图像配准可以看作是以下集中要素的结合：y特征空间：从参考影像和输入影像中提取的特征集；y搜索空间：在输入特征与参考特征之间建立对应关系的可能的变换集合；y
3、搜索策略：选择可以用于计算的变换模型，在处理过程中使得匹配逐步达到精度要求；y近似性度量标准：用来评估从搜索空间中获得的一个给定的变换所定义的输入数据与参考数据之间的匹配。常用的图像配准方法常用的图像配准方法-基于图像灰度的配准方法基于图像灰度的配准方法 基于图像灰度的配准方法通常直接利用局部图像的灰度信息建立两幅图像之间的相似性度量，然后采用某种搜索方法寻找使相似性度量值最大或最小的变换模型的参数值。常用的相似性度量有： 1）图像灰度的差平方和 2）图像灰度的相关系数 3）图像灰度差的绝对值和 4）图像灰度的协方差等 基于图像灰度的配准方法不需要对图像做特征提取，而是直接利用全部可用的图像灰
4、度信息，因此能提高估计的精度和鲁棒性；但由于在基于图像灰度的算法(如互相关算法)中把匹配点周围区域的点的灰度都考虑进来进行计算，因此其计算量很大，速度较慢。差平方和（差矢量模）差平方和（差矢量模） 若S2（c0, r0） S2（c, r），则c0, r0为搜索区影像相对于目标区影像的位移行、列参数。对于一维相关应有r 0。 相关系数（矢量夹角）相关系数（矢量夹角） 若（p0, q0） （p, q）（ pp0， qq0），则 p0, q0为搜索区影像相对于目标区影像的位移参数。对于一维相关应有q 0。差绝对值和（差矢量分量绝对值和）差绝对值和（差矢量分量绝对值和） 离散灰度数据差绝对值和的计算公
5、式为 若S（c0, r0） S（c, r）（ cc0， rr0），则c0, r0为搜索区影像相对于目标区影像的位移行、列参数。对于一维相关应有r 0。协方差函数（矢量投影）协方差函数（矢量投影）若C（p0, q0） C（p, q）（ pp0， qq0），则 p0, q0为搜索区影像相对于目标区影像的位移参数。对于一维相关应有q 0。 相关函数（矢量数积）相关函数（矢量数积） R（ p0, q0） R（p, q）（ pp0， qq0） 若 R（ p0, q0） R（p, q）（ pp0， qq0），则 p0, q0为搜索区影像相对于目标区影像的位移参数。对于一维相关应有q 0。常用的图像配准方法
6、常用的图像配准方法-基于图像特征的配准方法基于图像特征的配准方法由于多传感器获取各类图像灰度特征往往不一致，因此很难运用基于图像灰度的方法。基于图像特征方法提取各类图像中保持不变特征如边缘点闭区域的中心等作为两幅图像配准的参考信息。特征匹配的应用领域y当待匹配的点位于低反差区内， 其匹配的成功率不高。y目的只需要配准某些点线或面y在城市中，被处理的对象主要是人工建筑物，灰度匹配难以适应基于图像特征的配准方法包括特征提取、特征匹配、选取变换模型及求取参数坐标变换与插值四个主要组成部分。特征提取是指分别提取两幅图像中共有的图像特征。这种特征是出现在两幅图像中对比例、旋转、平移等变换保持一致性的特征
7、，如线交叉点、物体边缘角点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三类。y点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提取应有所不同。y线特征是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作为线特征；y面特征是指利用图像中明显的区域信息作为特征。在实际的应用中最后可能也是利用区域的重心或圆的圆心点等作为特征。特征提取特征提取特征匹配是指建立两幅图像中特征点之间对应关系的过程。用
8、数学语言可以描述为两幅图像A 和B中分别有m 和n 个特征点(m 和n 常常是不相等的) 其中有k 对点是两幅图像中共同拥有的，则如何确定两幅图像中k 对相对应的点对即为特征匹配要解决的问题。特征匹配可分为三步：特征提取；利用一组参数对特征作描述；利用参数进行特征匹配。常用的特征匹配方法有互相关系数法、聚类法、点间距离法等。特征匹配特征匹配选取变换模型及求取参数（一）选取变换模型及求取参数（一） 变换模型是指根据待配准图像与参考图像之间几何畸变的情况，所选择的能最佳拟合两幅图像之间变化的几何变换模型。可采用的变换模型有如下几种：仿射变换、透视变换、投影变换和多项式变换，其中最常用的是仿射变换和
9、多项式变换。 仿射变换是最常用的一种几何变换，它是一种刚性变换，具有良好的数学特性。仿射变换通常有4个参数尺度因子s 、旋转角q 、x 方向平移量tx、 y 方向平移量ty。 它将第一幅图像中的点(x1, y1)映射为第二幅图像中的点(x2, y2) 数学表示为：多项式变换是图像间存在非线性变形时最常用的变换类型，如遥感图像中存在由缓和的地形起伏引起的变形，就可以采用多项式变换模型校正它将第一幅图像中的点(x1, y1)映射为第二幅图像中的点(x2, y2)，数学表示为：求取参数是指搜索计算两幅图像之间最佳变换参数的过程，常用的算法有最小均方误差法。选取变换模型及求取参数（二）选取变换模型及求
10、取参数（二）坐标变换与插值坐标变换与插值在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，使之与参考图像处于同一坐标系下，则校正后的输入图像与参考图像可用作后续的图像融合、目标变化检测处理或图像镶嵌；涉及输入图像变换后所得点坐标不一定为整像素数，则应进行插值处理。常用的插值算法有最近邻域法、双线性插值法和双三次卷积法。点特征匹配步骤点特征匹配步骤1.特征点检测y这些特征点一般是灰度变化的局部极值点，含有显著的结构性信息2.特征点描述y建立特征向量,特征点的特征描述符应是不变量y选择合理的特征空间可以降低图像变化因素对匹配算法速度、稳健性的影响3.进行特征匹配以获得候选匹配点y根据特征
11、向量的相似性来进行匹配，如欧氏距离、街区距离、马氏距离、Hausdorff 距离等4.消除错配y根据几何或光度的约束信息去除候选匹配点中的错配y常用的去外点方法是RANSAC随机抽样一致性算法角特征点检测算法角特征点检测算法Moravec( Moravec Corner Detector) 算法yMoravec 于1977年提出，利用灰度方差Harris (Harris Corner Detector)算法yC.G.Harris, M.stephens于1988年提出oA combined corner and edge detector A Proceeding of 4th Alvey V
12、ision conefernce Manchester,1988SIFT(Scale Invariant Feature Transform)算法yDavid G.Lowe 于2004年总结提出oDavid G.Lowe, Object Recognition from Local Scale-Invariant Features, Proc. of the International Conference on Computer Vision, Corfu (Sept. 1999)oDavid G. Lowe, Distinctive Image Features from Scale-In
13、variant Keypoints, International Journal of Computer Vision, 2004.SUSAN算法ySmith和Brady提出，基于灰度变化特征oSmith S.M, Brady J.M. SUSAN-A New Approach to Low Level Image ProcessingR.TR95SMSlC, UK:Oxford University, 1995 .SIFTSIFT算法（一）算法（一）SIFT算法是使用经验预设值精心设计的处理过程，保证特征的不变性和独特性.SIFT算法提取的SIFT特征向量具有如下的特性：ySIFT特征是图像
14、的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变化、噪声也保持一定程度的稳定性；y独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确地匹配；y多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；y可扩展性，可以很方便的与其它形式的特征向量进行联合。SIFTSIFT算法（二）算法（二）SIFT特征匹配算法包括两个阶段，第一阶段是SIFT特征的生成，即从多幅待匹配图像中提取出对尺度旋转、缩放、亮度变化无关的特征向量；第二阶段是SIFT特征向量的匹配。SIFT特征向量的生成算法共包括4步：y尺度空间极值检测，以初步确定关键点位置和所在尺度；y拟和三维二次函数精
15、确确定位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点；y利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；y生成SIFT特征向量；尺度空间检测尺度空间检测( (一一) )使用Difference of Gaussian (DoG) filter建尺度空间。DoGDoG滤波器滤波器与可变尺度的高斯函数卷积Difference-of-Gaussian (DoG) 滤波与DoG的卷积尺度空间检测尺度空间检测( (二二) )原因有两个：DoG是一个比较有效，计算上比较方便快速的filterDoG基本上跟Laplacion of Gaussian差多一样稳定
16、理论上来说Koendetink证明高斯卷积核是实现尺度变换的唯一变换核而Lindeberg等人则进一步证明高斯核是唯一的线性核。尺度空间尺度空间下一层时乘2K=2(1/s)每层包含s+3个图像关键点定位关键点定位选择x的依据是在27个值中最大或最小精确定位关键点精确定位关键点通过曲面拟合的方法对关键点进行进一步的精确定位，同时去除低对比度的关键点和不稳定的边缘响应点。计算 如果 小于 0.03 ，抛弃方向指定方向指定梯度方向直方图方法y计算最接近关键点尺度的高斯滤波影像梯度，再卷积高斯滤波器获得权重梯度实际计算y以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。y梯度直方图的范
17、围是0360度，每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。y当存在另一个相当于主峰值80%能量的峰值时，指定为辅方向，一个关键点可能被指定多个方向，这可以增强匹配的鲁棒性。生成生成SIFTSIFT特征向量特征向量方向直方图y取8X8窗口旋转到主方向关键点尺度的高斯图像高斯加权小块上计算8方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点 2X2个种子点每个种子点8维向量 32维向量归一化yLowe建议对每个关键点使用4X4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量
18、。特征量匹配特征量匹配NN/SCN在0.4, 0.7范围y取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点的距离NN和SCN，如果NN/SCN小于某个比例阈值，则接受这一对匹配点。1.对右影像也进行相应特征提取2.右影像不进行特征提取3.右影像不进行特征提取，但也不将所有的点作为可能的匹配点。匹配的备选点选择方法匹配的备选点选择方法 “深度优先” “广度优先” 特征点的提取与匹配的顺序特征点的提取与匹配的顺序 匹配的准则匹配的准则除了运用一定的相似性测度，一般还可考虑特征的方向，周围已匹配点的结果。粗差的剔除粗差的剔除 小范围内利用倾斜平面模型进行视差拟合，将残差大于某一阈
19、值点作为粗差剔除。 ABb1a1a2b2几何变形 处理影像几何变形的两种方式：1.先不顾及几何变形作“粗匹配”，然后用其结果作几何改正再匹配。2.匹配同时进行几何改正。将影像匹配与几何改正均作为参数同时解算 影像匹配几何改正影像匹配几何改正与影像匹配影像匹配影像匹配优点！优点！最小二乘影像匹配最小二乘影像匹配跨接法影像匹配跨接法影像匹配特征分割法特征分割法 特征定义为一个“影像段”，由三个特征点组成：一个灰度梯度最大点Z，两个“突出点”（梯度很小）S1，S2 在提取特征时，所用算子不仅应顺次地提取出一个特征上三个特征点的像素序号（点位），而且还应保留两个突出点S1，S2之灰度差。所谓跨接法窗口
20、结构，就是将两个特征连接起来构成窗口。跨接法影像匹配步骤跨接法影像匹配步骤计算目标窗口与重采样的匹配窗口的相关系数，按最大相关系数的准则确定同名特征。将目标窗口a,b整个视为待配准元“影像段”在右核线上建立一些备选的搜索窗口。2、影像镶嵌概述概述影像镶嵌 (Mosaicking) 是指将两幅或多幅数字影像（有可能是在不同的摄影条件下获得的）拼在一起，构成一幅整体图像的技术过程。遥感影像镶嵌分为：y地理编码图像的自动镶嵌y无地理编码的影像镶嵌影像镶嵌的一般工作程序（一）影像镶嵌的一般工作程序（一）准备工作根据研究对象和专业要求，挑选数据合适的遥感图像。在镶嵌时，应尽可能选择成像时间和成像条件接近
21、的遥感图像，以减轻后续的色调调整工作。预处理工作 预处理主要包括：辐射校正、去条带和斑点、几何校正。确定实施方案 确定标准像幅、镶嵌顺序。值得注意的是。镶嵌工作的着眼点是全部待镶嵌的图像，而落脚点却总是两幅相邻图像间的镶嵌。影像镶嵌的一般工作程序（二）影像镶嵌的一般工作程序（二）拼接线的确定色调调整 不同时相或成像条件存在差异的图像，由于要镶嵌的图像辐射水平不一样，图像的亮度差异较大。若不进行色调调整，镶嵌在一起的几幅图像，即使几何位置配准很理想，由于色调各不相同，也不能很好地应用。图像镶嵌影像镶嵌技术影像镶嵌技术- -接缝线的确定（一）接缝线的确定（一） 镶嵌的一个很重要的问题是在待镶嵌图像
22、的重叠区内选择出一条曲线，按照这条曲线把图像拼起来，待镶嵌图像按照这条曲线拼接后曲线两侧的亮度变化不显著或最小时，就认为找到了接缝线。 如下图所示，假定现在要对左右两幅相邻图像A和B进行镶嵌，这两幅图像间存在一宽为L的重叠区域，要在重叠区内找出一接缝线。ALB 为此可取一长度为d的一维窗口，让窗口在一行内逐点滑动，计算出每一点处A和B两幅图像在窗口内各个对应像元点的亮度值绝对差的和，最小的即为接缝线在这一行的位置，其计算公式为： 式中： 和 为图像A和B在重叠区 处的亮度值； 为窗口在左端点；i为窗口所在的图像行数。 满足上述条件的点就是接缝点，所有接缝点的连线就是接缝线。影像镶嵌技术影像镶嵌
23、技术- -接缝线的确定（二）接缝线的确定（二）影像镶嵌技术影像镶嵌技术- -重叠区亮度的确定（一）重叠区亮度的确定（一） 两幅图像，无论怎样进行处理，难免还存在着两幅图像的亮度差异（两副相邻图像季节相差较大时，特别严重），特别是在两幅图像的对接处，这种差异有时比较明显，为了消除两幅图像在拼合时的差异，有必要进行重叠区的亮度镶嵌。下面以上下相邻的两幅图像重叠区的亮度值确定为例来进行说明： E HL行重叠区两度确定示意图 设重叠区行数为L，E的两幅图像的重叠部分为第K行到L+K-1行，H幅图像的重叠部分为第1行到L行， 和 分别表示E和H图像的亮度值， 为重叠区亮度调整后的亮度值，其行数为1到L。
24、此时重叠区亮度值的计算要以列（对于左右镶嵌的情况则要以行为单位）为单位进行，下面以第j列的亮度值确定为例说明常用的三种计算方法： 把两幅图像对应像元的平均值作为重叠区像元点的亮度值，即：影像镶嵌技术影像镶嵌技术- -重叠区亮度的确定（二）重叠区亮度的确定（二）把两幅待镶嵌图像中亮度值最大的亮度值作为重叠区像元点的亮度值，即 ： 取两幅图像对应像元亮度值的线性加权和，即：影像镶嵌技术影像镶嵌技术- -重叠区亮度的确定（三）重叠区亮度的确定（三）原图像1 原图像2 拼接后但尚未进行色调调整 色调调整后镶嵌图像 影像镶嵌技术影像镶嵌技术- -重叠区亮度的确定（四）重叠区亮度的确定（四）(以ERDAS
25、为例)Step1: 输入全部待镶嵌图像数据，根据图像的有效区域确定输出图像的范围。 当输入图像不是相同地理投影和分辨率时，按所指定的参考图像进行地理重投影和重采样。例例Step2: 确定图像的相交区、相交区内图像像素灰度计算策略，确定输出图像像素灰度值。相交区 中线法Step3: 根据相交区内图像色彩差异进行图像色彩均衡，使输出图像色彩连续，色调统一。没有经过色调均衡的镶嵌图像经过色调均衡的镶嵌图像基于地理编码的影像自动镶嵌处理，当输入图像的坐标系和投影方式相同时，对于同分辨率影像仅存在位移关系。没有地理编码的两幅影像进行图像镶嵌，图像间存在平移、旋转和尺度放大等，须进行半自动的重叠区内影像控制点的配准，而后根据控制点间的映射关系，将一幅图像映射到另外一幅图像的象素坐标空间，形成待镶嵌图像。无地理编码影像镶嵌（一）无地理编码影像镶嵌（一）基于影像重叠区像素匹配的人机交互的图像镶嵌无地理编码影像镶嵌（二）无地理编码影像镶嵌（二）例：基于影像重叠区像素匹配的人机交互的图像镶嵌手动配准镶嵌指对于没有地理信息的图像的镶嵌，首先进行手工选点配准，然后进行镶嵌。手动镶嵌以影像重叠区控制点配准基础，镶嵌图像相对参考图像进行仿射变换后，与参考图像进行拼接。无地理编码影像镶嵌（三）无地理编码影像镶嵌（三）遥感影像配准影像镶嵌
