遥感图像的融合课件

第五章 遥感图像融合5.1 遥感图像融合概述 5.1.1 遥感图像融合的意义 5.1.2 遥感图像融合的定义 5.1.3 遥感图像融合的层次 5.1.4 遥感图像融合的具体目标 5.1.5 遥感图像融合的关键技术5.2 遥感图像融合方法 5.2.1 Brovey变换融合 5.2.2 IHS变换融合 5.2.3 主成分变换（PCA）融合 5.2.4 小波变换融合5.3 遥感图像融合效果评价 5.3.1 视觉评价 5.3.2 定量化评价5.4.遥感图像融合应用实例+=什么情况下1+12?(a)(b)(c)(d)5.1 遥感图像融合概述5.1.1 遥感图像融合的意义遥感是以不同空间、时间、波谱、辐射分辨率提供电磁波谱不同谱段的数据。由于成像原理不同和技术条件的限制，任何一个单一遥感器获取的遥感数据都不能全面反映目标对象的特征，各自都有一定的应用范围和局限性。如果将多种不同特征的数据（包括遥感和非遥感空间数据）结合起来，相互取长补短，便可以发挥各自的优势、弥补各自的不足，能更全面的反映地面目标，提供更强的信息解译能力和更可靠的分析结果。这样不仅扩大了各数据的应用范围，而且提高了分析精度，应用效果和实用价值。5.1.1 遥感图像融合的意义多源遥感影像数据特点：1.冗余性：表示不同的多源遥感影像数据对环境或目标的表示、描述或解译结果相同或相近；2.互补性：指信息来自不同的自由度且相互独立3.合作性：不同传感器在观测和处理信息时对其它信息有依赖关系；4.信息分层的结构特性：数据融合所处理的多源遥感信息可以在不同的数据处理和信息提取层次上出现，这些信息抽象层次包括像素层、特征层和决策层，分层结构和并行处理机制还可保证实时性。全色和多光全色和多光谱谱遥感数据融合遥感数据融合:遥感图像融合可以提高多光谱图像的空间分辨率，同时保留其多光谱特性实现 1+12，达到优势互补的目的生活中的融合：生活中的融合：牛奶，加糖：牛奶营养价值高，口味不好；糖口味好，营养价值不高，融合后高营养、好口味咖啡（提神但苦涩），伴侣（树脂末，改善口感）5.1.1 遥感图像融合的意义5.1.2 遥感图像融合的定义遥感图像融合是将在空间、时间、波谱上冗余或互补的多源遥感数据按照一定的规则（或算法）进行运算处理，获得比任何单一数据更精确、更丰富的信息，生成具有新的空间、波谱、时间特征的合成图像数据。图像通过融合既可以提高多光谱图像空间分辨率，又保留其多光谱特性。因此，它不仅仅是数据间的简单复合，而强调信息的优化，以突出有用的专题信息，消除或抑制无关的信息，改善目标识别的图像环境，从而增强解译的可靠性，减少模糊性（即多义性、不确定性和误差），提高分类精度，扩大应用范围和效果。5.1.3 遥感图像融合的层次图像融合可以在3个不同层次进行，一是像素层(pixel)，二是特征层(feature)，三是决策层(dicision level)数据融合框架概念设计(三个层次的数据融合之间的关系)1.基于像素的基于像素的图图像融合像融合像素级融合是一种低水平的融合，像元级融合及应用的流程为：经过预处理的遥感影像数据数据融合特征提取判断识别。要求：基于像素的图像融合必须解决以几何纠正为基础的空间匹配问题，包括像元坐标转换、像元重采样、投影转换等。优点：基于最原始的数据，保留了尽可能多的原始信息，提供更多的细节信息。应用最广泛。缺点：1.效率低下。由于处理的遥感图像数据量大，所以处理时间较长，实时性差。2.为了便于像素比较，对传感器信息的配准精度要求很高；3.要求影像来源于一组同质传感器。像素级融合所包含的具体融合方法有：波段代数运算法、IHS变换、Brovey、小波变换、主成分变换（PCA）等。2.基于特征的基于特征的图图像融合像融合定义：特征级融合是指运用不同算法，首先对各种数据源进行目标识别的特征提取如边缘提取、分类等，即先从初始图像中提取特征信息空间结构信息如范围、形状、邻域、纹理等；然后对这些特征信息进行综合分析与融合处理。是一种中等水平的融合。特点：基于特征的图像融合，强调特征之间的对应，并不突出像元的对应，在处理上避免了像元重采样等方面的组合，因为它对特征属性的判断具有更高的可信度和准确性。缺点：不是基于原始图像数据而是特征，则在特征提取过程中不可避免的会出现信息的部分丢失，并难以提供细节信息。3.基于决策基于决策层层的的图图像融合像融合决策级融合指在图像理解和图像识别基础上的融合，是最高水平的融合，是经“特征提取”和“特征识别”后的融合。融合的结果直接面向应用、为决策支持提供服务。基于决策层的图像融合先经特征提取和一些辅助信息的参与，再对有价值的复合数据运用判别规则、决策规则加以判断、识别、分类，然后在一个更抽象的层次上，将这些有价值的信息进行融合。获得综合的决策结果，提高识别和解译能力，更好理解目标，有效的反映地学过程。决策级融合的优点是具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强。而对图像预处理、特征提取与特征识别有较高要求，所以决策级融合的代价较高。融合 信息损失 实时性 配准精度 容错性 抗干扰力 工作量 融合水平 像元级 小差高差差小低特征级 中中中中中中中决策级 大优低优优大高5.1.4 遥感图像融合的具体目标1.图像锐化图像融合作为提高图像空间分辨率的一种手段，常被用于高低空间分辨率图像数据的融合，最典型的应用是高分辨率全色图像与低分辨率多光谱图像数据的融合。它既保留了多光谱图像的较高光谱分辨率，又保留了全色图像的高空间分辨率。2.特征增强能产生单一数据所不具备的或难以显示的特征，并增强图像的语义能力，从而最大限度的提取特征信息。3.改善分类4.多时相图像融合用于变化监测5.替代或修补图像数据的缺陷5.1.5 遥感图像融合的关键技术1.数据配准（包括空间配准与数据关联）2.融合模型的建立与优化：数据集的选择3.融合方法的选择5.2 遥感图像融合方法1.Brovey变换融合2.IHS变换融合3.主成分变换（PCA）融合4.小波变换融合代数运算融合方法基于空间变换的融合方法基于金字塔式分解和重建的融合方法1.Brovey变换融合Where Where IIBroveyBrovey is the DN(Digital Number)value of a resultant fused image,is the DN(Digital Number)value of a resultant fused image,IIlowlow is is the DN value of a lower resolution image,the DN value of a lower resolution image,IIhighhigh is the DN value of the higher is the DN value of the higher resolution image,and is the average DN value of 3 lower resolution band resolution image,and is the average DN value of 3 lower resolution band images co-registered to a higher resolution image.images co-registered to a higher resolution image.Brovey变换融合(色彩标准化变换融合)，是较为简单的融合方法。它是将多光谱图像的像元分解为色彩和亮度，其特点是简化了图像转换过程，又保留了多光谱数据的信息，同时提高了融合图像的视觉效果；缺点是存在一定的光谱扭曲，且没有解决光谱范围不一致的全色影像和多光谱影像融合的问题。将多光谱波段归一化的过程1.Brovey变换融合其中，表示第波段的灰度，表示全色波段影像灰度，表示第波段的多光谱波段影像灰度。此融合结果一个明显的特点就是色调丰富，几乎完整保持了原始影像的色调信息。对于山地、水体、植被一类地物表现非常明显，建筑区内城区色调相比较暗，但绿地反映明显。在色度学上，用强度(Intensity)、色度(Hue)和饱和度(Saturation)作为颜色表示系统，称为IHS系统。其中强度是光作用在人眼所引起的明亮程度感觉，与物体的反射率成正比；色度色度代表颜色纯的程度，指该种颜色的平均波平均波长长或主要光波或主要光波长长；饱和度则是彩色光所呈现颜色的深浅。常用的RGB三个颜色分量是一种针对硬件设备的颜色系统，RGB三个颜色分量是互相关联的。而IHS系统中的I分量与图像的色彩无关，H分量和S分量则与人类感受颜色的方式有紧密联系。因此，IHS系统更接近于人类的视觉系统，便于人类对图像的颜色特性进行处理。2.IHS变换融合IHS编码的优点足能把强度和颜色分开。H、S对I相对而言对分辨率要求较低，这为在保持最多信息的条件下将不同分辨率的遥感影像数据进行融合提供了可能的途径。2.IHS变换融合IHS利用IHS变换进行影像融合原理，就是用另一影像替代IHS中的三个分量中的某一分量，其中强度分量被代替最为常用。当高分辨率全色影像与多光谱影像融合时，先把多光谱影像利用IHS变换从RGB系统变换至IHS空间；同时将单波段的高分辨率图像经过灰度拉伸，使其灰度的均值与方差和IHS空间中亮度分量图像一致；然后将拉伸过的高分辨率图像作为新的亮度图像带入到IHS，经过反变换还原到原始空间。这样获得的图像既有高的空间分辨率，又有与原图像相同的色度和饱和度。具体融合流程为：2.IHS变换融合2.IHS变换融合IHS变换融合是影像融合最常用的一种方法，融合影像保留了绝大部分的高空间分辨率影像的信息，使得其分辨率接近高空间分辨率影像，同时也保留了多光谱影像的光谱特征，提高了影像的判读、识别、分类能力，特别有利于视觉理解。然而，由于不同波段数据的不同光谱特征曲线，IHS方法扭曲了原始的光谱特征，产生了光谱退化现象；同时，IHS方法只能同时对多光谱影像的3个波段进行融合。2.IHS变换融合I 分量分量PAN波段波段3.主成分变换（PCA）融合主成分变换，也称主成分分析，是着眼于变量之间的相互关系，用几个综合性指标汇集多个变量的测量值而进行描述的方法，是一种最小均方误差意义上的最优正交变换。对于多光谱影像，由于各个波段的数据间存在相关的情况很多，通过采用主成分分析就可以把现有图像中所含的大部分信息用假想的少数波段表示出来，也可以说减少了光谱维数。主成分变换主要针对超过三个波段的影像融合，前述各种方法在超过三个波段的影像融合时受限，只能抽取和选择多光谱影像中的三个波段参与变换，无疑会使其他波段的信息丢失，不利于影像信息的综合利用。主成分变换中参与变换的多光谱数据不受波段数限制，可以接受三个以上波段的多光谱数据和高分辨率数据进行变换，从而将各个波段的纹理信息分离出来。3.主成分变换（PCA）融合主成分变换在数学上是将矩阵展开分解为其协方差矩阵的特征向量的加权；对于图像而言主成分变换是图像按照特征向量将其特征空间分解为多元空间。经过PCA变换可将噪音向量剔除掉，保证融合图像信息度良好。遥感影像进行分解时，第一、二主分量一般占总信息量(即方差)的97以上，而其余各分量总和最多也不过23。所以，利用PCA变换就可以很方便的将影像的结构信息通过第一主分量表达出来。由此可见，主成分变换显著优点是将庞杂的多波段数据用尽可能少的波段表达出来，而且数据信息量几乎没有损失，从而达到数据压缩的目的。主成分变换融合是将N个波段的低分辨率图像进行主成分变换，将单波段的高分辨率图像经过灰度拉伸，使其灰度的均值与方差同主成分变换的第一分量图像一致；然后以拉伸过的高分辨率图像代替第一分量图像，经过主成分逆变换还原到原始空间，具体流程图如下：基于主成分变换的图像融合法优势：经过融合的图像包含了原始图像的高空间分辨率与高光谱分辨率特征，保留了原图像的高频信息。融合图像上目标的细部特征更加清晰，光谱信息更加丰富。