《多传感器图像融合方法.doc》由会员分享，可在线阅读，更多相关《多传感器图像融合方法.doc（6页珍藏版）》请在金锄头文库上搜索。
1、多传感器图像融合方法摘要：多传感器图像融合是指针对多个传感器采集的关于同一目标或场景的图像进行适当的处理，产生一幅新的图像，使之更适合人眼感知或计算机后续处理。每一种传感器是为了适应特定的环境和适用范围设计的，具有不同的特征或不同视点的传感器获取的图像间既存在冗余性又存在互补性，通过对其融合，能有效提高系统的可靠性和图像信息的利用效率。本文介绍了图像融合基本概念，包括融合系统结构、传感器性能特点、常用融合方法，并分别从定量与定性的角度对融合图像质量的评价标准做了详细的介绍。关键词：图像融合 评价标准多传感器信息融合是指对来自多个传感器的信息进行多级别、多方面、多层次的处理与综合，从而获得更丰富
2、、更精确、更可靠的有用信息。其中Edward和James LlinaSll J对信息融合给出了如下定义：信息融合就是一种多层次的、多方面的处理过程，这个过程对多源信息进行检测、结合、相关、估计和组合以达到精确的状态估计和身份估计，以及完整、及时的态势评估。从八十年代初至今，多传感器信息融合特别是多传感器图像融合已引发了世界范围的广泛兴趣和研究热潮，它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。多传感器图像融合就是利用各种成像传感器得到的不同图像，综合不同图像的互补信息和冗余信息，以获得更为全面更为准确的图像描述。例如，红外图像和可见光图像的融合可
3、以更好地帮助直升机飞行员进行导航；CT和核磁共振(MPd)图像的融合处理为临床诊断提供可靠的信息。一 图像融合技术的发展与现状 多传感器图像融合技术最早被应用于遥感图像的分析和处理中。1979年，Daliy等人首先把雷达图像和LandsatMSS图像的复合图像应用于地质解释，其处理过程可以看作是最简单的图像融合。到80年代中后期，图像融合技术开始引起人们的关注，陆续有人将图像融合技术应用于遥感多谱图像的分析和处理。90年代以后，随着多颗遥感雷达卫星JERS1，ERS1，Radarsat等的发射升空，图像融合技术成为遥感图像处理和分析中的研究热点之一。近二十年来，国际上在图像融合的不同层次上开展
4、了大量的模型与算法研究，提出了各种形式的系统。美国计划在2010年研制出覆盖射频、可见光、红外波段公用孔径的有源无源一体化基于图像与数据融合的探测器系统图像融合技术无疑具有良好的发展前景。近年来，图像融合在应用方面有了一定的发展，2005年lO月4日，由我国和巴西联合研制的“资源一号”卫星发射升空，卫星上安装了我国自行研制的CCD相机和红外多光谱扫描仪，这两种航天遥感器之间可进行图像融合，大大扩展了卫星的遥感应用范围。二多传感器图像融合基本概念 2.1 图像融合的定义图像融合就是指对采用一定算法，把两幅或多幅具有互补信息的源图像融合成一幅新的图像。它可使得新图像更加适合人的视觉感知，或者满足诸
5、如图像处理中的分割、特征提取、目标识别的需要。图21说明了两传感器的互补与冗余信息关系 由于技术的进步，不断出现了多种新的传感器，将这些成像传感器进行适当的组合，将会改善整个信息处理系统的性能。虽然每一种传感器在特定的工作条件和工作范围内，在每种程度上是最佳的，但是它却不能获得人或者计算机在检测目标时所需要的全部信息。因此，对于这些具有不同特性的传感器进行有效的集合，将会扩展其中任何一个的能力，最终合成的图像将包含更加完整和详细的内容，这对于图像处理正作将会带来很大的帮助。2.2 多传感器图像融合系统的一般结构 图像融合需要前期的预处理，它包括几个方面：配准、校正、去噪声等，在完成几何校正、噪
6、声消除及图像配准后是真正的图像融合过程。图像融合一般可以分为像素级融合、特征级融合和决策级融合三个级别，融合的水平依次由低到高。图22给出了图像融合的三个层次示意图。 像素级融合：像素级融合是直接在采集到的原始图像数据层上进行的融合，人眼对颜色信息的融合就是典型的像素级融合。像素级图像融合是最低层次的图像融合，该层次的数据融合准确性最高，能够提供其它层次上所不具备的细节信息，但是需要处理的信息量大。像素级融合也称数据级触合，是高层次图像融合的基础，也是目前图像融合研究的重点之一。本文所研究的融合方法都是像素级融合方法。特征级融合：特征级融合是在信息处理的中间过程中进行的融合，它是指在对经过预处
7、理的数据进行特征提取的基础上，进行综合分析和处理，其输入输出均为特征，典型的特征有边缘、拐点、线条等。决策级融合：决策级融合是在对采集到的数据己独立完成了决策或分类任务的基础上，模仿人的思维借助一定的规则或特定的算法对各个判别结果进行组合判断。在决策级融合中，首先采用局部分类器对目标的各个特征进行分类，得到了各局部分类器对目标的判决，然后采用贝叶斯推理、神经网络法技术等决策融合技术对各局部决策进行融合得到目标的准确判别。表21给出了不同融合层次其性能特点的比较情况。从表中及前面所介绍的内容可以看出，像素级图像融合是最重要、最根本的多传感器图像融合方法，其获取的信息量最多、融合性能最好。 在图2
8、3的模型中，分别对要融合的图像进行数学变换，然后，在变换域内对图像数据依据某种规则进行处理，以实现两者的有机组合。之后，再进行数学反变换，从而得到融合的图像。变换域内，图像数据的处理规则，因融合目的的不同而有所不同。图像像素层融合处理与特征级融合、决策级融合最大的区别是：在对两幅图像进行融合处理之前，首先要对其进行严格的配准。图像配准是指同一目标的两幅图像在空间位置上的对准。图像配准的技术过程，称为图像匹配，或者图像相关。图像配准涉及许多相关知识领域，如图像预处理、图像采样、图像分割、特征提取等。常用的基于灰度的图像配准方法有：空间相关法、频域相关法等。基于灰度的图像配准方法具有精度高的优点，
9、但也存在一些缺点：1)对图像灰度变化比较敏感，在非线性光照变化时，将大大降低算法的性能。计算的复杂度高，运算所花费的时间比较多。2)对目标的旋转，形变等没有很好的适应性。基于特征的图像配准方法有两个重要环节：特征提取和特征匹配。可以选取的特征包括：点、线以及区域等。特征匹配一般采用互相关来度量，但互相关对旋转比较困难。最小二乘法匹配算法和全局匹配的松弛算法能够取得比较理想的结果。小波变换、神经网络和遗传算法等新的数学方法的应用，进一步提高了图像配准的精度和运算速度。与基于灰度的图像配准方法相比，基于特征的图像配准方法有以下几优点：1)特征点的提取过程可以减少噪声的影响，对灰度变化、图像变形等有
10、较好的适应能力。2)特征点的匹配度量对位置的变化比较敏感，可以提高匹配的精确程度。3)图像的特征点比图像的像素点要少的多，可以减少匹配的计算时间。2.3 融合系统中多传感器的特点现实世界中传感器多种多样，它们有其自身的物理及其成像特点。任何单一传感器成像都可以看成对输入信号的响应，输出图像或信号即是响应结果。常用图像融合传感器及其特点如表22所示。各种传感器组合及其效果如表23所示：2.4 几种常用多传感器图像融合方法像素级多传感器图像融合方法是目前研究比较深入的，已有的融合算法种类繁多，主要分为变换域和非变换域的融合方法。常用非变换域的图像融合方法：1)平均法或加权平均法：对源图像进行平均计
11、算提高了融合图像的信噪但降低了对比度。加权平均方法中，加权系数的选择要考虑信息的冗余与互补性，可采用主分量分析法。2)伪彩色融合方法：在灰度图像中，人眼只能同时区分出由黑到白的十种到二十几种不同的灰度级，而人眼对彩色的分辨率可达到几百种甚至上千种。基于人眼视觉的这一特点，可以将图像中的各种灰度级变成不同的彩色，以便提取更多的信息。A。MWaxman等人采用伪彩色融合技术对热红外图像和电视图像进行融合，该算法利用了人眼视觉感受野的中心一周边型模型，彩色视觉的单颉颃和双颉颃模型。常用变换域图像融合方法：1） 图像金字塔(LP)法：依据融合目的，利用特征选择规则和待融合图像金字塔表示，来构建一个融合
12、的金字塔表达式，对融合后的金字塔表达式进行金字塔反变换，得到一个融合后的图像。2)小波变换法：小波变换是傅立叶变换发展的新阶段，它具有紧致性、正交性、方向可选择性，这些优良特性是小波变换成为图像融合的一种强有力工具和手段。小波变换的多分辨分解特性符合人类的视觉机制，与计算机视觉中由粗到细的认识过程十分相似，非常适用于图像融合。3)Contourlet变换法：Contourlet变换是基于LP分解和方向滤波组DFB结合的图像变换法，它解决了小波变换只能捕获水平、垂直、对角三个方向信息的问题，是真正意义上的多尺度多方向变换，其反变换也易于实现，在图像融合中有很大的发展前景。25 多传感器图像融合方
13、法的性能评价图像融合效果的评价问题是一项重要而有意义的工作，如何评价融合效果，即如何评价融合图像的质量，是图像融合的一个重要步骤，但目前还缺乏一种对融合效果进行系统，全面的评价方法，国内外对该问题的研究相对较少，目前的融合效果评价中，主要有主观评价法和客观评价法两种。融合图像质量的主观评价方法假若人是图像的观察者，图像质量的含义主要包括两个方面，是图像的逼真度(Fidelity)，另一个是图像的可懂度(Intelligibility)。多少年来，人们总是希望能够给国图像逼真度和可懂度的定量测量方法，以作为评价图像质量和设计图像系统的依据。但是由于目前人们对人的视觉系统还没有充分认识和掌握。对人
14、的心理因素还找不出定量描述的方法，因此这个问题一直没有很好的得到解决。融合图像质量的客观评价方法为了克服主观评价中人眼视觉系统、心理状态、知识背景等因素带来的不确定性，实际融合效果评价多采用客观评价，客观评价通过对各融合图像统计参数的计算来进行判定、比较各种融合方法的优劣。为了定量评价融合图像的效果和质量，假设参加融合的两个源图像分别为A、B，图像大小为MXN，经融合处理后得到的融合图像为F，特定义了以下几个评价参量。1) 熵(Entropy)。 图像的熵值是衡量图像信息丰富程度的一个重要指标，熵值的大小表示图像平均信息量的多少。如果融合图像的熵越大，可以认为融合图像的信息量增加，融合图像所含
15、的信息越丰富，融合质量越好。2）互信息量MI(Mutual Information)。 评价图像融合效果的一个重要指标是看融合图像从源图像中获得了多少信息。互信息量是信息论中的一个重要指标，可作为两个变量之间相关性的度量，或一个变量包含另一个变量的信息量的量度。互信息量是反映融合效果的一种客观指标，它的值越大表示融合图像从源图像中获褥的信息越丰富，融合效果越好，它可以更准确地评价融合效果的优劣。3）平均梯度。 平均梯度(即图像清晰度)可敏感地反映图像对微小细节反差的表达能力，可用来评价图像的清晰程度，同时还反映图像中微小细节反差和纹理变换特征。4）标准差d。 标准差反映了图像灰度相对于灰度平均值的离散情况，在某种程度上，标准差也可用来评价图像反差的大小。若标准差大，则图像灰度级分布分散，图像的反差大，可以看出更多的信息。标准差小，图像反差小，对比度不大，色调单一均匀，看不出太多的信息。5）交叉熵(Cross entropy)亦称相对熵(Relative entropy)。交叉熵可用来表示两幅图像之间的差异，交叉熵越小，表示图像差异越小。6）相关系数C(Correlation coefficient)图像的相关系数，又称为相似性度量，它反映了两幅图像的相关程度。融合前后的图像相关系数可以反映多光谱图像的光谱信息改变程度，从而判断融合图像的光谱保持能力。7）偏差
