《数字图像处理基础及应用 第8章 图像融合》由会员分享，可在线阅读，更多相关《数字图像处理基础及应用 第8章 图像融合（25页珍藏版）》请在金锄头文库上搜索。
1、高校转型发展系列教材,数字图像处理基础及应用,第8章图像融合,图像融合是通过高级影像处理技术来利用多源影像数据的一个工具，它是一种综合利用多源图像信息的图像处理技术 数字图像融合的目的在于： 空间分辨率的提高； 特征增强； 提高分类识别的精度。,第8章图像融合,8.1 图像融合的层次与步骤 8.2 图像融合的方法 8.3 基于PCA变换的加权图像融合方法 8.4 图像融合技术的发展和应用现状 8.5 图像配准技术 8.6 小波分析理论 8.7 基于小波的数字图像融合,8.1图像融合的层次与步骤,图像融合采用某些算法对两幅或多幅图像进行综合与处理，最终形成一幅新的图像，这种处理是有层次的，若根据
2、图像的表征层来划分，图像融合可以在以下三个层次上进行。 像素级融合 特征级融合 决策级融合 如图8.1所示为图像融合的三个层次，从图像采集到做出判断决策共有三个步骤，即 特征提取、属性描述和图像解释。 图像融合的三个层次分别在这三个步骤中进行。,图像预处理。 图像配准。 图像融合。,7 (1) 线性加权平均法。将两幅图像中对应的像素值各乘以一个权系数再相加得到融合的图像。设待融合的两幅图像分别为 f1 (x, y) 和 f 2 (x, y) ，融合后的结果记为 f (x, y) ，则 线性加权法的实现公式为 其中， 1。加权平均法直观，实现简单，但抗干扰能力较差，可用于实时性要求高，精度要求不
3、高的场合。 亮度-色度-饱和度 (HIS)变换法。 主分量(PCA)变换法。 多分辨率塔式法。 小波变换法。,8.2图像融合的方法,8.3基于PCA变换的加权图像融合方法,PCA变换也叫主成分分析或者K-L变换，是在统计特征基础上的多维正交变换。PCA变换广泛应用于图像压缩、随机噪声信号的去除以及图像旋转等方面。 8.3.1主成分分析 对于某一个问题，可以同时考虑好几个因素时，并不对这些因素进行个别处理，而是 将它们综合起来处理，用数据的本身来寻找全部变异最具有影响力的方向，第二具有影响力的方向，当然也希望可以找到一两个方向距可以解释大部分数据中的变异，因而得到了“降低原始数据中的维数”的效果
4、。这就是主成分分析。 PCA变换也叫主成分分析或者K-L变换，是在统计特征基础上的多维正交变换。 主成分分析的目的是希望用较少的变量去解释原来资料中的大部分变异，更期望能够将我们手中的许多相关性很高的变量转化为彼此相互独立或不相关的变量，通常是选取比原始变量个数少，能解释大部分资料中的变异的几个新变量，也就是所谓主成分，而这几个主成分就成为我们用来解释资料的综合性指标。,. Fp u1 p X 1 u2 p X 2 . u pp X p,8.3.2主成分分析的数学模型 主成分分析通常的做法是寻求原指标的线性组合Fi F1 u11 X 1 u21 X 2 . u p1 X p F2 u12 X
5、1 u22 X 2 . u p 2 X p,(8-2),式(8-2)要求满足如下条件： (1) 每个主成分的系数平方和为1。即,(8-3),u 2 u 2 . u 2 1 1i2ipi (2) 主成分之间相互独立，即无重叠信息。,(8-4),Cov(Fi , Fj ) 0, i j, i, j 1,2,. p (3) 主成分的方差依次递减，重要性依次递减，即 Var(F1)Var(F2)Var(FP),(8-5),ij,8.33主成分分析的推导 两个线性代数的结论 若A是p阶的实对称矩阵，则一定可以找到正交阵U,u pp ,.,. ,. u. u, . u u p1p2,2 p ,22,U 2
6、1,u1 p ,u11u12 u,(8-6),使得,p , , .,2,1 ,U 1 AU ,(8-7),其中i (i 1,2,., p)是A的特征根。 上述矩阵的特征值所对应的单位特征值为,T,u,.,. , .,. u. u,U (u , u ,., u ) ,. u p 2u pp ,u p1,2 p ,22,21,u1 p ,u11u12,12p,(8-8),实对称A属于不同特征根所对应的特征向量，他们正交，即有U TU UU T 1。 2. 主成分的推导 1) 第一主成分 2) 第二主成分,(3) 将变换矩阵T代入Y TX UT X 式中，即可得到K-L变换的具体表达式,(4) 根据
7、所得到的m个主成分Y，按照他们的特征值的大小比重确定融合的权重，,8.3.4主成分分析的步骤,(1) 根据原始图像数据矩阵X，求出它的协方差矩阵C，则X的协方差矩阵为,(2) 求出协方差矩阵C的特征值和特征向量U，得到变换矩阵T。 写出特征方程,最后得到融合图像,可以计算得到在所有的主成分中第i个源图像的权系数,8.3.5基于PCA变换的图像融合的步骤及实验结果 基于PCA变换的加权图像融合的基本原理是：首先计算参加融合的两幅图像的协方差 矩阵，然后求其特征值及相对应的特征向量，最后利用与特征值相对应的特征向量来确定 两幅图像的加权系数，最后得到融合图像。基于PCA变换的图像融合流程如图8.2
8、所示， 效果图如图8.3和图8.4所示。,输入两幅图像,根据公式求得图像的协方差矩阵,求得协方差矩阵的特征值和特征向量,根据公式求得源图像X 1和X 2的加权系数m1和m2,得到融合图像Y=m1*X1+m2*X2,图8.2 PCA变换流程图,8.4图像融合技术的发展和应用现状,同其他高科技一样，多传感器融合技术也是首先在军事技术上得到应用的。目前，多传感器图像融合在军事上的应用越来越广泛。自海湾战争和科索沃战争以来，精确制导武器让人刮目相看。因为精确制导武器攻击过程中遇到的对抗层次越来越多、多抗手段越 来越复杂、目标的隐身以及掠地(海)进攻等因素，精确制导武器采用非成像的单一寻的制 导方式已经
9、不能完成作战使命，必须发展成像制导和多模复合寻的制导技术。而多模复合寻的制导的关键技术之一就是多传感器的信息融合。除了导弹外，美、德、法、俄罗斯等 国目前都已研制成功并开始生产自主式炮弹(发射后可以自己寻找目标)，这种炮弹可在预 定的目标区域内自主地搜索坦克类目标。在21世纪的数字化战场上，先进的侦察车以及侦 察设备将是保证装甲战车作战能力的关键设备。因此，当前英、美、德、荷兰和捷克都在 积极发展和研制先进的装甲侦察车，他们基本都是将热像仪、激光测距仪、电视摄像仪等多个传感器进行融合利用的。美国陆军司令部计划从2007年开始逐步装备“追踪者”侦察 车，以提高现役装甲车辆的指挥、控制、情报、侦察
10、和监测的综合能力。据报道，从20世 纪90年代起，美国Air Force Ofce of Scientic Research, Arm Research Ofce与一些大学和科研机构签订了一系列合同，就图像融合技术进行理论和方法的预研。 国土资源方面包括土地利用的动态监测，森林、海洋资源调查，环境调查与监测， 洪涝灾害的预测与评估等都要用到融合技术。处理的图像数据类型主要有各种卫星图像如TM图像、SPOT图像、SAR图像等。具体来说，图像处理的目的是通过分析不同时期的卫 星图像，从中提取、分析变化信息，要求融合图像能直观地表示出这个变化，反映到融合 图像上，往往用不同的彩色区域来表示。 多传感
11、器图像融合已经在遥感、计算机视觉、医学、生物学等领域有了广泛的应用。 在遥感上，随着遥感技术的迅猛发展，从不同的传感器获得大量的对于同一地区的不同尺 度、不同光谱、不同时相的影音数据，这些数据构成了同一地区的多源影像数据，在航 天、航空多种运载平台上，各种遥感器所获得的大量光谱遥感图像的融合，为信息的分析 和利用提供了良好的处理手段。在计算机视觉方面，图像融合被认为是克服目前某些难点 的技术方向。例如，1997年在火星着陆的“火星探测器”机器人身上安装了五个激光束摄 影仪、两个CCD摄像机、多个关键传感器和加速度传感器。由于光从地球到火星的时间就 达11分钟，所以在不少时间内该机器人必须能自主
12、工作。火星探路者是多传感器融合应用 的典型例子。在医学上，可以通过对多源图像(如CT、 MRI、 SPECT、 PET等)的融合， 为现代医学带来更准确的临床诊断，而且图像融合还可以用于计算机辅助显微技术。在生 物学上，采用图像融合技术可以实现图像的信息融合完成图像配准，准确判断细胞内部发 光位置，提高图像置信度，降低模糊度，改善检测性能和空间分辨能力，最大限度地发掘 细胞图像的信息资源，有利于分析和判断其生物机理和含义。 另外，图像融合可以用于交通管理和航空管制，还可以用于图像和信息的加密方面， 实现数字图像的隐藏以及数字水印的图像植入。随着对多传感器图像融合技术研究的不断 深入，图像融合技
13、术必将有更广泛的应用。,8.5图像配准技术,图像配准是图像处理的一个基础问题，也是图像信息融合首先要解决的问题。对同一场景使用相同或不同的传感器，在不同条件下(如气候、照度、摄影位置和角度等)获得的 两幅或多幅图像之间会存在差异，它们之间的差异表现在不同的分辨率、不同的位置平移 和旋转、不同的比例缩放、不同的灰度属性等。图像配准研究的目标就是消除以上所述两幅或多幅图像之间存在的种种差异，确定其最佳匹配关系，使它们在目标几何形状上匹配 一致，为进一步的分析处理做准备。 8.5.1图像配准原理 图像配准可定义为：对从不同传感器、不同时刻、不同角度所获得的多幅图像进行最佳匹配的处理过程。 空间变换函
14、数可用空间变换模型进行描述，常用的空间变换模型有 刚体变换 仿射变换 投影变换 非线性变换,8.52图像配准的方法 基于灰度的配准方法 由于对多模图像配准的适用性，基于灰度的方法近几年得到了广泛应用。根据相似性 测度决定代价函数，然后通过搜索技术使其最小，从而得到配准。用得较多的相似性测度 有互信息法和相关法。 基于变换域的配准方法 主要的变换域方法是傅氏变换方法。图像的旋转、平移、比例变换都能在傅里叶变换 频域中反映出来，利用变换域方法还有可能获得一定程度的抵抗噪声的鲁棒性，同时傅里 叶变换可以采用FFT的方法提高执行的速度。 基于特征的配准方法 这类方法根据配准图像的重要特征之间的变换关系
15、确定配准参数。首先提取特征集，如 边缘、角点、曲率、不变距等，然后建立特征点集之间的对应关系，由此求出配准参数。,8.6小波分析理论,8.6.1小波分析的历史与发展 小波分析是传统傅里叶分析发展史上里程碑式的进展，作为一种新的数学工具被誉为泛函分析、傅里叶分析、样条分析、调和分析和数值分析的最完美结晶。其在图像处理及模式识别等领域有着重要的应用，包括图像融合、增强、数据压缩、边缘检测、纹理分析等诸多方面。小波变换被认为是近年来在工具和方法上的重大突破。小波变换的核心是多分辨率分析，其理论体系源于20世纪60年代人类对视觉系统和心理学的研究，小波的概念是由法国从事石油勘测信号处理的地球物理学家M
16、orlet于1984年提出的。1986年Jafferd、Lemavie和Meyer与从事信号处理的Matlab合作提出了小波正交基的构造可纳入一个统一框 架，引入多分辨分析的概念，统一了前人构造的具体小波，并给出了多分辨分析的构造正交小波基的一般化方法。Matlab在Brut和Adelson的塔式分解算法启发下，巧妙地将计算机 视觉领域的尺度分析思想引入小波分析，研究了小波变换的离散化情况，并提出了相应的Matlab算法。该算法在小波分析中的地位相当于快速傅立叶变换FFT在Fourier变换中的地 位。小波变换属于时频分析的一种。传统的信号分析是建立在傅里叶变换的基础上的，由 于傅里叶变换是一种全局的变换，要么完全在时域，要么完全在频域，因此无法同时表述 信号在时频两个域的性质，而这种性质恰恰是非平稳信号最根本和最关键的性质。为了分 析和处理非平稳信号，人们对傅里叶分析进行了推广乃至根本性的革命，提出并发展了 一系列新的信号分析理论：加窗傅里叶变换、Gabor变换、小波变换和调幅-调频信号分析 等。对于图像融合，小波变换可以将图像分解成为一系列具有不同分辨率特征、频率特征 和方向特性的
