《图像融合技术概论(像素级)》由会员分享，可在线阅读，更多相关《图像融合技术概论(像素级)（13页珍藏版）》请在金锄头文库上搜索。
1、图像像素级融合算法（讲稿1）2、图像融合算法研究主要集中介绍像素级融合算法.依实现原理划分，像素级图像融合算法大体分为：代数算法，假彩色技术，图像调制技术，多分辨技术，基于视觉神经动力学的图像融合技术，等.2.1 代数法代数法包括加权融合、单变量图像差值法、图像比值法等.最常用的方法是加权平均法.加权平均法主要是运用代数运算和线性运算来处理图像，是早期的图像融合方法.它的基本原理是不对源图像进行任何的图像变换或分解，而是直接对各源图像中的对应像素进行选择（选取最大值或最小值）、平均或加权平均等简单处理后输出融合图像.以表示融合图像的第个像素灰度值，表示参加融合的第幅图像第个像素灰度值.表示参加
2、融合的第幅图像第个像素的权值.加权平均法的数学表示式为： 根据实际应用的需要，代数法可采取局部和全局处理.下面主要说明全局法的处理过程.考虑到图像的整体性，所有融合运算采用了统一标准，因此称为全局法.主要步骤如下：（1）求出图像灰度的最大值、最小值、均值与方差；（2）由这些参数通过一定的运算，计算出一个变换式，可将高分辨力图像的灰度变成0到1的实数；（3）用变换后的实数与低分辨力图像进行一定的运算，其所得到的结果即为融合图像；（4）这个图像往往色调比较暗，必须进行增强才能满足要求.设高分辨力图像灰度、灰度最小值、最大值、均值与方差分别为，低分辨力图像灰度值为，融合后的灰度值为，为变换系数.2、
3、假彩色技术假彩色（False Color）图像融合处理的原理基于如下事实：人眼对颜色的分辨力远超过对灰度等级的分辨力.因此，如果通过某种彩色化处理技术将蕴藏在不同原始信道图像灰度等级中的细节信息以不同的色彩来表征，可以使人眼对融合图像的细节有更丰富的认识.以假彩色法来实现图像融合的工作由来已久，随着对人眼生理特性认识的逐步深入，这种方法也在不断改进，以期达到既能将各原始信道的图像信息尽量地表现出来，又能使融合图像的可视效果符合人眼生理习惯的目的，这是当前假彩色研究的关键所在.根据信息融合发生的色度空间不同，假彩色融合算法可分为三类：2.1.1灰度融合后采用假彩色编码的融合算法这种假彩色融合方法
4、可以认为是图像处理的后期的假彩色化处理，其本质与图像融合并无直接联系，基本是灰度图像的假彩色编码的问题.有文献分别采用灰度调制、灰度级平移叠加以及小波融合的处理手段对灰度图像进行融合后再进行假彩色处理，取得了一定的效果.此类算法的关键是选择合适的彩色标尺，而此要求却较为苛刻，使得这一方法一般只作为图像融合结果的可选附加处理.2.1.2基于RGB色空间的假彩色融合技术任何图像的彩色处理最终都将归结至RGB色空间的转换，因此，直接在RGB色空间的假彩色融合处理具备的最大特点就是计算简单，速度快，便于硬件实现和实时处理.此类算法的原理依据如下的基本事实：来自不同图像传感器的图像总存在着差异，而这种差
5、异一般总是以不同图像传感器的图像间不同的灰度特性分布所表征.因此，直接基于RGB色空间的假彩色融合处理就是利用不同图像间的灰度分布的不同，经过某种处理后，提取不同图像间的灰度差异，以某种组合方式送至R、G、B三通道直接进行显示.当然，不经过提取灰度差异这一处理过程而直接将图像送至RGB通道进行显示，在某些情况下可能也是一种有效而便捷的处理手段.基于RGB色空间的假彩色融合处理的基本运算结构流程见图2.1.RGB色空间映射技术存在的主要缺点是融合前对融合后将要出现的图像细节的彩色表征缺乏可预见性，融合图像的细节表征与常规所见的图像往往大相径庭，观察员要辨识出图像细节，常常需要经过一定的训练和具备
6、一定的经验.如果希望得到较佳的可视效果，一般需要采用一些生理光学领域的研究成果，通过分析人眼的生理特性来确定映射算法.图2.1 基于RGB色空间的假彩色融合处理示意图有文献根据人眼的视觉习惯开发了一种融合红外和可见光图像的假彩色映射技术.该算法将红外图像和可见光图像经过一定的交互处理后，分别送至R、G、B三通道，使得融合图像具有一定的自然性，其具体处理步骤如下：1）图像相关性提取图像相关性提取指提取可见光图像和红外图像间的公有部分：令Visible表示可见光图像，Thermal表示红外图像，Common表示两图像的公有部分，（i，j）表示图像像素坐标，则有： （2.4）提取两图像公共部分的具体
7、操作，可以采用求取最小值的方法来处理，即： （2.5）2）图像去相关图像去相关指提取可见光图像和红外图像各自的特征部分：令Visible*表示可见光图像的特征部分，Thermal*表示红外图像的特征部分，则有： （2.6） （2.7）3）图像交互处理图像交互处理指采用何种融合算子来有效包容可见光图像和热红外图像各自蕴含的信息.根据生理光学的研究成果，原则上，如果一路图像在某个区域的特征成分具有显著值，任何减小另一路图像对应区域动态范围的操作均可以选择.有文献采用交叉相减的处理来实现，并将处理结果直接送至R、G、B三通道进行显示，即： （2.8）由式（2.8）看出，R通道显示的是降低了可见光图像
8、对应部分的红外图像；相反，G通道显示的是降低了红外图像的对应部分的可见光图像，即将红外与可见光图像的突出部分分别增强，并利用不同的色彩来表现其细节.这样的融合结果为：在以表现可见光图像与红外图像差异的蓝色背景下，以红色作为红外图像的特征突出部分、绿色作为可见光图像的特征突出部分，比较符合自然特征，图像看起来更自然些.但是，该算法仍不能避免假彩色算法的固有缺陷，即如果事先不知道景物的大体属性，则不具经验的观察员很难判断出静态目标的属性.因此，这种算法如果应用于对动态目标的监视观察，可以取得较好效果.对式（2.8）的图像交互算法进行某些改进可使融合结果的色彩层次更丰富，对于多细节目标产生更好的效果
9、.本课题组就提出过用两图像公共部分映射到B通道的方案.2.1.3基于LHS色空间的假彩色处理与RGB色空间映射技术的缺乏可预见性不同，LHS色空间的L（明度）、H（色调）、S（饱和度）模型由于直接反映人眼的感觉，故基于该色空间的假彩色融合技术具有较好的可预见性.该方法是将图像数据经过预处理后分别赋于L、H、S色通道，然后再换算至RGB色空间以实现彩色显示.其融合流程见图2.2.图2.2 基于LHS色空间的假彩色融合处理示意图基于LHS色空间的假彩色融合处理首先要确定原始图像与L、H、S三坐标的对应关系，关键是确定在融合中起主导作用的原始图像，把它对应于H通道，然后对应地对原始图像和L、H、S进
10、行分割.国际上的一些研究表明基于LHS色空间的假彩色技术较直接在RGB色空间的处理更加符合人眼的生理视觉特性，但由于该过程计算较为复杂，H坐标的起始点、取值方向和间隔等参数均需要多次实验来确定，因此其实际应用受到限制.2.2图像调制技术调制（Modulation）本为通信技术术语，意指一信号的某参数（强度、频率、相位等）随另一信号变化而变化，是信号处理领域一种很常用的手段.在数字图像处理领域内，如果将图像看成是二维信号，那么对多路图像进行的融合处理可以看作是图像信号间的相互调制.因此，借助通信技术的一些思想，调制技术在图像融合领域也有着相当广泛的应用.用于图像融合的调制技术一般适用于两幅图像的
11、融合处理.具体操作一般是将一幅图像进行归一化处理，然后将归一化的结果与另一幅图像相乘，最后重新量化后进行显示.这种处理方式相当于无线电技术中的调幅（Amplitude Modulation），数字图像的灰度大小就相当于无线电波的幅度大小.2.2.1图像对比度调制Smith提出的基于对比度归一化处理的对比度调制技术（Contrast Modulation Technique），用来融合可见光图像和红外图像.其基本思想是根据可见光图像包含的细节信息较为丰富的特点，提取可见光图像的对比度，以此调制红外图像的灰度分布，从而达到融合的目的.具体操作如下：1）可见光图像对比度提取获取图像的对比度信息，必须
12、得到图像高频和低频的分量.令LOWPASS表示低通滤波，G表示输入图像，表示低通滤波后的图像，则由 （2.9）可得到可见光图像的低频分量，然后求得图像的局域对比度C，即： （2.10）之后将局域对比度归一化，得到归一化对比度： （2.11）2）融合调制将式（2.11）得到的归一化对比度与热图相乘，即可得到融合图像： （2.12）将得到融合图像重新量化，使之灰度范围与显示设备动态范围R相匹配，即： （2.13）得到的即为最终呈现的融合图像.2.2.2图像灰度调制我们研究发现了一种简单有效的融合可见光图像和热红外图像的灰度调制法.灰度调制是一种线性处理，采用线性归一化的手段将图像进行变换，一般仍然
13、对两路图像中细节较多的一路进行归一化，然后调制另一路.其过程为：首先求出可见光图像的归一化图像： （2.14）然后以归一化可见光图像对红外图像热进行调制： （2.15）最后按式（2.13）对调制结果重新量化得到融合图像.灰度调制方法虽然运算简单，但实际实验表明其融合效果却好于对比度调制法.调制融合技术以一幅图像的灰度特征对另一幅图像施加“影响”，改变其灰度分布属性，算法比较简单，是实现可见光和红外图像融合的一种实用技术.2.4.3多分辨技术图像的多分辨（Multiresolution）结构理论来源于计算机视觉研究中对人眼感知过程的模拟，例如，如果在一幅图像中我们不先识别出“房子”，那么就很难辩
14、识图像中的小方框是不是“窗户”.一般而言，多分辨结构是对输入图像信息提供相继压缩表示形式的数据结构.被压缩的信息可以是简单的图像灰度，也可以是描述图像中的一些特征信息（如前面讨论的基于多分辨特征点提取的图像配准），前者的多分辨结构相继表示分辨力逐级降低的输入图像，而后者则越来越粗地近似表示这些特征.图像多分辨结构的另一重要优越性在于：在低分辨力层上粗略的信息只用很少的数据量来表示，故在该层上可以获得很快的处理速度；到了高分辨力层，尽管描述细节的数据量增大，但由于已有了对低分辨力层信息的识别，还是有可能通过面向目标的处理方法来提高计算速度.多分辨结构的形成是采用对图像进行自底向顶的计算，每一级图像均是其前一级图像经过某种滤波形成.图2.3给出多分辨结构示意.2.3.1 Gaussian金字塔Gaussian金字塔图像多分辨结构中的每一级图像均是前一级图像低通滤波形成的.设矩阵G0表示输入源图像，则G0作为Gaussian金字塔的零级，Gaussian金字塔的l级矩阵的每一元素值可由用一nn的窗口函数对第l-1级矩阵进行加权平均而得到.注意，以下讨论均设n=5，即滤波模板大小为55. LN L2 L1
