《一种基于区域和Contourlet变换的多聚焦图像融合新方法》由会员分享，可在线阅读，更多相关《一种基于区域和Contourlet变换的多聚焦图像融合新方法（7页珍藏版）》请在金锄头文库上搜索。
1、1一种基于区域和 Contourlet 变换的多聚 焦图像融合新方法【摘要】 本文提出了一种基于区域和 contourlet 变换相结合的图像融合新方法。该方法首先对源图像进行 contourlet 变换，得到高频和低频图像；接着根据各尺度上高频图像的大小来调整源图像尺寸进行分割，得到多尺度分割图像；然后采用区域高频系数绝对值之和作为区域活动度来指导系数融合；最后进行 contourlet 逆变换得到融合图像。采用均方根误差、信噪比、边缘融合质量指标和加权融合质量指标 4 种准则来评价融合算法的性能。实验结果表明，本文方法不仅在客观评价指标上优于小波变换法，而且从主观评价上来看，本文的方法得到
2、的融合图像更加的清晰。 【关键词】 Contourlet 变换； 图像融合； 小波变换Abstract: A New method for multi focus image fusion based on contourlet transform and region is proposed. Firstly, contourlet transform is performed on source images to get high frequency and low frequency images. The source images are resized depending on
3、the size of high frequency images at each scale and then they are segmented into different regions. The sum of absolute value of high frequency coefficients in a region is considered as the region activity to conduct coefficient fusion. At the end, the inverse contourlet transform is utilized to obt
4、ain fused image. The performance of the image fusion method is evaluated using four criteria including root mean square error, signal to noise ratio, edge dependent fusion quality index and weighted fusion quality index. The results of experiments imply that the new method not only get higher object
5、 assessment index score but also get a more clearly fusion image in perceptual than wavelet transform method.Key words: contourlet transform, image fusion，wavelet transform引言图像融合技术经过多年的发展已在很多方面得到了应用（如国防、医疗、遥感、机器视觉等）。所谓图像融合就是将两幅或两幅以上的源图像组合成一幅包含各源2图像显著信息的复合图像，从而获得对某一场景的更全面、清晰的描述。当目前为止，人们提出了不少图像融合方法从简单
6、的平均值法1到更为复杂的神经网络2、模糊聚类3、多尺度分析4，5方法等。小波变换以其良好的时频分析特性成为了图像融合的一种重要工具。但是小波变换自身也存在着一些缺点：小波变换的主要缺点在于不能有效地“捕获”图像的方向信息（只有垂直、水平和对角三个方向），方向性的缺乏使得小波不能充分利用图像本身的几何正则性；另一方面，小波变换不能最优地表示含有线或面奇异的高维函数，小波基的支撑区间为不同尺寸大小的正方形，随着分辨率的变细，小波只能用“点”来逼近奇异性曲线，这样便不能稀疏地表示原函数。所以说小波变换并不是最优或者最稀疏的函数表示方法6，7。为了克服以上不足，出现了 brushlets8、compl
7、ex wavelets9、curvelets10等一系列数学表示方法。在受到 curvelets 的启发下，Minh N. Do 和 Martin Vetteri提出了一种“真正”的二维图像表示方法 contourlet 变换6，7。contourlet 变换不仅具有小波变换的主要特征（如多尺度、时频局部性等），而且具有高度的方向性和各向异性等特性。contourlet 变换和其他多尺度变换的主要区别在于它在每一尺度上可以有不同的、可变数量的方向数。此外，contoulet 变换不像 curvelet 变换那样从连续域入手，而是先在离散域中设计，而后再将其扩展到连续域中，这样也使得 conto
8、urlet 变换能够更有效的表示离散化的数字图像。综上所述可以看出，在理论上 contourlet 变换可以用于图像融合，在11中作者便将 contourlet 变换引入到了图像融合应用中。多数的图像融合应用关注于图像的特征，而不是图像的像素信息。因此，将图像3的特征信息加入到图像融合过程中是有意义的。这样做有以下几个优点：更为智能的融合规则；突出图像的特征；减小对噪声、配准不准确等的敏感度；配准和视频融合12。迄今为止，研究者们提出了不少基于区域的图像融合方法3，5，12，13。鉴于此，我们将 contourlet 变换用于一种基于区域的融合方法之中，并分别采用有参考图像和没有参考图像参与评
9、价的融合性能评价方法进行结果分析。实验结果表明，本文方法有良好的融合特性。1 图像的 Contourlet 变换连续的 contourlet 变换将 L2(R2) 分解为一系列相互正交的多尺度多方向的子空间（如图 1 所示）：L2(R2)=VJ ( jJWj)=VJ ( jJ( 2lj-1k=0W(lj)j,k), (j,k)Z2.(1)图 1 contourlet 变换产生的多尺度多方向子空间同小波多分辨率分析中定义的一样14，VJ 为近似子空间，尺度函数 在 2J 尺度上的平移函数簇：J,n(t)=J(t-2jn)nZ2，(2)构成 VJ 的一组标准正交基。Wj为 2j 尺度上的细节子空间
10、，通过 contourlet 变换，Wj 被分解为 2lj 个方向子空间W(lj)j,k，contourlet 函数 在 2j 尺度上的平移函数簇：(lj)j,k,n(t)=(lj)j,k(t-2j-1S(lj)kn)nZ2，(3)构成了紧框架张成方向子空间 W(lj)j,k，其中 S(lj)k=diag(2lj-1,2), 0k2lj-1（近似水平方向）， （4）S(lj)k=diag(2,2lj-1), 2lj-1k2lj（近似垂直方向）， （5）这就意味着在近似水平和近似垂直方向，W(lj)j,k 的采样网4格大小分别为 2j+lj-22j 和 2j2j+lj-2，图 2 示意了采样网格
11、。这样，对于ljjJ 正整数序列，函数簇：J,n,(lj)j,k,njJ,0k2lj-1,nZ2， （6）构成了的紧框架，j,k,n 分别表示尺度、方向和位置。令 aL(n)=f,L,n为函数 f(t)L2(R2)与尺度函数 L,n 的内积，那么图像的离散contourlet 变换系数可表示为：aJ,c(lj)j,kL c(lj)j,k(n)=f,(lj)j,k,n.（9）图 2 方向子空间 W(lj)j,k（近似水平方向）的采样网格离散 contourlet 变换可分为两个相互独立的步骤来完成（这正是 contourlet 变换具有在每个尺度上可以有不同的、可变方向数的关键所在），首先由 L
12、P(Laplacian Pyramid)变换对图像进行多尺度分解以“捕获”奇异点，接着利用方向滤波器组DFB(Directional Filter Bank)将同方向的奇异点合成线，最终 contourlet 变换利用类似于线段（contourlet segment）的基结构来逼近图像。图 3 为 barbara 图像的离散 contourlet 变换。图 3 图像的 Contourlet 变换2 区域级图像融合图 4 给出了本文图像融合方法的框架图（以两幅图像为例），接下来我们将一一介绍其组成部分。图 4 本文算法框架图Contourlet 变换：对源图像进行 contourlet 变换，提
13、取它们的高频和低频系数。5图像分割：首先，调整源图像的大小，使之与各尺度上的高频图像尺寸相同（在多尺度分解的情况下，将得到两组多尺度图像序列），得到待分割图像；接着对待分割图像进行一次锐化处理，用以获得更好的分割效果；最后使用可控标记分水岭算法对图像进行分割。图 5 给出了图像分割流程。在进行图像分割时，先计算待分割图像的梯度图像，作为分割函数；接着主要使用了开重建和闭重建两个形态学操作来标记图像中前景物体和背景，得到标记图像；再使用该标记图像修改分割函数，使得梯度图像仅在标记区域内具有极小值；最后，对修改后的分割函数作分水岭变换，从而得到分割图像。分割结束后，将各源图像在不同尺度上对应的分割
14、结果组合起来，形成一组多尺度组合分割图像来指导图像的融合操作。在组合的过程中会产生一些小的区域，但不会出现太多。这是由于前面所述的分割算法不会导致过分分割，而且在接下来的图像边缘单独处理中，这也将得到进一步解决。图 5 图像分割流程图活动度：计算每一区域的活动度，将区域中高频系数绝对值之和作为区域的活动度。判定：根据待融合图像在每一区域活动度大小判定融合图像对应区域的系数来源。高频和低频系数（仅对于分解的最顶层）均来自活动度较大的区域。系数融合：根据判定结果进行系数的融合，获得融合图像的高频和低频系数。Contourlet 逆变换：将融合后的系数进行 contourlet 逆变换，从而得到最终
15、的融合图像。此外，为了获取更多的图像边缘信息，我们对图像的边缘进行了单独的处理。处6理的方法很简单：首先利用膨胀这一形态学操作拓宽边缘，然后对于这些边缘点加窗，求取窗口内高频系数绝对值之和，然后采用最大值选取原则（maximum selection）融合边缘系数。3 结果评价与分析在融合实验中，我们选用了四个评价指标来对结果进行分析，并将其简单的分成两类：一类是均方根误差和信噪比，它们需要有参考图像参加计算；另一类是边缘融合质量指标和加权融合质量指标，它们不需要有参考图像参加计算。 Gemma Piella 和 Henk Heijmans 在研究了由 Wang 和 Bovik 在15中提出的图
16、像质量指标（universal image quality index）的基础上，提出了一种客观的评价方法边缘融合质量指标 EFQI(Edge Dependent Fusion Quality Index)和 WFQI 加权融合质量指标（Weighted Fusion Quality Index）16，该方法不需要有参考图像。EFQI 定义如下：QE(a,b,f)=Qw(a,b,f)1-Qw(a,b,f),（10）其中 QE 为 EFQI，QW 为WFQI，a,b,f 分别为原始图像 a、b 和融合图像 f，a,b,f为对应的边缘图像， 为边缘图像贡献率，取值在 0 和 1 之间。越接近 1，说明评价结果受边缘图像影响越大。WFQI 定义如下：QW(a,b,f)= wWc(w)（a(w)Q0(a,f|w)+b(w)Q0(b,f|w)）,（11）c(w)=C(w)/( wWC(w
