《基于Directionlet域HMT模型与遗传算法的图像融合》由会员分享，可在线阅读，更多相关《基于Directionlet域HMT模型与遗传算法的图像融合（50页珍藏版）》请在金锄头文库上搜索。
1、基于Directionlet域HMT模型与遗传算法的图像融合,2013.01.17,报告内容,图像融合的概念 经典的图像融合方法及其仿真结果与分析 基于Directionlet域HMT模型与遗传算法的图像融合 总结与展望,图像传感器,近年来，随着微电子技术、嵌入式计算和通信技术的飞速发展使得传感器性能不断提高，面向各种复杂应用的军用和民用传感器系统大量涌现。,常见的图像传感器及其性能特点,课题的来源,在上述这些多传感器系统中，信息表现形式的多样性，信息容量、处理速度的要求等都大大超出了人脑的信息综合能力。 由于同一目标的不同类型的传感器信息之间存在一定的冗余性和互补性，如何从采集的数据中提取出
2、更丰富、更可靠、更精确的信息成为当前面临的新问题，于是，便产生了图像融合技术。,图像融合的概念,图像融合就是将来自不同传感器的同一场景的图像的优势或者互补信息结合起来产生一幅更精确、更可靠、更全面的图像的技术。,图像融合的优势及应用,图像融合技术的优势表现在：扩大了传感器的成像范围；综合了各个传感器的成像优势；提高了获取信息的准确率；具有良好的容错性和鲁棒性。 因此，被广泛应用于目标识别、计算机视觉、遥感、医学图像处理以及军事应用等领域。,报告内容,图像融合的概念 经典的图像融合方法及其仿真结果与分析,经典的图像融合方法,图像融合方法大致分为：基于空域的图像融合方法和基于变换域的图像融合方法。
3、 基于空域的图像融合方法主要有：加权平均的图像融合方法，基于区域特征的图像融合方法等。,基于空域的图像融合方法仿真实验一,(a) 左聚焦图像,(b) 右聚焦图像,(a) 加权平均,(b) 区域标准差,(c) 区域能量,基于空域的图像融合方法仿真实验二,(a) CT图像,(b) MRI图像,(a) 加权平均,(b) 区域标准差,(c) 区域能量,基于变换域的图像融合方法,基于变换域的图像方法主要有：HIS变换方法，主分量分析方法，金字塔方法以及小波变换方法等。,基于变换域的图像融合方法的步骤,基于变换域的图像融合方法仿真实验一,(a) 多光谱图像,(b) 全色图像,(d) PCA变换,(e) 金
4、字塔变换,(f) 小波变换,(c) HIS变换,基于变换域的图像融合方法仿真实验二,(a) 多光谱图像,(b) 全色图像,(d) PCA变换,(e) 金字塔变换,(f) 小波变换,(c) HIS变换,实验结果分析,可以看出，上述图像融合方法均能获得优于源图像的融合结果，但是融合效果却不尽理想，仍然存在一些不足。,上述图像融合方法的不足,加权平均融合方法降低了图像的对比度。 基于HIS变换的方法会使融合图像的光谱特性发生扭曲，产生光谱退化现象。 基于主分量分析的方法要求被替换和替换的数据之间有较强的相关性，通常情况下，这种条件并不成立。 基于金字塔变换的方法会产生大量的冗余信息，导致融合过程的计
5、算量增大；另外就是图像的金字塔变换方向有限。 标准的二维小波变换是各向同性的，不能有效扑捉图像中的各向异性特征；由一维小波生成的可分离小波变换方向有限，其基函数只有水平、垂直和对角方向。,上述图像融合方法的不足,除此之外，上述方法中融合规则的选择主要针对的是单个像素或者同尺度某个领域内的像素，虽然也能够得到细节丰富，纹理清晰的融合图像，但整幅图像看起来不太光滑，视觉效果较差。,报告内容,图像融合的概念 经典的图像融合方法及其仿真结果与分析 基于Directionlet域HMT模型与遗传算法的图像融合,基于Directionlet域HMT模型与遗传算法的图像融合,图像的Directionlet域
6、HMT模型 基于Directionlet域HMT模型与遗传算法的多源图像融合 实验结果与分析 基于HIS和Directionlet域HMT模型的多光谱与全色图像融合 实验结果与分析,图像的Directionlet变换,Directionlet变换采用基于整数格的多方向各向异性基函数，滤波器设计源于二维小波变换，具有可分离滤波和临界采样结构，且能够完全重构，是一种新的多分辨分析工具，是比小波变换更优越的图像表示方法。,Directionlet系数的GMM模型,研究发现，图像的Directionlet系数具有非高斯性和持续性的统计特性。通常图像的Directionlet系数呈现稀疏性分布：大部分系
7、数的幅值较小，只有少部分系数的幅值较大。将每个系数与一个离散状态变量相关联，那么这个状态变量只有两种可能性，要么处于“大”状态，要么处于“小”状态。Directionlet系数的每一种状态都对应一个PDF，那么每个Directionlet系数变量的PDF的这种非高斯分布可以通过一个两状态的高斯混合模型(GMM)来表示。该模型由每一系数对应状态的概率质量函数和以及每一状态对应的高斯PDF的均值( )和方差( )组成。,Directionlet系数状态间的马尔可夫依赖性,Directionlet系数的状态在尺度间存在着一种马尔可夫依赖性：某一Directionlet系数的状态为 “大”或“小”直接
8、受它的父节点状态的影响。这种传递能力可通过HMT模型中父子节点状态间的概率转移得到，从而使尺度间Directionlet系数的延续性得到有效的建模。 右图为S-AWT(2,1)分解结构示意图(三层分解)，其高频同一尺度系数间具有马尔可夫依赖性。,Directionlet域HMT模型,将Directionlet系数的GMM与其尺度系数间的马尔可夫传递性结合起来，就形成了Directionlet域HMT模型。,Directionlet域HMT模型参数,用一个2状态的GMM对Directionlet系数建模，其HMT模型参数集为：,Directionlet域HMT模型参数训练流程图,遗传算法,遗传算
9、法(GA)是模拟自然选择和遗传的随机搜索算法，是问题求解和最优化的有效工具。本文采用基于遗传算法的低频系数融合规则，即通过遗传算法来求得最优的低频加权系数。 在基于遗传算法的融合规则中，适应度函数可以根据实际的图像融合目的来选择。本文选择图像的信息熵作为适应度函数。,基于Directionlet域HMT模型与遗传算法的多源图像融合,为了利用Directionlet系数的统计特性来扑捉不同尺度Directionlet系数之间的相关性，提出了基于Directionlet域HMT模型与遗传算法的图像融合。,基于Directionlet域HMT模型与遗传算法的图像融合算法步骤,实验一,(a) 左聚焦图
10、像,(b) 右聚焦图像,(f) 本文方法的结果,(c) 参考图像,(d) 小波变换方法的结果,(e) 小波域HMT模型与遗传算法的结果,实验二,(a) 传感器1图像,(b) 传感器2图像,(e) 小波域HMT模型与遗传算法的结果,(f) 本文方法的结果,(d) 小波变换方法的结果,实验三,(a) 光学相机时刻1图像,(b) 光学相机时刻2图像,(e) 小波域HMT模型与遗传算法的结果,(f) 本文方法的结果,(d) 小波变换方法的结果,实验四,(a) 传感器1图像,(b) 传感器2图像,(e) 小波域HMT模型与遗传算法的结果,(f) 本文方法的结果,(d) 小波变换方法的结果,实验五,(a)
11、 传感器1图像,(b) 传感器2图像,(e) 小波域HMT模型与遗传算法的结果,(f) 本文方法的结果,(d) 小波变换方法的结果,实验六,(a) 光学相机时刻1图像,(b) 光学相机时刻2图像,(e) 小波域HMT模型与遗传算法的结果,(f) 本文方法的结果,(d) 小波变换方法的结果,实验结果客观指标,实验结果评价主观评价,首先，从视觉效果上对上述实验结果进行主观评判，可以看出本文融合方法的结果能更好的满足人眼对图像的视觉感受，融合图像在边缘和细节保持上较好，整幅图像看起来比较清晰，目标场景比较真实，这说明本文方法的融合图像较多的保留了源图像的细节信息，更好的结合了源图像各自的优势信息，且
12、较少的引入了模糊。,实验结果评价客观评价,从客观评价指标可以看出，本文方法所得的融合图像，尽管个别客观评价指标不是最优的，但是大多数评价指标均优于小波变换方法的结果，特别是在一些评价指标上优势比较明显，说明本文方法的融合图像从源图像中提取了更多的优势信息，融合图像包含更丰富的信息，融合图像质量更优。,基于HIS和Directionlet域HMT模型的多光谱与全色图像融合,基于HIS变换的图像融合方法可以有效地提高融合图像的纹理细节特征，因此被广泛用于多光谱与全色图像的融合，但缺点是会导致融合图像产生不同程度的光谱畸变。为了在提高多光谱图像细节信息的同时尽可能地保持其光谱特性，本文提出一种基于H
13、IS和Directionlet域HMT模型的多光谱与全色图像融合方法。,基于HIS和Directionlet域HMT模型的多光谱与全色图像融合算法步骤,实验一,(a) 多光谱图像,(b) 全色图像,(d) 小波变换方法的结果,(e)基于HIS与小波域HMT模型的融合结果,(f) 本文方法的结果,(c) HIS变换方法的结果,(a) 多光谱图像,(b) 全色图像,(d) 小波变换方法的结果,(e)基于HIS与小波域HMT模型的融合结果,(f) 本文方法的结果,(c) HIS变换方法的结果,实验二,实验结果客观指标,实验结果评价,从客观指标数值来看，本文方法融合结果的大多数客观指标都优于基于HIS
14、和小波域HMT模型方法的融合结果，说明本文方法在提高融合图像细节信息的同时更好的保持了多光谱图像的光谱信息。,报告内容,图像融合的概念 经典的图像融合方法及其仿真结果与分析 基于Directionlet域HMT模型与遗传算法的图像融合 总结与展望,总结,本论文以Directionlet变换为工具，并与隐马尔可夫树模型相结合，针对不同类型的图像问题提出了改进的图像融合方法，虽然取得了一定的研究成果，但是要想使图像融合发挥出更大的潜力，还有许多问题有待进一步研究。,展望,通用融合规则的研究 客观评价指标 复杂图像预处理的研究 具有抗噪性能的图像融合算法的研究 将图像融合算法与硬件相结合，实现实时 的图像融合功能有待进一步研究,主要参考文献,攻读硕士学位期间的科研成果,The end Thanks for your attentions！,
