《基于深度堆叠卷积神经网络的图像融合》由会员分享，可在线阅读，更多相关《基于深度堆叠卷积神经网络的图像融合（13页珍藏版）》请在金锄头文库上搜索。
1、书书书第 卷第 期 年 月计算机学报 收稿日期： ； 最终修改稿收到日期： 本课题得到山西省重点研发计划项目（ ） 、 山西省应用基础研究项目（ ） 和中北大学第十三届研究生科技立项（ ） 资助蔺素珍， 女， 年生， 博士， 教授， 中国计算机学会（ ）会员， 主要研究领域为图像处理、 信息融合研究 ： 韩泽， 男， 年生， 硕士研究生， 中国计算机学会（ ） 会员， 主要研究方向为数字图像处理基于深度堆叠卷积神经网络的图像融合蔺素珍韩泽（ 中北大学计算机与控制工程学院太原 ）摘要该文针对多尺度变换融合图像中普遍存在的需要依据先验知识选取滤波器， 导致融合效果存在不确定性的问题， 提出了基于深
2、度堆叠卷积神经网络的融合方法首先， 分别以高斯拉普拉斯滤波器和高斯滤波器为首层网络的初始卷积核， 将源图像分解为高频和低频图像序列； 其次， 基于 方法初始化其余层卷积核， 获得与源图像尺寸相同的高频和低频重构图像各一幅， 并将二者合成源图像的近似图像； 再以源图像和近似图像像素值之差的平方和的均值为误差函数， 进行反向传播训练形成基本神经单元； 之后， 将多个基本单元堆叠起来利用 的方式调整整个网络得到深度堆叠神经网络然后， 利用该堆叠网络分别分解测试图像对， 得到各自的高频和低频图像， 再基于局部方差取大和区域匹配度合并的规则分别融合高频和低频图像， 并将高频融合图像和低频融合图像放回最后
3、一层网络， 得到最终的融合图像实验结果表明： 与基于双树复小波变换（ ， ） 、 非下采样轮廓波变换（ ， ） 和非下采样剪切波变换（ ， ） 的融合结果相比， 用高斯拉普拉斯滤波器和高斯滤波器初始化的深度堆叠卷积神经网络融合效果主观效果好， 客观指标最优个数为 的 倍， 运行时间为 的 和 的 关键词图像融合； 深度学习； 卷积神经网络； 堆叠自动编码； 滤波器中图法分类号 犇 犗 犐号 犐 犿 犪 犵 犲 狊犉 狌 狊 犻 狅 狀犅 犪 狊 犲 犱狅 狀犇 犲 犲 狆犛 狋 犪 犮 犽犆 狅 狀 狏 狅 犾 狌 狋 犻 狅 狀 犪 犾犖 犲 狌 狉 犪 犾犖 犲 狋 狑 狅 狉 犽 （犛
4、犮 犺 狅 狅 犾 狅 犳犆 狅 犿 狆 狌 狋 犲 狉犪 狀 犱犆 狅 狀 狋 狉 狅 犾犈 狀 犵 犻 狀 犲 犲 狉 犻 狀 犵，犖 狅 狉 狋 犺犝 狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犆 犺 犻 狀 犪，犜 犪 犻 狔 狌 犪 狀 ）犃 犫 狊 狋 狉 犪 犮 狋 （ ） ， ， ， （） （ ） ， ， ， ， ， ， ， ， ， 计 算 机 学 报 （） ， ， ， ， ， ， ， ， （ ） ， （ ） （ ） （ ） ， （） ， （ ） ， （） ， （） ， （ ） （ ） ， 犓 犲 狔 狑 狅 狉 犱 狊 ； ； ； ； 引言图像融合是复杂探测系统的关键技术之一，
5、 其目的是将同一场景的多幅图像或序列探测图像合成一幅信息更完整、 全面的图像， 以便后续的图像分析、 目标识别和跟踪图像融合一般分为三个层次：像素级、 特征级、 决策级由于像素级融合能保持尽可能多的原始探测信息， 从而提供其他融合层次所不能提供的细微信息， 所以当前图像融合研究主要集中在像素级， 其中多尺度变换融合研究最为活跃从 早 期 的 离 散 小 波 变 换 （ ，）， 到系列对小波的改进如双树复小波变换（ ， ）等， 及至新近的 非 下 采 样 轮 廓 波 变 换（ ， ）和非下采样剪切波变换（ ， ）等这类方法的共同之处都是先对源图像进行多尺度分解， 得到系列高频和低频成分， 然后分
6、别对高频和低频系数基于不同融合规则进行合并， 最后对合并后的高低频图像进行逆变换， 得到最终的融合结果总体上看， 多尺度变换融合的研究热点主要集中于： （） 为防止信息丢失， 将原有的下采样改进为非下采样； （） 为获得良好的边缘轮廓等局部信息， 增加滤波方向， 从早期的三个方向， 到多个方向甚至无滤波方向限制这些改进较好地解决了原来小波变换存在的振铃效应、 移变性等问题， 使得图像融合效果得到显著改善多尺度变换融合图像的一个优势在于可对同类信息（ 高频或低频） 采用相同的合成规则， 对于一幅图像， 图像的频率直接关系到空间变化率， 低频对应于图像中缓慢变化的部分， 高频对应于图像中剧烈变化的
7、部分， 对不同类的信息采用不同的规则合成可提高信息利用率， 使融合结果更为精确但该类方法构建分解滤波器时往往采用固定滤波器组或固定初始滤波器与规定的滤波器扩充方法相结合的模式， 由于滤波器和滤波方向数对融合结果都有较大影响， 所以目前的融合研究往往需要依据先验知识选择多尺度变换方法、 滤波器、 滤波方向和分解层数， 而很多情况下先验知识的获取是困难的该问题的实质是固定模型和算法难以适应不同融合对象的融合需求鉴于深度学习在许多领域均已成功突破了固定状态模型的约束 ， 其中， 文献 利用深度支撑值学习网络融合遥感图像， 取得了较好效果，但其高频图像数依赖于网络层数， 依然需要利用先验知识选取另外，
8、 有研究将小波变换和低频自动编 期蔺素珍等：基于深度堆叠卷积神经网络的图像融合 计 算 机 学 报 码（ ， ） 相结合融合多聚焦图像也取得成功； 但未突破小波变换自身的缺陷因此，深度学习用于图像融合仍有一些探索性的工作需要做目前广为认可的深度学习模型主要有 、深度信念网络 （ ， ） 、 卷积神经网络 （ ， ）其中 属于无监督学习网络， 它能在一定误差内对信号进行编码解码， 多个 堆叠可形成堆叠自动编码器 （ ， ） ， 这 种深层网络能学习到输入信号的层次化表达， 并实现对信号的压缩与降维 是一种概率生成模型， 由多个受限玻尔兹曼机（ ， ） 组成， 在语音识别和计算机视觉中获得成功应用
9、， 但 在处理输入数据时没有考虑二维信号的空间结构， 不利于图像和视频等信号的处理 利用卷积操作代替传统神经网络的全连接， 结合时间或空间亚采样， 使得网络中自由参数个数大大减少， 从而降低了训练复杂度， 用于图像识别效果突出三者中 通过系列卷积和下采样对图像进行特征提取与抽象， 与图像通过卷积和下采样进行多尺度分解思想一致， 不同之处在于多尺度分解需要手工定义滤波器因此， 通过深度卷积神经网络学习获得滤波器组可以解决图像多尺度变换中滤波器组相对固定所带来的系列问题但存在以下问题：（） 通过卷积和下采样后最终输出的特征维度较低， 直接将该模型用于图像分解会带来信息丢失， 导致融合效果差；（）
10、传统的 提取的并非图像的高低频特征， 不利于针对性地制定融合规则；（） 一方面深度 难以训练， 另一方面浅层 的学习能力和图像分解精度难以保证；（） 通过采用类似 堆叠的操作堆叠 可解决（） 中的问题， 但堆叠单元个数太少难以保证精度， 而堆叠单元太多又会导致网络收敛困难；（） 如果对每一类图像都单独训练一个 ，虽可以提高网络的泛化能力， 但难以实现高低频融合图像的重构为此， 本文去掉 的下采样层， 基于自动编码器（ ， ） 仅利用卷积层构建网络，实现网络输出图像与输入图像相等， 解决了信息丢失的问题； 用高斯拉普拉斯滤波器和高斯滤波器分别作为高频子网和低频子网首层网络的初始卷积核， 输入图像
11、经过高频子网和低频子网后可得到高频图像和低频图像； 以 为基本单元堆叠形成深度 堆 叠 卷 积 神 经 网 络 （ ， ） 用以提高网络学习能力； 使用 方式训练可提高网络的精度、 稳定性和收敛性； 利用不同类型图像训练同一 ， 既能保证网络的泛化能力， 又方便得到最终融合结果相关工作 与深度堆叠神经网络相关工作（） 模型 由输入层、 隐含层、 输出层构成 ， 将多个 堆叠形成 ， 其基本结构如图所示输入狓犿通过第层编码得到数据的一阶特征表示犺犿， 再用该一阶特征表示作为第层自动编码器的输入， 得到二阶特征表示犺犿， 如此重复即可得到第狀阶特征表示犺狀犿 狀， 编码后的各级特征便构成了原始数据
12、的层次化描述训练 时，仅需按照单个自动编码器的训练方式逐层训练并用最后一层输出与期望值误差微调整个网络图 结构示意图（） 模型 包含输入层、 隐含层和输出层， 其隐含层多由卷积层和下采样层交替构成其中， 卷积层用来提取图像的特征， 下采样层用来精简信息一个简单的 结构如图所示， 一幅输入图像经过个卷积核操作、 激活函数以及偏置后产生 层的个特征映射图； 每个特征映射图分别经下采样得到 层特征映射图； 层特征映射图再经卷积和下采样得到 层和 层， 最终在最后一层将所有像素光栅化为列向量输入到传统神经网络（ ，） 中得到输出结果网络往往采用反向传播算法进行训练， 包括正向传播阶段和误差反向传播阶段
13、正向传播时， 输入样本从输入层传入， 依计算机学报 年 计 算 机 学 报 次经过网络的各层， 将输出结果与期望输出比较获得误差， 再将该误差传入反向传播阶段在反向传播阶段， 误差从输出层依次向前传递直至输入层， 在每一层求出当前层的误差， 利用该误差作为修改各单元权值的依据， 循环往复直到网络达到一定精度或规定的训练时间为止图 结构示意图 多尺度变换相关工作如前所述， 图像多尺度变换的方法很多， 其中目前受到广泛推崇的有 、 和 （） 小波变换是一种常用的信号处理方法， 因其存在 分 解 方 向 数 少、 振 铃 效 应、 移 变 性 等 问 题， 利用棵离散小波树并行分别进行实部和虚部运算
14、， 在两树之间恰好有一个采样间隔延迟， 即树抽取的正好是树丢掉的采样值， 这样即可在保证平移不变性的同时增加分解方向数（） 鉴于二维小波变换只能捕捉 、 和 方向信息， 无法最优表示曲线等， 只能用点去逼近， 等人提出的轮廓波变换 ，能用比小波更少的系数来表示光滑的曲线但该变换依然采用了下采样方法，仍具有移变性 由非下采样金字塔滤波器组（ ， ）和非下采样方向滤波器组（ ， ） 组成， 其过程如图所示， 输入图像首先经过 分解得到不同的频率子带， 再由 分解得到不同的方向子带图像通过犓级分解后， 产生犓个与源图像相同尺寸的子带图像， 即含有一个低频图像和犓个高频图像， 虽较好解决了移变性问题，
15、 但算法复杂运算量大图 原理图（） 是对 的进一步改进 虽然也包括频率分解和方向分解两部分， 但分解得到不同的频率子带后， 用剪切波滤波器代替轮廓波滤波器对子带进行方向分解， 其优点是没有方向数目和支撑基尺寸大小的限制且计算效率高基于犇 犛 犆 犖 犖的图像融合方法 总体思路本文的总体思路如图所示图总体思路图（） 采用反向传播算法训练基本单元（） 将多个训练好的基本单元堆叠起来构成 ， 利用 的方式微调整个网络的参数（） 将待融合图像、分别经过同一 分解为各自的高频图像和低频图像（） 对、高频和低频图像采用相应的融合规则进行融合， 得到融合后的高频和低频图像 期蔺素珍等：基于深度堆叠卷积神经网
16、络的图像融合 计 算 机 学 报 （） 将（） 中的结果放回 进行重构， 得到最终的融合图像 犇 犛 犆 犖 犖的构建与训练 的结构 由多个基本单元堆叠而成， 基本单元由高频、 低频子网构成， 高频、 低频子网又分别由个卷积层构成， 其中： 第层对输入信息进行限制； 第层对信息进行组合； 第层再将这些信息合并为一幅高频、 低频图像其结构如图所示， 构建方法如下：图基本单元结构图（） 层特征映射图犐 获得方法如下：犐犻犳（犻狓犻）（）式中，表示卷积操作，犳为激活函数，犻为第犻个卷积核，犻， ，狀 ，狀为 层特征映射图的个数，犻表示偏置同理可得 层特征映射图犐 （） 层特征映射图犐 获得方法如下：
17、犐犼 犳狀犻犐犻 （）犼（）式中，犐犼 为犐 的第犼（犼， ，狀 ） 个结果，狀为 层特征映射图的个数，犼表示第犼个偏置同理可得到 层特征映射图犐 （） 用犐 替代式（） 中的犐 即可得到高频图像犐 同理可得低频图像犐 （） 高频图像犐 和低频图像犐 再经过卷积得到重构图像狔 的训练 的训练包括基本单元训练和堆叠网络训练（） 基本单元训练犡层到 层的卷积核初始化为高斯拉普拉斯滤波器，犡层到 层的卷积核初始化为高斯滤波器其余卷积核使用 方法 初始化将网络所有的偏置初始化为采用无监督方式训练基本单元， 输入训练数据狓狊，狔狊犖狊， 其中狔狊狓狊， 设网络的输出为狕狊， 由于常用的平方差作为目标函数
18、会导致损失计算结果过大， 影响网络的稳定性， 因此定义目标函数：（犠，）犖犿 狀犖狊犿狌狀狏（狕犻 狌 狏狓犻 狌 狏）（）式中，犠表示卷积核，表示偏置，犖表示训练集的大小，狊表示当前训练样本，犿和狀为单幅图像的尺寸，狕犻 狌 狏表示当前样本输出结果一个点的值， 该式将总误差平均到每个像素点后值较小， 便于训练然后通过反向传播算法对网络进行训练（） 堆叠网络训练将多个训练好的基本单元首尾相接组成堆叠网络再用和基本单元相同的数据集和目标函数采用 的方式同时调整整个网络， 最终得到堆叠卷积神经网络 经过上述训练后可以将图像分解为高频和低频图像并在误差允许的范围内重构， 图为堆叠数为时的 过程示意图
19、其中， 实际卷积核大小为， 为便于观察， 图（） 和（） 分别给出高频子网和低频子网首层网络个卷积核放大 倍的可视化结果，幅图像中第幅为卷积核的初始状态（个卷积核相同） ， 其余幅为训练结束时个卷积核的状态； 图（） 、 （） 分别是输入 图像时图（） 和（） 对应的操作结果计算机学报 年 计 算 机 学 报 图堆叠个数为的 的分解图 基于犇 犛 犆 犖 犖融合图像基于 融合图像的网络结构如图所示， 过程具体如下：图基于 融合图像的网络结构图（） 输入源图像犃和犅， 经已训练好的 得到高频图像犃 、犅 和低频图像犃 、犅 （） 融合高频图像图像的高频信息主要与边缘轮廓等灰度突变之处相对应为了选
20、取更“ 亮” 的像素点构成边缘， 多数研究都采用对应系数取大的高频融合规则由于人眼对局部信息更为敏感， 所以， 依据局部参量确定融合规则更符合人的视觉特性而衡量局部信息丰富程度的常见指标有局部方差、 局部熵、 局部粗糙度等， 其值越大说明局部信息越丰富其中， 局部方差最为简单常用， 其值越大说明该区域内目标的边缘、细节越丰富， 因此选择局部方差取大作为融合准则：犉 （狓，狔）犃 （狓，狔） ，犃 （狓，狔）犅 （狓，狔）犅 （狓，狔） ，烅烄烆其他（）式中，（狓，狔） 表示点（狓，狔） 的局部方差（） 融合低频图像常见的低频融合规则有基于灰度值或局部参量的加权平均、 取大等考虑到局部能量可以反
21、应目标的局部显著程度， 其值越大， 目标越突出； 而局部匹配度可衡量待融合图像的局部相似水平， 所以， 结合二者可自适应确定权重系数具体方法如下：低频图像犃 （狓，狔） 的局部能量定义为犈犃 （狓，狔）犙狇犙犘狆犘犃 （狓狆，狔狇） （）式中，犘、犙控制点（狓，狔） 局部窗口的大小，犃 （狓狆，狔狇） 表示犃 在点（狓狆，狔狇） 的值同理可得犅 的局部区域能量犈犅 （狓，狔）低频图像犃 （狓，狔） 和犅 （狓，狔） 所对应区域的匹配度为犕犃 犅（狓，狔）犙狇犙犘犿犘犃 （狓狆，狔狇）犅 （狓狆，狔狇）犈犃 （狓，狔）犈犅 （狓，狔）（）该匹配度反映了犃 和犅 间的相关性， 若对应区域内犃 犅
22、， 则犕犃 犅（狓，狔）， 此时该区域内信息匹配度最高基于显著性度量和匹配度融合低频图像设为匹配度的阈值，犕犃 犅（狓，狔）表明对应区域的差异较大， 宜采用取大的合并规则， 如式（） 所示否则， 若犕犃 犅（狓，狔）， 表明二者差异较小， 则采用自适应加权平均， 其方法如式（） 所示犉 （狓，狔）犃 （狓，狔） ，犈犃 （狓，狔）犈犅 （狓，狔）犅 （狓，狔） ，烅烄烆其他（）犉 （狓，狔）犔犃 （狓，狔）犛犅 （狓，狔） ，犈 （狓，狔）犈犅 （狓，狔）犛犃 （狓，狔）犔犅 （狓，狔） ，烅烄烆其他（）式中，犔和犛分别表示较大权重和较小权重， 且犔犕犃 犅（狓，狔）（）（）犛犔（ ）将犉 和
23、犉 放回网络， 得到融合结果犉实验结果与分析 参数影响与选择影响图像融合效果的因素主要有网络学习能力和融合规则两部分其中， 影响网络学习能力的因素主要有训练采用的数据集， 卷积核的初始化， 基本单元每层卷积核的个数狀、狀， 学习率， 堆叠基本单元个数， 激活函数犳； 而融合规则部分的参数包括高频方差取大时的窗口大小、 匹配度阈值、 计算局部能 期蔺素珍等：基于深度堆叠卷积神经网络的图像融合 计 算 机 学 报 量的窗口大小（） 数据集的影响与选择图像融合的对象包括多波段图像、 多模态图像等为了使网络能对不同类型图像有泛化能力， 本文的训练集由可见光图像、 红外图像和医学图像（ ） 组成， 其中
24、可见光图像随机抽取自 的 数据集（ 张， 全部转换为灰度图像） ， 红外图像来源于 图像融合数据集共 张， 医学图像来源于 共 张试验训练集总规模为 ， 经过随机排序， 大小取 为了方便训练， 将图像均裁切缩放至 大小并且归一化另外抽取验证集图像 张， 各类型图像所占比例与训练集相同（） 卷积核初始化的影响与选择采用 方法初始化卷积核有助于提高网络的稳定性和泛化能力， 但仅用该方法初始化的网络并不能对图像分类分解， 因此为了保证网络能分别获得高频和低频信息， 本文分别用高斯拉普拉斯滤波器和高斯滤波器初始化高频和低频子网的首层滤波器图为两种不同初始化对网络训练的影响从图可看出： 本文方法与各层均
25、用 初始图不同初始化对网络训练的影响化相比， 无论堆叠网络与否， 二者误差下降都较稳定， 尽管本文最终误差略大于 初始化方法， 但能对图像分解信息分类， 更利于后续融合处理（） 基本单元卷积核个数的影响与选择通常卷积核越多， 网络的适应能力越强， 越便于图像特征提取， 但 已经去掉了下采样层， 每个卷积核的输出都和输入尺寸相同， 过多的卷积核会造成内存占用和计算量增加， 所以在保证特征提取精度的前提下卷积核应尽可能少图为基本单元卷积核 个数取不同值的训练结果， 图例中的两位阿拉伯数图 卷积核个数对网络训练的影响计算机学报 年 计 算 机 学 报 字依次分别表示狀和狀的取值从图中可以看到当狀狀时
26、网络误差整体下降较稳定， 且狀狀时， 最终误差最小因此网络的规模取狀狀（） 学习率的影响与选择学习率影响对网络训练速度和稳定性也有较大影响学习率太高会导致网络难以收敛， 过低会导致网络训练速度下降训练基本单元时， 网络误差较大， 网络层数较浅， 取较大学习率有助于提高网络训练速度， 学习率取 ； 当误差稳定时， 将多个训练好的基本单元堆叠起来训练整个堆叠网络， 随着堆叠个数增加， 训练难度逐渐增大， 为此， 需要降低学习率才能获得理想的训练结果图 为堆叠个数为时不同学 习率对训练的 影 响， 显 然 学 习 率 越 大（ ） 越不稳定， 最终误差也越大， 所以， 本文选择学习率为 图 不同学习
27、率对 训练的影响（） 堆叠个数的影响与选择网络堆叠的作用是提高对图像分解的精度通常认为在相同误差条件下， 堆叠个数越多， 网络对图像的分解就越精细 图 （） 为堆叠个数不同时网络的误差， 显然， 堆叠个数增至时， 网络误差下降也较稳定但实验表明随着堆叠个数的增多 对边缘等细节的重构能力变差， 在一些细节处出现了伪边缘图 （） 、 （） 、 （） 依次为堆叠个数为、时， 均训练至误差稳定时的高频图像、 低频图像和重构图像可以看出在高频图像右上角矩形对应区域， 堆叠个数为最为清晰， 堆叠个数为最模糊， 但重构图像的虚线框对应位置，堆叠个数为时在帽子等区域出现伪边缘三者的差异如表所示总体看， 堆叠个
28、数为时无论图像的重构效果和还是训练时间都较为理想， 所以选择堆叠个数为图 基本单元的个数对分解结果的影响表堆叠个数对网络训练结果的影响图号堆叠单元个数训练迭代次数验证误差网络分解及重构结果的清晰程度高频图像低频图像重构图像 （） 小差好中 （） 中好中好 （） 大好差差（） 激活函数的影响与选择激活函数是影响网络学习能力和训练速度的另一个重要因素常用的激活函数有 、 、 等， 尽管 函数被证明更有利于网络训练， 但它的输出是无限的， 将输出转换为图像时会存在误差 和 的输出都是封闭的， 但 相比 函数不容易饱和， 利于训练所以， 本网络选 作为激活函数（） 其他参数的影响与选择其他参数包括高频
29、融合局部方差窗口的大小，低频融合局部能量窗口大小和匹配度局部窗口的大小通常选择、等， 窗口越大越不利于局部信息描述， 窗口太小又难以体现局部特征， 折中考虑， 本文局部窗口大小均选匹配度阈值越大， 信息被归为匹配的概率越低， 用显著度来决定融合结果的信息越多， 根据试验取 期蔺素珍等：基于深度堆叠卷积神经网络的图像融合 计 算 机 学 报 实验结果与分析融合图像来自 和 并经过严格配准， 图 图 给出了组实验图像中组的融合结果为便于比较， 这里与新近文献报道中普遍推荐的 ， 、 ，和 ，进行了比较由于融合规则对融合结果有明显影响，文献 对比了 、 等在不同分解等级和不同滤波器情况下采用“ 高频
30、绝对值取大、 低频平均” 融合规则的融合结果， 所以， 本文给出这一规则下的融合结果（ ） 比较同时， 为比较卷积核不同初始化的影响， 还给出了“ 高频局部方差取大， 低频基于区域匹配度合并” 规则下， 本文方法（ ） 和深度堆叠且全部采用 初始化方法（ ） 的融合结果图 图像的融合结果图 图像的融合结果图 图像的融合结果计算机学报 年 计 算 机 学 报 图 图像的融合结果 和 分解层数都为， 各 层 的 分解方向数分别为， ， ， ， ， ； 滤波器分别为 “ ” 和 “ ” ； 分 解 层数也为， 第层分解滤波器选择“” ， 其余层选择“ ”图 图 依次为两组可见光和红外图像（ ， ）
31、融合结果、 一组双色中波红外图像（ ， ） 融合结果和一组医学图像（ ）融合结果每组的 幅图像依次为两幅源图像、 （ ） 融合结果、 （ ） 融合结果、 （ ） 融合结果、 融合结果（ ） 、 融 合 结 果、 融 合 结 果、 （ ） 融合结果、 本文的融合结果在四组融合结果中， 总体上种方法都较好地综合了源图像的差异信息但与多尺度变换方法相比， 图 中 热目标更清楚一些， 如虚线框内的人对比度更大， 且边缘更为清晰干净， 所以更便于进行目标识别； 图 中 、 和 融合 结 果 中的人、 建筑物 边 缘 等 存 在 光 晕 现 象， 融合结果边界更清晰； 图 中 的车灯周围不存在伪影； 图
32、中 纹理更清晰一些 结果优于多尺度方法是因为它使用的滤波器个数更多， 并且这些滤波器经过大量样本学习后更具有适应性而与 和 的融合结果相比， 本文的融合结果均具有更高的对比度和清晰度由于人的主观观察存在差异性， 下面通过文献当中常用的客观指标来衡量融合方法的优劣考虑到图像融合的目的无外乎包括综合源图像差异信息、 提高清晰度和改善视觉观感质量三个方面由于目前并无统一标准可衡量像质， 所以， 这里选择以下三类指标对融合结果进行评价： 一类是描述图像信息丰富程度 的 标 准 差 （ ， ） 、 信 息 熵（ ，） 和互信息（ ， ） ；第二类是衡量图像清晰程度的对比度（ ，） 、 平均梯度（ ，）
33、和空间频率（ ， ） ； 第三类是反映视觉观感质量的通 用 图 像 质 量 指 标 （ ， ）这些指标均为值越大图像的融合效果越好 需要说明的是， 通用图像质量指标需要与理想参考图像比较， 而理想参考图像获取困难， 所以， 本文采用与两幅源图像分别相比再求平均的方法来比较另外， 还给出了算法的融合时间具体结果见表从表可以看出： 融合结果在八组图像指标中最优的有项， 的融合结果在八组图有项； 而 在八组图像指标中最优的有项； 而本文方法在八组图像指标中最优的 项在目标自动识别中， 融合速度是另一个重要指标， 的运行时间最短， 本文方法次之， 而 最慢 期蔺素珍等：基于深度堆叠卷积神经网络的图像融
34、合 计 算 机 学 报 表融合结果评价指标比较图像编号图像编号图像尺寸融合方法 时间可见光和红外图像 本文方法 本文方法 本文方法 双色中波红外图像 本文方法 本文方法 本文方法 医学图像 本文方法 本文方法 计算机学报 年 计 算 机 学 报 综合以上结果可以看出在“ 高频绝对值取大、 低频加权平均” 融合规则下 的平均指标除了互信息外均优于 、 和 ， 进一步对融合规则改进后的本文方法无论主观观察还是客观指标均有更大改观本实验硬件平台为： 为 ，主频 ； 内存 ； 为 软件平台： 操作系统为 旗舰版； 版本为 ； 训练环境为 ； 版本为 而图像融合均在 环境下运行结论综上所述， 本文提出的
35、深度堆叠神经网络融合方法包括三部分： （） 去掉传统卷积神经网络的下采样层， 用高斯拉普拉斯滤波器和高斯滤波器初始化首层网络卷积核， 基于 方法初始化其余层卷积核， 构建了基本单元， 并使用反向传播算法训练基本单元； （） 将多个基本单元采用 思想堆叠起来训练得到深度堆叠神经网络； （） 利用该堆叠网络分别分解输入图像， 得到各自的高频和低频图像， 分别利用局部方差取大和区域匹配度合并两个规则融合高频和低频图像， 并将高频融合图像和低频融合图像放回最后一层网络， 得到最终的融合图像本方法可以对图像进行自适应分解和重构， 融合时只需高频和低频图像各一幅， 不需要人工定义滤波器个数和类型， 也不需
36、要选择图像的分解层数和滤波方向数， 可以极大改善融合算法对先验知识的依赖性多组实验结果均表明， 本方法与融合性能优越的 、 和 相比， 融合效果整体更好， 同时， 融合速度尽管不如 ， 但比三者中融合质量较好的 和 快很多需要指出的是本方法尽管可以对图像自适应分解和重构，但融合规则依然需要人工定义， 为此下一步将重点改进融合规则以实现自适应融合参考文献 ， ， ， ： ， ， ： ， ， ， ， （） ： ， ， ， ， ，（） ： ， ， ， ， ： ， ， ， ， （） ： ， ， ， ， （） ： ， ， ， ： ， ， ： ， ， ， ， ， （） ： （ ）（ 李红，刘芳，杨淑媛等基
37、于深度支撑值学习网络的遥感图像融合计算机学报， ， （） ： ） ， ， （ ） ， ， （） ： （ ）（ 刘帆，陈泽华，柴晶一种基于深度神经网络模型的多聚焦图像融合方法山东大学学报（ 工学版） ， ， （） ： ） ， ， ， ， ， ： ， ， ， ， ， ， ： ， ， ， ， ， ： ， ， ， ， ： ， ， ， ， ， ： ， ， ， ： ， ， （） ： （ ）（ 焦李成，杨淑媛，刘芳等神经网络七十年： 回顾与展望计算机学报， ， （） ： ） 期蔺素珍等：基于深度堆叠卷积神经网络的图像融合 计 算 机 学 报 ， ， ，： ， ： ， ， （ ） ： ， ， ， ： ， ， ： ， ， ， ， ， （） ： ： ， ， ： ， ， ， ， ， ： ， ， ， ： ， ， ， ， ， ： ， ， ， ， ， （） ： ， ， ，： 犔 犐 犖犛 狌 犣 犺 犲 狀， ， ， 犎 犃 犖犣 犲， ， 犅 犪 犮 犽 犵 狉 狅 狌 狀 犱 ， ， ， （ ） ， （ ） ， （ ） ， 计算机学报 年 计 算 机 学 报
