《一种自适应学习的图像超分辨率重建算法研究》由会员分享，可在线阅读，更多相关《一种自适应学习的图像超分辨率重建算法研究（62页珍藏版）》请在金锄头文库上搜索。
1、西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 日期一型埠业 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：
2、研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印、或其它复制手段保存论文。同时本人 保证，毕业后结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技 大学。 本人签 导师签 日期望堕掏望亘 日期二Q ! ! ：圣：! 1 2 疋，则由于欠采样，将产生信号混叠，降低了图 像质量。同时，由于在每个传感器单元之间存在一定的空隙，经过光学系统后到 达这些空隙区域的信号没有被采集，这些信号也
3、不可避免地丢失了。另外，由于 传感器单元的响应区域分为截止区、线性区和饱和区，在成像过程中处于截止区 和饱和区的信号都会有所损失，这也在一定程度上影响了图像分辨率。近年来出 现了一种新颖的理论C o m p r e s s e dS e n s i n 9 1 3 1 ，称之为压缩感知理论。压缩感知 理论与传统的奈奎斯特采样定理不同，它指出，只要信号是可压缩的或在某个变 换域中是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得的高 维信号投影到一个低维空间上，然后通过求解一个最优化问题就可以从这些少量 第一章绪论 的投影中以高概率重构出原始信号，可以证明这样的投影包含了重构信号的足够
4、 信息。在该理论框架下，采样速率不决定于信号的带宽，而决定于信息在信号中 的结构和内容。 成像过程中的随机因素也会影响图像分辨率。随机因素包括成像对系统传递 函数的测量和计算存在误差、成像过程中存在于光学系统、传感器、电路系统的 噪声。在这些噪声中，传感器噪声是主要因素。传感器噪声主要有闪烁噪声、跃 迁噪声、复位噪声、热噪声、量化噪声等。 认真分析和研究这些制约因素，通过改进设计和制作工艺，可以不同程度地 提高图像分辨率。例如通过提高工艺水平、减小传感器单元尺寸、增加空域采样 率、以及改进光学系统设计、优化光学传递函数等都可以改善成像系统分辨率。 除此之外还可以利用信号处理技术，采用合理的算法
5、，来获得高于原分辨率的图 像，即超分辨率S R 技术。 超分辨率技术分为两类，一类是针对由于成像系统存在衍射极限造成的图像 分辨率降低的问题，也称为超分辨率复原技术。还有一类是从图像处理和计算机 视觉研究中发展起来的，主要针对由于欠采样导致的图像分辨率降低的问题，称 为超分辨率重建。本文主要研究后一类的超分辨率技术。对于这两类方法，它们 既有联系又有区别。两者的目标都是获得在成像过程中损失的高频信号，只是超 分辨率复原针对的是光学截止频率以上的高频信号，而超分辨率重建针对的是由 于欠采样导致的混叠于低频信号中的高频信号。 1 2 超分辨率重建研究现状及意义 最早的超分辨率重建概念是由H a r
6、 r i s 和G o o d m a n 4 , 5 J 在2 0 世纪6 0 年代提出的， 当时仅利用了一幅低分辨率图像。随后很多人对其进行研究，并相继提出了各种 复原算法，这些算法虽然可以在一定程度上提高图像的质量，但在实际中并没有 获得理想的效果。2 0 世纪8 0 年代，T s a i 和H u a n g 首次提出了基于F o u r i e r 变换域 的多幅图像的超分辨率重建算法 6 1 ，并给出了基于频域逼近的图像重建方法。此后， 随着研究的深入，许多超分辨率重建算法应运而生。早期的工作主要集中在频域 开展，但如果考虑更为一般的退化模型，在空域进行超分辨率似乎更为可行。 频域
7、算法的实质是在频率内求解图像内插问题。基于频域的重建算法主要基 于以下几个原则：( 1 ) 傅里叶变换的平移性质；( 2 ) 高分辨率图像的连续傅里叶变换 和低分辨率图像的傅里叶变换之间的频谱混叠性质；( 3 ) 假设原始图像是带限的， 并且各幅低分辨率图像是同一场景经过整体平移后，再进行理想降采样的结果。 频域算法具有理论直观、计算简单的特点。但其退化模型只能适用于全局平移运 算，且在重建模型中没有考虑点扩散函数、模糊及噪声的影响。同时，由于频域 4 自适应学习的超分辨率重建算法研究 中缺乏数据间的相关性，重建过程无法有效地引入先验约束。因此，频域方法不 再是研究的主流。 与频域方法相比，空
8、域重建算法更具有灵活性。它能够在建立的退化模型中 引入多种先验约束，如马尔科夫随机场、模糊和运动的各种先验知识等，是目前 研究最多的超分辨率重建技术，主要包括：非均匀间隔内插法、凸集投影法( P O C S ) 、 迭代反向投影法0 B P ) 、统计论方法、正则化方法和基于学习的超分辨率重建算法 等。研究比较多的是P O S C 7 , $ 】方法和M A P 9 方法，P O C S 方法的优点是可以方便 地加入先验信息，可以很好地保持高分辨率图像上的边缘和细节；缺点是解不唯 一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。M A P 方法的优 点是在解中直接加入先验约束，能确保
9、解的存在和唯一，降噪能力强、收敛稳定 性高等；缺点是收敛慢和运算量大。另外，M A P 方法的边缘保持能力不如P O C S 方法，由这类方法获得的高分辨率图像上的细节容易被平滑掉。 在此基础上，还发展了基于频域空域的超分辨率重建算法，其主要是基于小 波变换来实现的。小波变换通过分辨率在水平、垂直和对角方向上提取不同尺度 的边缘信息，能够在去噪的同时较好的保持图像的边缘结构和细节信息。如N g u y e n 等提出了基于小波变换的非均匀图像插值算法【l o 】，L i 等在小波变换框架下提出了 多幅图像的超分辨率重建算法1 1 1 1 。空域频域的超分辨率重建算法取得了较好的重 建效果，有很
10、大的发展前景。 目前，一些新的超分辨率重建算法被提出，例如，基于学习的方法是近年来 超分辨率算法研究的热点，它采用大量的高分辨率图像构造学习模型，在对低分 辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频 细节信息，获得较好的图像恢复效果。C a p e l 等【1 6 j 在B a y e s i a n 框架中使用了图像学 习模型，比传统的估计获得了更好的效果，F r e e m a n 等【1 7 】提出了一种从训练集中插 值生成高频细节的新方法。C h a n g 等【1 2 】借用流形学习理论研究邻域块与待重建块 的高低分辨率的对应关系，从而高分辨率图像块可以借
11、助这种邻域块对应关系得 到重建。后来，J i a n c h a oY a n g 等【1 3 】又引入稀疏表示理论将其发展，通过从高分辨 率图像数据集中训练得到一对高低分辨率冗余字典，认为高低分辨图像对应于高 低分辨率字典具有相同的稀疏表示系数，将输入的低分辨率图像用低分辨率字典 进行稀疏表示，得到的稀疏表示系数作用于高分辨率字典，得到高分辨率图像。 此种算法得到了很好的重建效果。 超分辨率图像重建技术因其不需改变现有的成像设备，仅通过信号处理技术 就可以提高图像的分辨率，因而具有极为重要的应用价值，可以广泛地运用于天 文、遥感、医学、商业、视频、军事侦察、安全监控等领域。 天文领域 由于地
12、基天文观测系统不可避免地受大气干扰，造成成像质量下降。但利用 5 空间飞行目 统分辨率的 以大幅度提 像设备其像 素数量是有限的，图像分辨率不会太高，因此利用超分辨率重建技术来提高图像 分辨率就显得非常重要。 医学成像 通过C T 或l V l R 得到的图像其分辨率是有限的，采用超分辨率图像重建技术 对图像进行处理，可以为医生准确地判断情况提供更多有用的信息。 公共安全领域 由于成本及技术条件限制，现在使用的摄像记录设备其分辨率和帧频不高， 同时由于成像环境的不断变化又导致了图像质量和分辨率的降低。然而，在实际 应用中常常需要对记录的图像或视频的某一段需要有高分辨率的显示效果，如车 牌、人物
13、特征、场景特征等。利用超分辨率重建技术就可以满足这种要求，为后 续的应用开发提供高质量的图像。 机器视觉领域 将超分辨率图像重建技术应用于机器视觉领域，可以提高计算机对图像的识 别能力和识别精度，提高机器的智能化水平。 以上是超分辨率图像重建技术应用的几个领域，随着研究水平的不断提高和 软件技术的不断进步，超分辨率重建技术将会在信息技术领域发挥越来越重要的 作用。 1 3 论文研究内容与组织结构 本文在稀疏表示的理论框架基础上，提出了一种基于自适应学习的超分辨率 重建算法。它将自适应稀疏表示( A d a p t i v eS p a r s eR e p r e s e n t a t i
14、o n ，A S R ) 的算法思想， 与两种局部与非局部自适应的正则化约束模型分段自回归模型( P i e c e w i s e A u t o R e g r e s s i v eM o d e l ，渊和非局部自相似模型( N o n - L o c a lS e l f - S i m i l a r i t yM o d e l ， N L S S ) 相结合，重建得到了很好的效果。对该方法中的字典学习方法以及各种基于 学习的超分辨率重建的相关算法进行了深入的研究。 论文的组织结构安排如下： 6 自适应学习的超分辨率重建算法研究 第一章为绪论，介绍了图像超分辨率重建的概念，并简要
15、介绍了超分辨重建 技术的研究现状及意义，给出了本论文的研究内容及组织结构。 第二章重点论述了超分辨重建领域的各种算法以及相关理论，并给了三种图 像的客观评价标准。 第三章提出了基于自适应稀疏表示的超分辨率重建算法。首先介绍了基于分 类的字典学习方法，然后对输入的低分辨率图像根据图像内容结构进行自适应的 稀疏表示，得到超分辨率重建的目标模型。 第四章介绍了两种用于超分辨率重建模型的自适应正则化约束，包括自适应 的分段自回归模型和非局部自相似模型，并学习了相关的理论基础，将这两种模 型结合到第三章中的自适应稀疏表示模型构成本文自适应学习的超分辨率重建算 法，更充分地利用了图像的先验知识，建立了更为
16、完善的超分辨率重建模型。 第五章给出了算法的实验仿真结果，并与几种现有算法进行比较，最后详细 讨论了模型中各参数的选择与设置以及对重建结果的影响。 第六章总结了本文的主要研究成果，并对以后的研究和发展方向进行了展望。 1 I I 第二章图像超分辨率重建算法概述 7 第二章图像超分辨率重建算法概述 图像超分辨率重建技术始于2 0 世纪6 0 年代，最初以单张影像复原的概念和 方法提出。直到8 0 年代，提出了在频域中从互有位移的低分辨率图像序列中插值 产生一帧高分辨率图像的概念，才从本质上解决了超分辨率图像复原无唯一解的 问题。超分辨率图像复原作为图像领域的一个研究热点，到目前为止已经提出了 大量的方法。图像的超分辨率复原的发展历程，大致经历了三个重要的阶段，从 最初的插值放大，到基于重建的超分辨率复原，进而发展到基于学习的超分辨率 重建方法【1 4 1 6 1 。 2 1 基于插值的方法 传统的图像插值为非模型化算法，常用于图像的放大。插值算法会自动选择 比较好的像素作为增加的像素，而非只使用邻近的像素，所以在图像放大时，图 像效果会比较
