《低质量监控视频人脸超分辨率》由会员分享，可在线阅读，更多相关《低质量监控视频人脸超分辨率（5页珍藏版）》请在金锄头文库上搜索。
1、选自：低质量监控视频人脸超分辨率从观测到的低分辨率图像推测合成高分辨率图像是一个典型的病态求逆问题。现有的超分辨率算法试图用不同的方法来解决这个病态问题，超分辨率算法按照技术手段可以分成三类:基于重建的超分辨率算法 、基于插值的超分辨算法 、基于学习的超分辨率算法。基于重建的图像超分辨方法 需要从同一场景的多帧低分辨率图像中恢复出高分辨率图像。需要对输入的多帧图像进行配准，然后通过多帧信息将低分辨率图像中的像素点安排到高分辨率图像的网格中去，从而实现对低分辨率图像的分辨率增强。基于重建的超分辨方法受到配准精度、降质模型误差和信号噪声的影响，从而导致其重建高分辨率图像的能力受到限制。相关文献己经
2、证明在一般情况下，基于重建的超分辨率算法有效的放大倍数仅为 1.6 倍。但是基于重建的超分辨率算法有较好的信号还原能力，在图像配准精度较高的遥感图像领域应用范围广泛，取得了良好的重建效果。基于插值的超分辨率重建 的核心思想是将低分辨率图像安排在高分辨率图像的网格，利用邻近插值点像素点计算待插值点的像索值，这类方法的计算复杂度低，容易实现，己经成为应用最为广泛的超分辨率算法。但是，基于插值的方法对噪声比较敏感，对于图像的边缘部分的处理存在过一平滑现象，特别在放大倍数比较大的情况下，难以取得理想的效果。基于学习的超分辨率算法 ，这类方法通过样木库中的先验知识来约束重建过程，将机器学习与统计学习的理
3、论和方法借鉴到超分辨率算法中去，样本的先验给重建提供了更多的信息来源，从而提升了超分辨率重建的主客观质量。近年来由于其良好的重建效果而受到了广泛的关注，成为图像超分辨率研究的热点方向。选自：多帧影像超分辨率复原重建关键技术研究对于多帧影像超分辨率复原重建，根据算法对数据的处理方式一般可分为频域法和空域法两大类算法。早期的基于傅立叶频谱的方法和后来发展的基于 DCT 域、小波域等变换域的方法都可以归为频域法这一类。空域法主要指在直接在空间域对数据进行处理的方法，这一大类方法很多，如 2.1.1 节所述，主要有非均匀插值法、IBP 方法、基于集合论的方法、基于概率理论的方法、自适应滤波方法、基于
4、Delaunay 三角网的方法、正则化的方法等。选自：混合图像超分辨率重建算法研究在图像处理领域，如何提高图像的视觉效果或者分辨率一直是学者们研究的一个方向。常用的方法包括在理论以及实际应用方面都比较成熟的图像恢复(image restoration)和图像重建(image reconstruction)技术。它们可以完成图像的去噪、去模糊以及增强图像的视觉效果。但是，处理后的图像要么是依据先验知识重新找回了损失的信息，要么突显了已有的信息，实质上并没有增加新的信息，图像的分辨率并没有提高。另外，人们有时通过图像内插(interpolation) 的方法增加图像的大小或者尺寸，以便提高视觉效果
5、。但是图像内插一般需要选定插值核(interpolation kernel)，这实际上就是假设了原有像素与新像素之间的数学关系。如果假设与实际图像一致，插值的效果就比较好;如果实际图像与假设不一致，插值结果就会出现失真。由于图像像素之间的关系是事先无法准确预知的，因此用图像插值提高图像分辨率有较大局限性。与图像恢复、图像重建以及图像插值不同，图像超分辨率重建能够给处理后的图像增加新的信息，不但体现在分辨率的提高上，而且视觉效果也令人满意。图像超分辨率重建的最初思想是由多帧已经获取的低分辨率(low resolution, LR)图像来重新构造一帧或多帧高分辨率(high resolution,
6、 HR)图像。它在不改变成像系统硬件设备的情况下，用软件方法提高输出图像的分辨率。其实质是将相互之间具有差异的多帧低分辨率图像的信息集合起来，构建一幅新的高分辨率图像。首先在频率域进行多帧图像超分辨率重建的是 Tsai 和 Huang，他们通过推导数学公式，表明了低分辨图像之间的位移关系以及低分辨图像与期望得到的分辨率图像之间的关系。由于这个算法是基于频域分析的，理论上简洁明了;而此算法便于并行处理，降低了系统复杂度。频域算法的不足之处在于推导出的关系式仅适用于全局平移以及线性模糊模型。将频率域推广到变换域，例如利用小波变换(wavelet) , contourlet 变换等，同样可以进行图像
7、超分辨率重建。与变换域算法相对应，也可以直接在空间域处理图像超分辨率重建问题，这就是非均匀样点内插方法(non-uniform interpolation)。这类算法最为直观，容易理解，实现起来比较简便; 它们通常包含图像配准、图像融合以及去模糊、去噪三大步骤。这三步可以依次完成，也可以俩俩组合完成。非均匀样点内插方法是图像超分辨率重建问题的基本算法，经常被拿来与其它算法进行对比。如果将图像看成是随机信号，那么从概率统计理论的角度理解，以贝叶斯( Bayesian)原理作为框架，用理想图像的先验信息作为约束条件，可以构建出最大后验概率估计器(maximum a posteriori possi
8、bility, MAP )和最大似然估计器(maximum likelihood, ML ) 。进一步讲，如果将图像看成是随机场，如马尔科夫随机场(Markov random field, MRF)，则随机场的先验知识就可以做为约束条件加入到重建过程中，进一步提高结果图像的质量。通常而言，偏微分方程组(partial differential equations, PDE)比较适合图像处理，主要原因是:(1)许多变分问题或其正则化的逼近都可以用 Eider-Lagrange 方程组来计算;(2)偏微分方程组可以有效地描述、建模和仿真许多动态的及平衡态的现象，这就包括了图像的几何特征。基于偏微分
9、方程组的图像超分辨率重建算法能够约束图像边界的连续性并且重建合适的尖锐图像边界。这些对保证重建图像的质量非常重要。另外 Irani 等人借鉴医学图像领域常用的后向投影方法，并引入迭代的概念，提出了后向投影迭代算法(iterative back proj ection, IBP ) 。这个算法的优点是直观，便于理解和实现。不足之处是不便添加图像的先验知识作为约束条件，而且收敛的结果可能不唯一。尽管如此，后向投影迭代算法仍然得到了广泛认可和应用。在遥感图像处理领域，神经网络(neural network)技术通过使网络的能量函数最小化来提取图像序列内亚像素级别的共同特征，这就相当于获得了超过原始图
10、像分辨率的目标辨识和分类能力。因此，基于神经网络的图像超分辨率技术被经常用于冰图绘制，云层移动估计和洋流跟踪等遥感图像领域。从数学角度讲，图像超分辨率重建算法的研究对象是一个病态的反问题，其解可能不存在或者即使存在也不唯一。而 Tikhonov 等人提出的关于病态问题的解法，也适用于解决图像超分辨率重建问题。于是，一些先验知识通过正则化约束条件被用于求解图像超分辨率问题，这就是正则化图像超分辨率算法。另外一方面，前面叙述的问题都是针对具有多幅低分辨率图像情况，通常称为多帧图像超分辨率重建。然而，在某些特殊情况下，获取的低分辨率图像的数目可能不多，甚至只有一张。那么在这种情况下，就是一类新的问题
11、，称为 单帧图像超分辨率重建问题 。对于这个问题，一般使用 基于学习或基于范例的图像超分辨率重建方法 。一般而言，这类算法首先建立训练图像库，并依照某种原理建立学习规则，通过学习获得先验知识，建立高分辨率图像和低分辨率图像之间的对应关系，进而由输入的低分辨率图像重建出希望的高分辨率图像。基于学习的图像超分辨率重建方法理论性强，效果较好，近年来一直受到学者们的关注。总之，在经历了将近 30 年的发展，众多学者提出的图像超分辨率重建算法种类繁多，分类也比较复杂。通常，按照算法的理论基础分类，有基于插值的算法、基于学习的算法、基于小波的算法、基于概率统计的算法等等;按照算法运算的空间分类，有空间域算
12、法、频率域算法、变换域算法等等;按照算法是否包含反馈，有迭代算法和非迭代算法; 按照应用领域分类，有针对医学图像的、遥感图像的、红外图像、人脸图像的、视频序列的以及自然图像的算法等等。从不同角度理解，就有不同的分类方法，这是图像超分辨率重建算法多样性的一个体现。另外，有些算法并非单纯地属于某一个分类，而是同时具有几个类别特点，这也是图像超分辨率重建算法复杂性的一个体现。另外，最近几年来图像超分辨率重建算法的国际及国内主流研究方向出现一个明显的趋势就是由多帧超分辨率转向单帧超分辨率，由基于图像融合转向基于图像学习。这一转变的一个重要原因是稀疏表示(sparse representation)作为
13、一种新兴的图像建模理论受到广泛关注。利用稀疏表示，图像能够以简洁的方式表示出来，而且在其表示系数中体现图像主要特征和本质属性的非零分量数量较少，并且表示系数对噪声和误差有一定的冗余度。这样的图像模型为图像处理带来了很大便利，激发了压缩感知(compressed sensing 或compressive sensing ) 、机器学习等理论在图像超分辨率重建领域内的新一轮研究热潮。随着对稀疏表示理论研究的不断深入，许多亚待解决的理论和实际问题也随之浮出水面，其中主要有:字典设计、图像特征分类、快速图像特征搜索和查找、图像块匹配原则等等，都很有可能是未来图像超分辨率重建算法研究的热点。选自：基于贝
14、叶斯理论的图像复原算法研究经过很多研究者的共同努力，图像复原技术已经在很多方面得到了较广泛的应用。就目前而言，偏微分方程、小波变换和概率统计这三大数学思想方法已被深入应用在图像复原研究领域中。其中，确定性算法(detcministic algorithm)包括基于偏微分方程图像复原算法和基于小波变换的图像复原算法这两种，而随机性算法(stochastic algorithm)指的是基于概率统计的图像复原算法，所以，从这个角度来看，图像复原算法是分为确定性算法和随机性算法两大类的。但是很多具体问题表现出明显的随机性，比如图像和点扩散函数的特征，并且在实际中也是随机的出现噪声，所以导致无法获知其确
15、切的强度、深度、范围等有用图像信息。处理这些随机信号，通常首先要考虑选择合适的数学统计模型，用这些数学模型来描述其统计特征，利用统计规律进行后续处理。因此，应用随机性算法处理图像复原问题，往往在很多方面具有其他方法不可比拟的优势。贝叶斯方法(包括最大似然估计(Maximum Likelihood Estimation,MLE)、最大后验概率估计(Maximum a Posteriori Estimation,MAPE)和贝叶斯估计(Bayesian Estimation,BE)等)、期望最大化(Exception-Maximum, EM)方法, Monte-Carlo 模拟法、马尔科夫随机场方
16、法(Markov Random Field, MRF)等都是比较常用的随机性图像复原算法。在这些方法中比较特别且重要的一种就是贝叶斯方法，因为它可以提供各种概率分布预测机制、不同的对模型参数进行估计的算法、估计图像复原过程中的不确定因素等信息，因而被广泛应用于图像处理的各个相关领域。作为图像处理的一个分支，图像复原技术的研究有着特殊的地位，近年来，国内外学者在图像复原关键技术的改进方面做了大量研究。总结这些研究成果，可以归纳出图像复原主要涉及三个方面的内容:(1)如何有效构建退化图像成像数学模型;(2)如何提出高效的改进图像复原算法;(3)采用什么类型复原图像评价标准。由于不同类型成像数学模型、系统优化规则、问题求解空间和最优化问题求解方法的存在，这些将会导致不同的复原算法，也会适用于不同的应用研究领域。现有的图像复原方法可以大致概括为以下三种类型:图像盲反卷积算法、线性代数复原算法、去卷积复原算法等，其他复原类型方法基本都是这三类算法的衍生或改进。这三大类型算法方法都是非常经典的图像复原方法，但是都需要某些先验信息要求，比如有或者部分有关于原始图
