《基于SVD的超分辨率重建图像质量无参考评价方法（》由会员分享，可在线阅读，更多相关《基于SVD的超分辨率重建图像质量无参考评价方法（（7页珍藏版）》请在金锄头文库上搜索。
1、基于SVD的超分辨率重建图像质量无参考评价方法 基金项目：国家自然科学基金(60872083、61171117)、国家科技支撑计划“超高空飞艇载荷集成与定量处理技术”资助项目。黄慧娟，禹晶，孙卫东（清华大学电子工程系北京 100084）（）摘要: 图像重建质量评价是衡量超分辨率方法优劣的决定性指标，现有的图像重建质量评价方法大都需要借助同一场景的更高分辨率图像作为参考图像，但在实际超分辨率重建过程中这样的高分辨率参考图像是不存在的。考虑到人眼对相对亮度变化更为敏感，且边缘清晰度与图像主观评价质量成正比，本文利用去均值图像、梯度图像以及灰度图像，提出了一种仅依靠图像自身信息的、基于SVD的超分辨
2、率重建图像质量无参考客观评价方法。该方法首先将图像分割为相互重叠的局部图像块，其次在各局部图像块中利用SVD分别得到低分辨率图像间以及它们与超分辨率重建图像间的子评价结果，然后将它们再整合为最终的客观评价结果。实验结果表明，该客观评价与人类主观评价结果具有很好的一致性。关键词: 超分辨率重建，图像质量评价，奇异值分解，无参考图像中图法分类号:TP 391.4A No-Reference Svd-Based Image Quality Assessment Method for Super-Resolution ReconstructionHuang Huijuan，Yu Jing，Sun We
3、idong（Department of electrical engineering，Tsinghua University，BeiJing 100084）（）Abstract:Image quality index is one of the most critical factors to evaluating the reconstruction efficiency of super-resolution algorithm. But many existing image quality assessmentmethods need a higher resolution image
4、 as the reference image, which could not be satisfied in the practical super-resolution processing procedures.In this paper, taking into account the facts that human eyes are more sensitive to the relative luminance and edges sharpness is proportional to the subjective image quality assessment, anob
5、jective no-reference SVD-based image quality assessmentmethod for the reconstructed super-resolution images which adopted the mean removing images, gradient images and gray images has been proposed.First of all, the image to be evaluated will be divided into several different overlapped patches. And
6、 then, sub-image quality indexes of the low resolution images and the reconstructed super-resolution image against themare calculated based on SVD in the area ofneighborhood. Finally, all of the sub-image quality indexes are pooled together into one total image quality index. Several experimental re
7、sults demonstrated that this proposed objective super-resolution image quality indexis more consistent with human subjective assessment results.Keywords：Super-resolution reconstruction, Image quality assessment, Sigular Value Decomposition(SVD), No-reference image0 引言超分辨率(Super Resolution,SR)图像重建是通过
8、图像处理的手段，利用从不同位置、不同时刻或不同传感器所获取的多帧低分辨率(Low Resolution, LR)图像重建出一幅高分辨率(High Resolution, HR)图像的方法1。SR重建力求借助某种类别的信息冗余，实现LR图像在空间分辨率或截止频率上的拓展，而精确的图像配准是利用多帧LR图像进行SR重建的关键1。对于同一组LR图像，采用不同SR重建算法或不同配准算法所得到的SR图像质量是不同的，因此就需要建立一种机制对此类重建图像效果进行评价。数字图像在成像获取、量化存储、压缩传输等处理过程中都会存在很多降质因素，因而导致图像质量的下降。人类可以通过目视观察对图像质量进行主观评价，
9、但这种主观评价的结论往往因观察者或观测环境的差异产生较大变化，且需依靠大量图像数据才能体现一定的统计意义，具有个体差异大、耗时长、代价高、不方便的缺点2。这表明设计一种与主观评价结果具有较高一致性的图像质量客观评价方法是很必要的。现有的图像质量客观评价方法按照是否利用参考图像可以划分为三大类：全参考评价(Full Reference)、部分参考评价(Reduced Reference)、无参考评价(No Reference)。目前，最简单、应用最广泛的全参考评价方法有均方误差(Mean Square Error, MSE)、峰值信噪比(Peak Signal-to-Noise Ratio, P
10、SNR)，二者均是统计降质图像和参考图像之间的误差而进行质量评价的，但其评价结果往往与目视主观评价结果不一致。鉴于这一问题，文献2提出一种基于图像结构相似性 (Structural Similarity, SSIM)的全参考评价方法，它将引起图像质量降质的原因归结为三个方面：相关性损失、亮度损失和对比度损失，其评价结果与人类主观感觉具有良好的一致性。文献3利用图像的相位一致性(Phase Congruency, PC)和梯度幅值(Gradient Magnitude, GM)两种特征对图像质量进行评价，从而得到特征相似性 (Feature Similarity, FSIM)的评价结果。与其他同
11、类方法相比，该方法与主观评价结果具有更好的一致性，且鲁棒性很强。部分参考评价方法是指仅将待评价图像与参考图像的部分特征进行比较，因此从有无参考图像这一应用形态上来讲，该类方法与全参考评价方法不存在实质性区别。可以看出，上述评价方法实际上并不适用于一般情况下的SR重建图像质量评价，因为在实际的SR图像重建过程中无法得到原始的HR参考图像。现有的无参考评价方法有针对特定失真类型的，比如文献4中用于评价JPEG2000压缩失真的图像质量、以及基于自然场景统计特征的方法，文献5提出的评价方法通过降质类型判断和质量评价两个阶段来得到最终的评价结果。但这些针对特定失真类型的图像质量评价方法并不适用于SR重
12、建图像，为了准确的体现SR重建对图像质量带来的改变，文献6提出了一种针对人脸图像的SR重建图像质量评价方法。该方法主要用于评价不同姿态、光照、表情等情况下人脸图像的SR重建图像质量。然而在这种评价方法中，当其表达式中分母的任何一项十分接近零时就会产生很不稳定的评价结果。本文在分析LR图像与SR图像间以及多帧LR图像间关系的基础上，利用LR与SR图像的去均值图像、梯度图像和灰度图像，提出了一种仅依靠图像自身信息的、基于奇异值分解(Singular Value Decomposition, SVD)的超分辨率图像质量无参考评价方法及相应的SSQI指标(Svd-based SR-image Qual
13、ity Index)，实验结果表明该方法与人类主观评价结果具有较好的一致性。该方法不仅可以用来评价某种SR重建算法或某种配准算法的性能，也可在迭代型SR重建算法中用作阶段性图像重建质量的评价，从而有效控制迭代次数。1 问题描述常见的SR重建算法有IBP(Iterative Back Projection)7、POCS(Projection Onto Convex Sets)8、正则化方法9等，这些SR重建算法针对的是基于多帧LR图像的SR重建问题，其基础是LR图像间的亚像素级精确配准，即找到它们之间的空间对应关系。本文假设成像对象的HR图像x在成像过程中保持不变，而LR图像是由HR图像经过变换
14、、模糊和下采样而得到的，它们之间的关系可以描述为1：其中，为LR图像，为HR图像，为变换矩阵，为模糊矩阵，为下采样矩阵，为加性噪声，为LR图像数目。为了叙述方便，选取其中一幅LR图像作为模板图像，其余的待匹配LR图像称之为输入图像，比如选取为模板图像，则它们之间的关系可以描述为： 其中，为误差项。配准过程即是求取输入图像与模板图像间的变换参数，即变换矩阵，变换矩阵的求取精度将会直接影响SR重建图像的质量。不难看出，一种好的SR重建算法评价标准不仅需要衡量不同配准精度对重建过程的影响，还需要反映出不同的SR重建方法对图像重建质量的影响。2 SR图像质量评价方法SR重建即是利用某种类别的信息冗余，
15、通过信号处理的手段为原始LR图像恢复或重建一些合理的附加信息，如高频分量等，实现LR图像在空间分辨率或截止频率上的拓展。而重建图像质量则是衡量上述过程有效性的基本技术指标，本文质量评价方法的基本思路是以块为单位，利用SVD所求取的奇异值表征图像在空间结构和灰度表现上的显著性，通过SR重建前后图像间的奇异值差别来度量它们之间的信息量差别。由于人类视觉对于灰度值的相对变化比其绝对变化要敏感，且一般认为边缘越清晰图像质量越好，所以引入了去均值图像和梯度图像，并在上述基本思路下，与灰度图像一起形成了图像质量的SSQI指标。该指标评价系统的基本处理流程如图1所示。首先，对配准后的多帧LR图像进行SR重建
16、得到SR图像；其次，分别对SR图像和配准后的LR图像进行计算，得到其各自的去均值图像和梯度图像；第三，按照图1计算各图像间的子评价结果,和；最后，合成得到最终的SR图像质量评价指标SSQI。鉴于图像信号的非平稳性，在图1所示处理流程中还需要将各图像分割为的图像块，先在局部范围内对图像质量进行评价，然后再综合形成一个全局的评价值。同时，为了保证块与块之间的连续性，各图像块之间有3个像素的重叠区。在图1所示的评价过程中，本文采用了在图像处理等领域中常用SVD变换来评价图像在空间结构和灰度表现上的显著性。通过SVD可以将任一实矩阵分解为三个矩阵相乘，其中，、都是正交矩阵，分别称为左特征矩阵和右特征矩阵，为对角阵，其对角线上的值称为矩阵的奇异值。从基本思路上讲，SSQI指标即采用相应图像块的奇异值差别来
