《基于稀疏表示的非局部自回归图像插值》由会员分享，可在线阅读，更多相关《基于稀疏表示的非局部自回归图像插值（58页珍藏版）》请在金锄头文库上搜索。
1、数字图像处理大作业数字图像处理大作业姓名： 杨 宁 学号： 14020181051 姓名： 胡光煜 学号： 14020181053 姓名： 陶冰清 学号： 14020181058 基于稀疏表示的非局部自回归图像基于稀疏表示的非局部自回归图像插值插值一、摘要：一、摘要：稀疏表示被证明是一种很有前景的图像超分辨率的方法，在这种情况下，低分辨率(LR)图像通常被建模为在模糊之后的高分辨率(HR)的下采样版本。当模糊核是狄拉克 函数，即 LR 图像直接从其 HR 样本中直接采样，而不模糊时，超分辨率问题就成为图像插值问题。然而，在这种情况下，传统的稀疏表示模型（SRM）变得不太有效，因为数据保真项将无
2、法约束图像局部结构。在自然图像中，幸运的是，给定斑块的许多非局部相似斑块可以对局部结构提供非局部约束。本文将图像非局部自相似性引入到开关磁阻电机的图像插值中。更具体地说，一个外地的自回归模型（海军）提出并作为数据保真项 SRM。我们表明，海军不相干诱导采样矩阵的表示词典，从而使发动机更有效的图像插值。我们的实验结果表明，本文提出的基于海军的图像插值方法可以有效重建边缘结构和抑制锯齿/振铃效应，达到最佳的图像插值的结果到目前为止在长期的PSNR 和 SSIM 和感知质量指标如 FSIM二、背景及原理介绍：二、背景及原理介绍：1 1、背景：、背景：图像超分辨率在数字摄影、医学成像、计算机视觉和消费
3、电子等领域有着广泛的应用，其目标是从低分辨率（LR）对应的图像中重建高分辨率图像。作为一个典型的反问题，图像超分辨率可以建模为 y =DHx+ v，其中 X 是未知的原始图像，H 是模糊算子，D 是下采样算子，V 是加性噪声，而 Y 是观测数据。本文主要研究观测是无噪声的，模糊核是狄拉克 函数，即 v 是零，h 是恒等矩阵。在这种情况下，我们有 y = DX，即，y 是直接从原始图像 X 向下采样，而超分辨率问题成为图像插值问题。各种图像插值算法已经被开发，包括经典的双线性和双立方插值1-2，边缘指导插值3-5，最近开发的基于稀疏方法6-7和稀疏的混合估计 8 。重建 X 从线性测量 Y =D
4、Hx+ V 是一个病态逆问题。经典迭代反投影（IBP）算法 9 重建 X 通过最小化 =arg min x | y DHx|22。 然而，这个 L2 范数最小化问题的解决方案是不唯一的，和重建图像通过 IBP 是经常吵闹。为了细化解空间，可以用 r（x）表示 x 的正则化项介绍了规范的解决方案： =arg min x | y DHx|22 + R( x),在 是标量常数。一种广泛使用的正则化的总变异（TV）模型 13 ，它假定自然图像具有小的第一衍生物。然而，电视模型倾向于分段恒定的图像结构，因此倾向于平滑图像细节。近年来，稀疏表示模型（SRM） 14-29 在超分辨率图像显示出可喜的成果。S
5、RM 假定图像 x 是稀疏的一些领域跨越了一个字典，即 X 和 大部分系数接近于零。直观地说，SRM 正则可设置 R（x）= | | | 0。然而，10 最小化非凸。作为最接近的凸松弛 28 ，L1 范正则化矩阵 R（x）= | | | 1 被广泛采用，导致以下基于超分辨率模型: =arg min a | y DH|22 +| |1 一旦编码向量得到所需的 HR 图像可以重建为上述 L1最小化问题可以通过迭代收缩代理 16 和近端 17 算法等技术来解决。除了在公式（1）中的标准稀疏编码模型外，在（44, 33, 26）组/同时稀疏编码模型中提出了利用自然图像中的非局部自相似性和局部稀疏性。在
6、 27 中，还提出了一种集中式稀疏编码模型，用于图像非局部冗余。基于 SRM 的超分辨率与压缩感知（CS）理论有着密切的关系 24, 25, 45 。根据 CS 理论，为了从线性测量 y 中准确地恢复原始信号 x，应满足以下两个条件。1)1)连贯性：连贯性：线性观测矩阵 A = DH 和字典 应该不相干。与 可以计算的连贯( A, ) n max1 k , j n | ak , j | 45,其中 n 是样本大小，ak表示 A 的第 K 排， j标示 jth atom (i.e., column) of 。有( A, ) 1, n 。为了获得良好的重建，相干小的应该是小的。2)2)稀疏：稀疏：
7、原始信号 x 应该在字典 稀疏在图像插值的情况下，矩阵 H是恒等矩阵，因此，采样矩阵 ad 是正则矩阵或尖峰矩阵。它已被证明， 45 这样的 D 和 之间的一致性是最小的 i.e., (D,) = 1，当 是傅里叶词典。然而，自然图像通常不限带由于许多尖锐的边缘结构，从而 傅里叶词典可能不会导致对自然图像的稀疏表示。其他词典如小波字典，典型的采样矩阵 D 通常是一致 。例如，典型的采样矩阵 D 和 Haar 小波字典之间的平均相干值，Daubechies D4 和 D8 词典 5.65，分别为 5.72 和 5.76，当样本大小为 n = 64（即，8*8 图像块） 。考虑到最大的连贯性是 s
8、qrt（64）= 8，n = 64，我们可以看到，小波字典是典型的采样矩阵高度相干。除了分析傅里叶和小波字典，利用算法如 K-SVD 30 我们可以学习字从一些高质量的自然图像。规范抽样矩阵 D 与此类字典的一致性约为4.455.97。总的来说，我们可以看到典型的采样矩阵 D 和字典 高之间的一致性，使得基于图像插值效果较差。最近开发的基于 SRM 的图像插值/超分辨率方法 6, 8, 50 使用不同模型 Eq. (1)重建 HR 形象。在 6 中，一对超完整的字典，由h和l展示，从一组 HR 图像补丁和相关的 LR 图像补丁集中学习。在两对字典中，两组训练块共享相同的稀疏表示系数。然后，对于
9、一个输入 LR 图像 y，它被稀疏地表示为l，并利用所得到的稀疏表示系数 重建 HR 图 x=h 。本文提出了一种改进的基于耦合字典学习的图像超分辨率方法（50） 。在（8）中，基于不同先验的图像正则性，计算了 x 的一系列线性逆估计量。然后将这些估计量混合到具有适当正则性的系数上的一个框架中，提供一个在每一个斑块中按信号规律加权的 L1 稀疏表示。这些逆估计的稀疏混合提高了每个估计量的稳定性，使最终估计更加准确。在本文中，我们提出了一种新的基于 SRM 的图像插值方法，通过建模和自适应地利用图像局部和非局部冗余。自然图像通常显示出大量的重复模式。对于一个给定的图像补丁，我们可能会找到许多类似
10、的补丁，它可以在空间上接近或远离这个补丁。这种非局部相似性是提高恢复图像的输出有很大的帮助，并已成功地在图像去噪中的应用 2 ， 12 和模糊分辨率 37-38，49 。考虑到一个给定的像素可以由外地邻居近似，这是非局部均值滤波 2 的基本原理，提出了非局部自回归模型的概念（海军） ，它是指在一个给定的像素建模作为其局部相邻像素的线性组合。NARM 可以看作是常用的自回归模型的自然延伸，接近一个像素作为其邻居的线性组合。NARM 反映图像的自相似性，它限制了图像的局部结构（即本地补丁）采用非冗余。另一方面，在海军可以作为内核，可以嵌入到传统的 SRM 模型的数据保真项。我们的研究表明，NARM
11、 内核嵌入使采样矩阵与字典更不相干，根据 CS 理论，从而提高了 SRM在图像重建中的有效性 24, 25, 45 。然而，NARM 致仁有非常不同的物理意义，从传统的内核（如高斯核）由成像系统引起的。前者主要取决于图像内容，而后者主要取决于成像过程（如镜头、运动等） 。通过引入和嵌入 NARM 为 SRM、图像插值问题可以推广到基于图像复原问题传统 SRM。除了表示系数的稀疏性外，我们还假设非局部相似斑块具有相似的编码系数。这样可以大大提高稀疏编码的稳定性和准确性。变分优化技术 46 是通过有效地解决了海军基于 SRM 模型。基准测试图像的实验结果表明，提出的方法优于传统的海军多双立方插值1
12、-2，代表边缘指导插值3-5，和最近开发的基于图像插值方法 6, 8 在长期的 PSNR，SSIM 42 和 43 FSIM 措施，以及作为视觉感知质量。2 2、非局部模型：非局部模型：对于图像插值，假设低分辨率（LR）图像是直接从原始高分辨率（HR）图像中提取下来的。让我们通过 y(n,m), n=0,1,Nl-1, m=0,1,Ml-1 来标示 LR 像素，通过 x(r,c), r=0,1, s Nl-1, j=0,1, s Ml-1 来标示 HR 像素（标度因子在里面）黑色圆点代表可用的 LR像素，而白色圆点代表 HR 图像中缺少的像素。我们可以看到，在恢复丢失的像素方面有很大的自由度。
13、图像插值的一个重要挑战是在插值的 HR 图像中保持边缘的清晰度。传统的基于边缘的插值算法保留边缘的清晰度插值丢失像素沿边缘3-5而不是越过边。然而，从 LR 图像中准确估计边缘方向或局部统计量（如局部协方差矩阵）是很有挑战性的，因此在插值的 HR 图像中可能产生伪影。图 1：低分辨率（LR）图像是从它的高分辨率（HR）对应物上向下采样的。黑点代表 LR 图像的像素，白点代表缺失的 HR 样本。图 2：基于 SRM 的图像插值（缩放因子：3） 。 （a）原始图像；（b）重建图像的 DCT 字典标准 SRM（PSNR = 32.49 分贝） ；（c）与局部 PCA 字典标准 SRM（PSNR =
14、32.50分贝） ；和（d）局部 PCA 基于字典的 NARM SRM（PSNR = 33.40 分贝） 。本文提出了一种基于 SRM 的图像插值方法。正如我们在引言部分所讨论的，典型的采样图像插值矩阵 D 一般是与词典 相干，使得标准的 SRM（参见公式（1） ）的图像插值效果较差。图 2 示出了一个示例。可以看出，标准的 SRM 使用的是 DCT 字典或本地PCA 字典（参见 SEC） 。三详情）在振荡和拉链伪影的结果严重。为了改善基于 SRM 的图像插值，我们建议改进观测模型y y=DxDx通过引入非局部自相似约束。由于自然图像具有较高的局部冗余，插值方法，包括经典的双线性和双立方插值1
15、-2和边缘指导插值3-5，插入缺失 HR 像素，用西，作为其邻居的加权平均。在 5 中，利用自回归模型（arm）利用图像局部相关性进行插值。尽管如此，图像的局部冗余可能不足够高的一个忠实的图像重建，特别是在边缘地区，因此如之间的文物，清理和拉链经常出现在插值图像。幸运的是，除了本地冗余之外，自然图像也有大量的非局部冗余（例如，图像上重复的图像结构） 。像素 XI 可能有许多非局部的邻居，它们与它相似，但在空间上离它很远。显然，这些非局部邻居（包括本地的） ，用以表示，可以用加权平均来近似 XI： xi j i j xij . 近年来，非局部方法已成功地应用于许多图像恢复中的应用【31-38】 。在实践中，我们使用一个以 XI 为中心的局部贴片，用 XI 表示，通过补丁匹配来识别 XI 的非局部邻居。由于缺少 HR 像素 XI 和它的一些本地邻居，所以我们最初使用诸如双三次插值的方法对 HR 图像x 进行插值。然后，我们可以在 XI 附近的足够大的窗口中搜索到 XI的非局部相似斑块。然后我们可以确定权重 ij 通过求解下面的正则化最小二乘问题:正则化（3）中的正则化是为了提高最小二乘解的稳定性，因为在插值过程中，由于插值误差，x 中的斑块 XI 及其相邻区域都是噪声的。式（3）的解可以容易地得到
