《数字图像处理大作业-基于稀疏表示的非局部自回归图像插值》由会员分享，可在线阅读，更多相关《数字图像处理大作业-基于稀疏表示的非局部自回归图像插值（59页珍藏版）》请在金锄头文库上搜索。
1、数字图像处理大作业姓名： 学号： 姓名： 学号： 姓名： 学号： 基于稀疏表示的非局部自回归图像插值一、摘要：稀疏表示被证明是一种很有前景的图像超分辨率的方法，在这种情况下，低分辨率(LR)图像通常被建模为在模糊之后的高分辨率(HR)的下采样版本。当模糊核是狄拉克函数，即LR图像直接从其HR样本中直接采样，而不模糊时，超分辨率问题就成为图像插值问题。然而，在这种情况下，传统的稀疏表示模型（SRM）变得不太有效，因为数据保真项将无法约束图像局部结构。在自然图像中，幸运的是，给定斑块的许多非局部相似斑块可以对局部结构提供非局部约束。本文将图像非局部自相似性引入到开关磁阻电机的图像插值中。更具体地说
2、，一个外地的自回归模型（海军）提出并作为数据保真项SRM。我们表明，海军不相干诱导采样矩阵的表示词典，从而使发动机更有效的图像插值。我们的实验结果表明，本文提出的基于海军的图像插值方法可以有效重建边缘结构和抑制锯齿/振铃效应，达到最佳的图像插值的结果到目前为止在长期的PSNR和SSIM和感知质量指标如FSIM二、背景及原理介绍：1、背景：图像超分辨率在数字摄影、医学成像、计算机视觉和消费电子等领域有着广泛的应用，其目标是从低分辨率（LR）对应的图像中重建高分辨率图像。作为一个典型的反问题，图像超分辨率可以建模为y =DHx+ v，其中X是未知的原始图像，H是模糊算子，D是下采样算子，V是加性噪
3、声，而Y是观测数据。本文主要研究观测是无噪声的，模糊核是狄拉克函数，即v是零，h是恒等矩阵。在这种情况下，我们有y = DX，即，y是直接从原始图像X向下采样，而超分辨率问题成为图像插值问题。各种图像插值算法已经被开发，包括经典的双线性和双立方插值1-2，边缘指导插值3-5，最近开发的基于稀疏方法6-7和稀疏的混合估计 8 。重建X从线性测量Y =DHx+ V是一个病态逆问题。经典迭代反投影（IBP）算法 9 重建X通过最小化 =arg min x | y DHx|22。 然而，这个L2范数最小化问题的解决方案是不唯一的，和重建图像通过IBP是经常吵闹。为了细化解空间，可以用r（x）表示x的正
4、则化项介绍了规范的解决方案： =arg min x | y DHx|22 + R( x),在是标量常数。一种广泛使用的正则化的总变异（TV）模型 13 ，它假定自然图像具有小的第一衍生物。然而，电视模型倾向于分段恒定的图像结构，因此倾向于平滑图像细节。近年来，稀疏表示模型（SRM） 14-29 在超分辨率图像显示出可喜的成果。SRM假定图像x是稀疏的一些领域跨越了一个字典，即X和大部分系数接近于零。直观地说，SRM正则可设置R（x）= | | | 0。然而，10最小化非凸。作为最接近的凸松弛 28 ，L1范正则化矩阵R（x）= | | | 1被广泛采用，导致以下基于超分辨率模型: =arg m
5、in a | y DH|22 +|1 一旦编码向量得到所需的HR图像可以重建为上述L1最小化问题可以通过迭代收缩代理16和近端 17 算法等技术来解决。除了在公式（1）中的标准稀疏编码模型外，在（44, 33, 26）组/同时稀疏编码模型中提出了利用自然图像中的非局部自相似性和局部稀疏性。在27中，还提出了一种集中式稀疏编码模型，用于图像非局部冗余。基于SRM的超分辨率与压缩感知（CS）理论有着密切的关系 24, 25, 45 。根据CS理论，为了从线性测量y中准确地恢复原始信号x，应满足以下两个条件。1) 连贯性：线性观测矩阵A = DH和字典应该不相干。与可以计算的连贯( A, ) =n
6、max1 k , j n | 45,其中n是样本大小，ak表示A的第K排，j标示jth atom (i.e., column) of 。有( A, ) 1, n 。为了获得良好的重建，相干小的应该是小的。2) 稀疏：原始信号x应该在字典稀疏在图像插值的情况下，矩阵H是恒等矩阵，因此，采样矩阵ad是正则矩阵或尖峰矩阵。它已被证明， 45 这样的D和之间的一致性是最小的i.e., (D,) = 1，当是傅里叶词典。然而，自然图像通常不限带由于许多尖锐的边缘结构，从而傅里叶词典可能不会导致对自然图像的稀疏表示。其他词典如小波字典，典型的采样矩阵D通常是一致。例如，典型的采样矩阵D和Haar小波字典之
7、间的平均相干值，Daubechies D4和D8词典5.65，分别为5.72和5.76，当样本大小为n = 64（即，8*8图像块）。考虑到最大的连贯性是sqrt（64）= 8，n = 64，我们可以看到，小波字典是典型的采样矩阵高度相干。除了分析傅里叶和小波字典，利用算法如K-SVD 30 我们可以学习字从一些高质量的自然图像。规范抽样矩阵D与此类字典的一致性约为4.455.97。总的来说，我们可以看到典型的采样矩阵D和字典高之间的一致性，使得基于图像插值效果较差。最近开发的基于SRM的图像插值/超分辨率方法 6, 8, 50 使用不同模型 Eq. (1)重建HR形象。在 6 中，一对超完整
8、的字典，由h和l展示，从一组HR图像补丁和相关的LR图像补丁集中学习。在两对字典中，两组训练块共享相同的稀疏表示系数。然后，对于一个输入LR图像y，它被稀疏地表示为l，并利用所得到的稀疏表示系数重建HR图x=h。本文提出了一种改进的基于耦合字典学习的图像超分辨率方法（50）。在（8）中，基于不同先验的图像正则性，计算了x的一系列线性逆估计量。然后将这些估计量混合到具有适当正则性的系数上的一个框架中，提供一个在每一个斑块中按信号规律加权的L1稀疏表示。这些逆估计的稀疏混合提高了每个估计量的稳定性，使最终估计更加准确。在本文中，我们提出了一种新的基于SRM的图像插值方法，通过建模和自适应地利用图像
9、局部和非局部冗余。自然图像通常显示出大量的重复模式。对于一个给定的图像补丁，我们可能会找到许多类似的补丁，它可以在空间上接近或远离这个补丁。这种非局部相似性是提高恢复图像的输出有很大的帮助，并已成功地在图像去噪中的应用 2 ， 12 和模糊分辨率37-38，49 。考虑到一个给定的像素可以由外地邻居近似，这是非局部均值滤波 2 的基本原理，提出了非局部自回归模型的概念（海军），它是指在一个给定的像素建模作为其局部相邻像素的线性组合。NARM可以看作是常用的自回归模型的自然延伸，接近一个像素作为其邻居的线性组合。NARM反映图像的自相似性，它限制了图像的局部结构（即本地补丁）采用非冗余。另一方面
10、，在海军可以作为内核，可以嵌入到传统的SRM模型的数据保真项。我们的研究表明，NARM内核嵌入使采样矩阵与字典更不相干，根据CS理论，从而提高了SRM在图像重建中的有效性 24, 25, 45 。然而，NARM致仁有非常不同的物理意义，从传统的内核（如高斯核）由成像系统引起的。前者主要取决于图像内容，而后者主要取决于成像过程（如镜头、运动等）。通过引入和嵌入NARM为SRM、图像插值问题可以推广到基于图像复原问题传统SRM。除了表示系数的稀疏性外，我们还假设非局部相似斑块具有相似的编码系数。这样可以大大提高稀疏编码的稳定性和准确性。变分优化技术 46 是通过有效地解决了海军基于SRM模型。基准
11、测试图像的实验结果表明，提出的方法优于传统的海军多双立方插值1-2，代表边缘指导插值3-5，和最近开发的基于图像插值方法 6, 8 在长期的PSNR，SSIM 42 和 43 FSIM措施，以及作为视觉感知质量。2、 非局部模型：对于图像插值，假设低分辨率（LR）图像是直接从原始高分辨率（HR）图像中提取下来的。让我们通过y(n,m), n=0,1,Nl-1, m=0,1,Ml-1来标示LR像素，通过x(r,c), r=0,1, s Nl-1, j=0,1, s Ml-1来标示HR像素（标度因子在里面）黑色圆点代表可用的LR像素，而白色圆点代表HR图像中缺少的像素。我们可以看到，在恢复丢失的像
12、素方面有很大的自由度。图像插值的一个重要挑战是在插值的HR图像中保持边缘的清晰度。传统的基于边缘的插值算法保留边缘的清晰度插值丢失像素沿边缘3-5而不是越过边。然而，从LR图像中准确估计边缘方向或局部统计量（如局部协方差矩阵）是很有挑战性的，因此在插值的HR图像中可能产生伪影。图1：低分辨率（LR）图像是从它的高分辨率（HR）对应物上向下采样的。黑点代表LR图像的像素，白点代表缺失的HR样本。图2：基于SRM的图像插值（缩放因子：3）。（a）原始图像；（b）重建图像的DCT字典标准SRM（PSNR = 32.49分贝）；（c）与局部PCA字典标准SRM（PSNR = 32.50分贝）；和（d）
13、局部PCA基于字典的NARM SRM（PSNR = 33.40分贝）。本文提出了一种基于SRM的图像插值方法。正如我们在引言部分所讨论的，典型的采样图像插值矩阵D一般是与词典相干，使得标准的SRM（参见公式（1）的图像插值效果较差。图2示出了一个示例。可以看出，标准的SRM使用的是DCT字典或本地PCA字典（参见SEC）。三详情）在振荡和拉链伪影的结果严重。为了改善基于SRM的图像插值，我们建议改进观测模型y=Dx通过引入非局部自相似约束。由于自然图像具有较高的局部冗余，插值方法，包括经典的双线性和双立方插值1-2和边缘指导插值3-5，插入缺失HR像素，用西，作为其邻居的加权平均。在5中，利用
14、自回归模型（arm）利用图像局部相关性进行插值。尽管如此，图像的局部冗余可能不足够高的一个忠实的图像重建，特别是在边缘地区，因此如之间的文物，清理和拉链经常出现在插值图像。幸运的是，除了本地冗余之外，自然图像也有大量的非局部冗余（例如，图像上重复的图像结构）。像素XI可能有许多非局部的邻居，它们与它相似，但在空间上离它很远。显然，这些非局部邻居（包括本地的），用以表示，可以用加权平均来近似XI： xi j i j xij . 近年来，非局部方法已成功地应用于许多图像恢复中的应用【31-38】。在实践中，我们使用一个以XI为中心的局部贴片，用XI表示，通过补丁匹配来识别XI的非局部邻居。由于缺少
15、HR像素XI和它的一些本地邻居，所以我们最初使用诸如双三次插值的方法对HR图像x进行插值。然后，我们可以在XI附近的足够大的窗口中搜索到XI的非局部相似斑块。然后我们可以确定权重 ij 通过求解下面的正则化最小二乘问题:正则化（3）中的正则化是为了提高最小二乘解的稳定性，因为在插值过程中，由于插值误差，x中的斑块XI及其相邻区域都是噪声的。式（3）的解可以容易地得到:在实践中，我们使用共轭梯度法有效地解式（4）。与，我们提出了非局部自回归模型（海军）图像在前是建模误差，以及海军矩阵S可以看出，NARM是一个自然延伸，传统的臂，只使用空间的本地邻居近似西泛化。图3说明了海军。我们可以看到，一个补丁为x0 x0有一批外地邻居X10，相关词汇，和权重分配给五个邻居都01，05。同时，对邻居的人，例如X10，有其自己的局部邻居和相关权重。像传统的ARM，与海军图像中的所有像素可以连接但有着更复杂的图图3：非局部模型的插图让我们再计算
