《课程设计（论文）-基于各向异性扩散的深度图像增强》由会员分享，可在线阅读，更多相关《课程设计（论文）-基于各向异性扩散的深度图像增强（13页珍藏版）》请在金锄头文库上搜索。
1、目录摘要 .11 引言 .22 相关工作 .32.1 指导深度上采样 .32.2 引导深度图像修复 .32.3 各向异性扩散 .33 方法论 .43.1 问题制定 .43.2 数值方案 .44 实验 .54.1 实验在 Middlebury 数据集上 .64.2 实验在 Kinect 数据集上 .64.3 实验在雷达数据上 .8结论 .10参考文献 .101基于各向异性扩散的深度图像增强摘要：在本文中，当对准的彩色图像被给出时我们对有缺陷的深度图像进行修复，并进行采样。这些任务被称为引导深度增强。我们基于热扩散模型拟订该问题。已知深度值的像素被视为热源并且深度增强是指通过将深度值从这些热源扩散
2、到深度缺失的区域这个过程。根据引导彩色图像我们设计扩散传导率，从而可以形成线性各向异性扩散的问题。我们进一步将此扩散的稳态问题放到著名的随机游走模型中考虑，在这个模型中深度增强可以通过求解稀疏线性系统来有效地实现。该算法在米德尔伯里立体数据集上被定量的评估，并应用于修复 Kinect 的数据同时也可以应用于对由雷达获得的距离数据进行采样。与常用的双边滤波器和马尔可夫基于随机场的方法的比较也被提出，通过比较表明我们的算法是可以成功的。关键词：深度修复，深度上采样，各向异性扩散。Equation Chapter (Next) Section 111121 引言虽然最新的距离传感技术的革命发展在许多
3、计算机视觉应用领域获得了快速发展，但是通过最新的距离传感器捕获的数据仍然有缺陷。例如，微软的 kinect16，一种室内测距传感器，产生的深度图中含有大量由于遮挡和其他方面因素导致的深度信息缺失区域。 Velodyne HDL-64E 激光雷达25 适用于室内和室外环境中，提供的距离信息比普通图像的分辨率低得多。这些缺陷现在导致各种对深度图像修复和采样研究方面的问题。本文目的是当对准彩色图被给出的情况下解决对深度图像的修复和采样问题。在这项工作中这些任务被称为引导深度增强，该彩色图像被当作引导9 。以前在引导深度增强方面的工作主要采用的是滤波器的方法7 26 1210 或依靠马尔可夫随机场（M
4、RFs）182831 6。在本篇论文中，我们提出基于各向异性扩散的引导深度增强。将已知深度值的像素视为热源。通过参考图像提供的颜色信息的引导，深度可以从源扩散到深度缺失的区域。尽管基于偏微分方程的各向异性扩散在图像平滑和修补204 2 3中被广泛使用但是据我们所知，他们没有为引导集成其他的图像。此外，我们将引导向异性扩散的稳态问题放到著名的随机游走模型8 30 11中考虑 而不是反复进行深度扩散。该模型在图像分割8 30 11 是普遍存在的，但它很少用于图像增强的应用程序。通过这个模型，引导深度增强问题能够通过求解一个稀疏线性系统来解决。Equation Chapter (Next) Sect
5、ion 121232 相关工作2.1 指导深度上采样它的目的是通过融合高分辨率视觉图像和低分辨率深度数据 来 生成高清晰度深度图。为此，马尔可夫随机域（回收设施）被首先使用6。它通过优化一个能量函数来推断深度，这个能量函数是由对已知测量结果的长期合理的评估和对深度平滑的长期正交化组成。之后，提出了几个 MRF 的基础方法，这个方法通过进一步考虑新的正交化来拓展这份先进的工作，例如，非局部平滑约束2818和时间相干性31 。另一组有关这个问题的方法是基于滤波技术。他们大多使用联合双边滤波器或它们的变化1 29 7 来整合深度采样的颜色信息。2.2 引导深度图像修复引导深度图像修复这个问题对于 K
6、inect-like 传感器的发展很感兴趣。在过去的两年中，我们提出各种方法来填充深度图中的无效区域，这些深度图是有着参考视觉图像对准的。有研究将传统的修补算法2 5 23拓展到引导案例中。具体地讲，新的修补模式1421和扩展命令14 15被设计用以归纳引导信息。这些方法仅限于其中无效区域被有效区域包围的情况下，以至于他们不适用于引导采样。与他们相反，另一组研究中采用滤波器19 10 ，这为采样工作的同时，也为引导深度进行修补。2.3 各向异性扩散各向异性扩散各向异性扩散此处主要指的是热扩散框架，该框架通过偏微分方程（PDEs）来表示。基于偏微分方程的各向异性扩散被广泛用于在图像或表面平滑20
7、4，图像修复2 3 ，分割2411，以及其他图像处理应用27 。最相关的工作是滤波和图像修复技术。就我们所知，这些技术没有集成高分辨率参考图像来引导这个扩散过程。在这项工作中，我们将引导深度增强，包括修补和采样，表述为一个线性各向异性扩散问题。我们的扩散是通过一个大的从稳态中衍生出来的稀疏线性系统来进行的，而不是像传统技术一样反复的解决问题。43 方法论3.1 问题制定假设我们事先已经给出了一个对准的深度图和彩色图对。深度图要么是包含无效的区域要么是分辨率比配对彩色图像低。彩色图像假定为无缺陷的。我们将一个像素 p=（X，Y）中的深度和颜色，分别由 D（P ）和 I（P）来表示。 p 在一个图
8、像区域 。已知深度值的像素被称为种子像素，其点集表示 S.如果我们将种子像素作为热源，那么深度增强就可以像热源扩散一样，在这些图上是从热源开始的。扩散过程由以下偏微分方程表示： );(;();( tptWdivtp（1） )()0;(.0Dpts其中 W（P; t）是点 P 在时间 t 的扩散系数并且 D0（p）为初始状态的深度值。扩散系数的空间变化取决于所给的彩色引导图，从而使式（1）变成各向异性扩散。上述偏微分方程是一个初值问题13。在该方程所代表的扩散系统中，我们感兴趣的只是深度值趋于稳定的状态8 30 11 。因此，毫不犹豫，我们在式中舍弃 t 符号，并获得下面的等式： 0)(pWdi
9、v（2）.)()(.0 SpforDts 方程（2）的解对应于我们期待实现的深度图增强。当初始深度图给出，大幅度的增强质量依赖于 W（P）的选择。因此，我们探讨的扩散系数的设计将表现在如下求解稳态问题的方法中。3.2 数值方案我们已经将深度图像的增强问题制定成各向异性扩散的过程。扩散传导系数是一个条件，它依赖于彩色引导图像，但独立于深度值。因此，我们引导的深度增强是一个线性各向异性扩5散问题11。线性意味着 W 不是 D 或D 的函数。现在，让我们把线性各向异性扩散的稳定状态看成式（2）所描述的那样。我们首先将离散的深度图以图形 G =（V，E）来表示，其中 V 是一组顶点，即象素，并且 E
10、包含四邻域。两个顶点之间的扩散系数由高斯设计在颜色上相似。得到（3）otherwisqpfpqp0),()2|()|ex(),( 2这个传导性意味着，当两点的颜色相似时，深度扩散就快。当我们构建完图形后，离散的扩散过程就会退化为随机游走模型8 30 11)(,()().( qDpapDq（4）.)()(.0Spforpts（5）).(,qpa如果我们把深度图作为一列向量，方程（4）可以变为以下公式：( 6 ),0)(DwL其中，L 是单位矩阵并且 w 是一个 NN 的对称矩阵， N 是整个图像的像素的总数。给定的始深度图 D0，D 的非 0 解可以通过求解线性系统 AD= B 来计算。（7）otherwisqpWLSifqpA),(,),(（8）tiifb0)(这里，列向量 D 中的第 p 个和第 q 个元素对应于像素 p 和 q。请注意，A 是一个稀疏正定矩阵。因此，引导深度增强可以转变为是一个能够有效求解的稀疏线性系统。4 实验6为了验证所提出的方法，我们进行了一系列的实验。定量评价并且与使用双边过滤器以及MRF 方法进行比较首先在米德尔伯里数据集22上进行。然后，我们将算法运
