《视频超分辨率重建》由会员分享，可在线阅读，更多相关《视频超分辨率重建（10页珍藏版）》请在金锄头文库上搜索。
1、1先进技术专题讲座报告题 目 视频超分辨率重建 专业、班级 学生姓名 学生学号 2013 年 12 月 01 日2摘要随着视频和图像处理技术的飞速发展，人们对高分辨率视频和图像序列的需求越来越强烈。高分辨率图像能提供目标的更多细节信息，对于图像的分析和处理有重要作用。然而在某些应用场合，由于光学物理器件、处理器性能、信道传输带宽或存储容量等的限制，人们获得图像的分辨率往往较低，并且无法或很难通过直接方式突破这些限制。因此，如何在现有条件限制下，提高图像和视频序列的空间分辨率，就成为人们研究的重点。视频超分辨率重建技术是近年图像处理与计算机视觉的研究热点之一,目前,视频超分辨率重建中使用较广的是
2、视频重建模型,但由于该方法未对边界帧进行考虑,不能对视频中的每一帧进行重建。每一帧图像的超分辨率重建主要包括配准和重建2 个过程,其中配准算法的精度直接关系到重建视频的质量。配准算法主要包括频率域和空间域两大类,总体而言,空间域方法适用于更为普通的运动模型,但在大运动情况下将会产生较大误差。重建算法主要包括非均匀内插法、迭代反投影法、集合论方法、最大后验概率估计法和自适应滤波法等。由于迭代反投影算法具有计算量小、收敛速度快、算法简洁和可自动降噪等优点,被有效地应用于视频超分辨率重建中。超分辨率重建是采用软件方法对图像或者视频进行一系列的分析处理，提高图像或视频分辨率的一种数字图像处理技术。利用
3、超分辨率重建技术能够在不升级现有采集设备的情况下，提高采集图像的分辨率；也能够在不增加传输信号带宽的情况下，改善图像或视频的画面质量。因此，超分辨率重建技术具有良好的研究价值和广泛的应用前景。在获取视频过程中，有许多因素会导致视频质量的退化，使得视频的空间分辨率降低；而摄像机曝光时间和拍摄帧率又限制了视频的时间分辨率。视频超分辨率重建是一种能有效提高视频时间分辨率和空间分辨率的方法，已经在计算机视觉和图像处理等领域引起了广泛关注。详细阐述了视频超分辨率重建研究的概念和必要性，并较全面地回顾了超分辨率技术近年来的发展历程，对视频超分辨率重建中关键问题进行了较为深入的分析，指出了当今研究难点和今后
4、的研究方向，对视频超分辨率重建的应用前景进行了展望。关键词：图像处理，超分辨率重建，空间超分辨率，时间超分辨率，帧间配准3目录摘要 .2第一章 绪论 .41.1 研究背景及意义 .41.2 研究现状 .5第二章 超分辨率技术的发展历程 .62.1 静态图像超分辨率重建 .62.2 单视频超分辨率重建 .62.3 多视频超分辨率重建 .7第三章 视频超分辨率重建中的关键问题 .73.1 视频退化函数的估计 .73.2 视频帧间配准 .73.3 多个视频的时空对齐 .83.4 视频超分辨率重建方法 .93.5 时空“振铃效应”的消除 .9第四章 未来应用展望 .10参考文献 .104第 1 章 绪
5、论1.1 研究背景及意义在实际的数字图像应用中，为了能对图像进行高质量的后处理和图像分析，通常要求高分辨率图像或者高分辨率视频。图像的分辨率是指一幅图像中所包含的细节信息，图像分辨率越高，则图像拥有的细节就越多。在具体的应用中，图像的分辨率受很多因素限制。首先受限于成像传感器或者成像采集设备。目前典型的成像传感器有 CMOS 传感器和 CCD 传感器。这些传感器将采集得到的二维图像信号以二维阵列的形式排列。因此，传感器单位面积上传感元素的数量决定了采集图像的分辨率：传感器单元密度越大，则成像系统所采集到的图像分辨率越高。如果成像系统没有足够数量的传感元素，那么采集到的图像将由于较低的空间采样频
6、率而发生混叠现象，即采集到的图像分辨率低且可能伴随块效应。因此，提高图像分辨率的最直接的方式为通过减小传感器单元尺寸来增加传感器密度。但是，减小传感器单元尺寸将同时带来传感器单位面积接收到的光量的减少，这样采集到的图像就会有散粒噪声。所以，传感器单元尺寸有下限值，通过这类手段提高的图像分辨率也有限。图像分辨率还受光学系统的影响，包括镜头模糊、由运动造成的光学模糊、透镜畸变效应等等，这类情况可以通过构造较高级的成像芯片以及光学元件来解决，但是这种做法一方面技术要求较高，并且造价昂贵，不适合大量生产，如不能广泛应用在普通的视频监控或者手机内置摄像头中。即使不考虑造价问题，在一些特殊场合，如卫星摄像
7、，受外在物理环境所限不能采用高分辨率的传感器；视频监控，分辨率受摄像速度及硬件存储容量所限。考虑到通过硬件方式来提升图像的分辨率存在分辨率提高有限、成本高、技术难度大、易受环境影响等问题，因此提出从软件方式着手，采用信号处理技术，权衡计算量及重建质量，对采集到的较低分辨率图像进行后处理，以提高图像的分辨率，这样一类技术就是超分辨率重建技术（Super-Resolution Reconstruction） 。超分辨率重建就是通过软件的手法，克服低分辨率成像系统的局限性，提高图像分辨率的方法。图1-1 是两组低分辨率图像进行超分辨率重建后的效果图，图1-1（a）中左边一幅图像是低分辨率图像，右边一
8、幅为对其进行超分辨率重建后的高分辨率图像，图1-1（b）同前。对比可以看出，重建后的图像更清晰，噪声也降低了，如字母，边界部分都清晰可见。5（a） （b）图 1-1 低分辨率图像进行 2 倍的超分辨率重建结果实际中所采集到的低分辨率图像，往往不仅仅是高分辨率图像的简单下采样，还会受到光学模糊、运动模糊、噪声污染、混叠等因素影响。因此，超分辨率重建技术是传统图像复原技术的进一步深入，在改变图像尺寸的同时去除图像所受的噪声、模糊等。研究超分辨率重建技术，一方面能够推动图像复原技术的进一步发展，另一方面其研究成果在当今社会的多个邻域都具有普遍的实际应用价值，如在继续使用原有低分辨率成像系统设备的情况
9、下，依然能够获得符合高分辨率要求的图像；在网络传输中，带宽有限，采用超分辨率技术能够实现用较少数据量恢复较大的信息量。目前超分辨率重建的典型应用有 视频监控：对监控视频中感兴趣区域进行超分辨率重建以及自动目标识别中的分辨率增强，如交通系统的监控视频中对车牌的图像增强，对犯罪嫌疑人的脸部识别等等。遥感技术：提供一个目标场景的多幅图像，提高目标场景图像的清晰度。军事：用于军事上的目标识别与定位，战场环境监测，打击效果评估等。 医学图像：对医学图像，包括电脑断层扫描影像（CT） ，核磁共振影像（MRT） ，超声波影像（Ultrasound）等，进行处理提高医用图像的主管质量。 视频标准之间的转换：例
10、如将NTSC 制的视频信号通过超分辨率重建技术转化为HDTV信号。1.2 研究现状广泛研究的超分辨率重建方法是基于学习的超分辨率重建方法。这类方法首先学习训练图像，生成样本集合，然后利用该样本集合重建图像。为了使基于学习的超分辨率重建方法对各种内容的图像都适用，就要求建立一个较大的样本集合，包含足够的样本。这就导致基于学习的超分辨率重建方法的数据量大，重建速度较慢，不适应实际应用。Chang在其文献中提出了一种邻域嵌入（Neighbor Embedding）的超分辨率重建算法，算法将流形中的局部线性嵌入思想引入到超分辨率重建中，即使在样本集合很小的情况下也能达到较好的重建效果。另外，Yang
11、等也提出了一种基于块的单幅图像超分辨率重建方法，方法引用压缩感知理论，确保高分辨率信号能由它们的低维投影精确重建。Datsenko 和Elad 将最大后验概率引入到基于学习的超分辨率重建算法中，提出全局最优的超分辨率重建方法。Protter吸收了非局部去噪算法的思想，在待重建图像内部（或者图像序列里）寻找相似特征，以此代替原有学习方法的对其他图像学习，为基于学习的超分辨率重建方法增添了新的思路。由于基于学习的超分辨率重建方法在训练图像的内容与待重建图像的内容相似时，有较好的重建效果，并且只需要改变学习过程就能适应不同的放大倍数。因此，基于学习6的超分辨率重建方法在针对一种类型的图像重建上效果较
12、为明显，如文字处理、人脸识别等等。目前，实现超分辨率重建的广泛应用还面临许多问题和挑战。对于多幅图像的超分辨率重建，图像配准是重建过程中举足轻重的环节，直接影响最终的高分辨率图像重建效果。首先图像配准本身就是一个病态问题，其次在超分辨率重建系统中，由于观察图像是一系列具有严重混叠纹影的低分辨率图像，导致标准的图像配准算法会出现较多的配准误差，反映在重建图像上则会出现很多可见的纹影，这些纹影造成的主观质量下降甚至超过了采用普通插值算法时造成的模糊现象。因此，超分辨率重建中的图像配准难度很大。另外，实际中的图像降质是一个复杂的过程，受到模糊、噪声、运动物体、运动模糊等影响，超分辨率重建的降质模型并不准确，降质模型的参数也很难准确估计，这都直接影响超分辨率的重建效果。而这在一些实际应用中是不能接受的，比如在视频标准转化中出现纹影等现象。因此，超分辨率重建中的降质过程建模以及模型参数估计是研究超分辨率重建的又一关键
