《图像超分辨率综述应用》由会员分享，可在线阅读，更多相关《图像超分辨率综述应用（28页珍藏版）》请在金锄头文库上搜索。
1、-图像超分辨率Image Super Resolution概述图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前，图像超分辨率研究可分为 3个主要范畴： 基于插值、 基于重建和基于学习的方法 超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。 超分辨率图像重建综述超分辨率图像重建(Super-Resoluti
2、on Image Reconstruction) 在大量的电子图像应用领域，人们经常期望得到高分辨率（简称HR）图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。自从上世纪七十年代以来，电荷耦合器件(CCD)、CMOS图像传感器已被广泛用来捕获数字图像。尽管对于大多数的图像应用来说这些传感器是合适的，但是当前的分辨率水平和消费价格不能满足今后的需求。例如，人们希望得到一
3、个便宜的高分辨率数码相机/便携式摄像机，或者期望其价格逐渐下降；科学家通常需要一个非常高的接近35毫米模拟胶片的分辨率水平，这样在放大一个图像的时候就不会有可见的瑕疵。因此，寻找一种增强当前分辨率水平的方法是非常必须的。 增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸（例如增加每单元面积的像素数量）。然而，随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。不受散粒噪声的影响而减少像素的尺寸有一个极限，对于0.35微米的CMOS处理器，像素的理想极限尺寸大约是40平方微米。当前的图像传感器技术大多能达到这个水平。 在许多高分辨率图像的商业应用领域，高
4、精度光学和图像传感器的高价格也是一个必须考虑的重要因素。因此，有必要采用一种新的方法来增加空间分辨率，从而克服传感器和光学制造技术的限制。 一种很有前途的方法就是采用信号处理的方法从多个可观察到的低分辨率（简称LR）图像得到高分辨率图像。最近这样的一种分辨率增强技术正成为最热的研究领域之一，在文献中人们把它叫超分辨率（简称SR或者HR）图像复原或者简单地叫做分辨率增强。本文中我们用“超分辨率图像复原”这个术语来指分辨率增强的信号处理方法，因为在克服低分辨率图像系统固有的分辨率限制方面，“超分率”术语中的“超”字代表了一个非常好的技术特性。信号处理方法最大的好处就是它的成本低，同时现存的低分辨率
5、图像系统仍能使用。在许多实际应用中，特别是在医疗图像、卫星图像和视频等领域，同样场景的多帧低分辨率图像很容易得到的情况下，SR图像复原被证明是非常有用的。一种应用就是用便宜的LR数码相机/便携式摄像机复原高质量的数字图像以便打印/停格使用，通常对于一个便携式摄像机，很有可能连续显示放大帧；另外一种非常重要的应用是在监控、法院、科学、医疗和卫星图像应用中缩放感兴趣区域（简称ROI），例如，在监控和法院中，目前数字摄像机（简称DVR）已经普遍取代了闭路电视（简称CCTV），就很有必要放大场景中的目标如汽车牌照或者疑犯的脸部。在诸如CT和核磁共振（简称MRI）等医疗应用中，分辨率质量有限的而获取多幅
6、图像有是可能的情况下，SR技术是非常有用的；在遥感和地球资源卫星（简称LANDSAT）一类卫星图像应用中，在同一地区的多幅图像可提供的情况下，可以考虑使用SR技术增强目标的分辨率；另外一种非常迫切而现实的应用是把一般的NTSC格式低清电视信号转换为高清电视信号（简称HDTV）而不失真地在HDTV上播放。 我们如何从多幅LR图像中得到HR图像？在基于SR的空间分辨率增强技术中，其基本前提是通过同一场景可以获取多幅LR细节图像。在SR中，典型地认为LR图像代表了同一场景的不同侧面，也就是说LR图像是基于亚像素精度的平移亚采样。如果仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不
7、能为HR图像的复原提供新的信息。如果每幅LR图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅LR图像都会为HR图像的复原提供一些不同的信息。为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。我们可以通过一台照相机的多次拍摄或者在不同地点的多台照相机获取多个场景，例如在轨道卫星一类可控制的图像应用中，这种场景运动是能够实现的；对于局部对象移动或者震荡一类的不可控制的图像应用也是同样能实现的。如果这些场景运动是已知的或者是在亚像素精度范围了可估计的，同时如果我们能够合成这些HR图像，那么SR图像复原是可以实现的. 与SR技术相
8、关的一个课题是图像修复，这是一个在图像应用中被大量处理的领域，图像修复的目标是恢复一个被模糊或者噪声破坏的图像，但是它不改变图像的尺寸。事实上图像修复和SR复原在理论是完全相关的，SR复原可以看作是第二代图像修复课题。 与SR技术相关的另一个课题是图像插值，即增加单幅图像的尺寸。尽管这个领域已经被广泛地研究，即使一些基本的功能已经建立，从一幅近似的LR图像放大图像的质量仍然是有限的，这是因为对单幅图像插值不能恢复在LR采样过程中损失的高频部分。因此图像插值方法不能被认作是SR技术。为了在这方面有更大的改进，下一步就需要应用基于同一场景的相关的额外数据。基于同一场景的不同的观察信息的融合就构成了
9、基于场景的SR复原。1、超分辨率重建通过对获得的低分辨率图像进行处理以后，一方面能够对成像光学系统的点扩展函数进行反卷积，去除光学系统的影响;另一方面能够获得显示图像的像元总数增加，同时也希望在处理过程中去除相应的成像系统的噪声等。通过这些处理以后，图像的分辨率得到了改善，但获得的并不一定是真实的高分辨率图像，而是对真实高分辨率图像的某种估计，因而通常称所获得的图像为超分辨率图像，相应处理过程为超分辨率图像重建.2、超分辨率重建技术应用(1)生物医学成像: 核磁共振成像等；(2)卫星成像：遥感、遥测、军事侦察等；(3)视频监控(4)视频格式转换(5)视频增强和复原：老旧电影的翻制等；(6)显微
10、成像、虚拟现实等3、降质模型图像的超分辨率重建是建立在图像降质的数学模型基础上的，降质的数学模型反映图像降质的因素，才能用数学方法进行处理，重建图像。(1)位移模糊模型(2)模糊位移模型4、超分辨率涉及的两个问题：a)图像修复改良光照不均匀、噪声较多的图像，但是不改变图像大小b)图像插值改变图像大小，对单张图像进行差值并不属于超分辨率重建技术5、基于重建的超分辨率技术(1)频域方法通过在频率域消除频谱而改善图像的空间分辨率。基于傅里叶变换的移位特性； (Tsai andHuang)考虑光学系统的点扩展函数和噪声的影响；（Tekalp）估计帧间整体平移参数的解算方法；(Kaltenbacker
11、and Hardie)用递归最小二乘对对Tsai公式中的混叠矩阵进行求解。由于频率域方法只能应用于全局平移和线性空间不变降质模型，并且它对空间域先验的能力不足，缺少灵活性，所以目前这类方法已经不再是研究的热点。(2)空域方法非均匀样本内插法（Non-uniform interpolation）；迭代反投影方法（Iterative Back Projection , IBP）;凸影投影法（Projection onto Convex Set, POCS）;最大后验概率估计（Maximum a Posteriori ,MAP）;混合Map/POCS方法；自适应滤波方法；基于重构的方法比较成熟，主要
12、针对图像空间信息的增强和复原，但是仍存在很多问题：(1)实时性(2)鲁棒性(3)盲超分辨率6、基于学习的超分辨率技术基于学习的概念首次由Freeman提出，基本思想是先学习低分辨率图像与高分辨率图像之间的关系，利用这种关系来指导对图像进行超分辨率。马尔可夫网络建模低分辨率和高分辨率图像块间的关系，学习因降质丢失的高频分量，然后与插值得到的初始估计相加恢复出高分辨率图像。有效组织图像块数据库提高匹配效率；(Bishop)Super-resolution enhaneementofvideo.IntemationalConfereneeonArtifieial Intelligenee and S
13、tatisties，2003.通过主要轮廓先验增强图像质量；(Sun)Image hallueination with Primal sketch Priors.IEEE Computer Society Conference Computer on Computer Vision and Pattern Recognition，2003，2:729-736基于流形学习的方法；(Chang)H.Chang，D.Y.Yeung，Y.Xiong. Super-resolution through neighbor embedding. IEEE Computer Society Conferenc
14、e on Computer Vision And Pattern Recognition，2004，l:275-282.利用多尺度张量投票理论来估计位置的高分辨率图像(Tai)Yu-Wing Tai，Wai-Shun Tong，Chi-Keung Tang. Perceptually-inspired an Edge-directed color image super-resolution .IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006，2:1948 -1955.融合不同尺寸的
15、图像进行分辨率增强（Joshi）A learning-based method for image super-resolution from zoomed observation. IEEE Transactions on Systems, Man and Cybernetics,2005;7、可能的研究方向(1) 图像超分辨率重建是一个典型的逆问题，现有的研究绝大多数都是用仿真来模拟图像的降质，当处理具体问题时，一个很重要的问题就是图像降质模型的辨识，这个问题目前研究的人还不是很多，是需要深入研究的方向;(2) 一些新的基于学习的方法也可以用于超分辨率重建领域;(3) 图像超分辨率问题的特
16、殊性使得对其算法性能的评判没有统一的标准;多帧图像变分超分辨率重建1.引言超分辨率（super-resolution; SR）是一种由一序列低分辨率（low-resolution; LR）退化图像重建一幅（或序列）高分辨率（high-resolution; HR）清晰图像的复原技术1.与传统图像复原技术不同之处在于，超分辨率重建技术充分利用了获取的低分辨率图像序列信息，并且综合考虑了成像过程中的各种退化因素（如运动变形，光学模糊，低采样率，随机噪声等），因而更具广泛性和实用性，如红外图像、遥感图像等领域。从退化模型的角度看，超分辨率重建与传统图像复原在Hardmard 意义下均是非适定数学反问题2,从而具有共同的理论支撑，如正则
