图像去噪及增强ppt课件

《图像去噪及增强ppt课件》由会员分享，可在线阅读，更多相关《图像去噪及增强ppt课件（137页珍藏版）》请在金锄头文库上搜索。

1、图像去噪及增强图像去噪及增强11 图像处理中所用到的图像往往含有噪声，需要用图像滤波的方法去除噪声。噪声图像滤除噪声图像1 1 1 1 图像滤波图像滤波图像滤波图像滤波2直方图是一个二维坐标系，横轴表示整幅图像上灰度值的变化范围，纵轴表示每个灰度值的统计个数。直方图能够反映灰度图像的灰度分布特征。原始图像直方图1 1 1 1 图像滤波图像滤波图像滤波图像滤波3rsrs1 1 1 1 图像滤波图像滤波图像滤波图像滤波4灰度直方图反映图像的灰度分布特征1 1 1 1 图像滤波图像滤波图像滤波图像滤波51 1 1 1 图像滤波图像滤波图像滤波图像滤波61 1 1 1 图像滤波图像滤波图像滤波图像滤波

2、71 1 1 1 图像滤波图像滤波图像滤波图像滤波8直方图均衡算法可以有效地提高图像视觉的对比度直方图均衡算法不增加图像的灰度分辨率直方图均衡算法可能丢失图像细节直方图均衡算法用于图像处理流程的显示环节自动处理/分析过程中不使用直方图均衡算法1 1 1 1 图像滤波图像滤波图像滤波图像滤波9原始图像平滑图像1 1 1 1 图像滤波图像滤波图像滤波图像滤波10原始图像平滑图像1 1 1 1 图像滤波图像滤波图像滤波图像滤波11线性平滑滤波邻域平均邻域平均每个像素点用它邻域像素的平均值作为平滑结果33模板：邻域平均，平滑滤波确实会将噪声点减弱，但是同时也是整个图像的跟为模糊，可视的细节逐渐减少，而

3、且运算量也非常大。有关模板与图像的运算涉及到图像卷积，接下来介绍一下图像卷积的原理。1111111111 1 1 1 图像滤波图像滤波图像滤波图像滤波12图像卷积图像平滑中，有关模板的运算都用到了图像卷积的概念。卷积模板中的各个位置对应的是权重系数，例如：a1a9可以根据具体需要来确定数值。卷积就是将模板的中心a5对应好所处理的当前像素点，系数与图像上的灰度值一一对应相乘，得到的数值作为所处理像素点的新的灰度值。a1a2a3a4a5a6a7a8a91 1 1 1 图像滤波图像滤波图像滤波图像滤波13噪声图像2 x 23 x 34 x 41 1 1 1 图像滤波图像滤波图像滤波图像滤波14335

4、51 1 1 1 图像滤波图像滤波图像滤波图像滤波15单帧8帧迭加16帧迭加64帧迭加128帧迭加1 1 1 1 图像滤波图像滤波图像滤波图像滤波16加权平均同一尺寸的模板，不同位置的系数不同；距离模板中心越近的像素点的权重越大，同理越远的越小；为了减少计算量，将模板系数最小值设为1，其他的按等比数列递增，中心系数最大；1212421211 1 1 1 图像滤波图像滤波图像滤波图像滤波17根据高斯分布确定模板系数高斯函数：代表邻域像素点距离中心像素点的距离，可以用欧几里德距离来表示。可以通过调整，来控制平滑效果的程度。高斯系数跟距离成反比。1 1 1 1 图像滤波图像滤波图像滤波图像滤波18噪

5、声图像2 x 23 x 34 x 41 1 1 1 图像滤波图像滤波图像滤波图像滤波19非线性滤波线性滤波平滑噪声的同时，也损坏了非噪声区域的信号；采用非线性滤波可以保留信号的同时，滤除噪声。非线性滤波的典型方法是：中值滤波。1 1 1 1 图像滤波图像滤波图像滤波图像滤波20中值滤波一维中值滤波模板尺寸为，原始数据中值滤波均值滤波1 1 1 1 图像滤波图像滤波图像滤波图像滤波21二维中值滤波公式：二维中值滤波更加广泛的应用于图像滤波当中1 1 1 1 图像滤波图像滤波图像滤波图像滤波22排序取中值二维中值滤波1 1 1 1 图像滤波图像滤波图像滤波图像滤波23中值滤波的步骤将模板在图中漫游

6、，并将模板中心与图中某个像素位置重合；读取模板下各对应像素的灰度值；将这些灰度值从小到大排成一列；找出这些值的中间值；将这个值赋给对应模板中心位置的像素。1 1 1 1 图像滤波图像滤波图像滤波图像滤波24噪声图像中值滤波3x31 1 1 1 图像滤波图像滤波图像滤波图像滤波25平均滤波与中值滤波比较噪声图像均值滤波中值滤波均值滤波和中值滤波都采用的是2x2 的模板1 1 1 1 图像滤波图像滤波图像滤波图像滤波26 红外图像的特点 场景温度动态范围大 局部温度分布较平滑 相邻位置的温度相关性较高，温差较小，对比度较差。 有效场景信息集中于少量灰度级红外图像细节增强技术已经成为非均匀性校正技术

7、后红外图像细节增强技术已经成为非均匀性校正技术后提高热成像系统性能的又一研究热点问题提高热成像系统性能的又一研究热点问题2 2 2 2 红外图像增强红外图像增强红外图像增强红外图像增强27数字细节增强技术（DDE，Digital Detail Enhancement）2 2 2 2 红外图像增强红外图像增强红外图像增强红外图像增强28研究背景、应用需求及意义数字细节增强技术（DDE，Digital Detail Enhancement）FLIR B系列FLIR P系列FLIR S系列FLIR M系列FLIR HM系列FLIR RANGE系列29红外图像细节增强处理在成像过程中的两个切入点：对红

8、外系统终端的输出结果进行增强处理。优点：优点：处理速度快，存储空间小缺点：缺点：关键细节信息损失严重第一类切入点第一类切入点对探测器前端高精度A/D信号进行增强处理优点优点明显提升图像的细节表现缺点：缺点：数据处理量大，硬件处理平台的要求较高第二类切入点第二类切入点2 2 2 2 红外图像增强红外图像增强红外图像增强红外图像增强30 传统的空域和频域图像增强处理 空域处理典型方法：高频增强和非锐化掩膜（Unsharp Masking）低通滤波（LP, LowPass Filtering）；高通滤波（HP, HighPass Filtering）应用特点及适用图像应用特点及适用图像高频增强：场景

9、中包含大量的边沿、轮廓和线条信息。非锐化掩膜：场景包含的细节信息以低对比度、小区域灰度值聚集的形式为主高频增强高频增强非锐化掩膜非锐化掩膜2 2 2 2 红外图像增强红外图像增强红外图像增强红外图像增强31 传统的空域和频域图像增强处理 频域处理：将图像转换到傅里叶频域，利用高通滤波滤波器实现对高频成分的增强处理。传统空域和频域图像增强处理特点：直观、易理解，运行效率高，方便实现硬件的实时处理。缺点：图像噪声会被放大，信噪比和视觉感受降低，出现“光晕”现象2 2 2 2 红外图像增强红外图像增强红外图像增强红外图像增强32传统红外图像细节增强原理及方法传统红外图像细节增强原理及方法 基于图像直

10、方图的增强处理 直方图均衡化（HE, Histogram Equalization）算法目的：概率密度分布函数（PDF, Probability Density Function）均匀分布，熵值最大化（理论值） 优点缺点GHE处理速度快；对PDF较大的灰度级能实现有效地对比度增强；易实现硬件的实时处理 部分细节信息（小PDF灰度级）会损失；结果有明显的“刷白”显示效果； LHE对不同程度的细节信息都能实现有效地增强 运算量大，计算复杂，不易硬件化实时处理 GHEGHE处理结果处理结果AHEAHE处理结果处理结果2 2 2 2 红外图像增强红外图像增强红外图像增强红外图像增强33传统红外图像细节

11、增强原理及方法传统红外图像细节增强原理及方法 基于图像直方图的增强处理 直方图投影（HP, Histogram Projection）算法原由：灰度级范围内存在PDF为零的灰度级，灰度级范围内会出现冗余现象 HP改进算法：1. 阈值处理：设定PDF阈值，进一步有效提高图像对比度。2. 非均匀性拉伸：给不同灰度范围指定不同的权重，实现不同程度的灰度拉伸。优点：HP处理能充分利用有限的灰度级来实现对比度增强；阈值的加入，能有效降低处理结果中的噪声影响。缺点：对细节的增强效果有限；阈值和非线性拉伸难以实现有效的自适应选取。 原始图像及其直方图HE处理及其直方图HP处理及其直方图HP处理图像可见光原图

12、像红外原图像HP处理图像2 2 2 2 红外图像增强红外图像增强红外图像增强红外图像增强34传统红外图像细节增强原理及方法传统红外图像细节增强原理及方法 基于图像直方图的增强处理 平台直方图均衡化（PE, Plateau Equalization)算法原由：HE处理会使高PDF灰度级对低PDF灰度级造成“推挤”效应。PE可以视作HE与HP的有机组合（高于阈值的部分，按照HP处理；低于阈值的部分，按照HE处理）优点：可以有效调节高PDF输出占用较大的灰度级范围，提高低PDF细节的对比度。缺点：平台阈值无法根据图像特征自适应的选取，合适的阈值要靠人工判读和先验经验来确定。原始图像及其直方图HE处理

13、及其直方图P=100时PE处理及其直方图P=3000时PE处理及其直方图2 2 2 2 红外图像增强红外图像增强红外图像增强红外图像增强35传统红外图像细节增强原理及方法传统红外图像细节增强原理及方法 基于图像直方图的增强处理 对比度受限自适应直方图均衡化（CLAHE, Contrast Limited Adaptive Histogram Equalization)算法原由：HE处理会使高PDF灰度级对低PDF灰度级造成“推挤”效应。 优点：可以在降低高PDF的同时，提高低PDF的数值，从而使高PDF输出灰度级范围受到限制，低PDF输出灰度级范围得到增加，最终实现对比度增强。缺点：平台阈值无

14、法根据图像特征自适应的选取，合适的阈值要靠人工判读和先验经验来确定。红外原图像HE处理图像CLAHE处理图像2 2 2 2 红外图像增强红外图像增强红外图像增强红外图像增强36传统红外图像细节增强原理及方法传统红外图像细节增强原理及方法 基于图像直方图的增强处理 局域交叠子块直方图均衡化（POSHE，Partially Overlapped Sub-block Histogram Equalization）算法原由：在算法复杂度（GHE）和处理效果（AHE）之间实现折中的选择。 特点：图像分割成有限子块，对每个子块都进行HE处理，并通过添加权重来减小边界分割效应原始图像HE处理图像AHE处理图

15、像POSHE处理图像原始图像HE处理图像AHE处理图像POSHE处理图像可见光原图像POSHE处理图像3 3 3 3 红外图像增强红外图像增强红外图像增强红外图像增强37新型图像对比度和细节增强方法新型图像对比度和细节增强方法 Retinex图像增强方法算法原由：模拟人眼对信息的获取过程，将图像模型化为光照分布和场景反射两个过程。图像的大动态背景信息通常位于光照分布中，而细节信息则位于场景反射中。图像方程：处理方程：优点：处理结果包含的细节信息丰富，运算量较小。缺点：空间的光照分布决定细节的表现程度，准确估计空间光照有难度。红外原图像Retinex增强处理图像3 3 3 3 红外图像增强红外图

16、像增强红外图像增强红外图像增强38新型图像对比度和细节增强方法新型图像对比度和细节增强方法 基于小波的图像增强方法算法原由：傅里叶变换是一种整体信息的变换，因此无法针对特殊的独立目标进行进行独立的增强处理。特点：能够对所关心区域的图像细节进行增强，且对细节信息的挖掘程度完全由小波的分解程度决定。可以对不同区域、不同目标实现有针对性且有效地增强处理。红外原图像HE处理图像UM处理图像小波处理图像3 3 3 3 红外图像增强红外图像增强红外图像增强红外图像增强39新型图像对比度和细节增强方法新型图像对比度和细节增强方法 红外图像的彩色化处理算法原由：人眼对灰度的敏感度远不及对彩色的敏感度。 伪彩色

17、处理缺点：不利于长时间观察，人眼对场景的正常理解和感知存在较大的差异。 彩色融合特点：在红外场景信息的基础上，添加进微光场景信息，从而增加融合图像的信息量并以彩色的方式显示出来。 基于自然场景的图像彩色化处理特点：经过处理的图像场景与人眼对正常真实场景的感知具有相似性。微光图像红外图像融合图像热图像可见光图像自然感彩色融合图像3 3 3 3 红外图像增强红外图像增强红外图像增强红外图像增强40(c) AGC(a) 原始HDR红外图像(d) 新型算法的处理效果(b) HE处理图像3 3 3 3 红外图像增强红外图像增强红外图像增强红外图像增强41典型红外场景细节典型红外场景细节增强处理增强处理大

18、动态红外场景细节大动态红外场景细节增强处理增强处理3 3 3 3 红外图像增强红外图像增强红外图像增强红外图像增强42红外图像细节增强技术发展趋势红外图像细节增强技术发展趋势提高探测器空间分辨率和AD的量化精度增强算法的通用性研究细节评价客观标准的建立 1238bit图像处理效果423114bit图像压缩及细节增强处理效果3 3 3 3 红外图像增强红外图像增强红外图像增强红外图像增强43图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像图像超分辨率技术分为超分辨率复原和超分辨率重建单帧图像超分辨基于插值的方法基于重建的方法基于先验的方法基于正则化的方法基于学习的方法Belief

19、Propagation的方法流形学习稀疏编码多帧图像超分辨4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率44应用应用Satelliteimaging4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率45应用应用Aerial Imaging 4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率8 images*, ratio 1:446应用应用Data Transmission4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率47应用应用Plate Reading4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率48应用应用

20、Surveillance cameras4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率494 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率应用应用50应用应用Super-Resolution Vision System (SRVS) 大气扰动效应是影响近地成像系统分辨率大气扰动效应是影响近地成像系统分辨率的关键因素的关键因素利用由扰动产生的微引力透镜现象，可以利用由扰动产生的微引力透镜现象，可以捕获高分辨率的图像信息捕获高分辨率的图像信息图像中鲜有高分辨率区域，但是在所有帧图像中鲜有高分辨率区域，但是在所有帧中总有一些高分辨区域中总有一些高分辨区域4 4 4

21、4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率51平均100帧短曝光时间的图像利用100帧中的高分辨区域的超分辨图像4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率524 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率53图像变形图像变形Image filtering:changerangeofimage g(x) = h(f(x)fxhgxfxhgxImage warping:changedomainofimageg(x) = h(f(x)4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率54图像变形图像变形Image filtering:c

22、hangerangeofimage g(x) = h(f(x)hhImage warping:changedomainofimageg(x) = h(f(x)fgfg4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率55参数(全局)变形Examples of image warps:translationrotationaspectaffineperspectivecylindrical图像变形图像变形4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率56图像变形图像变形TransformationTisacoordinate-changingmachine:p=T

23、(p)WhatdoesitmeanthatTisglobal?Isthesameforanypointpcanbedescribedbyjustafewnumbers(parameters)RepresentTasamatrix:p=W*pTp = (x,y)p = (x,y)4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率57ScalingacoordinatemeansmultiplyingeachofitscomponentsbyascalarUniform scalingmeansthisscalaristhesameforallcomponents: 2图像比例变化图

24、像比例变化4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率58Non-uniform scaling:differentscalarspercomponent:X 2,Y 0.5图像比例变化图像比例变化4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率59Scalingoperation:Or,inmatrixform:scaling matrix S图像比例变化图像比例变化4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率60Thisiseasytocaptureinmatrixform:Eventhoughsin(q)andcos(q)areno

25、nlineartoq,x is a linear combination of x and yy is a linear combination of x and yR图像旋转图像旋转4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率61Whattypesoftransformationscanberepresentedwitha2x2matrix?2D Identity?2D Scale around (0,0)?图像变换的矩阵表示图像变换的矩阵表示4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率62Whattypesoftransformationscanbe

26、representedwitha2x2matrix?2D Rotate around (0,0)?2D Shear?图像变换的矩阵表示图像变换的矩阵表示4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率63Whattypesoftransformationscanberepresentedwitha2x2matrix?2D Mirror about Y axis?2D Mirror over (0,0)?图像变换的矩阵表示图像变换的矩阵表示4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率64Lineartransformationsarecombinationso

27、fScale,Rotation,Shear,andMirrorPropertiesoflineartransformations:Origin maps to originLinesmaptolinesParallellinesremainparallelRatiosarepreserved图像线性变换图像线性变换4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率65Exampleoftranslationtx = 2ty = 1Homogeneous Coordinates图像变换的矩阵表示图像变换的矩阵表示4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率66A

28、ffinetransformationsarecombinationsofLineartransformations,andTranslationsPropertiesofaffinetransformations:OrigindoesnotnecessarilymaptooriginLinesmaptolinesParallellinesremainparallelRatiosarepreserved图像变换的矩阵表示图像变换的矩阵表示4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率67ProjectivetransformationsAffinetransformation

29、s,andProjectivewarpsPropertiesofprojectivetransformations:OrigindoesnotnecessarilymaptooriginLinesmaptolinesParallellinesdonotnecessarilyremainparallelRatiosarenotpreserved图像变换的矩阵表示图像变换的矩阵表示4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率68Simplemappings:-Similarity-Affinemapping-ProjectivemappingMorecomplexmapping

30、s:-Linearandnonlinearmapping-Parametricandnon-parametricmapping图像变形的类型图像变形的类型4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率69Acombinationof2-Dscale,rotation,andtranslationtransformations.Allowsasquaretobetransformedintoanyrotatedrectangle.Anglebetweenlinesispreserved5degreesoffreedom(sx,sy,tx,ty)Inverseisofsamefo

31、rm(isalsosimilarity).Givenbyinverseof3X3matrixaboveHave the form:In matrix notation:图像相似性变换图像相似性变换4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率70Acombinationof2-Dscale,rotation,shear,andtranslationtransformations.Allowsasquaretobedistortedintoanyparallelogram.6degreesoffreedom(a,b,c,d,e,f)Inverseisofsameform(isa

32、lsoaffine).Givenbyinverseof3X3matrixaboveGoodwhencontrollingawarpwithtriangles,since3pointsin2Ddeterminedthe6degreesoffreedomHave the form:In matrix notation:图像仿射变换图像仿射变换4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率71Linearnumerator&denominatorIfg=h=0,thenyougetaffineasaspecialcaseAllowasquaretobedistortedintoan

33、yquadrilateral8degreesoffreedom(a-h).Wecanchoosei=1,arbitrarilyInverseisofsameform(isalsoprojective).Goodwhencontrollingawarpwithquadrilaterals,since4pointsin2Ddeterminethe8degreesoffreedomHave the form:In matrix notation:图像投影变换图像投影变换4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率72图像变换图像变换4 4 4 4 图像超分辨率图像超分辨率图像超分

34、辨率图像超分辨率73f, gTransform the geometry of an image to a desired geometryLinear and non-linear变换函数变换函数4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率74Source Image:Imagetobeusedasthereference.ThegeometryofthisimageisnotchangedTarget Image:thisimageisobtainedbytransformingthereferenceimage.(x,y):coordinatesofpointsint

35、hereferenceimage(u,v):coordinatesofpointsinthetargetimagef,g or F,G:xandycomponentsofatransformationfunction图像变形图像变形4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率75Control points:Uniquepointsinthereferenceandtargetimages.Thecoordinatesofcorrespondingcontrolpointsinimagesareusedtodetermineatransformationfunction.S

36、ource ImageTarget Image图像变形图像变形4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率76UsedtocomputethecorrespondingpointsSource Image S(x,y)Target Image T(u,v)u = f(x,y)v = g(x.y)x = F(u,v)y = G(x.v)图像变形图像变形4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率77yGiven a coordinate transform function f,g or F,G and source image S(x,y), how d

37、o we compute a transformed image T(u,v)?S(x,y)T(u,v)xuv图像变形图像变形4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率78xyuvS(x,y)T(u,v)for y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixel at source S(x,y) to T(u,v) Forward warping algorithm:(Optional Exercise)- How can we speed up the forward warpi

38、ng?图像变形图像变形4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率79Decompose2Dtransformintotwo1Dtransformsu = f(x,y)v = g(x,y)u = f(x,y)y = yu = uv = g(x,y)12uyuvxy可分变换可分变换4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率80Catmull-Smith AlgorithmFirstpass-mapS(x,y)toanintermediateimageI(u,y)Secondpass-maptheI(u,y)tothefinalimageT(u,v)I(u

39、,y) = S(f(x,y),y) T(u,v) = I(u,g(Hu(y),y)Where Hu(y) is the solution to u = f(x,y) for x4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率81Two Pass Perspectivefgf(x,y) g(x,y)T(u,v)I(u,y)S(x,y)uyuvxy4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率82Two Pass Perspectiveuvxy- Works cleanly for affine and projective warps -1D filtering

40、 and resamplingfgf(x,y) g(x,y)T(u,v)I(u,y)S(x,y)uy4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率83Forward WarpingxyuvS(x,y)T(u,v)for y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixel at source S(x,y) to T(u,v) - How can we speed up the forward warping?- Any problems for forward warping?Forwa

41、rd warping algorithm: 4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率84xyuvS(x,y)T(u,v)Q: What if the transformed pixel located between pixels?A: Distribute color among neighboring pixels - known as “splatting” Forward Warping4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率85Forward WarpingIterateoversource,sendingpixelstodestina

42、tionSomesourcepixelmaptomultipledest.pixelsSomedest.pixelsmayhavenocorrespondingsourceHolesinreconstruction!for y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixel at source S(x,y) to T(u,v) xyuv4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率86Forward WarpingIterateoversource,sendingpixelstodes

43、tinationSomesourcepixelmaptomultipledest.pixelsSomedest.pixelsmayhavenocorrespondingsourceHolesinreconstruction!xyuvfor y = ymin to ymax for x = xmin to xmax u = f(x,y); v = g(x,y) copy pixel at source S(x,y) to T(u,v) - How to remove the holes?4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率87xyuvS(x,y)T(u,v)for v

44、 = vmin to vmax for u = umin to umax x = F(u,v); y = G(u,v) copy pixel at source S(x,y) to T(u,v) Inverse warping algorithm:Inverse Warping4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率88xyuvS(x,y)T(u,v)Q: What if pixel comes from “between” two pixels?A: Interpolate color values from neighboring pixelsInverse War

45、ping4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率89SpecifyamoredetailedwarpfunctionSplines,meshes,opticalflow(per-pixelmotion)非参数图像变形非参数图像变形4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率90How do we align two images automatically?Two broad approaches:Feature-based alignmentFind a few matching features in both imagescompute ali

46、gnmentDirect (pixel-based) alignmentSearch for alignment where most pixels agree图像配准图像配准4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率91OpticalFlowOpticalFlowVelocity vectorsVelocity vectorsCommon assumption:Common assumption:The appearance of the image patches do not change (brightness constancy)The appearance o

47、f the image patches do not change (brightness constancy)Optical flow is the relation of the motion field the 2D projection of the physical movement of points relative to the observerto 2D displacement of pixel patches on the image plane.图像配准图像配准4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率92Motion estimation: Op

48、tical flowWill start by estimating motion of each pixel separatelyThen will consider motion of entire image 图像配准图像配准4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率93Problem definition: optical flowHow to estimate pixel motion from image H to image I?Solve pixel correspondence problemgiven a pixel in H, look for ne

49、arby pixels of the same color in IKey assumptionscolor constancy: a point in H looks the same in IFor grayscale images, this is brightness constancysmall motion: points do not move very farThis is called the optical flow problem4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率94Optical flow constraints (grayscale im

50、ages)Letslookattheseconstraintsmorecloselybrightness constancy: Q: whats the equation?small motion: (u and v are less than 1 pixel)suppose we take the Taylor series expansion of I:H(x,y)=I(x+u, y+v)4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率95Optical flow equationCombining these two equationsIn the limit as u

51、and v go to zero, this becomes exact4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率96Q: how many unknowns and equations per pixel?2 unknowns, one equationOptical flow equation4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率97点扩散函数点扩散函数4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率98Usecameramanufactureinformationwhichisusuallyhardtoget.Analysi

52、sapictureofaknownobjectBlindestimationofthepointspreadfunctionfromtheimages.模糊模型模糊模型4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率99Noise in the Imaging ModelThe noise in the imaging model of the reconstruction-based super-resolution algorithms is usually considered to be an additive i.i.d Gaussian noise噪声模型噪声模型4

53、 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率100YIQ(luminanceandchrominance)BayerPattern彩色模型彩色模型4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率101硬件改进手段硬件改进手段增加芯片的大小所需代价昂贵电容的增加大的电容导致电荷转换速率降低减小像素大小降低CCD或者CMOS单元（像素）可接受的光或者能量造成散弹噪声图像质量降低因此，像素的大小存在下界。目前的技术几乎达到了该下界4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率102超分辨方法4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超

54、分辨率103重构基的超分辨4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率104基于插值的方法（matlab: imresize）最近邻插值用最近邻点的灰度值代替双线性插值用二维度的相邻点的线性插值代替双立方插值用相邻已知点的B-Spline插值实现，可以简化为卷积运算基于回归的插值基于自适应2-d回归模型 （IEEE TIP）（目前最好的基于差值的图像超分辨率算法）算法程序下载地址：算法程序下载地址：http:/www.ece.mcmaster.ca/xwu/http:/www.ece.mcmaster.ca/xwu/4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超

55、分辨率105结果比较双立方插值回归模型Ground-truth4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率106Registrations, lighting and blur.High-resolution image, x.y1y2y3y4Low-resolution imagesA4A3A2A1重构基的超分辨4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率107重构基的超分辨4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率108重构基的超分辨4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率109Registrations

56、, lighting and blur.High-resolution image, X.y1y2y3y4Low-resolution imagesA4A3A2A1重构基的超分辨4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率110重构基的超分辨4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率111重构基的超分辨Definition of A:Different steps of Reconstruction-based Super-Resolution Algorithms:WarpingRegistration to some Reference Image

57、BluringDe-BluringDown-SamplingUp-Sampling4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率112基于重建的方法基本假设: 高/低分辨率图像之间的关系：高分辨率图像：低分辨率图像：高斯核函数：下采样算子正则化模型：高分辨率图像的正则化约束通过梯度下降法或共轭梯度法进行优化通过梯度下降法或共轭梯度法进行优化4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率113基于重建的方法正则化项：基于图像边缘的光滑性或者统计性特征Edge statistics Fattal, Siggraph 2007 ：描述沿着图像边缘相邻像素点之间的颜

58、色差相对于其所满足的高斯统计分布的似然值光滑测度：由自然图像学习所满足的高斯分布正则化项：项目网址：项目网址：http:/www.cs.huji.ac.il/raananf/projects/upsampling/resulhttp:/www.cs.huji.ac.il/raananf/projects/upsampling/results.htmlts.html4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率114Gradient profile prior Sun et.al., CVPR 2008图像重建约束图像边缘梯度轮廓的参数化表达：低分辨率梯度场高分辨率梯度场高低分

59、辨率梯度轮廓参数关系正则化约束项：4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率115结果比较Edge statisticsGradient profile prior4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率116基于学习的方法基本想法：基本想法：给定观测到的低分辨率图像块，通过匹配低分辨率图像块，在训练集合中找到最匹配的高/低图像块组，应用其相应的高分辨图像块得到高分辨率图像。训练集：由高低分辨率图像块组成的集合。实际应用中，低分辨率图像块需要正规化，高分辨率图像块为middle frequency信息。训练集匹配推理？4 4 4 4 图像超分辨率图

60、像超分辨率图像超分辨率图像超分辨率117Markov network方法Freeman, IJCV, 2000训练集输入低分辨率图像候选高分辨率图像块集y为随机变量，对应于已知一低分辨率图像块；x为所求随机变量，可取候选高分辨率图像块集中任意一图像块Markov随机网联合概率：测度相邻高分辨率图像块重合部分颜色相似性测度观测低分辨率图像块与所选高分辨率图像块相应低分辨率图像块的相似性(Belief Propagation): http:/people.cs.uchicago.edu/pff/bp/ (Graph Cut): http:/www.cs.ucl.ac.uk/staff/V.Kolm

61、ogorov/software.html4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率118稀疏表达方法Yang et al., IEEE TIP, 2010训练集训练集，即低/高分辨率基元集合低分辨率集上的稀疏表达：则高分辨率图像块为：学习方法：4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率1194 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率120挑战？纹理超分辨率纹理超分辨率边缘与纹理分别超分辨率边缘与纹理分别超分辨率Tai et al., CVPR 2010Tai et al., CVPR 2010基本思想：采用梯度轮廓先验方法实现边

62、缘的超分辨率基本思想：采用梯度轮廓先验方法实现边缘的超分辨率 + + 采用基于例子的方法实现纹理采用基于例子的方法实现纹理的超分辨率（人工给定例子纹理）的超分辨率（人工给定例子纹理）4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率121基于纹理内容搜索的超分辨率基于纹理内容搜索的超分辨率Sun et al. CVPR 2010; Fattal, ICCP, 2010 Sun et al. CVPR 2010; Fattal, ICCP, 2010 20102010能量模型：能量模型：4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率1224 4 4 4 图像超分辨

63、率图像超分辨率图像超分辨率图像超分辨率多帧图像超分辨多帧图像超分辨123输入是低分辨率图像序列LR帧之间存在移位帧之间存在移位有公共区域superresolution algorithmLR frameshigh resolution image4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率多帧图像超分辨多帧图像超分辨124timetimetimeSuper-resolution in space and in time.timeHigh-resolution output sequence:timeLow-resolution input sequences4 4 4 4

64、图像超分辨率图像超分辨率图像超分辨率图像超分辨率125空间超分辨空间超分辨Multiple low-resolution input images:High-resolution output image:Recover small details4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率126什么是时间超分辨？Recover dynamic events that are “faster” than frame-rate (Generate a “high-speed” camera) Application areas: sports events, scientif

65、ic imaging, etc. Effects of “fast” events imaged by “slow cameras”:(1) Motion aliasing (2) Motion blur4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率127(1) (1) 运动混叠运动混叠The “Wagon wheel” effect:Slow-motion:timeContinuous signaltimeSub-sampled in timetime“Slow motion”4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率128(2) (2) 运动模糊运动

66、模糊4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率129Sh(xh,yh,th)空间空间- -时间超分辨时间超分辨xytyxt Blur kernel:PSFExposure timeLow resolution input sequencesHigh-resolution space-time volume4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率130时间超分辨时间超分辨Input 1Input 2Input 3Input 4(25 frames/sec)4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率131Input sequenc

67、e in slow motion:Output sequence (super-resolved) :(75 frames/sec)(75 frames/sec)时间超分辨时间超分辨4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率132运动模糊4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率133运动模糊Overlay of framesSimulated sequences of “fast” event: Very long exposure-time Very low frame-rateOne low-res sequence:Another low-r

68、es sequence:And another one.4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率134Output trajectory: (overlay of frames)Deblurring:3 out of 18 low-resolution input sequences: (frame overlays)Output:Input:Output sequence:(x15 frame-rate)Without estimating motion of the ball!135Input (low-res) frames at collision:4 input sequences:Output (high-res) frame at collision: 运动模糊Video 1 Video 3 Video 2Video 4 4 4 4 4 图像超分辨率图像超分辨率图像超分辨率图像超分辨率136谢谢！THANKYOUFORYOURATTENTION137