宋怀波第11讲：图像复原剖析

《宋怀波第11讲：图像复原剖析》由会员分享，可在线阅读，更多相关《宋怀波第11讲：图像复原剖析（75页珍藏版）》请在金锄头文库上搜索。

1、第五章 图像复原,目 录,5.1 图像复原技术概述 5.2 图像退化模型 5.3 图像复原方法 5.4 运动模糊图像的复原 5.5 图像的几何校正,什么是图像复原技术？,图像复原技术也常被称为图像恢复技术，是当今图像处理研究领域的重要分支。 图像复原技术能够去除或减轻在获取数字图像过程中发生的图像质量下降（退化）问题，从而使图像尽可能地接近于真实场景。 什么是图像退化？ 景物形成过程中可能出现畸变、模糊、失真或混入噪声，使所成图像降质，称为图像“退化”。,5.1 图像复原技术概述,引起图像退化的原因：,成像系统的象差、畸变、带宽有限等造成的图像失真； 由于成像器件拍摄姿态和扫描非线性引起的图像

2、几何失真； 运动模糊，成像传感器与被拍摄景物之间存在相对运动，引起所成图像的运动模糊； 灰度失真，光学系统或成像传感器本身特性不均匀，造成同样亮度景物成像灰度不同； 辐射失真，由于场景能量传输通道中的介质特性如大气湍流效应，大气成分变化引起图像失真； 图像在成像、数字化、采集和处理过程中引入的噪声。,图像复原与图像增强的关系：,都是为了改善图像的视觉效果，得到某种改进图像，也就是希望改进输入图像的视觉质量，便于后续处理。 图像增强技术：更偏向主观判断，即要突出所关心的信息，满足人的视觉系统，具有好的视觉结果。 图像复原技术：根据图像畸变或退化的原因，进行模型化处理，将质量退化的图像重建或恢复到

3、原始图像，即恢复退化图像的本来面目，忠实于原图像。因此必须根据一定的图像退化模型来进行图像复原。,图像复原方法的分类：,图像复原大致可以分为两种方法： 一种方法适用于缺乏图像先验知识的情况，此时可对退化过程建立模型进行描述，进而寻找一种去除或消弱其影响的过程，是一种估计方法； 另一种方法是针对原始图像有足够的先验知识的情况，对原始图像建立一个数学模型并根据它对退化图像进行拟合，能够获得更好的复原效果。 第一种方法不需要先验知识，但其缺点是速度较慢，效果差 第二种方法只要有正确的模型，就可在相对较短的时间内得到较好的效果，缺点是建立准确的模型通常是十分困难的。,频域法,逆滤波法,维纳滤波法,约束

4、最小平方 滤波法,小波变换法,线性代数 复原法,无约束复原法,有约束复原法,伪逆滤波法,奇异值矩阵分解 SVD法,非线性代数 复原法,凸集投影法,最大熵复原法,贝叶斯复原法,遗传进化法,频谱外推法,哈里斯外推法,长球波函数 外推法,能量连续降减法,神经网络法,从方法和应用角度的分类：,基本思路,高质量图像,退化了的图像,复原的图像,图像退化,图像复原,因果关系,研究退化模型,模糊图像 复原后的清晰图像,举例：,a) 被正弦噪声干扰的图像 b) 滤波效果图 用巴特沃思带阻滤波器复原受正弦噪声干扰的图像,举例：,a)受大气湍流的严重影响的图像 b)用维纳滤波器恢复出来的图像 维纳滤波器应用,举例：

5、,举例：,图像复原的本质是根据图像退化原因，建立相应的数学模型，从被污染或畸变的图像信号中提取所需的信息，沿着使图像降质的逆过程恢复图像本来面貌。 广义上讲，图像复原是一个求逆过程，逆问题经常存在非唯一解，甚至无解。,5.2 图像退化模型,降质过程可看作对原图像f (x,y)作线性算。 g(x,y) H f (x,y)+n(x,y) 降质后 降质模型 噪声,H,f (x,y),n(x,y),g(x,y),以后讨论中对降质模型H作以下假设： H是线性的 H是空间（或移位）不变的 对任一个f(x,y)和任一个常数 和都有： H f(x-,y-) = g(x-,y-) 就是说图像上任一点的运算结果只

6、取决于该点的输入值，而与坐标位置无关。,5.2 图像退化模型,5.2 图像退化模型,使用线性位移不变系统的原因 很多退化都可以用线性位移不变模型来近似，可以借助数学工具求解图像复原问题 当退化不太严重时，一般有较好的复原结果 尽管实际非线性和位移可变的情况能更加准确而普遍地反映图像复原问题的本质，但求解困难。,f(i, j)：原始图像 g(i,j)：降质图像 H()： 成像系统的作用，则：,由于 函数的筛选性质（一幅图像可以看作是由一系列冲激函数组成的）,5.2 图像退化模型,一个放大的亮脉冲以及退化的冲激,噪声模型,图像中的噪声项(x, y) 有多种不同模型： 高斯（Gaussian）噪声

7、瑞利（Rayleigh）噪声 伽马（爱尔兰）噪声 指数（Exponential）噪声 均匀（Uniform）噪声 脉冲（椒盐）噪声,噪声举例,高斯,瑞利,爱尔兰,噪声举例,指数,均匀噪声,椒盐,退化模型： 逆过程：复原图像：,当H(u,v)为0或很小时， ，原点附近： 图像完全被噪声淹没，造成噪声放大,5.3.1 反向滤波法,病态,解决方法 去除原点、 设置原点值。原点、邻域均不计算,5.3.1 反向滤波法,逆滤波的实验结果,(a)模糊图像 (b) k=0.1 (c) k=0.01,对不含噪声的模糊图像进行恢复的实验结果。当参数k取不同值时，恢复结果相差很大，k=0.1时图像不够清晰，轮廓也不

8、够鲜明，而k=0.01时虽然轮廓清晰，但引入较大噪声，且振铃效应比较明显。,逆滤波方法对含有噪声的实拍图像的恢复效果,结论： 对含有噪声的图像，由于逆滤波算法对噪声有明显的放大作用，恢原后图像以噪声为主，淹没了原始图像信号，由此可见，逆滤波算法不适合用来恢复含有噪声的图像。,通常功率谱的低频部分以信号为主，而高频部分则主要被噪声所占据。 逆滤波会增强高频部分的噪声，为克服以上缺点，提出了用最小均方误差方法（维纳滤波）进行图像恢复。 维纳滤波器的复原效果良好，计算量较低，并且抗噪性能优良，因而在图像复原领域得到了广泛的应用，并不断得到改进，许多高效的复原算法都是以此为基础形成的。,维纳滤波,5.

9、3.2 约束还原法,Wiener滤波恢复是在假定图像信号可近似看作平稳随机过程的前提下，按照使原图像 与恢复后的图像 之间的均方误差 达到最小的准则，来实现图像恢复的。即：,Andrew和Hunt推导出满足这一要求的转移函数为：,维纳滤波实现运动模糊图像恢复的实验结果,(c) K = 0.01 (d) K = 0.1,在K取不同参数时维纳滤波的恢复结果,(a) 实际拍摄的运动模糊图像 (b) K = 0.001,在K取不同参数时对复原图像的二值化结果,(a) K =0.001 (b) K = 0.01,边缘提取的结果,(c) K = 0.1 (d) K =0.01时恢复图像的边缘检测结果,(a

10、) 运动模糊和加性噪声图像 (b) 逆滤波复原 (c) 维纳滤波复原 (d), (e), (f) 顺序同上，但其中的噪声幅值降低一个数量级 (g), (h), (i) 顺序同上，但其中的噪声幅值降低五个数量级,5.4 运动模糊图像复原的基本原理,运动模糊的基本原理 运动模糊图像的退化模型 运动模糊图像的点扩散函数 匀速直线运动模糊点扩散函数的参数确定 运动模糊点扩散函数的离散化,在获取景物图像时，如果在相机曝光期间景物和摄像机之间存在相对运动，拍得的照片都可能存在模糊的现象，这种由于相对运动造成图像模糊现象就是运动模糊。,5.4.1 运动模糊的基本原理,由于高速运动产生的运动模糊图像,运动模糊

11、图像的形成过程。,运动模糊图像成像原理,解决运动模糊的方法一般有两种: 减少曝光时间。但相机的曝光时间并不可能无限制地减小，随着曝光时间减小，图像信噪比减小，图像的质量也较低，所以这种方法用途极其有限; 举例：高帧频相机，每秒几百万帧，价格8万美元起。主要用在需要进行高速或超高速的摄影上，例如，高速铁路等。 建立运动图像的复原模型，通过数学模型来解决图像的复原问题。这种方法具有普遍性，因而也是研究解决运动模糊的主要手段。,由匀速直线运动造成图像模糊的复原问题更具有一般性和普遍意义。变速的、非直线运动在某些条件下可以被分解为分段匀速直线运动。 在曝光量适当和聚焦正确的情况下，假设快门开启和关闭瞬

12、时完成，则曝光量 可以表达为对实际景物图像 的一个积分： 如果景物是静止的，即 ，那么上述积分只是 与时间的乘积，曝光时间的变化只影响成像的反差。,5.4.2 运动模糊图像的退化模型,5.4 运动模糊图像的复原,退化的原因为已知 对退化过程有先验知识，如希望能确定PSF和噪声特性 即确定： h(x,y)与n(x,y) g(x,y)=H f (x,y)+n(x,y),1根据导致模糊的物理过程（先验知识） 1）大气湍流造成的传递函数 PSF,模糊模型,c：与湍流性质有关的常数,2）光学系统散焦退化函数 离焦模糊是由于成像区域中存在不同深度的对象造成的图像退化，几何光学的分析表明，光学系统散焦造成的

13、图像退化相应的点扩散函数是一个均匀分布的圆形光斑，其表达式为: 其中R为散焦斑半径。如果退化图像的信噪比较高时，则可由 的傅立叶变换在频域图上产生的圆形轨迹来确定R。,模糊后图像任意点的值 ：,特点：图像的频谱在垂直于该方向上存在暗直线，可估出 的大小，运动方向 也可由图像的频谱估计出来,已知：设相机不动，对象运动，运动分量x,y分别为x0(t)，y0(t)相机快 门速度是理想的，快门开启时间（曝光时间）T。,3）匀速直线运动模糊下的PSF 相机与景物之间相对运动造成图像降质， H(u,v) 运动模糊：,2由图像中的点或线估计（后验知识） 1）原始景物中有一清晰的点或点光源。由所成的像得到退化

14、系统的PSF,2）原始景物中确定一条线，成像，由直线产生模糊，根据模糊可以测定在于边缘垂直方向上的PSF断面曲线，得出一维PSF，如果PSF对称，旋转一维PSF得到二维PSF,（a）模糊图像 （b）恢复后的图像,去除由匀速运动引起的模糊,a) 原始图像 b) 模糊图像 c) 复原图像 运动模糊图像的恢复处理,水平匀速直线运动引起模糊的复原,5.5 图像的几何校正,5.5.1 几何畸变的描述 5.5.2 几何校正,1 引言,Lenna及变形图像,5.5 图像的几何校正,几何畸变校正 以一副图像为基准，去校正另一种方式摄入的图像，以校正其几何畸变，就叫做图像的几何畸变复原或者几何畸变校正。,几何校

15、正是图像几何畸变的反运算，是由输出图像像素坐标反算输入图像坐标，然后通过灰度再采样求出输出像素灰度值。 图像几何校正的两个步骤 (1)空间变换：对图像平面上的像素进行重新排列以 恢复原空间关系 (2)灰度插值：对空间变换后的像素赋予相应的灰度 值以恢复原位置的灰度值,5.5 图像的几何校正,5.5.1 几何畸变的描述,几何基准图像的坐标系统用(x, y)来表示 需要校正的图像的坐标系统用(x, y)表示,设两个图像坐标系统之间的关系用解析式表示,通常h1(x,y)和h2(x,y)用多项式来表示：,通常用线性畸变来近似较小的几何畸变 更精确一些可以用二次型来近似 若基准图像为f(x,y)，畸变图像为g(x,y)，对于景物上的同一个点，假定其灰度不变，则,5.5.2 几何校正,5.5.2 几何校正,几何变换 通常用已知的多对对应点来确定系数a, b 线性畸变 可由基准图找出三个点(x1, y1), (x2, y2), (x3, y3)与畸变图像上三 个点(x1, y1), (x2, y2), (x3, y3)一一对应。,5.5.2 几何校正