《第16章 图像复原》由会员分享，可在线阅读，更多相关《第16章 图像复原（35页珍藏版）》请在金锄头文库上搜索。
1、1,第16章 图像复原,16.1 引言,图像复原（恢复，restoration）：尽量去除在获取图像过程中发生的图像质量下降（退化）。 因为透镜、感光片、数字化器等设备以及运动造成的模糊等多种因素均可引起图像质量下降，而图像质量下降的形式表现为图像模糊、图像有干扰等。 退化的原因多种多样：如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等。,2,显然，如果我们对图像退化的类型、机制和过程都十分清楚，就可以利用其反过程来复原图像。也就是说，通过对退化图像的processing，使它尽量复原成退化之前的原始图像（图像保真）。 因此，图像复
2、原不同于前几章介绍的图像增强。,3,16.1.1 方法和模型,对退化图像的复原有两种方法：,1)对图像缺乏先验知识，此时可对退化过程（模糊和噪声）建立模型，进行描述，并进而寻找一种去除或削弱其影响的过程。这也是一种估计方法。 2)对原始图像有足够的先验知识，则对原始图像建立一个数学模型，并根据它对退化图像进行拟合。,在进行图像复原时，还有许多其他选择：1)用连续/离散数学处理；2)用空域/频域处理。不同方法最后给出同样的复原技术，效果最好的复原技术由问题本身决定。无论通过什么途径，最后总会得到这个性能最佳的复原技术。,4,16.2 经典复原滤波器,5,16.2.1 去卷积（de-convolu
3、tion）,去卷积又称逆滤波，始于20世纪60年代中期。Nathan曾用二维去卷积方法来处理由漫游者、探索者等外星探索发射得到的图像。 由于信号的频谱随着频率的升高而下降，因此高频部分的噪声更明显。Nathan采用了限定去卷积传递函数最大值的方法来复原原始图像。,6,根据前面经典复原滤波器的模型，可写出退化图像w(x,y)的表示式：,两边均做傅立叶变换：,在无噪声的情况下，上式可以简化为：,上式说明：原始图像F(u,v)经过系统时乘了H(u,v)ie:滤波，根据W(u,v)复原图像时只要再除以H(u,v)ie:逆滤波即可。因此，H(u,v)-1的形式即称为逆滤波。对逆滤波结果进行反变换就可以得
4、到f(x,y)。 从时域看，上述过程即为卷积/逆卷积（去卷积）过程。,7,实际情况中，噪声是不可避免的，因而只能求F(u,v)的估计值：,如果H(u,v)有许多零点，必然使得复原的结果受到极大影响。 或者如果H(u,v)不为零但是有非常小的值，也即病态条件，也会使复原效果受到影响。,8,在理想无噪声的理想情况下，等效于在空域f(x,y)和g(x,y)的卷积。,逆滤波会使原图像变模糊。但只引入少量模糊，方法简单，因而受重视。,逆滤波的应用条件：退化图像w(x,y)是信噪比较高的图像。,解决上述问题的方法是避开H(u,v)的零点。 幸好一般的H(u,v)在低频附近的有限区域内不为零。,因此逆滤波可
5、以在原点附近进行，相当于在频域乘上一低通窗口函数G(u,v)。,9,Harris用点扩散函数PSF解析模型对望远镜图像中由大气扰动所造成的模糊图像进行了去卷积处理。 Mcglamery用由实验确定的PSF来对大气扰动进行了去卷积处理。,10,16.2.2 维纳去卷积,邻近像素高度相关，而距离远的像素则相关性较弱，因此，典型图像的自相关函数通常随着与原点距离的增加而下降。 图像的功率谱是其自相关函数的傅立叶变换，所以它也会随着频率升高而下降。,11,回顾第11章11.5.4节介绍的维纳去卷积。,由噪声引起,简单去卷积后,信号与噪声无关时，维纳滤波器的传递函数为：,则均方最优去卷积滤波器的传递函数
6、为：,12,Helstrom用最小均方误差估计提出二维传递函数的维纳去卷积滤波器,维纳去卷积提供了一种在有噪声情况下导出去卷积传递函数的最优方法，但有三个问题限制了其有效性，即：1)均方误差最小并不意味着人眼观看最佳。2)不能处理具有空间可变PSF的情形（如慧差、像场弯曲等）。3)不能处理非平稳信号与噪声，而大多数图像都是高度非平稳的，如被陡峭边缘分开的大块平坦区域，还有些噪声源与局部灰度有关。,13,16.2.3 功率谱均衡（PSE滤波、同态滤波）,Canon证明了如下形式的滤波器可将退化图像的功率谱复原到其原先位置。,14,16.2.4 几何均值滤波器,这是前面讨论的几种滤波器的一般形式
7、当1时，是普通去卷积滤波器。 当1/2、1时，是功率谱均衡滤波器，此时，左面是(普通去卷积)1/2、右面是(维纳去卷积)1/2，是二者的几何平均。因此，上式也称几何均值滤波器。 当0时，得到参数化维纳滤波器。此时，1为维纳去卷积，0为普通去卷积。调整可获得所希望的平滑效果。 在轻度模糊和适度噪声时，单纯去卷积效果差，用1的参数维纳滤波效果好些。,15,16.3 线性代数复原,16.3.1 离散复原模型,Andrews和Hunt提出，不用经典的连续积分算法，而是用离散的线性代数方法 。,16,上面第3个模型，被观察图像的形成过程为g=Hf+n 。,以上小写黑体是N2维列向量，大写黑体是N2N2的
8、矩阵。,如果模糊是位移不变的，则H为块循环矩阵，要处理的图像需用0填充到NN 。,由于用离散操作来模拟连续退化过程，因此，图像复原的有效性关键取决于描述退化过程的模型的精确性 。,17,16.3.2 无约束复原,设 代表一个向量的欧几里得范数，即取其各元素平方和的平方根,18,推导维纳滤波时，目标是使复原后信号与原信号之差最小，这里是使被模糊化的原始图像与被同样模糊化的估计图像之差最小。因此可对上式求导并令为0：,就是逆滤波,对位移不变的模糊，H为块循环矩阵,19,16.3.3 有约束最小二乘复原,由于gHfn或gHfn，在考虑噪声项时，要在极小化过程中引入要求上式两端范数相等的约束。,这就需
9、要最小化如下目标函数：,拉格朗日因数,对f进行某种线性运算的矩阵,20,16.3.3.1 伪逆滤波器,令QI，即Q是N2N2的单位阵，则,显然，当0时，上式即是逆滤波,16.3.3.2 参数化维纳滤波器,视f与n为随机变量，Q为噪声与信号之比,其中 、 分别为信号和噪声的协方差。,对位移不变的平稳系统，利用矩阵FT：,21,16.3.3.3 平滑约束,复原涉及到对带噪声的模糊图像进行逆滤波，而逆滤波常常会增强小的细节。通过选择合适的Q，对复原后的图像强加一定程度的光滑性约束。 令Q对应于一个高通卷积滤波运算，例如，由空间二阶导数组成的拉普拉斯算子,前面的 是估计图像经高通滤波后的平方均值。块循
10、环矩阵Q包含适当的高通卷积核：,这里对于拉普拉斯算子：,22,16.4 限制较少的退化之复原,光学离焦、线性运动模糊是具有空间不变性的线性操作，而像慧差、像场弯曲以及旋转运动等模糊则是随空间改变的 通过对退化图像进行几何变换，使得到的模糊函数具有空间不变性，随后用普通空间不变性复原方法进行复原，然后再进行逆几何变换回到原位。这也是坐标变换复原。,16.4.1 随空间改变的模糊,前面的约束是“模糊是位移不变的”、和“信号和噪声是平稳的” 。,23,拍摄星体，暗淡的星体需长时间曝光。但是，受大气扰动湍流的影响，成像可能会“跳动”，反映为随时间变化。 例：200英寸望远镜，0.05弧秒的衍射极限分辨
11、率，但大气扰动使其降到2弧秒。 在空间域进行时间平均，等效于在频域对复频谱的平均。由此得到的时间平均传递函数在低于望远镜衍射极限的频率处就下降到0。（带宽变窄）,16.4.2 时变模糊,24,Labeyrie的复原技术：首先获得欲观测的天体和一个参照的点星体两者的时间平均功率谱；然后将该天体的功率谱除以点星体的功率谱，实现去卷积。结果是对未知天体的衍射极限功率谱的估计。将其逆变换，就得到该天体的自相关函数。 Knox对上面的方法进一步推广，可使其复原相位信息。,25,前面讨论的滤波器均假设信号和噪声是平稳的，即图像局部功率谱在整幅图像上相同或相近。但是实际上大多数图像都不平稳，如：头像的面部功
12、率谱低频多，而眼睛处高频多；又如：农田航空片被高梯度边缘隔成了若干片。 几种常见的噪声也不能用平稳随机过程来精确建模，如：底片的颗粒噪声，曝光少的低密度区由于溴化银被溶解掉而透明，噪声小；而曝光多的区域溴化银被还原为银颗粒，密度增加，噪声也相应增加。,16.4.3 非平稳信号与噪声,26,16.4.3.1 矩阵形式,这里描述图像退化的叠加积分可写成WFSN。,N2N2的退化块矩阵,源图像,噪声,源图像S(i,k)的每个像素与一个单独的NN模糊函数进行卷积操作而被退化。,退化后图像,如果模糊函数位移不变，则F为块循环矩阵。,可以推导出最小均方估计器（即复原滤波器响应g(x,y) ）。,对广义几何
13、均值滤波器，复原图像由下式给出：,27,16.4.3.2 局部平稳性,图像整体不稳，但局部平稳。即：当窗口在图像内移动时，小窗口内算得的局部功率谱变化缓慢（并不适用于所有图像）。因此在局部平稳模型下的一种复原方法是：用维纳滤波器或几何均值滤波器。 信号或噪声的功率谱是图像中位置的函数。可令参数和随空间可变，其值根据图像得到。,28,16.5 超分辨率,在第15章的光学和系统分析中，提出了光瞳函数，即孔径所在平面上透光率的空间分布。对位于(xa,ya)处且直径为a的圆形孔径，其光瞳函数为：,由于光学系统的非相干传递函数是其光瞳函数的自相关，也即传递函数是限带的，或者说，是在由衍射极限分辨率所决定
14、的某个截止频率以内。高于这个频率的部分为0。因此，去卷积只能将物体的频谱复原到衍射极限处，但不能超过它。衍射极限以外的能量丢失了。 利用傅立叶变换的一个有用性质，理论上有可能获得衍射极限以上的分辨率。因此，复原衍射极限之外信息的复原技术叫超分辨率技术，或带限函数外推。,29,16.5.1 解析延拓,若函数f(x)是空域有界的（在某个有限范围之外全为0），则其谱函数F(s)是解析函数。而解析函数的一个性质：若在某一有限区间上为已知，就会处处已知。因此，根据给定解析函数在某区间上的取值，而对函数的整体进行重建叫解析延拓。 一幅图像必然空域有界其谱函数必然解析 重建整个函数,在第12章采样数据处理指
15、出：一个截断（空域有界）的函数不可能是限带的，而衍射极限的光学系统对于截断函数却强加了限带的性质。这即是超分辨率技术。,30,16.5.2 Harris方法,根据一个物体的衍射极限图像对该物体的无限细节进行重构。 Goodman对该方法进行了验证，根据采样定理（将空/频域反过来）得到一组线性方程，通过解方程而求出超出衍射极限带宽的信号频谱。,31,对G(s)低通滤波（或使g(x)与sinc(x)卷积），即可恢复出f(x)。,12.2.4小节的(14)式,将上式时频域颠倒：,上式说明F(s)可以从一系列等距离采样点得到重建。相当于在不同的频点上采样（不是时域的时间点了），只要这些采样点的距离大于
16、1/2T,32,将Shah函数写成冲激和（即冲激序列）：,利用冲激信号的筛选性质：,假设让f(x)通过一个不允许频率超过sm的能量通过的线性系统，如果确切知道一直到sm处的频谱，则利用去卷积就可以复原原始信号。,33,设对F(s)进行采样，使M个采样点都落在频带-sm,sm以内，而要求出F(s)在区间-sn,sn的值（n对应某个更大的样点数N），可用估值,这是包含2N1个未知数的线性方程，未知量即F(2nT)在各点的采样值。由于谱函数在-sm,sm范围内已知，故可在此频段内选择2N+1个频率，并将已知的F(s)值代入上估式，即得到有2N+1个线性方程的方程组。 求解方程组可得F(s)的值估。再对sm,sn之间的点进行计算，就得到的ssm的扩展频谱，即超分辨率部分。,34,这是另一种复原有界图像高频的方法：保持谱函数已知的低频部分不变，而对图像连续地强迫施以空间有界约束。,16.5.3 能量连续降低,误差：,35,用数字方法实现解析函数延拓时要十分小心。原始图像的数
