《高等数字信号处理 教学课件 ppt 作者 吴正国 尹为民 第4章 自适应滤波》由会员分享，可在线阅读，更多相关《高等数字信号处理 教学课件 ppt 作者 吴正国 尹为民 第4章 自适应滤波（171页珍藏版）》请在金锄头文库上搜索。
1、第四章 自适应滤波,维纳滤波与自适应滤波 最小均方自适应滤波算法 递归最小二乘自适应滤波 最小二乘格形自适应滤波 自适应滤波器的应用 自适应盲信号处理简介,4.1 维纳滤波与自适应滤波,线性最佳滤波问题 维纳霍夫（Wiener-Hopf）方程及求解 横向滤波器的误差性能曲面 块估计与递推估计 自适应滤波器,问题的描述： 滤波器的输入信号为x(n)，其单位冲激响应为h(n)。现要求滤波器的输出y(n)是对需要信号d(n)的一个最佳估计。使它的输出y(n)按一定的最佳准则能最佳地估计需要信号d(n)? 当最佳准则为最小均方误差（MMSE）准则，所得最佳滤波器称之为维纳（Wiener）滤波器。,4.
2、1.1 线性最佳滤波问题,1.离散FIR型横向滤波器 设滤波器的单位冲激响应为h(n)，滤波器系数用w0，w1，w2，表示，则滤波器的输出y(n)为：,J=Ee2(n),4.1.2 维纳霍夫方程及求解,2 正交性原理,令,则得,正交性原理：使代价函数最小化的充要条件是 n 时刻的最优估计误差正交于 n 时刻滤波器的每个输入值，或者说正交于 n 时刻的输入信号空间。,4.1.2 维纳霍夫方程及求解,推论： n 时刻的最优估计误差正交于 n 时刻滤波器的最优输出值,4.1.2 维纳霍夫方程及求解,3.维纳-霍夫(WienerHopf)方程,输入自相关函数：,互相关函数：,推导：将最佳误差的表达式代
3、入正交性原理中得,4.1.2 维纳霍夫方程及求解,FIR型Wiener滤波器,4.1.2 维纳霍夫方程及求解,4.1.2 维纳霍夫方程及求解,非因果性考虑,可以证明：非因果Wiener滤波器的性能(误差方差性能)要优于因果Wiener滤波器(参见郑南宁编数字信号处理)。所以，在实际FIR滤波器中，常用时延方法用可实現的因果系统逼近非因果系统。,令,4.1.2 维纳霍夫方程及求解,4.1.2 维纳霍夫方程及求解,因果系统n时刻的输出可以逼近非因果系统(n-M)的输出。,4.1.3 横向滤波器的误差性能曲面,1. 误差性能曲面的推导,4.1.3 横向滤波器的误差性能曲面,4.1.3 横向滤波器的误
4、差性能曲面,2. 性能曲面的性质,1）旋转坐标系v是超椭圆的主轴坐标系统 ; 2)主轴向量vn是相关矩阵R的特征向量 ; 3)输入信号的自相关矩阵R的特征值给出了误差性能曲面沿主轴的二阶导数值。,4.1.3 横向滤波器的误差性能曲面,4.1.4 块估计与递推估计,块估计：将长度为N的输入数据分块，每块长度为M，对每块分别计算 R 和 p ，从而分别计算权系数w。,块估计的问题：,输入数据的非平稳性与准确计算每块 R 和 p 的矛盾；,忽视了数据间的相关性，增加了不必要的计算量。,递推估计的基本思想：记基于x(1)，x(2),x(k-1) 设计的Wiener滤波器权系数矢量为：,则基于x(1)，
5、x(2), ，x(k-1) ， x(k)设计的Wiener滤波器权系数矢量为：,4.1.4 块估计与递推估计,4.1.5 自适应滤波器,1. 基本概念,1)自适应滤波(AF)的定义,在缺乏先验统计知识的情况下，能自动调整滤波器 参数(自我学习)的最优滤波器。(算法形式为迭代计算),2) AF 的分类,按每次迭代时的输入输出关系分：线性与非线性 按最优准则分：最小均方误差AF-统计自适应 最小二乘AF-确定性自适应 按变量域分：时域、频域(变换域)、空域(阵列处理),按滤波器类型分：FIR、IIR；横滤波器(线性组合器)、格形滤波器、脉动阵列；,3) AF的组成：,参数可调的滤波器：其参数受自适
6、应算法控制，随着每次迭代而不断改变的时变滤波器。其功能是对每时刻输入产生输出响应。,自适应迭代算法：根据每时刻滤波器的输出提供下一时刻滤波器参数的一种算法(机制)。,4.1.5 自适应滤波器,1) 性能指标：衡量AF优劣应考虑如下因素,收敛速率：迭代收敛于最优解的迭代次数； 失调量：收敛后的均方误差与最优(小)均方误差 的偏离程度； 跟踪能力：在非平稳条件下，跟踪最优解变化的能力； 鲁捧性：对任何类型输入或扰动的适应性；,2. 性能指标,4.1.5 自适应滤波器,计算要求：计算量-每次迭代所需要的计算 量(常以乘法和 加法次数为代表) 存储量-所要求的存储数据和程序的大小, 算法编程上的其它计
7、算机投资 结构：算法的信息流结构及硬件实现的方式。并行算法、模 块化等。 数值特性：算法对数值量化效应的敏感程度。,4.1.5 自适应滤波器,4.1.5 自适应滤波器,根据实际应用的要求和费效比最低原则，折衷取舍以上指标 可以从最简单的LMS算法出发 应充分考虑各种应用的特殊性，各类算法的优缺点，针对具体应用选用最佳算法。,2)如何选择AF,4.2 最小均方自适应滤波算法,最陡下降法 LMS算法 LMS牛顿算法 归一化LMS算法 变换域块LMS算法,4.2.1 最陡下降法,1 基本思想,1）依据：wiener滤波器的均方误差曲面 J(w) 是权矢量w的二次函数，不存在局部最小点。,2）方法：从
8、任意初始值 w(0) 出发，沿 J(w) 的负梯度方向(最陡下降方向)按一定步长进行迭代搜索至最小点。,3）算法公式推导：,2 稳定性分析(迭代收敛条件),1) 旋转平移变换,4.2.1 最陡下降法,2) 权矢量收敛条件：,4.2.1 最陡下降法,3) 权矢量收敛时间常数：,4.2.1 最陡下降法,3 均方误差的瞬态特性(学习曲线)：,4.2.1 最陡下降法,4 R 的特征值散布对收敛性的影响,1) 基本关系式：为加快收敛，取尽可能大的步长，令,2) 实验研究：输入信号为二价AR过程,固定步长，改变R的特征值散布,固定特征值散布，改变步长,4.2.1 最陡下降法,4.2.1 最陡下降法,4.2
9、.1 最陡下降法,4.2.1 最陡下降法,4.2.1 最陡下降法,5 结论：,权矢量随n变化的轨迹在每个时刻n都正交于J(n)(等高线)；,当两特征值越接近相等时(输入各分量越不相关时)，权矢量随n变化的轨迹越接近直线，收敛越快；,当旋转平移后的权矢量初值位于坐标轴上时，权矢量的变化 轨迹为直线(轨迹沿坐标轴)，收敛快；,4.2.1 最陡下降法,对于固定步长，R特征值散布越大(输入各分量越相关)，则收敛后的最小均方误差越小，即作为预测器效果越好；,随步长的增加，收敛过程加快，但步长增大到一定程度(与 R的特征值散布有关)，在接近最优点时将出现振荡现象(可用各种变步长算法抑制),4.2.1 最陡
10、下降法,除上述两特殊情况外，权矢量随n变化的轨迹一般为曲线，并且对于固定的步长，其弯曲程度随R特征值散布的加大而加剧，即收敛越慢(可用正交化算法改善)；,4.2.2 LMS算法,1 问题的提出,最陡下降法的迭代公式中存在P和R，它们是集平均值，在实际中是无法得到的，因而只能用估计值代替。使用P和R的瞬时估计就得到LMS算法。,2 基本的LMS算法,令瞬时互相关矢量：,瞬时自相关矩阵：,说明：,由于P和R的瞬时估计为随机量，因而由它们构成的梯度是随机梯度，所以LMS算法也称随机梯度搜索法；,阶段由于梯度的随机性，使权矢量也是随机变量。权矢量随n的增加是随机趋向最佳点，而不是象最陡下降法那样的确定
11、性的 指数趋向。因此，LMS收敛性的讨论只能应用统计理论。,LMS算法虽然迭代公式非常简单，但它却是高度非线性的。再加上变量的随机性，所以LMS算法的收敛性分析十分困难。现今取得的成果都是在一定假定条件下得出的。,4.2.2 LMS算法,LMS算法既可用于平稳过程，又可用于确定性过程和非平稳过程。它对于非平稳过程，可跟踪最佳点的变化。,3 独立性理论用于LMS性能分析,1) 独立性假定：, 输入矢量x(1)、x(2)、.x(n)之间统计独立；, n时刻的输入矢量x(n)与期望响应的所有过去值d(1)、d(2) .d(n-1)统计独立；,4.2.2 LMS算法, n时刻的期望响应d(n)与x(n
12、)有关，但与期望响应的所有过去值统计独立；,说明：独立性假定在某些应用，例如自适应波束(空间独立)中成立，但对于大多数信号处理应用中不成立。但由于基此假定的LMS分析简单明了，其结论经实践检验是正确的，且与更严格的小步长理论分析结果类似，因此该分析方法仍有实用价值。,2) 收敛性分析：,4.2.2 LMS算法,两边同时取期望值，并应用假定，即 n时刻的权矢量与n时刻的输入矢量及期望响应统计独立，得,注意到上式与最陡速降法的递推公式完全类似,因此，引用类似推导思路可得,4.2.2 LMS算法,与最陡下降法不同之处在于，LMS算法的权系权矢量为随机矢量，它是均值收敛到最佳值。这对于实际应用价值是不
13、大的。为分析LMS算法在收敛过程中的性质，必须研究其方差，即误差的均方收敛特性，即学习曲线,4.2.2 LMS算法,4.2.2 LMS算法,4.2.2 LMS算法,3) 学习曲线：,令权系数误差矢量为：,由于正交性原理，最佳误差与输入矢量无关，并应用独立性假定，时刻权矢量与同时刻的输入无关，所以第二项为零。对于第三项应用矩阵迹的性质再应用独立性假定，则得,4.2.2 LMS算法,定义均方误差超量(额外)：,注意：由于权系数误差矢量一般说是非平稳过程，因此其自相关矩阵K(n)是时变的，即均方误差超量是时变的。下面特别讨论它的收敛性。,4.2.2 LMS算法,首先注意到Q为正交矩阵，因此，正交变换
14、前后矢量的范数相等。定义这个范数平方的均值为权系数的均方偏差：,4.2.2 LMS算法,即D(n)的收敛决定于均方误差超量的收敛，并与R的特征值散布有关。,其次，引用LMS算法的权系数迭代公式，可将权系数误差矢量写成如下递推形式：,使用类似的正交变换可得：,从而可将其自相关矩阵K(n)表示为递推形式(推导中巳应用了正交性原理和独立性假定，即同时刻的权系数与输入统计无关。),4.2.2 LMS算法,当n趋向无穷大时，显然可假定n近似等于n+1，从而有,从上式可知，由于R的非负定性，其特征值皆非负，所以均方误差超量应非负，因此，算法收敛的必要条件为：,4.2.2 LMS算法,4) 稳态失调：,5)
15、 结论：,对于同一输入过程和步长，稳态失调随阶数M的增大而增大； 对于同一步长，稳态失调与总的抽头输入功率成正比； 稳态失调与步长成正比。因此，通过加大步长来加快收敛速度将导致稳态失调增加；,4.2.2 LMS算法,改进收敛性的途经： 使用拟牛顿法(归一化LMS)； 使用变步长算法，以解决收敛速度与稳态失调的矛盾； 使用变换域算法，将输入矢量解耦，对各个分量采用不同步长。,4.2.2 LMS算法,4.2.3 LMS牛顿算法,2 算法推导：,最小均方误差权向量的牛顿法迭代公式为,1 基本思想：,LMS牛顿算法是一种LMS改进算法，它在估计梯度时采用了输入向量相关矩阵的估值，使得收敛速度大大快于基
16、本LMS算法 ，牛顿法可一步到达最佳点。,与LMS算法类似，用瞬时梯度替换牛顿法中的真实梯度，则得,此迭代公式可以看作是以自相关矩阵进行归一化的归一化LMS算法。由于自相关矩阵的逆必须递推估计，引入矩阵逆引理估计n时刻的自相关矩阵逆，则得LMS牛顿法的迭代公式：,4.2.3 LMS牛顿算法,式中遗忘因子一般取接近零的正数，输入的非平稳程度越大，则遗忘因子越大。上式的迭代初值为：,自相关矩阵逆的估计还可使用正交化输入矢量进行快速计算。,4.2.3 LMS牛顿算法,4.2.4 归一化LMS算法,1 基本思想： 使步长与抽头输入功率成反比，从而抑制稳态失调随抽头输入功率的线性增长。或者等价为最小化干扰原理-在每次迭代中，权系数以最小波动方式变化，或等价为瞬时平方误差变化最小。,2 公式推导：,在约束条件为：,使权系数增量：,4.2.4 归一化LMS算法,的欧氏范数最小化。使用拉格朗日乘子法，即,将上式代入约束条件，可解出最佳乘子值
