《现代信号处理_03——自适应信号处理20101109》由会员分享，可在线阅读，更多相关《现代信号处理_03——自适应信号处理20101109（37页珍藏版）》请在金锄头文库上搜索。
1、 第三章自适应信号处理周围1内内 容容v 梯度下降算法 v 横向LMS自适应滤波器 v 横向RLS自适应滤波器 v 自适应格型滤波器 v 盲自适应滤波器 v 自适应滤波器的应用 2参数可调数字滤波器自适应算法+_y(n)参考信号d(n) e(n)自适应滤 波器原理 图x(n) 输入输出3自适应FIR滤波器 ：定义输入向量输入信号：输出信号：期望信号（参考信号 或训练信号）：d(n)抽头权矢量：输出误差信号：+-+自适应算法最优权矢量： 4均方误差性能曲面及其性质输入信号的自相关矩阵：互相关矩阵5与FIR维纳滤波器的最优解一致。均方误差函数（代价函数 ）678几何意义 对二维实加权情况：均方误差
2、性能函数：为求得等高线令9均方误差性能曲面均方误差性能曲面的等高线10定义输入向量输出信号：复加权矢量：输出误差信号 ：11定义输入向量其中空间自相关矩阵：最优加权矢量 ：互相关矩阵12最陡（梯度）下降算法q 梯度的数学表示：相对于 向量 的梯度算子记作 ，定义为因此，一个实际量函数 相对于一列向量的梯度为13最陡（梯度）下降算法（续）q 梯度的几何特征梯度的每个分量给出了标量函数在该分量方向 上的变化率。q 梯度的重要性质指出了当变元增大时函数的最大增大率。相反， 梯度的负值（简称负梯度）指出了当变元增大时 函数的最大减小率。这一性质是梯度下降算法的 基础。14极小化 取负曲率方向作搜索方向
3、 取负梯度作目标函数的更新方向。定理：令 是实向量 的实值函数。将 视为独立的变元，实目标函数 的曲率方向由梯度向量 给出。最陡（梯度）下降算法15梯度下降算法的迭代过程：近似解在迭代过程中的校正量与目标函数的负梯度成正比。 上式称为优化问题近似解的学习算法；常数 称为学习步长 ，它决定近似解趋向最优解的收敛速率。梯度：故坐标平移最陡（梯度）下降算法16坐标旋转 去耦合由初始权向量迭代可得 ：（变量间无耦合 ）或表为因为最陡（梯度）下降算法17若满足：实际常用（保守的）收敛条件：则有：则有：或最陡（梯度）下降算法（续）18过渡过程令：则其中权向量时间常数（1）权向量过渡过程（2）均方误差过渡过
4、程其中均方误差时间常数最陡（梯度）下降算法（续）19（3）特征值分散对过渡过程的影响均方误差和权矢量的分量均按M个不同时间常数 的指数函数之 和的规律变化。收敛速度主要取决于最慢的指数过程，相应时间常数：为了保证收敛，步长 ，故有：当特征值分散性大（条件数大 ）时，算法最陡下降法收敛性很差。最陡（梯度）下降算法（续）20梯度下降算法（续）（4）步长对过渡过程的影响步长 必须满足收敛条件: 太大将不收敛； 在保证收敛情况下：越大，收敛越快，但太大时过 渡过程具有振荡特性，且稳态误差较大；越小，稳态 误差越小，但收敛越慢。或(a) 小的值情况 步长值的影响(b) 大的值情况21内内 容容v 最优滤
5、波理论与Wiener滤波器 v 梯度下降算法 v 横向LMS自适应滤波器 v 横向RLS自适应滤波器 v 自适应格型滤波器 v 盲自适应滤波器 v 自适应滤波器的应用 22自适应滤波基本原理 自适应滤波器包括两个过程：滤波过程和自适应过程。此仅考虑后者,即滤波器的自适应实现问题；且主要考虑FIR滤波器的自适应实现，其关键是自适应算法。 FIR滤波器的自适应实现指的是：M 阶FIR滤波器的抽头权系数w1,wM-1可以根据估计误差e(n)的大小自动调节，使得误差在某个统计最优准则下最小。 滤波器设计最常用的准则：MMSE准则，即是使滤波器实际输出y(n)与期望响应d(n)之间的均方误差 最小;最终
6、达到Wiener解。23自适应滤波基本原理（续） 最广泛使用的自适应算法是“下降算法”式中w(n)为第n步迭代(亦即时刻n)的权向量， 为第n步迭代的更新步长，v(n)为第n步迭代的更新方向(向量) 下降算法的两种实现方式 - 自适应梯度算法：LMS算法及其改进算法- 自适应高斯牛顿算法：RLS算法及其改进算法本节介绍LMS类算法，下一节介绍RLS类算法。24最小均方（LMS）滤波器最陡下降法：随机优化问题 ：Wiener滤波器 ：真实梯度25LMS滤波器（续）梯度下降算法 ：步长参数，学习速率真实梯度缺点：真实梯度含数学期望，不易求得。梯度估计改进 ：瞬时梯度：先验估计误差26LMS滤波器（
7、续）v 基本LMS算法 ：瞬时梯度分析：最陡下降法LMS算法搜索方向为梯度负方向， 每一步更新都使目标函数值 减小（“最陡下降含义”）。搜索方向为瞬时梯度负方 向，不保证每一步更新都使 目标函数值减小，但总趋势 使目标函数值减小。27LMS滤波器（续）梯度下降法要求：不同时间的梯度向量（搜索方向）线性独立 。 LMS算法的独立性要求：要求不同时间的输入信号向量 线性独立（因为瞬时梯度向量为 ）。28LMS滤波器（续）v 自适应学习速度参数及收敛性（3）“换档变速”方法：固定时变（2） 时变学习速度： （递减），模拟退火法则（1） 固定学习速度： （常数）缺点： 偏大 收敛快 跟踪性能差偏小 收
8、敛慢 跟踪性能好29LMS滤波器（续）例1. （先搜索，后收敛）例2. （先固定，后指数衰减）（4）自适应学习速度：“学习规则的学习”和 正的常数30而且可以证明LMS自适应滤波器的权向量收敛于维纳解 ：(5) 算法收敛性前已指出，瞬时梯度向量是真实梯度向量的无偏估计： 条件是 LMS算法还必须兼顾收敛速度和失调,它来自梯度估计误差 : LMS滤波器（续）31 若 自适应产生，则称为自适应步长的LMS算法 LMS算法的几种变形 若 常数，则称为基本LMS算法 若 , 则称为归一化LMS算法结论：这些算法通常称为LMS类算法梯度算法 。 LMS算法的改进32LMS算法的改进（续） 从LMS算法导
9、出牛顿法前面已导出维纳最优解为 它由梯度 得出，其中 用 左乘上式两边, 并将结果代入维纳解公式, 得写成更一般的迭代形式(即牛顿迭代公式) ： 33LMS算法的改进（续） 从LMS算法导出牛顿法（续）上式可写成更一般的迭代形式：这就是所谓牛顿法基本迭代式。其中 称为牛顿方向。 统一算法 LMS法与牛顿法可统一为更一般的下降算法:取不同的 就构成不同的自适应算法。 34内 容v 正交性原理 v Wiener滤波器 v 梯度下降算法 v 横向LMS自适应滤波器 v 横向RLS自适应滤波器 v Kalman滤波器 v 自适应格型滤波器 v 盲自适应滤波器 v 自适应滤波器的应用 35RLS自适应滤
10、波器v 基本思想 v RLS算法 v RLS滤波算法与Kalman滤波算法 36系统输入(c) 预测延 迟自适应滤波器随机 信号u系统输出2e(n)y -+ d(n) 系统输出1(d) 自适应干扰（噪声）抵消自适应滤波器基本 信号e(n)y (n)+系统 输出参考 信号用于预测编码和语音分析用于噪声消除和波束形成设备 ( 待测 )自适应滤波器(a) 辨识(正向建模）系统 输入x(n)系统 输出e(n)- y(n)+ d(n)用于系统辨识设备 ( 待测 )自适应滤波器(b) 逆模型u(n) 系统输出e(n)- y(n)d(n)=x(n-)延 迟 z -用于信道均衡和反卷积x(n)+x(n)+N(n)-d(n)37
