《LMS类自适应算法资料》由会员分享，可在线阅读，更多相关《LMS类自适应算法资料（22页珍藏版）》请在金锄头文库上搜索。
1、LMS类自适应算法11电工樊辉 自适应算法的提出 个人理解 传统系统设计均是在某种情况下按照某些特定参数推导得出 是系统设计完成后运行在该类特定情况效果最佳 系统一旦发生某些参数变化 则系统输出效果一般会明显变差 诚如PID这类控制系统中使用最广最常用的控制算法 也只具有一定的鲁棒性 提出自适应算法 通过某些系统参数的在线学习 适应改变的系统 优化系统性能 就显得有必要了 自适应实现在滤波器中的引入 自适应实现 N阶FIR滤波器的抽头权系数可以根据估计误差e n 的大小自动调节 使得某个代价函数最小 自适应实现在滤波器中的引入 MMSE准则是滤波器设计最常用的准则 故在设计中采用均方误差为代价
2、函数 之前最优滤波理论中可知 代价函数相对于滤波器的抽头权向量w的梯度为 则对应的梯度向量为 自适应实现在滤波器中的引入 在导出梯度向量后 再定义 则式3可改写为向量式 式中 自适应实现在滤波器中的引入 使用中最广泛的形式是 下降算法 式中 w n 为第n步迭代 即时刻n 的权向量 n 为第n次迭代的更新步长 而v n 为第n次迭代的更新方向 依据下降算法的两种主要实现方式 分为自适应梯度算法和自适应高斯 牛顿算法 下面主要讲 自适应梯度算法 其包括LMS类自适应算法 LMS算法及其基本变型 自适应梯度下降算法中 更新方向向量v n 取自第n 1次迭代的代价函数J w n 1 的负梯度 即统一
3、形式为 其中 系数1 2是为了使得到的更新公式更简单 将更新公式中的部分用之前结论带入 既得抽头权向量w n 的更新公式为 由更新公式式9得到 LMS算法及其基本变型 1 为误差向量 代表了抽头权向量的校正量 2 参数 n 称为在时间n的 步长参数 决定了更新算法的收敛速度 3 当自适应算法趋于收敛是 有 即抽头权向量收敛为之前所说的Wiener滤波器 LMS算法及其基本变型 在式6中 将数学期望分别用相应的瞬时值代替 便得到了瞬时梯度 进而 将真是梯度向量用瞬时梯度向量代替 既得瞬时梯度算法 式中 式11 即为最小均方差自适应算法 简称LMS算法 易证 瞬时梯度向量是真实梯度向量的无偏估计
4、LMS算法及其基本变型 LMS自适应算法 步骤1 初始化权抽头向量 w 0 0 步骤2 更新 w n w n 1 n u n e n 注 1 n c c取常值 则为基本LMS算法2 n 则为归一化LMS算法3 当期望信号未知时 可直接用滤波器输出y n 代替d n 解相关LMS算法 解相关算法的提出 在LMS算法中 有一个独立性假设 假定滤波器的输入向量是彼此独立的向量序列 当他们之间有耦合时 算法性能下降 尤其是收敛速度 因此需要解除各时刻输入向量之间的相关 解相关 使其保持统计独立 解相关LMS算法 1 时域解相关LMS算法思路一 在输入量中根据实际剔除相关量定义u n 与u n 1 在n
5、时刻的相关系数为 若 1 则称u n 是u n 1 的相干信号 0 则u n 与u n 1 不相关 0 1 称u n 与u n 1 相关 解相关LMS算法 现用解相关的结果v n 作为更新方向向量 另步长参数 n 应该是满足下列最小化问题的解 解相关LMS算法 综上所述 提出解相关算法 步骤一 初始化w 0 0 步骤二 更新 上述算法中 参数称为修正因子 解相关LMS算法 思路二 利用前向预测在解相关LMS算法中 其实可视为一种自适应辅助变量法 其中辅助变量为 现用一前向预测器的误差向量代替 令为一M阶前向预测其的权向量 计算前向预测误差 式中 解相关LMS算法 使用前向预测误差向量作辅助变量
6、 即更新方向向量 用前向预测器对瞬时估计误差滤波 则得到滤波型LMS算法 解相关LMS算法 滤波型LMS算法 步骤一 初始化w 0 0 步骤二 更新 学习速率参数选择 为什么要选择学习参数LMS算法中的步长参数 决定抽头权向量在每步迭代中的更新量 是影响算法收敛的关键参数 由于LMS算法的目的是在更新过程中使抽头权向量逼近Wiener滤波器 所以权向量更新可视为一种学习过程 而 决定了LMS算法学习过程的快慢 故步长参数 也称为学习速率参数 学习速率参数选择 基于LMS算法收敛 给出学习速度参数的选择问题 1 均值收敛 或均值收敛条件 2 均方差收敛 均方差收敛条件 学习速率参数选择 自适应学
7、习速率参数1 学习速率参数选择常数选择学习速率参数为常数 在收敛与稳态性能上会引起矛盾 大的学习速率参数能提高收敛速度 但稳定性就会减低 反之 稳定性增加了 收敛速度变慢了 因此 学习速率参数的选择应该兼顾稳定性和收敛性 简单而有效地方法就是时变的学习速率 学习速率参数选择 2 学习速率参数选择时变这样也存在问题 在参数c比较大时 LMS算法可能在经过若干次迭代后即变为发散 3 固定 时变两个经典例子 1 2 学习速率参数选择 4 自适应学习速率如果时变的学习速率是由LMS算法的实际运行状态控制的 则这类时变的学习速率称为自适应学习速率 也成为 学习规则的学习 下介绍两个例子 1 根据预测误差的平方来调节学习速率 2 直接用模糊系统理论和语言模型来实现 构成所谓的模糊步长调节
