《LMS算法原理及推导》由会员分享，可在线阅读，更多相关《LMS算法原理及推导（25页珍藏版）》请在金锄头文库上搜索。
1、 第八章 自适应滤波第八章 自适应滤波 在第五章和第六章中，我们介绍了维纳滤波和卡尔曼滤波。维纳滤波器参数是固定的， 适合于平稳随机信号。卡尔曼滤波器参数是时变的，适合于非平稳随机信号。然而，只有在 信号和噪声的统计特性先验已知的情况下， 这两种滤波技术才能获得最优滤波。 在实际应用 中，常常无法得到信号和噪声统计特性的先验知识。在这种情况下，自适应滤波技术能够获 得极佳的滤波性能，因而具有很好的应用价值。 常用的自适应滤波技术有：最小均方（LMS）自适应滤波器、递推最小二乘（RLS）滤 波器、格型滤波器和无限冲激响应（IIR）滤波器等。这些自适应滤波技术的应用又包括： 自适应噪声抵消、自适应
2、谱线增强和陷波等。现在，已经有许多信号处理书籍全面介绍了自 适应滤波技术。考虑到生物医学工程专业大三本科生的学习基础，本章首先介绍最小均方 （LMS）自适应滤波器原理，在此基础上介绍自适应噪声抵消器及其生物医学应用，这样 安排更能够突出本教材的宗旨。 第一节 第一节 LMS 自适应维纳滤波器自适应维纳滤波器 LMS 自适应滤波器是使滤波器的输出信号与期望响应之间的误差的均方值为最小，因 此称为最小均方（LMS）自适应滤波器。 8.1.1 基本基本 LMS 算法算法 构成自适应数字滤波器的基本部件是自适应线性组合器，如图 8-1 的所示。设线性组合 器的 M 个输入为 (1), ()x kx k
3、LM，其输出是这些输入加权后的线性组合，即 ( )y k1( )()Mi iy kW x ki= （8-1-1） 图 8-1 自适应线性组合器 定义权向量，且 123,TmWW W WW=L( )(1) ),() )TX kXkTXkM T=L （8-1-2） 在图 8-1 中，令代表“所期望的响应” ，并定义误差信号 ( )d k1( )( )( )( )()Mi ikd ky kd kW X ki=（8-1-3） 式（8-1-3）写成向量形式 ( )( )( )( )( )TTkd kW X kd kXk W=（8-1-4） 误差平方为 22( )( )2 ( )( )( )( )TTTk
4、dkd kkkk=+XWW XXW 上式两边取数学期望后，得均方误差 22( )( )2( )( )( )( )TTTEkE dkE d kkE X kk=+XWWXW （8-1-5） 定义互相关函数行向量T xdR： ( )( )T xdTRE d k Xk= （8-1-6） 和自相关函数矩阵 ( )( )T XXRE X k Xk= （8-1-7） 则均方误差（8-1-5）式可表述为 22( )( )2TT xdXXEkE dkR WW R W=+ （8-1-8） 这表明，均方误差是权系数向量 W 的二次函数，它是一个中间向上凹的抛物形曲面，是具 有唯一最小值的函数。调节权系数使均方误差为
5、最小，相当于沿抛物形曲面下降找最小值。 可以用梯度来求该最小值。 将式（8-1-8）对权系数 W 求导数，得到均方误差函数的梯度 2( )( )kEk= 2212( )( )TMEkEkWW=L， ， 22XdXX= +RR W (8-1-9) 令，即可求出最佳权系数向量 ( )0k=1 optXXXd=WRR （8-1-10） 它恰好是第五章研究 Wiener 滤波器遇到过的 Wiener- Hopf 方程。 因此， 最佳权系数向量通常也叫作 Wiener 权系数向量。将代入式（8-1-8）得最小均方误差 optWoptW22min( )( )T xdoptEkE dk= R W （8-1-
6、11） 利用式（8-1-10）求最佳权系数向量的精确解需要知道XXXd和RR的先验统计知识，而且还需要进行矩阵求逆等运算。Widrow and Hoff (1960)提出了一种在这些先验统计知识未知时求的近似值的方法，习惯上称为 Widrow and Hoff LMS 算法。这种算法的根据是最优化方optW法中的最速下降法。根据最速下降法， “下一时刻”权系数向量(1k)+W应该等于“现时刻” 权系数向量加上一个负均方误差梯度( )kW( )k的比例项，即 (1)( )(kk)k+= WW （8-1-12） 式中，是一个控制收敛速度与稳定性的常数，称之为收敛因子。 不难看出，LMS 算法有两个
7、关键：梯度( )k的计算以及收敛因子的选择。 （一）的近似计算 ( )k 精确计算梯度( )k是十分困难的，一种粗略的但是却十分有效的计算的近似方法是：直接取作为均方误差( )k2( )k2( )Ek的估计值，即 2( )( )2 ( ) ( )kkk= =k （8-1-13） 式中的 ( )k为 ( ) ( )( )( )( )Tkd kkk= WXX kk)k（8-1-14） 将式（8-1-14）代入式（8-1-13）中，得到梯度估值 ( )2 ( )( )kk= X 于是，Widrow Hoff LMS 算法最终为 (1)( )2( )(kkk+=+WWX （8-1-15） 式（8-1-
8、15）的实现方框图如图 8-2 所示 图 8-2 LMS 算法的实现方框图 下面分析梯度估值的无偏性。的数学期望为 ( )k( )k( )2( ) ( )EkEkk= X 2( ) ( )( )( )TEk d kkk= XXW 2( )XdXXk= RRW( )k= （8-1-16） 在上面的推导过程中，利用了和( )d k( )k二者皆为标量的事实。在得到最后的结果时，利用了式（8-1-9） 。式（8-1-16）表明，梯度估值是无偏估计。 ( )k（二）的选择 对权系数向量更新公式（8-1-15）两边取数学期望，得 (1)( )2( )( )EkEkEkk+=+WWX ( )2( ) (
9、)( )( )TEkEk d kkk=+WXXW (2)( )2XXXdEk=+IRWR （8-1-17） 式中， I 为单位矩阵，( )( )TT XXEkk=RXX X和( ) ( )xdEk d k=RX。 当时， 0k =(1)(2)( )2XXXdEEo=+WIRWR 对于，利用上式结果，则有 1k =1 2=0(2)(2)(1)2(2)(0)2(2)XXxdi XXXXXd iEEE=+=+WIRWRIRWIRR起始时， (0)(0)E=WW 故 1 2=0(2)(2)(0)2(2)iXXXXXd iE=+WIRWIRRiR1重复以上迭代至，则有 1k +10(1)(2)(0)2(
10、2)k k XXXXXd iEkI+=+=+WIRWR （8-1-18) 由于是实值的对称阵，我们可以写出其特征值分解式 XXRT XX=RQQQQ （8-1-19） 这里， 我们利用了正定阵 Q 的性质， 且1T=QQ1(,)Mdiag =L是对角阵， 其对角元素i是的特征值。将式（8-1-19）代入式（8-1-18）后得 XXR11(1)(2)kEk+=WIQQW 102(2)k i Xd i=+IQQR （8-1-20） 注意到以下恒等式及关系式： （1） （8-1-21a） 111111(2)(2) (2)(2)(2)iiiiI=LQQQQQQQ IQQ IQQ IQ1(2)i=Q I
11、Q （2） 1100lim(2)(2)k ikii =IQQQ IQ1(2) 1=QQ （8-1-21b） （3）假定所有的对角元素的值均小于1（这可以通过适当选择实现） ，则 1lim(2)0kkI+= （8-1-21c） (4) 11 XX1=RQQ (8-1-21d) 将式（8-1-21a）（8-1-21d）代入式（8-20） ，结果有 11(1)XdEk+=WQQ R 1 XXXdopt=RRW （8-1-22） 由此可见，当迭代次数无限增加时，权系数向量的数学期望值可收敛至Wiener解，其条件 是对角阵(2)I的所有对角元素均小于1，即 max121 或 max10 (8-1-23
12、) 其中max是的最大特征值。XXR称为收敛因子，它决定达到式（8-1-22）的速率。事实上，收敛于由比值( )W koptWmaxmind=决定， 该比值叫做谱动态范围。 大的d值喻示要花费很长的时间才会收敛到最佳权值。克服这一困难的方法之一是产生正交数据。 基本LMS自适应算法如下： 初始化： (0)0;=W (0); I=R 选择max1:0 1:For kto n final do= ( )(1)2 ( )(1)( )( )Tkkx kkk X=+WWWXk LMS自适应滤波器如图8-3所示。 图8 3 LMS自适应滤波器 8.1.2 基本基本 LMS 算法的性能算法的性能 LMS自适
13、应滤波器的性能通常用所谓的“失调量”进行评估。失调M（k）定义为 2( )1 (1)( )/TM kE V kX k? 式中，是自适应滤波器与最佳滤波器的离差。 ( )V k 根据Macchi(1986)的分析，LMS滤波器与最佳权的离差可以写成两个离差分量之( )V k和，即 ( )( )( )nlkk=+VVVkTe kk)kk)（8-1-24） 噪声离差和滞后离差具有以下递推式： ( )nVk( )lVk( )2( )( )(1)( )( )nTn okkkkk=+VIXXVX （8-1-25） ( )2( )( )(1)( )lTlkkkk=VIXXVT （8-1-26） 其中 ( )( )( )( )T oopte kx kkk=WX
