《核自适应滤波总结报告》由会员分享，可在线阅读，更多相关《核自适应滤波总结报告（12页珍藏版）》请在金锄头文库上搜索。
1、一、研究背景及意义：传统的线性自适应滤波算法在处理非线性问题时，相应的性能效果并不理 想。在信号预测、系统识别、信道均衡等领域的实际问题中，如果某种复杂的非 线性关系存在于系统的输入输出之间，传统的线性方法难以处理这类非线性问 题。现有的非线性自适应滤波方法有基于非线性差分方程的递归多项式模型、径 向基函数(RBF, Radial Basis Func tion)、神经网络、基于Vol terra级数展开 的非递归多项式模型、多层感知(MLP,Multilayer Perception)、神经网络等， 这些方法在处理非线性问题时有较好的性能，但是它们当中存在的缺点有：很高 的计算复杂度、存在不
2、稳定性、收敛速度不理想、难以确定合理的阶数、非凸最 优化解等等。而基于核方法(Kernel Met hod)构造的自适应算法具有很强的非线 性信号的处理能力。二、常见的核自适应滤波方法：(1) 把线性最小均方算法和核方法相结合，提出了核最小均方算法KLMS。(2) 通过核方法将仿射投影算法应用到非线性系统中，提出了核仿射投影算法 KAPA。(3) 核递归最小二乘算法KRLS及扩展的核递归最小二乘算法EKRLS。(4) 将核方法与梯度下降法相结合提出的核ADALINE算法及NORMA算法。(5 )将核方法与最小平均混合范数算法结合提出的核最小平均混合范数算法 KLMMN。三、核方法思想：(1)
3、核函数：K(x,x)=O(x),0(x)=(x)T(x)其中X、xe X ,是输入空间X到向量空间F的映射。(2) 再生核希尔伯特空间(RKHS):如果一个核函数满足这两个条件： 对任意的xe X, k(x,x)作为向量x的函数归属于向量空间F; 满足可再生性，即对由核k (x,.)组成的关于x的函数生成的空间F中的 函数g(.) = a.k(c. )对于所有的i eR , c g X，有 g,k(x,) = a k(c , x) = g (x)。那i i,ii ii=1i=1么，K(X, x)就称为向量空间F中的可再生核函数，定义了完备的可再生核的内积 空间就是可再生核希尔伯特空间(RKHS
4、)。(3) Mercer定律：任何一个可再生核可表示为k(x,x)= g 9 (xIp (x)，i iii=1其中，g和p是非负的特征值和特征函数。因此，映射p可以表示为：T i(4)常用核函数:咼斯核：k (x, x)= exp(-a|x - x|2)多项式核：k (x,x) = (xTx+l)p其中，a是高斯核中的核参数,P是多项式核的阶数.(5) 基于核方法的非线性自适应滤波器的实现原理：将输入数据(x、x e X) 映射到高维特征空间(RKHS)中，然后对变换后的数据运用相应的线性自适应滤波 算法。四、LMS算法与KLMS算法对比:一、LMS算法LMS理论算法图1.1线性言适应滤波器的
5、基本框图图1.2横向滤波器目标函数是：J(k) = e2(k),而e(k) = d(k)-wT(k-l)u(k)目标函数的梯度向量是：住)=-e(k)u(k)dw( k 1)由随机梯度下降算法，最终得到LMS算法的权重系数向量更新表达式为:w(k) = w(k -1) + ye(k)u(k)，其中卩为学习步长参数。(2) LMS具体算法初始化w(0) = 0，选择卩，每获得认k),d(k)，计算/e(k) = d-仏-1加)w(k) = w(k -1) + ye(k)u(k)保守收敛条件0 卩莓L，其中，相关矩阵R = u(i )u(i )Ti=1在第k次迭代时，对于给定的测试点U，系统输出为
6、f (u ) = u Tw(k)* * *KLMS算法(1)KLMS理论算法在LMS算法中，假定输入输出映射是线性有限脉冲响应(FIR)模型,如果用u(k)表示输入信号，c(k)表示参考信号，e(k)表示估计误差，卩表示步长因子，w(k)表示在第k次迭代的最优权重系数估计，那么LMS算法的规则为:wG)= 0e(k) = d (k) - wT (k - 1)u( k) w (k )= w(k -1)+ ye(k)u(k)由于)和x之间的维度差异,)是比x更有效更精确的模型，所以可以用)代替x通过随机梯度下降法可以为非线性滤波器提供一个有效的方法来估算权重系数向量:w(0)= 0e(k) = d
7、 (k) - wT (k - l)q(k) w ()= w(k -1)+ pe(k)(k)其中wk表示在特征空间F中第k次迭代的系数向量的估计值，)=4)。初始化wG)= 0,重复迭代权重系数更新公式，得：w(k) = w(k -1) + ye(k)9(k)=w(k - 2) + yle(k -1)9( k -1) + ye(k )9( k)=lw(k - 2) + ye(k - l)9(k -1)1+ ye(k)9(k) =w(0)+卩迓 e( j )9( j)j=1=卩迓 e( j )9( j)在第k次训练后，权重系数估计值可以看作是由先前和当前输入数据的映射和 误差值乘积的线性组合的相加
8、，对于一个新的输入数据x (k +1)，非线性系统的输出为: y ( +1)= w(k )t 9(k +1) =卩工 e(j!p(j )t9(k +1)j=1=卩工 e(j)c(u(j ),u (k +1)可见系统的输出可以用求解核函数的方法将输出结果直接计算出来。(2) KLMS具体算法算法1核最小均方算法(KLMS)初始化w(0) = 0,选择核函数K及参数方和步长因子“ q(i)=如,c =x(i),y; = q(i)K(x(i),) 计算While 输入x(2)? J(f)有效 do计算输出:L (x(0) = 碍(7 -x(0)户】计算误差：e(0 = (0Z-iW0)存储中心：c(
9、0-c(j-l)X0存储系数：纠(,)=严(7)End while初始化w(0)=0,选择步长因子卩和核函数k及其相应参数h e(l)=d(l), f 二“(lKCGJ计算While输入x ,d有效doi i计算输出：f (xC)=0“(j)(x(j)x0)i-1j=1计算误差：e()=d G)- f (x G)J i-1五、仿真结果迭代谀数图2.2 KLMS算法（“ =0.2 ）和LMS算法（卩=0.02 ）在非线性信道均衡中MSE的比较（S2 = 0.2 ）六小结核函数在处理非线性问题上的优势是：（1）理论上：它能够把输入空间映射到高维特征空间，然后在高维特征空间里进行线性数据 处理。把低
10、维空间的非线性运算转化到高维空间的线性运算。（2）数学上：算法的简化。与LMS算法相比,KLMS算法没有用到权重系数,而是将所有过 去的误差乘以相应核函数的值直接得到系统的输出，降低计算复杂度。KRLS (核递归最小二乘算法)一、算法原理min2(1) RLS算法通过最小化代价函数w工d(力-u(j)Twj=1估计权重w(i -1)。为了解决原算法中输入数据自相关矩阵的逆可能不存在的问题，将数据自相关矩阵正则化，即通过最小化代价函数+ M w估计权重w(i 1)min 歹 |乙 d (j) u( j )Tw w 1j=1在KRLS算法中，将输入数据u(i)映射到RKHS中的申(u(i)，简写为
11、申(i),每次迭代，通过最小化代价函数minw+九来估计权向量w(i 1)。j=1min歹|2归(2)由 w 厶 d(j)wT (j)+ 九 ii wi2 得：j=1w(i) = Li + (i)(i)T L (i)d (i)=(i) Li + (i)T (zj1 d (i)下划线部分由矩阵求逆引理得到的，好处如下： (i )T (i) 中的每个元素可以通过核函数来简化计算; 权重被明确表示为输入数据的一个线性组合：w(i)=(i)a (i)I + (i)T (ij1 d(i)。(3)为了避免复杂的求逆运算，可以通过迭代方法来计算a(i):经过一些列数学推导得:a (i)二a(i -1) -
12、z(i)r(i)-1 e(i)r (i) t e(i)h(i)=(i 一 1)tq(i) = Ik (u(1),u(i), - -k (u(i -1),u(i) 苴中0)= +(i)可刃T其中，z(i) = Q(i- l)h(i)r(i) = 2 + q(i)T q(i) - z(i)T h(i)预测误差 e(i) = d(i) - f ,(i),预测信号f 1 C(i)=q (i)w(i-1)=q )(i - D a (i -1)=h(i)T a(i -1)=丈 a.(i-1)k(u(j),u(i)jj=1二、具体算法：(1)非正则化的KRLS算法:衣2-2 KRLS算法更新流郴初始化 Q(
13、l)=l/k(u(l)tu(l), a(l) = Q(l)d(l) for循环i = 2,曳4)5)6)a(r-l)-z(j)r(r)呻)呻)5)Q(d 1-2(0J(2)正则化的KRLS算法:初始化Q=(九+ K (u(l),u(1)-l，其余与上面的一致。 这个不同是由w(i)的结构决定的。w(i)二 +1(i)d(i)输入空间的非线性系统通过非线性映射转化为高维空间的线性系统:例：一个二维向量的目标函数u二U,u2卩的目标函数f (u) = f (u , u ) = a u + a u + a u 2 + a u 2121 12 23 14 2a4来逼近f。在一维空间很难精确地通过线性组
14、合a1，a2，a3，对于核 K (u,C)= (1 + uTc)2，其中,u =气,笃卩，C = C, 卩 贝 0 k(u, c)= (1 + uTc )2 = 1 + u 2c 2 + 2uu c c + u 2 c 2 + 2u c + 2u c1 1 12 12 2 2输入向量u在特征空间的像可以写成申(u)= 1, uj，雄uu, uj，逻u、，逻uj 同理，9(c)= 1,C2,湮CC2,c22,C, j2c2利用映射X5,X)X2, X3, X4申(u)= 1,u12/2u1u2,u22，匹u, J2uj =(X f可以表示为(X1 X2, X3, X4, X5, X6)的线性系统，即% 9 x3, x4, x5, %)= 0 - Xi + a3 - X2 + 0 -兀3 + 4 - 3 +
