《支持向量回归机》由会员分享，可在线阅读，更多相关《支持向量回归机（9页珍藏版）》请在金锄头文库上搜索。
1、3, y), i = 1,2,., n，x e Rn 为输入量,(完整版)支持向量回归机 3。3支持向量回归机SVM本身是针对经典的二分类问题提出的，支持向量回归机(Support Vector Regression, SVR)是支持向量在函数回归领域的应用.SVR与SVM分类有以下不同：SVM回归的样本点只有一 类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总 偏差最小.这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。3。3。1 SVR基本模型对于线性情况，支持向量机函数拟合首先考虑用线性回归函数f=3 .尤+人拟合ye R为输出量，即需
2、要确定3和b。图33b8不灵敏度函数图33a SVR结构图惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同 的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一 样。常用的惩罚函数形式及密度函数如表31。表31常用的损失函数和相应的密度函数损失函数名称损失函数表达式c (& i)噪声密度P (& i)8 不敏感&i 82(1+8)eXP(L)拉普拉斯曰i2exp(-1&)2匕高斯1芸22 i1, 6 2与 eXP()鲁棒损失1r i2。弓)2顼耳3；|J 一：，otherwise;1邳(一遍)，f惭-Cexp( - 6 ), othe
3、rwiseL 2 i多项式I1 &，2啬/ p)eXP(-孑)分段多项式Qt&。, if &j m& |-b P_-, otherwise Pexp(-&), f|&|mpb p-11 i1, p 一 1 Iexp(b1&. |) otherwise标准支持向量机采用e 一不灵敏度函数，即假设所有训练数据在精度e下用线性函数拟合如图（33a）所示，式中，& ,&*是松弛因子，当划分有误差时，& 化为求优化目标函数最小化问题：&*都大于0，误差不存在取0。这时，该问题转R(o,&,&*) = 2 + C乎(&i +&*)i=1（3。12）式（3.12）中第一项使拟合函数更为平坦，从而提高泛化能力
4、；第二项为减小误差；常数C 0表示对超出误差e的样本的惩罚程度。求解式（3。11）和式（3。12）可看出，这是一个凸二次优化问题，所以引入Lagrange函数:L =1 oo + c (& +&*)-i=1i =1-8 以*&* +-y + f (x )-8 (&Y + &*y *)i iiii i i ii =1i =18以& + - y + f (x)i(3.13)式中，a，a* 0，y, y* 0，为 Lagrange 乘数，化，对a ，a *， y，y *的最大化，代入Lagrangei i i ii = 1,2,.,n。求函数l 对，b， &,函数得到对偶形式，最大化函数：&*的最小
5、其约束条件为:W(a,a*) =1 8 (a -a*)(a -a*)(x x ) i=1, j=1777+8(a -a*)y -8(a +a*)i=1i=1（3.14）8 (a -a*) = 0J i i i=10 a , a * Cii(3.15)求解式（3.14）、（3.15）式其实也是一个求解二次规划问题，由KuhnTucker定理，在鞍点处有:a +g -y + f (X) = 0 a*+&*-y + f (x) = 0i i iiii ii&Y=0&* 7*=0(3。16)得出aa* = 0，表明a , a*不能同时为零，还可以得出:(3.17)(C-a )&. = 0(C-aM =
6、 0从式(3。17)可得出，当a = C或a* = C时，|f (x) - y |可能大于，与其对应的x称为边 界支持向量(Boundary Support Vector, BSV)，对应图3-3a中虚线带以外的点；当a * e (0,c) 时，|f(x )-y | = ,即&= 0 , & * = 0 ,与其对应的x称为标准支持向量(Normal Support i iiiiVector,NSV)，对应图3-3a中落在管道上的数据点；当a =0 , a*=0时，与其对应的x为非 支持向量，对应图33a中管道内的点，它们对巧没有贡献。因此;越大，支持向量数越少.对 于标准支持向量，如果0a C
7、(a*= 0)，此时& = 0，由式(3.16)可以求出参数b :b = y -(a -a *)x -x -ij j j i=y (a a *) x x ij j j ix eSV j同样，对于满足0 a* C(a =0)的标准支持向量，有b = y (a a*)x x ij j j ixjeSV一般对所有标准支持向量分别计算b的值，然后求平均值，即b = y - (a-a*)K(x ,x)-(3.18)(3.19)Ni j j j iN 0a,C o x-eSV+y (a a*)K(x ,x)ij j j i0a* 0 ；高斯核：k(x, x) = exp(-)；2b 2RBF 核：k(x,
8、 x) = exp(-)；2 2B样条核：k(x,x) = B2N1(|x-x|)；Fourier 核：k(x,x。=质；一;sin (x - x)2因此式（3.20）变成W (a, a *) = - 2 (a -a*)(a -a*) K(x x)i=1, j=1+(a -a*)y -(a +a*)8i=1i=1（3.21）可求的非线性拟合函数的表示式为:f (x) =3 (x) + b=才(a -a*)K(x,x) + bi=1（3。 22）3.3。2结构改进的支持向量回归机上节所述的SVR基本模型其优化目标为:min w 2 + C (& +&*)广2i iw，b，&i=i(3。23)s.
9、ty - w。3.) -b 8 +&,w。3 ) + b 一 y 011&* 0,i = 1,2,., lSVR结构改进算法一般在优化目标中增加函数项，变量或系数等方法使公式变形，产生出各 种有某一方面优势或者一定应用范围的算法.Suykens提出了最小二乘支持向量机（LSSVM）口戚，与标准SVM相比其优化指标采用了平 方项，从而将不等式约束转变成等式约束，将二次规划问题转化成了线性方程组的求解，其优 化目标为：Min林，& s.t2+2 /云(3.24)i=1y =由8(X ) + b + Ei = 1,2,，lLS-SVM与标准SVM相比减少了一个调整参数，减少了 I个优化变量，从而简化
10、了计算复杂性。 然而LSSVM没有保留解的稀疏性.改进的最小二乘支持向量机有：递推最小二乘支持向量机 106、加权最小二乘支持向量机1。7、多分辨率LSSVM108 及正则化最小二乘方法109 等。Sch Ikoph等提出的v SVM方法11。,引入反映超出8管道之外样本数据点（即边界支持向 量数量）和支持向量数的新参数v，从而简化SVM的参数调节。其优化目标为：min2t + C V8 + ；(&2 +&*2),i=1s.ty 一。(X ) 一 b 8 + E(3.25)iii。(X ) + b- y 011E* 0i = 1,2,，lV表示边界支持向量机的上限和支持向量机的下限。与标准支持
11、向量机相比优化求解过程不需 要设定8值。标准SVM方法中，引入惩罚系数c实行对超出8-带数据点的惩罚。在实际问题中，某些重 要样本数据点要求小的训练误差，有些样本数据点对误差的要求不是很高。因此，在优化问题 描述时，对每个样本点应采用不同的惩罚系数C,或对于每个样本数据点应采用不同的8 -不敏(完整版)支持向量回归机 感函数，使回归建模更加准确，这一类结构变化的支持向量机通常称为加权支持向量机(WSVM) 口，加权支持向量机可以通过对惩罚系数c加权实现，也可以通过对加权实现.通过对参数C 加权实现时，其优化目标为：min，&(*)力 s.t:网2+cs (& +&*)2 i i ii=lco(|)(x + b-y siiiy -co(|)(x )-/?0, i = 1,2, ,Z(3.26a)通过对8加权实现时，其优化目标为:min |w|2 +c2j(S +&*)yg* 211l 1s.t y - w-(|)(x )-/? +&iii iw-(|)(x + b-y 0,0 i = l,2,.li i(3o 26b)Friess等提出了 一种针对分类问题的SVM变形算法-BSVM算法口。与标准SVM相比，BSVM 的优化目标
