《支持向量回归机SVR》由会员分享，可在线阅读，更多相关《支持向量回归机SVR（5页珍藏版）》请在金锄头文库上搜索。
1、支持向量回归机（SVR）支持向量机（SVM本身是针对经典的二分类问题提出的，支持向量回归机（SupportVectorRegression,SVR是支持向量在函数回归领域的应用。SVR与SVMb类有以下不同:SVR的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开,而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间,求最优回归超平面同样等价于求最大间隔。1.线性支持向量回归机对于线性情况，支持向量机函数拟合首先考虑用线性回归函数f(x)xb拟合(Xi，y),i1,2,.,n,yu1-/(ai+iJS-/W|-f)Rn为输入量，yiR为输出量，即需要确定和b。图1
2、-1a SVR结构图图1-1b不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一种度量,般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。标准支持向量机采用-不灵敏度函数，即假设所有训练数据在精度下用线性函数拟合如图（1-1a）所示,xf(xj式中,i,i是松弛因子,f(x)y当划分有误差时,i1,2,.,n（1.1）*.,、-、i都大于0,误差不存在取0。这时，该问题转化为求优化目标函数最小化问题:R(,(1.2)式（1.2）中第一项使拟合函数更为平坦,从而提高泛化能力;第二项为减小误差；常数C0表示对超出误差的样本的惩罚程度
3、。求解式（1.1）和式(1.2)可看出，这是一个凸二次优化问题，所以引入Lagrange函数:式中,*i0,i,i的取小化，对大化函数:W(其约束条件为:求解式（1.4）(1.5)处有:i得出i0,表明*i)Vf(Xi)0,)1nLagrangei的最大化,n(1,j1ii乘数,代入V*i)f(x)(1.3)1,2，,n。求函数L对Lagrange函数得到对偶形式，最)(j*、i)yi*j)(XiXj)(1.4)*i)*i)(1.5)式其实也是一个求解二次规划问题,Kuhn-Tucker定理，在鞍点从式（1.7）可得出，当_*V,f(X)0i*Vf(xi)0(1.6)*.*-，-.一、i不能同
4、时为零，还可以得出:(C(Ci)i0*i)i0(1.7)iCMC时，f(Xi)V可能大于,与其对应的X称为边界支持向量（BoundarySupportVector,BSV,对应图1-1a中虚线带以外的点;当i(0,C)时，f(xi)yi，即i0,i0,与其对应的为称为支持向量(SupportVector,SV),对应图1-1a中落在带上的数据点；当i=0,i=0时，与其对应的改为非支持向量，对应图1-1a中带内的点，它们对w没有贡献。因此越大,支持向量数越少。对于标准支持向量，如果0iC(i0),此时i0,由式(1.6)可以求出参数b:lbyi(jj)Xjxij1yi(jj)XjxiXjSV同
5、样，对于满足0iC(i0)的标准支持向量，有by(jj)xjxixjSV一般对所有标准支持向量分别计算b的值，然后求平均值，即1,*byi(jj)K(xj,x)NNSV0iCxjSV(1.8)*_yi(jj)K(x，x)0i*CxjSV因此根据样本点(xi,yi)求得的线性拟合函数为n(1.9 )*、f(x)xb(ii)xixbi12.非线性支持向量回归机非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间(Hilbert空间)中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。首先将输入量x通过映射 ：RnH映射到高维特征空间H中用函数f(x)
6、(X)b拟合数据(xi,yi), i 1,2,.,n。则二次规划目标函数(1.4 )式变为:n(xj)1(ii)(jj)(x)2i1,j1nn，*、(ii)y(ii)(2.1)式(2.1)中涉及到高维特征空间点积运算(Xi)(xj),而且函数是未知的，高维的。支持向量机理论只考虑高维特征空间的点积运算K(xi,xj)(xi)(xj),而不直接使用函数。称K(xi,xj)为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数p, p N,d0；的类型有多种，常用的核函数有：多项式核：k(x,x)(x,xd)高斯核：k(x,x)exp(RBF核：k(x,x)exp(xxL)；B样条核：k(x
7、,x)B2N122(x);x)；Fourier核：k(x,x)sin(Ng)(xx)sin2(xx)因此式(2.1)变成1.j*i)(jj)K(xx)*、n*(ii)i1(2.2)可求的非线性拟合函数的表示式为:f(x)(x)*i)K(x,xi)b(2.3)支持向量回归机的算法如下给定训练集T(x1，yi),L,(xn,yn)(Ry)n,其中xRn,yiyR,i1,L,n;(2)0和惩罚参数C 0;、._,选取适当的核函数K(x,x)以及适当的精度构造并求解凸二次规划问题得解一(*)1 nmin1(2 d2i,j1n*st(ji1*0ii)C,i*(1,1,L,n,*n)*i)(j0,1,L,n,j)K(xj)i)i),一_.、*j,则(4)计算b:选取位于开区间(0,C)中的一()的分量j或-k。若选到的是_n*byj(一i一处(不勺)；1 1一一*若选到的是一k,则n-*一-byk(*i)K(Xi，Xk)；i1(5)构造决策函数n*一f(x)(ii)K(X，Xj)b.i1
