《支持向量回归机》由会员分享，可在线阅读，更多相关《支持向量回归机（10页珍藏版）》请在金锄头文库上搜索。
1、SVM本身是针对经典的二分类问题提出的，支持向量回归机(Support Vector Regression SVR)是支持向量在函数回归领域的应用。SVR与SVM分类有以下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点 分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在 两条边界线之间，求最优回归超平面同样等价于求最大间隔。331 SVR基本模型对于线性情况，支持向量机函数拟合首先考虑用线性回归函数 f(x) x b拟合(Xi) 1,2,., n，Xi Rn为输入量，y R为输出量，即 需要确定和b o图3-3a SVR结构图图3-3b 不灵敏度函数惩
2、罚函数是学习模型在学习过程中对误差的一种度量， 一般在模型学习前己 经选定，不同的学习问题对应的损失函数一般也不同 ，同一学习问题选取不同的 损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表 3-1 o表3-1常用的损失函数和相应的密度函数损失函数名称损失函数表达式% i)噪声密度p( i)-不敏感拉普拉斯高斯鲁棒损失多项式分段多项式标准支持向量机采用-不灵敏度函数，即假设所有训练数据在精度下用线性函数拟合如图(3-3a)所示，*f(Xi)i(3.11)f (Xi) yi* i 1,2,., n式中，i,；是松弛因子，当划分有误差时，；都大于0,误差不存在取0这时，该问题转化为求优
3、化目标函数最小化问题：R(n*C ( i i )i 1(3.12)式（3.12）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误 差；常数C 0表示对超出误差 的样本的惩罚程度。求解式（3.11）和式（3.12）可看出,这是一个 凸二次优化问题，所以引入Lagrange函数:iyin*i)i ii 1nf(x)(i ii 1f(xj(3.13)i)式中,为Lagrange乘数,1,2,.,n。求函数L对,b , i,偶形式,i*的最小化，对最大化函数：*的最大化,代入Lagrange函数得到对W(,12in(ii 1i)( jj)(xXj)1,j 1i )yii)(3.14)其约束
4、条件为:i) 0C怎么来的(3.15)求解式（3.14）、（ 3.15）式其实也是一个求解二次规划问题，由Kuh n-Tucker定理，在鞍点处有:iii i 0f(Xi)0 i i y f(Xi)0* *0ii一个点不能同时 两个等式都满足(3.16)得出i i 0，表明*不能同时为零，还可以得出:(C(Ci) i 0* *i) i 0怎么得到的(3.17)从式（3.17）可得出,C，或*C时,f （xi） yi可能大于，与其对应的xi称为边界支持向量（Boundary Support Vector, BSV），对应图3-3a中虚线带以外的点；当j，即i 0, i* 0,与其（0,C）时，f
5、（xj yi对应的xi称为标准支持向量 （Normal Support Vector, NSV），对应图3-3a中落在 管道上的数据点；当i = 0 , i = 0时，与其对应的xi为非支持向量，对应图3-3a中 管道内的点，它们对w没有贡献。因此 越大，支持向量数越少。对于 标准支持向量，如果0 i C( i 0)，此时i 0，由式(3.16)可以求出参数b :同样，对于满足0 i C( i 0)的标准支持向量，有一般对所有标准支持向量分别计算b的值，然后求平均值，即1 * y( jj)K(Xj,Xi)Nnsv 0 i Cxj SV(3.18)y( j*)K(Xj,Xi) 0 * CXj S
6、V因此根据样本点(Xi, yi)求得的线性拟合函数为n(3.19)*f (x) x b ( i i )xi x bi 1非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间(Hilbert空间)中，然后在此高维空间中再进行线性回归，从而 取得在原空间非线性回归的效果。与之前有的解释不一样首先将输入量x通过映射:Rn H映射到高维特征空间H中用函数式变为：与3.14对应1 n* * *W( , )-( i i)( j j) ( (Xi) (Xj)2 i 1,j 1nn* *(i i )yi( i i)i 1i 1( 3.20)式(3.20)中涉及到高维特征空间点积运算
7、(Xi)(Xj)，而且函数 是未知的，高维的。支持向量机理论只考虑高维特征空间的点积运算 K(Xi,Xj)(xj(Xj)，而不直接使用函数。称K(Xi,Xj)为核函数，核函数 的选取应使其为高维特征空间的一个点积， 核函数的类型有多种，常用的核函数支持向量机的核心要点有：多项式核：k(x,x) ( x,x ；： d)p, p N,d 0;咼斯核：k(x, x )exp(22);说明为什么，其次讲一下为什么 引入核函数RBF 核：k(x,x) exp(）；B样条核：k（x,x）Fourier 核: k(x,x)B2N 1( x x);1 sin(N)(x x)- 1/sin (x2x)因此式（3
8、.20）变成W(,1 n2 i 1,jn(ii 1i)yi可求的非线性拟合函数的表示式为:f(x)(x)i)(jj) K(x xj(i i)(3.21)在变换过后的空间中的表 示式i)K(x,x) b(3.22)结构改进的支持向量回归机上节所述的SVR基本模型其优化目标为:minw,b,2I2Ci*w|(ii)1S.tYiw(Xi) biw(Xi)bYii0*0,i1,2,.,ll前半部分怎么解释，分类的时候 好解释，回归的时候呢(3.23)SVR结构改进算法一般在优化目标中增加函数项，变量或系数等方法使公 式变形，产生出各种有某一方面优势或者一定应用范围的算法。Suykens提出了最小二乘支
9、持向量机（LS-SVM）105，与标准SVM相比其 优化指标采用了平方项，从而将不等式约束转变成等式约束， 将二次规划问题转 化成了线性方程组的求解，其优化目标为：1 1 1 2Mini,b,C II IIIc22i 1s.tyi(xj b i(3.24)i 1,2,L ,lLS-SVM与标准SVM相比减少了一个调整参数， 减少了 I个优化变量，从 而简化了计算复杂性。然而 LS-SVM没有保留解的稀疏性。改进的最小二乘支 持向量机有：递推最小二乘支持向量机106、加权最小二乘支持向量机107、多分 辨率LS-SVM 108及正则化最小二乘方法109等。Sch?lkoph等提出的-SVM方法1
10、10，引入反映超出 管道之外样本数据点 （即边界支持向量数量）和支持向量数的新参数，从而简化SVM的参数调节。其优化目标为：min1TC1 l ( i2),b,2l i 1s.tyi(X) bi(G*byii（3.25）i0*i0i1,2,L,lI表示边界支持向量机的上限和支持向量机的下限。与标准支持向量机相比优 化求解过程不需要设定值。标准SVM方法中，引入惩罚系数C实行对超出-带数据点的惩罚。在实际 问题中，某些重要样本数据点要求小的训练误差，有些样本数据点对误差的要求 不是很高。因此，在优化问题描述时，对每个样本点应采用不同的惩罚系数C，或对于每个样本数据点应采用不同的-不敏感函数，使回
11、归建模更加准确，这一类结构变化的支持向量机通常称为加权支持向量机（WSVM）111，加权支持向量机可以通过对惩罚系数 C加权实现，也可以通过对 加权实现。通过对参数 C加权实现时，其优化目标为：叫n,b21,2C s(i 1*i)st(Xi) b yii(3.26a)yi(Xi) b*i(i)0,i1,2,L ,l通过对 加权头现时，其优化目标为：minw,b,1 2 lC ( i2i 1*i)s.tyw (Xi) bii(3.26b)W (Xi) b yiiii*0, i 0 i1,2,K lFriess等提出了一种针对分类问题的 SVM变形算法-BSVM算法112。与标 准SVM相比，BS
12、VM的优化目标多一项，而约束条件少一项等式约束，变为边 界约束条件下的二次规划问题，适合迭代求解。同时可以应用矩阵分解技术，每 次只需更新Lagrange乘子的一个分量，从而不需要将所有样本载入内存，提高 了收敛速度。BSVM算法应用于回归分析，其优化目标为：Min1 T1,0, *、bC( ii )2cv 1172i 1s.tyi(x) bi(Xi)*b yii0*i0i1,2 ,L,|(3.27)标准SVM回归算法都是把问题转化为求解凸二次规划。Kecman和Hadzic113 提出用L1范数替代L2范数，从而通过改造用线性规划(LP)代替凸二次规划， 以便于利用非常成熟的线性规划技术求解
13、回归支持向量机。由最优化理论，l(i*i)xi，据此考虑把原始目标函数的|2模| | 2用h模i 1llI (*)|(I i I i*)替换。则h模可以改写为：I (*)|( ii*)，用II (*)|代替i 1i 1原目标函数中的 2 ;将 代入原约束条件；增加约束i, i* 0,i 1,2,L l，可得:1 ( min( i(*)(*) b 1b l i 11*i)Cl i*(ii)1is.t( ii 1*i )(XiXj)b yly (i 1*ii)(XiXj) b() ()i7 i0,I 1,2,L ,lii(3.28)针对实际问题的特殊性，有时可以选择其他形式的更适宜的惩罚函数。惩罚带为任意形式的支持向量回归机114，通过定义推广的-不敏感损失函数：其中(X), *(X):R，采用推广的-不敏感损失函数构造-SVR问题，将原始最优化问题转化为:
