大规模线性支持向量机的牛顿法

《大规模线性支持向量机的牛顿法》由会员分享，可在线阅读，更多相关《大规模线性支持向量机的牛顿法（21页珍藏版）》请在金锄头文库上搜索。

1、大规模线性支持向量机的牛顿法,大规模线性支持向量机,大规模问题：样本数和/或特征数非常大，数据矩阵常有稀疏性，如文本分类问题线性支持向量机：线性核一个核心问题：模型的求解效率,L2-SVM,模型（1）的性质,是个无约束优化问题f()是个分段二次函数，且为严格凸的。从而（1）是个严格凸的无约束问题，具有唯一的最优解与LS-SVM的关系：当I()=1,2,m即所有约束指标集时，（1）就是LS-SVM。因此LS-SVM可看成是（1）的一个特殊情况,模型（1）的性质,f()是一阶连续可微的，其梯度为,模型（1）的求解,有限牛顿法（Mangasarian，2002）改进的有限牛顿法（Keerthi，20

2、05）,有限牛顿法,广义Hesee矩阵,模型（1）的目标函数仅是一阶连续可微的，但在0点，它的二阶导数不存在。因此Hesse矩阵不存在。但注意到它几乎处处二阶可微（扣除0点都是二阶连续可微的），因此我们可以用它的广义Hesse矩阵作为其Hesse矩阵,模型（1）的广义Hesse矩阵,有限牛顿法的性质,算法1称为有限牛顿法是因为该算法能在有限步内终止算法1给出了大规模线性支持向量机的一个高效求解算法，比SMO类型的算法还高效,改进的有限牛顿法,L2-SVM-MFN与L2-SVM-FN,采用共轭梯度法求解采用精确的一维搜索采用一些启发式规则提高算法效率,线性方程组的共轭梯度法,0的启发式规则,-Seeding的效果,H1和H2的效果,L2-SVM-MFN与SVMlight，BSVM的比较,