《人工智能之支持向量机》由会员分享，可在线阅读，更多相关《人工智能之支持向量机（51页珍藏版）》请在金锄头文库上搜索。
1、支持向量机 Support Vector Machines内容提要n统计学习方法概述n统计学习问题n学习过程的泛化能力n支持向量机nSVM寻优算法n应用支持向量机nSVM是一种基于统计学习理论的机器 学习方法，它是由Boser,Guyon, Vapnik在COLT-92上首次提出，从此 迅速发展起来nVapnik V N. 1995. The Nature of Statistical Learning Theory. Springer- Verlag, New York nVapnik V N. 1998. Statistical Learning Theory. Wiley-Intersc
2、ience Publication, John Wiley yi+1,-1nHyperplane: wx+b=0nThis is fully determined by (w,b)w1x+b1=0w2x+b2=0w3x+b3=0*11最大间隔一个超平面，如果它能将 训练样本没有错误地分开 ，并且两类训练样本中离 超平面最近的样本与超平 面之间的距离是最大的， 则把这个超平面称作最优 分类超平面（optimal separating hyperplane）， 两类样本中离分类面最近 的样本到分类面的距离称 为分类间隔，最优超平面 也可以称作最大间隔超平 面。*12最大间隔原则Note1: dec
3、ision functions (w,b) and (cw, cb) are the same Note2: but margins as measured by the outputs of the function xwx+b are not the same if we take (cw, cb). Definition: geometric margingeometric margin: the margin given by the canonical decision canonical decision functionfunction, which is when c=1/|w
4、| Strategy: 1) we need to maximise the geometric margin! (cf result from learning theory) 2) subject to the constraint that training examples are classified correctly wwx+b=0wx+b0 wx+b非线性分划 代价：2维空间内积6维空间内积非线线性分类类*35为此，引进函数有比较(2)和(3)，可以发现这是一个重要的等式，提示6维空间中的内积可以通过计算 中2维空间中的内积 得到。非线线性分类类*36实现非线性分类的思想给定训
5、练集后，决策函数仅依赖于而不需要再考虑非线性变换如果想用其它的非线性分划办法，则可以考虑选择其它形式的函数 ，一旦选定了函数，就可以求解最优化问题得 ，而决策函数*37决策函数其中实现实现 非线线性分类类的思想*38n多项式内核n径向基函数内核RBFnSigmoind内核目前研究最多的核函数主要有三类：得到q 阶多项式分类器每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定包含一个隐层的多层感知器，隐层节点数是由算法自动确定核函数的选择选择SVM算法实现软 件nLIBSVM：台湾大学林智仁教授等开发，有 各种版本，应用很广泛nLS-SVMLAB：Matlab界面，分类、回归都 可nO
6、SU_SVM：用于分类，可以实现 多分类nSVM toolbox: Matlab界面，代码简单 ，适 合初学者了解原理，但算法效率较低39有关SVM的网站nwww.kernel-machines.org nwww.support- nwww.csie.ntu.edu.tw/cjlin/libsvm nwww.esat.kuleuven.ac.be/sista/ _Intelligence/Support_Vector_Machines40SVM预测模型的建立核函数的选择在实验中选取RBF函数作为核函数的首选，原因：n1.RBF函数可以将样本非线性地规划到更高维的空间 中，从而实现非线形影射。S
7、igmoid核函数取某些特定 参数时性能和RBF相同。 n2.RBF函数的参数只有一个。相比之下多项式核函数参 数比RBF核函数多，因此其模型选择更为复杂。 n3.RBF函数的数值限制条件少。RBF函数使数值被限制 在0和1之间，而多项式核函数的值可能会趋于不定值 或零值 且幂值更高；Sigmoid核函数在取某些参数值 时则可能无效。41SVM预测模型的建立（续）nC和r和选取（以分类为 例）选定一组C,r的范围 和 ,然 后将它们的准确率用等高线连接起来绘出类似下图 。42用SVM实现煤炭需求量的预测n任务务：用1980-2002年的我国煤炭需求量来预测预测 2003- 2006年的煤炭需求
8、量n将历历年的煤炭消费费量X(t)看作时间时间 序列，则则其预测预测 模型 可以描述为为其中为为非线线形函数，p为为嵌入维维数， 根据上式,可以得到 输输入样样本和输输出样样本,这这里用1999-2002年的数据作为检为检 验样验样 本, 分别别用SVM和神经经网络预测络预测 ，结结果为为:性能比较SVMRBF神经网络 预测最大误差2.992%3.259%平均相对误差1.872%1.976%43用SVM实现煤炭需求量的预测用训练好的SVM模型来预测将来2003-2006年的煤炭需 求量，其需求趋势如下图：2003-2006年的预测值44有待解决的问题n1.如何合选择SVM的参数：怎样合理选择支
9、持向 量的核参数，目前尚无定论。格子搜索法比较常 见，有的 学者已提出用遗传算法、粒子群算法 等优化参数n2.如何实现时间 序列的动态预测 ：动态预测 要 求SVM的参数能适应序列的动态变 化，即建立 基于SVM自适应预测 控制系统45*46SVM applicationsnPattern recognitionoFeatures: words countsnDNA array expression data analysisoFeatures: expr. levels in diff. conditionsnProtein classificationoFeatures: AA compo
10、sition*47Handwritten Digits Recognition*48Applying SVMs to Face DetectionnThe SVM face-detection system1. Rescale the input image several times2. Cut 19x19 window patterns out of the scaled image3. Preprocess the window using masking, light correction and histogram equalization4. Classify the patter
11、n using the SVM5. If the class corresponds to a face, draw a rectangle around the face in the output image.*49Applying SVMs to Face DetectionnExperimental results on static imagesnSet A: 313 high-quality, same number of facesnSet B: 23 mixed quality, total of 155 faces*50Applying SVMs to Face Detect
12、ionnExtension to a real-time system An example of the skin detection module implemente d using SVMsFace Detection on the PC- based Color Real Time System*51ReferencesnVladimir Vapnik. The Nature of Statistical Learning Theory, Springer, 1995 nAndrew W. Moore. cmsc726: SVMs. http:/www.cs.cmu.edu/awm/
13、tutorialsnC. Burges. A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery, 2(2):955-974, 1998. http:/ nVladimir Vapnik. Statistical Learning Theory. Wiley-Interscience; 1998nThorsten Joachims (joachims_01a): A Statistical Learning Model of Text Classification for Support Vector MachinesnBen Rubinstein. Statistical Learning Theory. Dept. Computer Science and Division of Genetics & Bioinformatics, Walter & Eliza Hall Institute
