《支持向量机原理及应用概述》由会员分享，可在线阅读，更多相关《支持向量机原理及应用概述（14页珍藏版）》请在金锄头文库上搜索。
1、东北大学研究生考试试卷评分考试科目：信号解决的记录分析措施课程编号： 060113阅 卷 人: 刘 晓 志考试日期： 1月0日姓 名: 赵 亚 楠学 号: 00126注 意 事项1. 考前研究生将上述项目填写清晰.2. 笔迹要清晰，保持卷面清洁.3. 交卷时请将本试卷和题签一起上交.4. 课程考试后二周内授课教师完毕评卷工作,公共课成绩单与试卷交研究生院培养办公室，专业课成绩单与试卷交各学院,各学院把成绩单交研究生院培养办公室东北大学研究生院培养办公室支持向量机(SV)原理及应用目录一、SVM的产生与发展3二、支持向量机有关理论4（一)记录学习理论基本4(二）SV原理41最优分类面和广义最优分
2、类面5SM的非线性映射3.核函数8三、支持向量机的应用研究现状9（一)人脸检测、验证和辨认（二）说话人/语音辨认10(三）文字/手写体辨认(四)图像解决(五)其她应用研究1四、结论和讨论12支持向量机(SVM）原理及应用一、SVM的产生与发展自1995年Vapk在记录学习理论的基本上提出SVM作为模式辨认的新措施之后，SVM始终倍受关注。同年,Vapnik和Cortes提出软间隔(of margin）SVM，通过引进松弛变量度量数据的误分类(分类浮现错误时不小于0)，同步在目的函数中增长一种分量用来惩罚非零松弛变量(即代价函数),SM的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；19
3、96年，Vapnik等人又提出支持向量回归 (uprt Vector Rerson,SVR)的措施用于解决拟合问题。SVR同S的出发点都是寻找最优超平面，但SVR的目的不是找到两种数据的分割平面,而是找到能精确预测数据分布的平面，两者最后都转换为最优化问题的求解；198年,eston等人根据SVM原理提出了用于解决多类分类的SVM措施（lti-Clss Spr Vcor Machines，Mlti-SV）,通过将多类分类转化成二类分类,将M应用于多分类问题的判断:此外，在SM算法的基本框架下，研究者针对不同的方面提出了诸多有关的改善算法。例如，Suykens提出的最小二乘支持向量机 (Leas
4、t SqreSupot Vectorachne，LSVM）算法,oais等人提出的VM-1iht,张学工提出的中心支持向量机(CentalSuportector Mine，SVM),Shokoph和Smla基于二次规划提出的v-SVM等。此后,台湾大学林智仁(i Chih-Jen)专家等对SVM的典型应用进行总结，并设计开发出较为完善的VM工具包,也就是LIBVM(LibraryorSppor Vetocnes）。上述改善模型中,v-S是一种软间隔分类器模型，其原理是通过引进参数v，来调节支持向量数占输入数据比例的下限，以及参数来度量超平面偏差,替代一般依托经验选用的软间隔分类惩罚参数,改善分
5、类效果;LS-SVM则是用等式约束替代老式SV中的不等式约束，将求解QP问题变成解一组等式方程来提高算法效率;LVM是一种通用的SVM软件包,可以解决分类、回归以及分布估计等问题，它提供常用的几种核函数可由顾客选择，并且具有不平衡样本加权和多类分类等功能,此外，交叉验证(cross alidatn)措施也是LIBSV对核函数参数选用问题所做的一种突出奉献；SVM-1ight的特点则是通过引进缩水（srnng)逐渐简化QP问题,以及缓存(cacng)技术减少迭代运算的计算代价来解决大规模样本条件下V学习的复杂性问题。二、支持向量机有关理论（一）记录学习理论基本与老式记录学理论相比,记录学习理论(
6、tatistica erniheory或S)是一种专门研究小样本条件下机器学习规律的理论。该理论是针对小样本记录问题建立起的一套新型理论体系,在该体系下的记录推理规则不仅考虑了对渐近性能的规定，并且追求在有限信息条件下得到最优成果。Vp等人从上世纪六、七十年代开始致力于该领域研究,直到九十年代中期，有限样本条件下的机器学习理论才逐渐成熟起来，形成了比较完善的理论体系记录学习理论。记录学习理论的重要核心内容涉及:()经验风险最小化准则下记录学习一致性条件；(2）这些条件下有关记录学习措施推广性的界的结论;()这些界的基本上建立的小样本归纳推理准则;(4）发现新的准则的实际措施（算法)。(二）SV
7、M原理M措施是0世纪90年代初apnik等人根据记录学习理论提出的一种新的机器学习措施,它以构造风险最小化原则为理论基本，通过合适地选择函数子集及该子集中的鉴别函数,使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。支持向量机的基本思想是:一方面，在线性可分状况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的状况下，加入了松弛变量进行分析，通过使用非线性映射将低维输入空间的样本映射到高维属性空间使其变为线性状况，从而使得在高维属性空间采用线性算法对样本的非线性进行分析成为也许,并在该特性空间中寻找最优分类超平面。另一方面，它通过使用
8、构造风险最小化原理在属性空间构建最优分类超平面,使得分类器得到全局最优，并在整个样本空间的盼望风险以某个概率满足一定上界。其突出的长处表目前：(1)基于记录学习理论中构造风险最小化原则和VC维理论，具有良好的泛化能力,即由有限的训练样本得到的小的误差可以保证使独立的测试集仍保持小的误差。(2)支持向量机的求解问题相应的是一种凸优化问题,因此局部最优解一定是全局最优解。(3）核函数的成功应用,将非线性问题转化为线性问题求解。(4)分类间隔的最大化，使得支持向量机算法具有较好的鲁棒性。由于SV自身的突出优势,因此被越来越多的研究人员作为强有力的学习工具,以解决模式辨认、回归估计等领域的难题。.最优
9、分类面和广义最优分类面V是从线性可分状况下的最优分类面发展而来的，基本思想可用图来阐明。对于一维空间中的点,二维空间中的直线，三维空间中的平面，以及高维空间中的超平面，图中实心点和空心点代表两类样本，H为它们之间的分类超平面,1，H2分别为过各类中离分类面近来的样本且平行于分类面的超平面，它们之间的距离叫做分类间隔（mrgin)。图1 最优分类面示意图所谓最优分类面规定分类面不仅能将两类对的分开,并且使分类间隔最大。将两类对的分开是为了保证训练错误率为,也就是经验风险最小(为）。使分类空隙最大事实上就是使推广性的界中的置信范畴最小，从而使真实风险最小。推广到高维空间，最优分类线就成为最优分类面
10、。设线性可分样本集为是类别符号。d维空间中线性鉴别函数的一般形式为是类别符号。d维空间中线性鉴别函数的一般形式为,分类线方程为。将鉴别函数进行归一化，使两类所有样本都满足,也就是使离分类面近来的样本的，此时分类间隔等于,因此使间隔最大等价于使 (或)最小。规定分类线对所有样本对的分类,就是规定它满足 （1-1）满足上述条件（-1),并且使最小的分类面就叫做最优分类面,过两类样本中离分类面近来的点且平行于最优分类面的超平面H,H2上的训练样本点就称作支持向量（supportvector),由于它们“支持”了最优分类面。运用Lgrang优化措施可以把上述最优分类面问题转化为如下这种较简朴的对偶问题
11、，即:在约束条件， (1-2a） （-2)下面对求解下列函数的最大值: （3)若为最优解，则 (14)即最优分类面的权系数向量是训练样本向量的线性组合。这是一种不等式约束下的二次函数极值问题,存在唯一解。根据hnTucker条件,解中将只有一部分（一般是很少一部分)不为零，这些不为0解所相应的样本就是支持向量。求解上述问题后得到的最优分类函数是: (-)根据前面的分析,非支持向量相应的均为0，因此上式中的求和事实上只对支持向量进行。是分类阈值，可以由任意一种支持向量通过式(1-1)求得（只有支持向量才满足其中的等号条件),或通过两类中任意一对支持向量取中值求得。从前面的分析可以看出，最优分类面
12、是在线性可分的前提下讨论的，在线性不可分的状况下,就是某些训练样本不能满足式(-)的条件,因此可以在条件中增长一种松弛项参数，变成: (1-6)对于足够小的s0，只要使 （-)最小就可以使错分样本数最小。相应线性可分状况下的使分类间隔最大,在线性不可分状况下可引入约束： （1）在约束条件(-)幂1(1-8）下对式(1-）求极小，就得到了线性不可分状况下的最优分类面,称作广义最优分类面。为以便计算，取=1。为使计算进一步简化,广义最优分类面问题可以迸一步演化成在条件(1-)的约束条件下求下列函数的极小值： （1-9)其中C为某个指定的常数,它事实上起控制对锩分样本惩罚的限度的作用,实目前错分样本
13、的比例与算法复杂度之间的折衷。求解这一优化问题的措施与求解最优分类面时的措施相似,都是转化为一种二次函数极值问题，其成果与可分状况下得到的(1-2)到(1-)几乎完全相似,但是条件(1-2b)变为: (110)2.SVM的非线性映射对于非线性问题,可以通过非线性互换转化为某个高维空间中的线性问题,在变换空间求最优分类超平面。这种变换也许比较复杂,因此这种思路在一般状况下不易实现。但是我们可以看到,在上面对偶问题中,不管是寻优目的函数（13)还是分类函数(-5)都只波及训练样本之间的内积运算。设有非线性映射将输入空间的样本映射到高维（也许是无穷维)的特性空间H中,当在特性空间中构造最优超平面时,
14、训练算法仅使用空间中的点积，即,而没有单独的浮现。因此,如果可以找到一种函数使得 （1)这样在高维空间事实上只需进行内积运算,而这种内积运算是可以用原空间中的函数实现的,我们甚至没有必要懂得变换中的形式。根据泛函的有关理论,只要一种核函数满足ercer条件，它就相应某一变换空间中的内积。因此,在最优超平面中采用合适的内积函数就可以实现某一非线性变换后的线性分类,而计算复杂度却没有增长。此时目的函数(1-)变为: （1-2)而相应的分类函数也变为 （-13)算法的其她条件不变,这就是SVM。概括地说SVM就是通过某种事先选择的非线性映射将输入向量映射到一种高维特性空间，在这个特性空间中构造最优分类超平面。在形式上SVM分类
