支持向量机SVM的研究和应用 背景:基于专门研究实际应用中有限样本情况的机器学习规律的统计学理论，机器学习不断发展，出现了支持向量机（SupportVectorMachine•SVM）这一新的通用学习方法这一算法根据了结构风险最小化原则而不是传统统计学中经验风险最小化，拥有很强的泛化能力，在解决小样本、非线性及高维模式识别问题中有很大优势，在其他方面它也优于已有算法贝尔实验室率先在手写数据库识别研究方面应用了SVM方法，其后迅速的引起了各领域的关注，取得了大量成果在人像识别方面Osuna最早运用了SVM，训练非线性SVM分类器完成人脸与非人脸的分类，但速度较慢此后，马勇等提出了由一个线性SVM和一个非线性组成的层次性结构的SVM分类器，前者快速排除掉绝大部分背景窗口，后者只需对候选区域做出确认，同时与自举方法相结合简化SVM训练难度，达到了较高的检测率、较低的误检率以及较快的速度在语音识别等方面，忻栋等引入隐式马尔可夫模型HMM，建立了SVM和HMM的混合模型来解决SVM不适合处理连续输入样本的问题，二者结合达到了很好的效果在手写体识别等方面，贝尔实验室对美国邮政手写数据库进行的实验中，相较人工识别2.5%的平均错误率和专门针对该问题设计的五层神经网络的5.1%的错误率，SVM采用16X16的字符点阵作为输入，能够达到平均4.1%的错误率，表明了SVM的优越性能。
在图像和三维处理等方面，例如图像过滤、视频字幕提取、图像分类和检索、相似3D物体识别与检索等，SVM都有很好的表现SVM还被应用于文本分类、网络入侵系统、口令认证、网页分类器、人机交互的静态手势识别系统等，推动了各领域的发展1支持向量机SVM通过寻找线性分类的最优超平面来达到将样本分类的目的，所分类的样本要求能够在二分类的问题中线性可分，如图所示，圆形和方块代表两类样本假设这两类样本是线性可分的，则通过SVM机器学习可得到一个超平面，该超平面可将训练样本分为正负两类如图所示，能够将圆形和方形样本分开的超平面有很多，所画的红线、绿线、灰线都能满足正确分开的要求，但如果在接下来的分类过程中，出现了在红线和绿线之间或红线和灰线之间的样本，那么显然绿色和灰色得到的分类结果就是错误的所以最优的超平面不仅要求能够将两类样本正确分开，还要求要使分类间隔最大，也就是过两类中到超平面距离最近的点且平行于分类超平面的两个超平面之间的距离最大，或者说是超平面到两类样本中最近样本的距离之和最大满足这样的样本可能不止一个，从而就确定出了最优超平面2最大分类间隔一个点距离超平面的远近可以表示分类的确信程度，距超平面越远，确信程度越高。
对于给定的训练样本T和超平面（，b）定义超平面（，b）关于样本点（xi，yi）的间隔：=yi(xi+b)定义超平面（，b）关于训练数据集T的函数间隔为超平面关于样本内所有点（xi，yi）间隔的最小值，我们可以发现，只要成比例地改变和b,超平面没有变而间隔却变为了原来的2倍为了使间隔确定，可以对分离超平面的法向量加某些约束，如||||=1，将函数间隔变为几何间隔，即图中H与H1、H与H2之间的距离一般的，当样本点（xi,yi）被超平面正确分类时，点与超平面之间的距离为Reference1祁亨年.支持向量机及其应用研究综述[J].计算机工程,2004,30(10):6-9.2张石清,赵知劲,戴育良,等.支持向量机应用于语音情感识别的研究[J].声学技术,2008,27(1):87-90.3张明,刘念祖.电子商务信用管理的支持向量机应用[J].中国管理信息化,2007,10(9):81-83.4张明,刘念祖,朱伟民.校园网入侵检测的支持向量机应用[J].中国教育信息化,2007(15):56-58.5王建芬,曹元大.支持向量机在大类别数分类中的应用[J].北京理工大学学报,2001,21(2):225-228. -全文完-。