《支持向量机组合核函数研究》由会员分享，可在线阅读，更多相关《支持向量机组合核函数研究（29页珍藏版）》请在金锄头文库上搜索。
1、支持向量机组合核函数研究目录摘要IAbstractII1 引言11.1研究背景和意义11.2支持向量机的研究现状21.3本文的主要研究内容42 基础知识和基本理论52.1支持向量机基础知识52.2支持向量分类机53 核函数93.1核函数功能93.2核函数理论基础93.3常用核函数及基本性质104 组合核函数124.1高斯核函数的性质：124.2 Sigmoid核函数的性质154.3 组合核函数的构造184.4本文的组合核函数205 实验结果分析215.1实验1：简单的回归分析215.2实验2：复杂的数据分类分析246 结束语266.1本文研究工作总结266.2本文展望26致谢29附录29摘要支
2、持向量机是二十世纪九十年代发展起来的统计学习理论的核心内容，而核函数是它的重要组成部分。核函数将低维输入向量通过映射而工作在高维特征空间，从而有效的解决维数灾难及非线性问题，并且它携带了数据样本间的依存关系、先验知识等信息。为更好的描述现实生活中存在的大量复杂非线性系统，人们提出了不同的非线性映射形式的模型。本文主要讨论了支持向量机核函数的以下几方面内容：首先，通过参考文献了解核函数的基本理论和知识，熟悉核函数的功能和性质，以及组合核函数的构造原理。其次，具体分析高斯核函数，讨论其可分性和局部性，接着分析sigmoid核函数的可分性和全局性。对高斯核函数进行修正，提高泛化能力，根据修正后高斯核
3、的局部性，选择全局核函数（sigmoid核函数）与修正高斯核组成组合核函数以提高分类器性能。最后，通过实验对比本文的组合核函数和简单组合核函数，修正的高斯核函数，高斯核函数，sigmoid核函数的测试结果的准确度来对比说明本文的组合核函数的优越性。本文数据测试与分析软件基于Matlab7.11和lib-svm3.16开发。关键词： 支持向量机；高斯核函数； 修正高斯核函数； 组合核函数；AbstractSupport Vector Machine(SVM) is the main content of Statistics Learning Theory developed from 1990
4、sThe kernel function is the crucial ingredient of SVMKernel function maps low-dimensional input vector to high dimensional space to solve the curse of dimensionality and nonlinear problems effectively .To better describe quantities of complex nonlinear systems existing in the real world，researchers
5、have proposed some different forms of model with nonlinear mappingThis paper mainly discusses some aspects of kernel functionFirst，I know about the basic theory and knowledge of kernel function and I can mastering its functions and properties by references. I also master the knowledge about structur
6、e combination kernel function.Secondly, we in particular analysis of gauss kernel function and discuss its ability of separate and the property of localization. Then we analysis of sigmoid kernel function and discuss its ability of separate and the property of global.By corrected Gauss kennel functi
7、on，improve its generalization ability.Based the property of localization of the corrected Gauss kernel function, we select global kernel function(sigmoid kernel function) to compound with the corrected Gauss kernel function and constitute combination kernel to improve the performance of classifierLa
8、stly, doing the test in the way of combination kernel function of the paper, kernel function of simple combination, corrected Gauss kernel function, gauss kernel function, sigmoid kernel function, analysis their accuracy of test of results and we can illustrate the superiority of the combination of
9、kernel function in the paper.The related software is developed on Matlab7.11b and lib-svm3.16Key words: support vector machine; Gauss kennel function; corrected Gauss kernel function; combination kernel function;1 引言1.1研究背景和意义随着现代科学技术的快速发展以及信息网络的广泛推广，现实生活中出现了大量的复杂非线性高维数据，怎样从这些非常复杂的、有噪声的数据中发现一些有用的规律，
10、提取出隐藏在其中的、潜在有用的信息，并将之转化为我们可以明白和利用的信息，这对于传统的统计学方法是一个难点。20世纪60年代诞生的统计学习理论(SLT，Statistical Learning Theory)，是针对实际情况下的有限样本假设而提出的，它具有完备的理论基础与严格的理论体系，到90年代中期，该理论得到不断完善与成熟，产生了一种新型机器学习工具，即支持向量机(SVM，Support Vector Machines)。它建立在统计学习理论的结构风险最小化原则与VC维理论基础之上，具有推广能力强、不易陷入局部极小点、与维数无关等优点，近年来得到快速发展，被作为数据挖掘以及机器学习等领域的
11、重要研究工具来使用。目前，支持向量机已成功应用于文本分类、模糊系统、人脸识别、系统预测、图像处理与识别等多个领域1。核函数方法是以支持向量机为核心算法的一类新的机器学习方法，作为其重要组成部分的核函数决定了支持向量机的非线性处理能力高低以及所构造的分类函数的好坏，故核函数在支持向量机中占用具有极其重要的地位，是SVM理论成熟发展的关键点2。目前，对于核函数的研究主要体现在核函数的选取、构造、改进以及对应参数选择优化上，这些问题的有效解决对于支持向量机理论的未来发展起着极其重要的作用，而目前对于这些问题的研究仍然是一个开放性问题，它的有效解决对核函数的研究具有重要意义。在对实际问题的建模、处理过
12、程中，常会出现因人们的知识、经验等不同，而导致使用的数据具有不确定性，产生噪声与野点，从而使得辨识效果不佳，而基于传统的数据统计分析方法的辨识，因不受知识、经验与行为所限制，能够在观察数据存在不确定的情况下，通过某种合适的数据分析方法构建正确的分析模型，进而正确的描述实际问题，所以，传统数据分析法就得到长足发展与应用3。传统的数据分析方法(如网格法、模糊聚类法)易出现维数灾难、易陷入极小点、函数逼近能力不强等问题，而具有坚实数学理论基础的支持向量机却很好的解决了这些缺陷，因此，研究以支持向量机为工具的数据分析处理就具有现实意义。近年来，一些学者开始将支持向量机应用于各种数据分析之中，并取得卓越
13、成效。1.2支持向量机的研究现状1.2.1对支持向量机训练速度方面的研究通过数学知识中的最优化技术可以很好地解决支持向量机中的对偶问题，可是求解过程中需要存储矩阵运算的结果，而这些矩阵多数是稠密的，庞大的，对内存要求较高。而且，在二次型的优化过程中需要进行大量的迭代，同样需要进行针对矩阵的运算。因此，必然会出现计算量很大的现象。在支持向量机中，利用SVM中解的稀疏性和最优化问题的凸性，可进行问题间的转换，把复杂的大问题变为一系列规模小的子问题，按照一定迭代方案，一步步的构建近似解，并使之逐渐依次收敛，最终达到最优解。目前主要有选块算法(chunking)4、分解算法(decomposing)5
14、、序列最小最优化方法(Sequential Minimal Optimization-SMO)6等。l 选块算法选块算法的核心思想是从训练集中任意挑选一个子集或“块”开始算法，利用标准优化法求解对偶问题，得到向量，选出支持向量(即)对应的样本点，并把其余的没用的样本点剔除，利用决策函数检验除本块外的所有数据点，把违反系统规定条件最严重的M个点加入到新块中，然后在形成的新块中求对偶问题，得到新的变量，依次不断反复的循环，直到系统停机条件得到满足，算法停止。若样本中支持向量数远远小于样本集中的样本数，则选块算法是可行有效的，不然就会出现迭代次数增多、运算速度下降、内存不足等问题，导致选块算法失效。
15、l 分解算法当选块算法中出现维数过多、内存不足等缺陷的时候，分解算法就应运而生，其核心算法方法思想是将变量，分解成不同的两部分，一部分称之为非工作集，另一部分称为工作集，并使得工作集的总体规模保持不变。而且每次的迭代过程中，依次选取非工作区中“情况最糟”的样本，并把它们与工作区中同样多的样本进行替换，从而将工作集中的变量逐步优化，达到最终的优化效果。 在分解算法中，虽然还是求解二次规划问题，但由于选取了较小的工作集，从而弥补了选块算法的缺陷。l SMO算法SMO算法核心思想是分解算法中取工作集数为2的一种特例，即每次迭代只对两个拉格朗日乘子进行优化。SMO算法首先从满足的训练点中选出违反规定条件最严重的样本作为第一个样本，然后再选择最大的样本作为第二个样本，从而求出，最后根据停机条件进行迭代。由于两个最优解不需要迭代求解二次规划问题，而是直接就可以得到线性解的形式，故能快速收敛，同时，它还不需进行矩阵运算，因此，SMO算法得到较好的应用研究。lin利用改进的SMO算法开发出了Lib-SVM软件包。1.2.2在核函数的改进、构造及对应参数优化选择方面的研究核函数是通过映射关系，从而实现了将样本信息从低维空间映射到高维空间，这样就可以有效处理“维数灾难”问题，且其与支持向量机的推广泛化能力息息相关。在核函数的构造及改进方面，文
