《基于svm的模型选择和参数优化方案研究与实现》由会员分享，可在线阅读，更多相关《基于svm的模型选择和参数优化方案研究与实现（71页珍藏版）》请在金锄头文库上搜索。
1、华中科技大学 硕士学位论文 基于SVM的模型选择和参数优化方案研究与实现 姓名：王占强 申请学位级别：硕士 专业：通信与信息系统 指导教师：刘文予 20080602 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 I 摘摘 要要 支持向量机是一种基于小样本的学习工具，其基本原理是在两类分类样本之间 找到一个线性的分类面把两类样本分开，并且使两类之间的分类间隔最大。但实际 应用中的分类数据几乎都无法用一个线性的分类面把它们分开，需要通过一个变换 把数据从一个空间映射到另一个高维的空间，在这个高维的空间中数据是线性可分 的。变换是使用一个映射函数实现，
2、这个映射函数被称为核函数。 分类样本无论是构造核函数还是采用经典的核函数几乎都需要设置核函数的参 数，如何设置这些参数才能取得好的分类效果，不同的参数对分类结果又有什么样 的影响，如果数据集有几个可以选择的核函数又如何去选择。核函数的选择和核函 数参数的设置如何影响分类的结果，本文对这些问题通过实验进行了观察与分析。 通过实验观察不同参数设置对分类的影响。实验内容为对核函数设置不同参数 数值，观察分类结果的变化。有可选核函数的分类样本，对每个核函数逐一进行实 验观察。实验结果显示不同的参数对分类的精度有很大的影响，不同的核函数也使 分类精度变化很大。分类的目的不仅是要区分样本还要取得最好的分类
3、效果。为了 保证最高的精度，需要找到一个方法来确定参数和选择核函数。 本文中构造一个误差函数来量化分类的误差。由于误差最小和分类精度高是等 价的，能取得误差函数的最小值，也就意味着得到了最高的分类精度，于是如何得 到最高的分类精度问题转化为求误差函数最小值问题。采用求误差函数导数的方法 求其最小值，求误差函数最小值的方法也是得到各个核函数参数的方法，使用这个 方法再结合分类样本求解每个核函数的参数。这样也就找到了一种设置核函数参数 的方法，解决了核函数参数优化的问题。 不同的核函数采用相同的参数优化方法得到最优参数后能得到在这个核函数 下的最高精度，然后对比不同核函数之间的分类精度，选取使精度
4、最高的核函数。 这样也就完成了核函数的选取，解决了核函数的模型选择问题。通过参数优化和模 型选择两个步骤就能得到最好的分类效果。实验结果证明了本方法的正确性。 关键词关键词： 支持向量机， 核函数参数优化， 模型选择， 分类精度 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 II Abstract Support vector machine (SVM) is a machine learning tool which is based on a small mount of samples to be separated. Its basic
5、principle is to find a linear classifier between two classificatory samples to distinguish them while eusure the distance of the two classes is largest. But in practical application, samples can hardly be separated by a linear classifer. These samples should be mapped to another higher dimensional s
6、pace, and in this space the samples could be separated linearly. The transformation is implemented by a mapping function which is called kernel function. Parameters of kernel functions are supposed to be set whether the kernel functions are constructed from classificatory datas or they are just clas
7、sical ones. How to set these parameters in order to have the best classific result? How do these parameters have impact on classific accuracy? Which kernel funtion should be used if there are not only one kernel funcionts to chonse? The selection of the kernel fuctions and parametric configuration h
8、as a direct impact on the result of classifying. Some experiments had been done to examine and analyse these pertinent questions. Observe the impact of different parametric configuration through experiments. Change parameters and examine the corresponding change of classificatory result. If these sa
9、mples have not only one suitable kernel funtions, use all of them in experiment. The experimental results show us that parameters and kernel functions have great influence on classificatory accuracy. The purpose of classification is not only to separate samples but also obtain optimal result. To rea
10、ch this goal we have to find a way to set parameters and choose kernels. In this thesis an error funcition is constructed to quantify classific errors. Since small classificatory errors equal to high classificatory accuray, obtain the smallest value of error function means achieving the highest prec
11、ision. The problem of how to have the highest accuracy is translated into how to minimize the error function. Use error functions derivative to seek its minimal value and this mathod can also be used to find suitable parameters for kernel functions. Implement this method on classificatory 华 中 科 技 大
12、学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 III samples to slove parametric configuration problem, and this is also the way to optimaize kernel functions parameters. This process is called parametric optimization. Different kernel functions use the same method to get their parameters, arter this step every
13、 kernel function will achieve its highest classifactory precision. Compare the value of these classific accuracies and find out the kernel function correspond to the maximal value. In this way we could complete the task of choosing kernel functions. This step is called model selection. Arfter the pr
14、ocess of parametric optimization and model selection we could obtain the best classificatory accuracy. Experiments results manifest the correctness of the method proposed in the thesis. Keywords: Support Vector Machine, Kernel function parameter optimization, Model selection, Classificatry accuracy
15、独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已 在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数
16、据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密， 在_年解密后适用本授权书。 不保密。 (请在以上方框内打“”) 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 本论文属于 华 中 科 技 大 学 硕 士 学 位 论 文华 中 科 技 大 学 硕 士 学 位 论 文 1 1 绪绪 论论 支持向量机是一种基于统计学习理论1的机器学习方法，它具有一些良好的特 性，在机器学习领域得到了广泛应用。支持向量机的原理是解决两类线性可分样本 的分类问题，并保证分类的有效性2。但实际的样本数据很多都是非线性的，要对 支持向量机的有关部分进行变化使它能适合非线性数据的分类要求。支持向量机对 不能用线性的分类器进行分类的样本，通过一个映射函数把样本映射到另一个高维 空间中，在这个高维空间中样本可以用线性的分类器进行分类，并且线性分类器的 理论和方法在高维空间中同样适用。 可以完成空间映射的方法很多，不同的映射方法对应不同的分类器，并且它们 的复杂度和分类的能力各不相同。每一
