《交叉验证我的总结》由会员分享，可在线阅读，更多相关《交叉验证我的总结（17页珍藏版）》请在金锄头文库上搜索。
1、先说下我和邵是云的聊天情况：她的意思其实一开始所有样本也是先分为了两个部分，一个大的部分是训练集，一个小的部分是测试集， 然后只是在训练集里面分为常规训练集和一个效验集，且是交叉验证的方式，都全部交叉验证搞完了，再最后单独测试那个小部分的测试集样本就是你说的training accuracy （常规训练集），cross validationrate （效验集）and test accuracy （测试集），她说这是标准的方式，而如果全体数据用来训练和交叉验 证其实就是把所有的样本全部分为了训练集和效验集，所以就没有test accuracy 一说。常用的精度测试方法有 交叉验证，例如10倍交叉
2、验证（10-fold cross validation ），将数据集分成十分， 轮流将其中9份做训练1份做测试，10次的结果的均值作为对算法精度的估计，一般还需要进行多次10倍交叉验证求均值，例如10次10倍交叉验证，更精确一点。当训练样本数目过少，采用交叉验证法” （ cross validation ）.交叉验证法分两种1:K重交叉验证法：该方法是最为普遍的计算推广误差的方法之一。其过程为：将训练样本集随 机分为K个集合，通常分为K等份，对其中的K-1个集合进行训练，得到一个决策函数，并用决 策函数对剩下的一个集合进行样本测试。该过程重复K次，取K次过程中的测试错误的平均值作为推广误差。2
3、:留一法：该方法可以说是 K重交叉验证法的极端情况，即 K=L，L为整个训练样本集的大小。 该过程为：对于第i个训练样本，将其取岀，对剩下 L-1个样本进行训练，得到决策函数，并 用其测试第i个训练样本，该过程重复L次，用此方法求岀的误差对于实际中的测试误差来说几 乎是无偏的。（注意当样本过少，即使交叉验证效果也不会理想，一般样本应在100以上.）k-fold validation中文就是k-折交叉验证（确认）其中的k是用户自己定的但它必须比原始的训练集中的元素个数n要小，即k=n.著名的 loo（leave one out,留一法）就是 k-fold validation的一个特例即loo中
4、的k=n.k-fold validation经常被用来训练NN,SVMI等来确定一个最优的参数它的基本思想就是将原始的训练集分成两部分：训练集2（为了与原始训练集相区别，本处称之为训练集2）与验证集 从原始训练集中选择n/k个元素组成验证集剩下的（k-1）*n/k个元素用来做训练集2然后用训练集2来训练NN,SVM等,用验证集来验证所得分类器（此处以分类为例，对回归应该也一样）的错误 码率然后再次选择另外n/k个元素组成验证集剩下的做为训练集2循环,直到所有元素n/k个元素全部被选择一遍为止比较以上每次循环所得分类器的错误率把所得错误率最低的那个参数认为是最优的参数-fold cross-va
5、lidation不是什么参数都可以调的它可以调的只是离散的参数，比如网络hidden node的个数对于连续的参数没法调网络的权值是通过 learning algorithm来调节的只是用 validation set 来控制是否 over train跟k-fold cross-validation没有什么关系除此之外k-fold cross-validation主要是干什么：根据一个样本集k次validation之后的误差的平均值来估计一个已经训练好的网络的泛化误差结构风险最小化VC维在有限的训练样本情况下，当样本数n固定时，此时学习机器的 VC维越高学习机器的复杂性越高。VC维反映了函数集
6、的学习能力，VC维越大则学习机器越复杂（容量越大）。所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的VC维，可以使学习机器在整个样本集上的期望风险得到控制。推广的界（经验风险和实际风险之间的关系，注意引入这个原因是什么因为训练误差再小也就是在这个训练集合上，实际的推广能力不行就会引起过拟合问题还。所以说要引入置信范围也就是经验误差和实际期望误差之间的关系）：期望误差 R（3） （咦，这个就是（w解释到这里了，终于有点眉目了，哦原来就是这么回事啊，真是的。样本在线性可分的情况下，全部样本能被正确地分类（咦这个不就是传说中的=1的条件吗） ，即经验风险 Remp 为 0 的
7、前提下，通过对分类间隔最大化（1/2）*w*w 嘛），使分类器获得最好的推广性能。那么解释完线性可分了，我们知道其实很多时候是线性不可分的啊，那么有什么区别没有啊废话区别当然会有啦， 嘿嘿那么什么是本质的区别啊 本质的区别就是不知道是否线性可分但是允许有错分的样本存在（这个咋回事还是没明白hoho）但是正是由于允许存在错分样本，此这里就出现了新词松时的软间隔分类超平面表示在剔除那些错分样本后最大分类间隔的超平面。驰因子，干吗用滴就是用来控制错分样本的啊。 这样的话经验风险就要跟松驰因子联系在一起了。而C就是松驰因子前面的系数，C0是一个自定义的惩罚因子，它控制对错分样本惩罚的程度，用来控制样本
8、偏差与机器推广能力之间的折衷。 c 越小，惩罚越小，那么训练误差就越大 ，使得 结构风险也变大，而 C 越大呢，惩罚就越大，对错分样本的约束程度就越大，但是这样会使得 第二项置信范围的权重变大那么分类间隔的权重就相对变小了，系统的泛化能力就变差了 。所以选择合适的C还是很有必要的。选择核函数。核函数有很多种，如线性核、多项式核、 Sigmoid 核和 RBF （ Radial Basisfunction ）核。本文选定 RBF 核为 SVM 的核函数（RBF 核 K（x, y） = exp（ 丫 | x y | 的平方），丫 0 ）。因为 RBF核可以将样本映射到一个更高维的空间，可以处理当类
9、标签（Class Labels ）和特征之间的关系是非线性时的样例。 Keerthi 等25 证明了一个有惩罚参数 C 的 线性核同有参数（C, 丫）（其中 C为惩罚因子，丫为核参数）的 RBF核具有相同的性能。对某 些参数， Sigmoid 核同 RBF 核具有相似的性能 26 。另外， RBF 核与多项式核相比具有参数少 的优点。因为参数的个数直接影响到模型选择的复杂性。非常重要的一点是0 Kij 1） 或者 0 丫 xi xj + r 1，跨度非常大。而且，必须注意的是 Sigmoid 核在某些参数下是不正确的（例如，没有两个向量的内积）。（4） 用交叉验证找到最好的参数C和丫。使用RB
10、F核时，要考虑两个参数 C和丫。因为参数的选择并没有一定的先验知识，必须做某种类型的模型选择（参数搜索）。目的是确定好的（C, 丫 ）使得分类器能正确的预测未知数据（即测试集数据），有较高的分类精确率。值得注意的是得到高的训练正确率即是分类器预测类标签已知的训练数据的正确率）不能保证在测试集上具有高的预测精度。因此，通常采用交叉验证方法提高预测精度。k折交叉验证（k-fold cross validation）是将训练集合分成 k个大小相同的子集。其中一个子集用于测试，其它k-1个子集用于对分类器进行训练。这样，整个训练集中的每一个子集被预测一次，交叉验证的正确率是k次正确分类数据百分比的平均
11、值。它可以防止过拟合的问题。可以归纳为以下几个过程（顺序的）：1. 收集数据，相关性分析（p卡方检验），特征选择（主成份分析）。2. 归一化数据。就是根据实际要求，将数据的取值范围转化为统一的区间如a,b,a,b 为整数。方法参考：3. 利用抽样技术将数据集分为训练集和测试集。抽样技术有分层抽样，简单抽样（等概率抽样）4. 将数据转化为软件（接口）所支持的格式。就libsvm （ c + +，java ）来说，我们可以使用将数据转化为libsvmm所要求的格式。参考：5. 选择核函数，可以优先考虑 rbf o6. 对训练集利用交叉验证法选择最好的参数C和r （rbf核函数中的参数 gam。可以
12、通过网格法寻找岀最优的参数，注意一次交叉验证得到一个参数对所对应的模型精度，网格法目的就是找到使得模型精度达到对高的参数对（这里的参数对可能不止两个，有可 能也有其他的），可以使用一些启发式的搜索来降低复杂度，虽然这个方法笨了点，但 是它能得到很稳定的搜索结果。需要提到的这里在对训练集进行分割的时候涉及到抽 样，一个较好的方法就是分层抽样。从这步可以看岀其实Cross Validation是一种评估算法的方法。7. 用6中得到的 参数对在整个训练集合上进行训练，从而得出模型。8. 利用测试集测试模型，得到精度。这个精度可以认为是模型最终的精度。当然有人会担心3步中抽样会有一定的误差，导致8得到的精度不一定是最好的，因此可以重复38得到多个模型的精度，然后选择最好的一个精度最为模型的精度（或者求所有精度的均值做为模型精度）。如何使用交叉验证（cross-validatation）写于7月28日1条评论如何使用 Cross-Validation 写这份文件，最主要的目的是介绍如何正确的使用
