《三部分统计学习基础》由会员分享，可在线阅读，更多相关《三部分统计学习基础（45页珍藏版）》请在金锄头文库上搜索。
1、三部分统计学习基础Stillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望例：一个回归例子n例：n然后对每个数据加上高斯噪声，n目标：n通过最小化残差的平方和（RSS）n拟合 f2例：一个回归例子（续）1阶多项式拟合3阶多项式拟合拟合得到的曲线样本数据点3例：一个回归例子（续）10阶多项式拟合训练正确率和测试误差4一些术语n有监督学习：n给定包含输入特征 和对应响应 的训练样本，学习Y与X之间的关系n对新的输入x，预测其响应yn如果输出值Y的类型是连续值：回归n根据公司的业绩和经济学数据，预
2、测今后6个月的股票价格n根据患者血液的红外光谱，估计糖尿病患者血液中葡萄糖的含量n如果输出值Y为离散值：分类n根据数字图像，识别手写的邮政编码数据n根据邮件中单词和字符的比例，识别email是否为垃圾邮件5目标根据训练数据，n正确预测未见过的测试样本n理解哪些输入影响输出n怎样评价预测的质量6哲学思想n理解各种技术背后的基本思想，以知道如何和在什么情况采用这些技术n先理解比较简单的方法，以便掌握更复杂的技术n正确评价方法的性能很重要，以便知道该方法在什么情况下工作得好，在什么情况下工作得不好 简单的方法通常和那些很华丽时髦的方法工作得一样好！7一个例子IR2上从未知分布产生的200点，其中类别
3、G=绿，红各100个点 。 我们能建立一个规则，预测将来的点的颜色的规则吗？8比较两种最简单的预测方法n线性回归nk近邻法（k - nearest neighbors, knn）9线性回归n输入p维向量，扩展成p+1维：n向量均为列向量n类别G=绿时，Y=0；否则Y=1。nY用X的线性函数来建模n最简单、也是最常用的模型10线性回归n利用最小二乘法，通过最小化残差的平方和（RSS）n得到n如果 是非奇异的，则唯一解为n则学习得到 f 的估计为11线性回归n对将来的点 的预测为n在训练集上错误率为14%n比随机猜测强的多n但还是有很多错误n决策边界 是线性的n采用更灵活的模型能得到更好的结果？1
4、2knnn观察其邻居，采取投票的方式n其中 为x0的邻域，由训练样本中最邻近x0的k个点xi 定义（ k-近邻）n如果在观测x邻域中某一类明显占优势，则观测样本也更可能属于该类。分类规则为邻域成员的多数票1315-近邻分类：训练集上的错误率为12%14过拟合nknn比线性回归表现稍好n但我们应警惕过拟合(overfitting)问题n在训练集上模型工作得很好（有时甚至100%正确），但忘记了训练集是一个随机过程的输出，从而训练好的模型可能在其它情况（另外的测试集）工作欠佳n1nn?151-近邻分类。没有样本被误分，判决边界更加不规则16knn中k的选择？n在测试集上，哪个模型表现最佳？nk的选
5、择：偏差方差折中n较小的k：预测更灵活，但太灵活可能会导致过拟合，从而估计方差更大n较大的k：预测更稳定，但可能不够灵活，不灵活通常与偏差/不准确有关方法预测误差训练集测试集线性回归0.140.185Knn(15)0.120.175Knn(1)0.00.18517在前面200个点上训练，在10,000个数据上测试的结果当k较小时，训练误差较小，但测试误差一般较大当k较大时，训练误差较大，但测试误差一般较小18统计决策理论n令 表示一个实值的随机输入向量， 表示实值的随机输出变量n损失函数：n对回归问题，常用平方误差损失n风险函数（损失函数的期望）：n对每个输入x，目标是使风险函数最小，得到：n
6、为条件期望，亦称回归函数。19统计决策理论n对分类问题，常用损失函数为0-1损失函数n风险函数为n对每个输入x，使风险函数最小n结果为最大后验估计（MAP），亦称贝叶斯分类器20贝叶斯最优分类器的结果21贝叶斯分类器n为什么不用贝叶斯分类器 ? n因为通常我们不知道n在上例中我们是已知数据产生的过程n每个类的概率密度为10个高斯的均匀混合n对类别绿，k=1；对类别红，k=2n对类别绿，10个均值从正态分布产生：n对类别红，10个均值从正态分布产生：n方差22贝叶斯分类器nknn是贝叶斯分类器的直观实现n不知道 ，在x附近的小邻域类别为g的数目n用频数近似概率n在点上取条件放宽为在目标点的邻域内
7、取条件n如果取 n则贝叶斯分类器与回归函数之间的关系为：23knn vs. 线性回归n当 且 时，knn的估计n即该估计是一致的。n但通常没有那么多样本n线性回归假设 的结构是线性的： 并最小化训练样本上的平均损失：n随着样本数目的增多， 收敛于n但模型受到线性假设的限制24knn vs. 线性回归n通过用样本均值来逼近数学期望，knn和线性回归最终都得到近似条件期望。但二者对模型的假设截然不同：n线性回归：假定 可以用一个全局线性函数很好近似nknn：假定 可以用一个局部常量函数很好近似n后者看上去更合理：可以逼近更多的函数类，但必须为这种灵活性付出高昂代价25knnn很多现代的学习过程是k
8、nn的变种n核平滑：每个样本的权重不是0/1，而是随样本点到目标点的距离平滑减至0n著名的支持向量机（support vector machine, SVM）与核平滑有许多相同之处26维数灾难n似乎有了合理大的训练数据集，使用knn平均总能逼近理论上的最佳条件期望n我们能找到接近任意x的相当大的观测值邻域，并对它们取平均n这样就不必考虑线性会回归了n但在高维空间中，knn法将失败n在目标点附近很难收集到k个邻居：维数灾难 (curse of dimensionality) 27维数灾难n邻域不再是“局部的” ：考虑输入在p维单位超立方体上的均匀分布，选取目标点的超立方体的邻居，覆盖比例为r，则
9、边长为：n当维数p=10时，边长为n为了得到数据的1%或10%的覆盖，必须覆盖输入变量定义域的63%或80%。这样的邻域不再是“局部的”n最近邻居的空间趋近于很大，从而估计是有偏的n而降低邻域的大小也无济于事，因为取平均值的观测值越少，拟合的方差会增大n但并不表示局部方法（如knn）在高维空间中没有意义n因为通常数据在高维空间中是有结构的，如成团分布，即数据的本质维数不高28维数灾难re29函数逼近n考虑连续数据的回归问题：给定X，Y的最佳预测为回归函数：n为了预测，我们需要知道 f ，但通常我们并不知道 f n有时科学知识（如物理化学定律）告诉我们f 的形式n如胡克定律指出：在弹性限度内，弹
10、簧的的形变 f 跟引起形变的外力x，即n其中 为弹簧的初始长度， 为物质的弹性系数，由材料的性质所决定 n对给定的弹簧，我们不知道其弹性系数，但我们可以通过测量不同外力下的形变来估计弹性系数30函数逼近n但测量会有误差 ，这样考虑统计模型的观点：n其中 且为随机误差，与X独立n当有足够多的数据时，最小二乘能得到精确预测，并且我们能正确（偏差小）、精确（方差小）地预测任意外力下的形变n如果科学知识告诉我们应该应该选择非线性模型，如sigmoid模型，我们仍然可以用最小二乘法求解，只是计算可能稍复杂n经验告诉我们，当二元正态分布的相关系数为0.5时，意味着线性关系仍能工作得很好n事实上，有时候人们
11、既没有从理论上，也没有从经验上分析就直接采用线性模型31函数逼近n更通用的做法是选择一个函数族，参数形式为 n其中为参数集合n可以用最小二乘法求解，也可以用更一般的极大似然法来求解n可能是一个封闭的解析解n也可能要通过数值计算的方法迭代计算得到32函数逼近n但可能我们选定的函数族中的任何函数都不能很好表示 fn如上述红绿点分类的例子中线性模型表现不够好，偏差太大n或者是选择函数族太灵活n如红绿点分类的例子中knn (k=1)时，估计不够好，因为估计利用的数据太少（只利用了k=1个点）方差太大n问题：如何选择合适的函数族？n增加结构约束33结构化的回归模型n对任意函数f，考虑RSS准则n任何通过
12、 的函数的RSS=0：有无穷多个解n当测试数据与训练数据不同时，该函数可能是一个非常糟糕的预测n只有当n足够大时，样本均值才能趋于条件期望n为了得到对有限n有效的结果，需要将解限定在一个合理的较小函数集合：如参数模型n通常限制施加的是复杂性约束：通常这意味着在输入空间上小邻域上的规则，即对所有的输入点x，在某种度量下，它们都足够靠近， 显示出某种特殊的结构，如近似常数、线性或低阶多项式。34结构化的回归模型n约束的强度由邻域的大小决定：邻域越大，约束越强，并且解对约束的特定选择越敏感nknn：局部常数拟合n在无穷小的邻域中，局部常数拟合通常不再是约束n线性回归：全局线性拟合n在非常大的邻域中，
13、局部线性拟合几乎是全局的线性模型，并且限制很强n局部线性回归：局部线性拟合n在邻域中用线性拟合35偏差方差折中n如在knn回归中： n模型为 ，其中n则在点 处的期望误差（亦称测试误差/泛化误差）n当k变化时，在偏差-方差之间有一个折中 n偏差为k的增函数，而方差为k的减函数n较小的k，模型较复杂，拟合精度高，偏差较小，但方差较大n模型选择：拟合精度与模型复杂度之间的平衡36当k较小时，训练误差较小，但测试误差一般较大当k较大时，训练误差较大，但测试误差一般较小37模型选择n目标：测试误差最小n测试误差：用训练误差估计n但训练误差不是测试误差的一个很好估计，因为训练误差不能很好地解释模型的复杂
14、性过拟合区域欠拟合区域38本章小结n有监督学习：给定训练数据 ，求使风险最小的 f，即n当损失为平方误差损失，结果为n实际求解时，只能利用训练样本的信息，用样本均值近似期望n但不能以训练误差作为标准，因为样本均值只能在大样本情况下才能逼近期望n目标为期望风险/测试误差最小，但测试集不可得，所以应该增加限制，即函数限制在一个合理的较小集合n不同的学习过程表现为对 施加不同的限制，这种限制通常为复杂性约束（在输入空间上小邻域上的规则）n模型选择：模型复杂度和训练误差之间的折中/偏差方差折中39下节课内容n下节课内容：线性回归模型nWasserman Chp13nESL Chp340第三部分实验n数
15、据：前列腺癌数据nESL一书中回归分析的主要数据用例n实验内容：n实现回归模型中的两种n线性回归：必选n岭回归nLASSOn核回归n局部线性回归n并选择合适复杂度的模型nAIC/BICn交叉验证nbootstrap41前列腺癌数据n考察第9列的前列腺癌特殊抗原水平（lpsa: log prostate specific antigen） 与前8列临床指标之间的相关性nlcavol：log cancel volume （肿瘤体积）nlweight：log prostate weight （前列腺重量）nage：（年龄）nlbph：log bengin prostatic hypcrplasia
16、（良性前列腺增生量）nsvi：seminal vesicle invasion （精囊浸润）nlcp：log of capsular penetration （包膜穿透）ngleason：gleason score （Gleason积分）npgg45：percent of Gleason scores 4 or 5 （ Gleason4/5所占百分比 ）n共97个样本，第10列标记某个样本为训练样本还是测试样本n67训练样本n30个测试样本42维数灾难问题2：大多数点都靠近样本的边界n考虑均匀分布在以原点为中心的p维单位球内的n个数据点，假设考虑最近邻。则从原点到最近数据点的中位数距离为：n当n=500，p=10时， ，超过到边界的一半n大部分样本更靠近样本空间的边界，而不是靠近其他数据43证明（1）n考虑均匀分布在以原点为中心的p维单位球上的n个数据点，假设考虑最近邻。则从原点到最近数据点的距离的中位数为：n证明：令 表示以原点为中心，半径为r的p维超球的体积，则n则一个数据点落入半径为r的超球内的概率为44证明（2）n令R表示原点到最近数据点的距离，由于数据是随机的，R为随机变量。则R的CDF为：中位数：45
