《统计机器学习陈明myi2ml2echap8v10》由会员分享，可在线阅读，更多相关《统计机器学习陈明myi2ml2echap8v10（18页珍藏版）》请在金锄头文库上搜索。
1、INTRODUCTION TO Machine Learning2nd EditionETHEM ALPAYDIN The MIT Press, 2010alpaydinboun.edu.trhttp:/www.cmpe.boun.edu.tr/ethem/i2ml2eLecture Slides forCHAPTER 8: NonParametric Methods之前的方法均假定数据取自一个（或几个）已知的概率分布或混合分布非参数的方法：让数据自己说话，不对输入密度作任何假设8.1 IntroductionParametric: single global modelsemiparamet
2、ric : small number of local models优点：将概率密度、判别式和回归函数 均归约为 估计一些参数 缺点：假设并非总是成立，不成立时可能导致很大的误差特点 ：获得模型之后，训练数据不再被需要Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)4Nonparametric: Similar inputs have similar outputs Functions (pdf, discriminant, regression) change s
3、moothlyKeep the training data;“let the data speak for itself”Given x, find a small number of closest training instances and interpolate from theseAka lazy/memory-based/case-based/instance-based learning非参数方法： 不存在全局模型，局部模型只受近邻实例的影响算法：使用合适的相似性度量找出相似的实例通过插值得到正确的输出不同的算法在第1和3项有所不同特点 ：一直存储着训练训练数，标识每一个新实例均
4、需要训练数据缺点：耗存储空间，耗计算时间（因为每新实例均需要重复一次算法）回顾求导F(x)dF(x)/dx(F(x+h)-F(x)/h现在F(x)是一个CDF那么，对应 的密度函数怎么求？若假定已经有IID样本 注意只考虑 x其CDF的估计如上。此时，对应 的密度函数又如何估计？8.2 非参数密度估计由8.2衍生出来的估计密度的方法有Histogram EstimatorNaive estimatorKernel EstimatorK-Nearest Neighbor Estimator8.2.1 直方图估计子Divide data into bins of size hGiven an or
5、igin xo and a bin width h任意区间xo +mh, xo + (m+ 1)h)内优点：一旦bin确定下来，bin内的样本计数完成，就不再需要存储样本集了。新样本的密度估计取决于其所处的bin缺点：需要选取xo and h，且两者对估计的结果影响大10Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)Naive estimator避免选取起点，但要保留所有样本缺点：每个样本对每个区域的影响（权函数）是 “hard” (0 or 1), 因而所得估计
6、不连续，且在 xt h/2处有跳跃.12Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)8.2.2 Kernel Estimator平滑的权函数，得到平滑的估计原权函数：核函数（以高斯核为例）：14Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)每个样本对所有点的密度估计有影响核函数的性质h的选择h也可以适应性 地变化8.2.3 k-Ne
7、arest Neighbor Estimator通过调整近邻系数k控制光滑度，以适应数据的局部密度。估计时不考虑N个样本，仅考虑 其中的k个也可以核化17Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)Kernel density estimatorMultivariate Gaussian kernelsphericellipsoid8.3 Multivariate Data18Lecture Notes for E Alpaydn 2010 Introduction to Machine Learning 2e The MIT Press (V1.0)
