《中科院-统计学课程-2-kernelmethod》由会员分享，可在线阅读，更多相关《中科院-统计学课程-2-kernelmethod（52页珍藏版）》请在金锄头文库上搜索。
1、1,今天内容,核回归 核方法 Kernel trick 正则化理论,2,非参数回归,参数回归（线性回归）时，假设r (x) 为线性的 。当r (x) 不是x的线性函数时，基于最小二乘的回归效果不佳 非参数回归：不对r (x)的形式做任何假定 局部加权方法：用点x附近的Yi的加权平均表示r (x),3,回忆：knn,回归函数： Knn： 用训练样本中最邻近x0的k个样本的均值估计条件期望 其中 为x0的邻域，由训练样本中最邻近x0的k个点xi 定义,4,回忆：knn,例：,5,核回归：Nadaraya-Watson,邻域中点的权重不是等权重，而是每个样本的权重随其到目标点的距离平滑衰减 其中参数
2、h称为带宽(bandwidth)，核函数有时可写为： K可为任意平滑的函数，满足,6,常用核函数,Epanechnikov 核： 使风险最小的核函数 高斯核： 三次方核：,7,核回归：Nadaraya-Watson,回忆一下回归方程的定义： 分别对 用核密度估计，得到,8,核回归：Nadaraya-Watson,证明：,9,核回归：Nadaraya-Watson,证明（续）,10,核回归：Nadaraya-Watson,这可以被看作是对y取一个加权平均，对x附近的值给予更高的权重： 其中,11,核回归：Nadaraya-Watson,将核回归估计写成如下形式： 其中 ，,12,核回归：Nada
3、raya-Watson,类似核密度估计中求期望的展开，得到 同理， 其中,13,核回归：Nadaraya-Watson,最后，得到估计的风险为 最佳带宽以 的速率减少，在这种选择下风险以 的速率减少，这是最佳收敛速率（同核密度估计）,14,核回归：Nadaraya-Watson,实际应用中，利用交叉验证对求最佳带宽h。交叉验证对风险的估计为 实际上不必每次留下一个计算单独估计，可以写成以下形式,15,例：Example 20.23,不同带宽下Nadaraya-Watson回归的结果,16,核回归：Nadaraya-Watson,模型类型：非参数 损失：平方误差 参数选择：留一交叉验证,17,局
4、部线性回归,问题：加权核回归在训练数据中靠近边界的点的估计很差 核在边界区域不对称，局部加权平均在边界区域上出现严重偏差 局部线性回归 局部线性回归：在每一个将要被预测的点x处解一个单独的加权最小二乘问题，找到使下述表达式最小的,18,局部线性回归,边界上的N-W核： 核在边界不对称偏差大,边界上的局部线性回归： 将偏差降至一阶,蓝色曲线：真实情况 绿色曲线：估计值 黄色区域：x0的局部区域,19,核回归：局部线性回归,则估计为： 其中W(x)是一个 的对角矩阵且第i个对角元素是 估计在yi上是线性的，因为权重项 wi(x)不涉及yi ，可被认为是等价核,20,局部线性回归,局部线性回归通过自
5、动修改核，将偏差降至一阶 由于 , 偏差 为,21,局部线性回归,边界上的局部等价核 （绿色点）,内部区域的局部等价核 （绿色点）,22,局部多项式回归,局部多项式回归：用d次多项式回归代替线性回归 可以考虑任意阶的多项式，但有一个偏差和方差的折中 通常认为：超过线性的话，会增大方差，但对偏差的减少不大，因为局部线性回归能处理大多数的边界偏差，,23,可变宽度核,可变宽度核：如使每一个训练点的带宽与它的第k个近邻的距离成反比 在实际应用中很好用，虽然尚未有理论支持怎样选择参数 不会改变收敛速度，但在有限样本时表现更好 注意：上述这些扩展（包括局部线性/局部多项式）都可应用到核密度估计中,24,
6、核方法,为什么要用核方法？ 得到更丰富的模型，但仍然采用同样的方法 如岭回归方法核岭回归 内容 Kernel trick 再生Hilbert空间,25,线性模型,线性模型： 方便、应用广泛 有很强的理论保证 但还是有局限性 可以通过扩展特征空间增强线性模型的表示能力 如 特征空间为R6而不是R2特 该特征空间的线性预测器为,26,岭回归,对给定的 最小化正则化的残差 则最优解为,需O(p3)运算,27,对偶表示,一种对偶表示为： 其中,需O(n3)运算,28,对偶岭回归,为了预测一个新的点 其中 此时只需计算Gram矩阵G,岭回归只需计算数据点的内积,29,特征空间中的线性回归,基本思想： 将
7、数据映射到高维空间（特征空间） 然后在高维空间中用线性方法 嵌入式特征映射：,30,核函数,则核函数为 其中 为将数据映射到高维空间的映射 有许多可能的核函数 最简单的为核,31,特征空间中的岭回归,为了预测一个新的点 其中 计算Gram矩阵G,利用核函数计算内积,32,另一种对偶表示推导方式,线性岭回归最小化： 等价于 满足约束 则拉格朗日函数为,33,Wolfe对偶问题,转化为其对偶问题： 对L求偏导并置为0，得到,34,Wolfe对偶问题,将 和 代入拉格朗日函数 原目标函数 转化为,35,最优解,写成矩阵形式为： 得到解： 相应的回归方程为：,点积,36,核化岭回归,将点积 换成核函数
8、 Kernel trick 就实现了对线性岭回归的核化，在空间统计学中称为Kriging算法。,37,核方法,通过将输入空间映射到高维空间（特征空间），然后在高维空间中用线性方法 高维：维数灾难 通过核技巧，避免维数灾难,38,Kernel Trick,将问题变为其对偶问题：只需计算点积，与特征的维数无关，如在线性岭回归中，最大化下列目标函数 在高维空间中的点积可写成核(kernel)的形式， 如果选定核函数，这无需计算映射 可以计算点积,39,Kernel Trick,总之，这些被称为核技巧(kernel trick ) , 寻找一个映射： 和一个学习方法，使得 F的维数比X高 , 因此模型
9、更丰富 算法只需要计算点积 存在一个核函数，使得 在算法中任何出现项 的地方，用 代替,亦称为原方法的核化(kernelizing the original method).,点积核,40,什么样的函数可以作为核函数？,Mercers 定理给出了连续对称函数k可作为核函数的充要条件：半正定 半正定核： 对称： 且对任意训练样本点 和任意 满足 K被称为Gram矩阵或核矩阵。,矩阵形式：,41,半正定核的性质,对称 Cauchy-Schwarz不等式,42,Mercers Theorem,当且仅当一个函数K满足半正定形式时，函数K可以写成 其中 为特征映射： 该核定义了一个函数集合 ，其中每个元
10、素 可以写成 因此某些核对应无限个预测变量的变换,Mercer核,43,RKHS：再生Hilbert空间 Reproducing Kernel Hilbert Spaces,为了证明上述定理，构造一个特殊的特征空间,定义函数空间,再生性质,映射到一个函数空间,有限、半正定,44,Mercers Theorem,粗略地说，如果K对可积函数 是正定的，即 则对K存在对应的 因此K是一个合适的核,45,Mercer 核,一些常用的核函数满足上述性质： 对字符串、图等对象，也可以构造核函数,高斯核：,多项式核：,sigmoid核：,46,RKHS：点积空间,定义该函数空间的点积 Mercer定理隐含,
11、47,正则化和RKHS,一种通用的正则化的形式为 假设 f 在RKHS中，则,48,正则化和RKHS,则求解 转化为求解下述“简单”问题,49,例：岭回归,当回归分析取平方误差损失时， 因此,50,正则化的贝叶斯解释,为贝叶斯MAP估计 其中先验为 似然为 损失函数取L2时，高斯分布： 损失函数取L1时，为Laplace分布：,51,其他与核方法相关的一些论题,高斯过程 SVM 关于核方法一本较好的参考书： 支持向量机导论（An Introduction to Support Vector Machines and Other Kernel-based Learning Methods） Nello Cristianini, John Shawe-Taylor著，李国正，王猛， 曾华军译， 电子工业出版社，北京，2004 Bernhard Schlkopf: Introduction to Kernel Methods, Analysis of Patterns Workshop, Erice, Italy, 2005 Schlkopf& Smola: Learning with Kernels, MIT Press, 2002,52,下节课内容,模型选择: ESL Chp7,
