第七章非参数回归模型与半参数回归模型

资源描述

《第七章非参数回归模型与半参数回归模型》由会员分享，可在线阅读，更多相关《第七章非参数回归模型与半参数回归模型（92页珍藏版）》请在金锄头文库上搜索。

1、1第七章第七章非参数回归模型与半参数回归模型非参数回归模型与半参数回归模型第一节第一节非参数回归与权函数法非参数回归与权函数法一、非参数回归概念一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。设 Y 是一维观测随机向量，X 是 m 维随机自变量。在第四章我们曾引进过条件期望作回归

2、函数，即称 g (X) = E (Y|X) （7.1.1）为 Y 对 X 的回归函数。我们证明了这样的回归函数可使误差平方和最小，即（7.1.2）22)(min)|(XLYEXYEYE L这里 L 是关于 X 的一切函数类。当然，如果限定 L 是线性函数类，那么 g (X)就是线性回归函数了。细心的读者会在这里立即提出一个问题。既然对拟合函数类 L(X)没有任何限制，那么可以使误差平方和等于 0。实际上，你只要作一条折线(曲面)通过所有观测点(Yi，Xi)就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对 L(X)的一切

3、限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Yi，Xi)，属于参数回归；用多个低次多项式去分段拟合(Yi，Xi)，叫样条回归，属于非参数回归。二、权函数方法二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于 Yi的线性组合的某种权函数。也就是说，回归函数 g (X)的估计 gn(X)总可以表为下述形式：2（7.1.3） niiinYXW

4、Xg1)()(其中Wi(X)称为权函数。这个表达式表明，gn(X)总是 Yi的线性组合，一个 Yi对应个 Wi。不过 Wi与 Xi倒没有对应关系，Wi如何生成，也许不仅与 Xi有关，而且可能与全体的Xi 或部分的Xi有关，要视具体函数而定，所以 Wi(X)写得更仔细一点应该是Wi(X；X1，,Xn)。这个权函数形式实际也包括了线性回归。如果，则iiiXY，也是 Yi的线性组合。YXXXXXii1)(在一般实际问题中，权函数都满足下述条件：（7.1.4）1),;(, 0),;(1 11 nniiniXXXWXXXW如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满

5、足配方条件的权函数为概率权。下面我们结合具体回归函数看权函数的具体形式。1核函数法选定 Rm空间上的核函数 K，一般取概率密度。如果取正交多项式则可能不满足配方条件。然后令（7.1.5） ninini niaXX aXXKXXXW11/),;(显然。此时回归函数就是 niiW11（7.1.6）ininjnininiiiYaXXKaXXKYXWXgY 111)()(2最近邻函数法首先引进一个距离函数，用来衡量 Rm空间中两点 u = (u1，um) 和 v= (v1，vm) 的距离u-v。可以选欧氏距离，也可以选 niiiuu122)(|。为了反映各分量的重要程度，可以引进权因子 C1，,

6、Cn，使|max| 1iiniuu Ci也满足配方条件。然后将距离函数改进为3（7.1.7） niiiiuCu122)(|（7.1.8）|max| 12 iiiniuCu 现在设有了样本(Yi，Xi)，i=1,n，并指定空间中之任一点 X，我们来估计回归函数在该点的值 g(X)。将 X1，Xn按在所选距离意义下与 X 接近的程度排序：（7.1.9）| 21XXXXXX nkkk这表示点与 X 距离最近，就赋以权函数 k1；与 X 距离次近的就赋予权函数 k2。， 1kX 2kX等等。这里的 n 个权函数 k1,kn也满足配方条件，并且按从大到小排序，即 niinkkkk1211 , 0（7.

7、1.10）就是nikXXXWinki, 1 ,),;(1（7.1.11）若在Xi-X, i=1,n中有相等的，可将这 n 个相等的应该赋有的权取平均。比如若前两名相等，X1-X=X2-X, 就令 W1 = W2=。)(2121kk 这样最近邻回归函数就是 nininiiiiiiniYXkYkYXXXWXgY1111)(),;()(（7.1.12） ki尽管是 n 个常数，事先已选好，但到底排列次序如何与 X 有关，故可记为 ki(X)。三、权函数估计的矩相合性三、权函数估计的矩相合性首先解释矩相合性的概念。如果对样本 (Yi，Xi)，i=1,n 构造了权函数 Wi = Wi (X)=WI(

9、(supXfM X且不大于 1。依控制收敛定理有0)(lim1)(| niXXiniIXWE（7.1.20）故存在 n0，使当 nn0时，有2)(1)(| niXXiiIXWE（7.1.21）因此当 nn0时，有 nir iiXfXfXWE1| )()(| )(（7.1.22）于是对这种一致连续的 f，引理得证。证证毕毕对一般的函数 f，取一个在 Rm上连续，且在一有界域之外为 0 的函数，使f，且，这里是事先指定的。因为2)(XfErXfXfE)()( rniir iiniir iniirr iniiXfXfXWEXfXfXWEXfXfXWXfXfXWE| )()(| )(| )(

10、)(| )( | )()(| )(3)()()(11111（7.1.23）右边括号里第三项等于；第一项根据条件(1)不超过rXfXfE)()(；因为在 Rm上有界且一致连续，由前面已证结果知当 n时，CXfXfCEr)()(f第二项将趋于 0。因此6) 1(3| )()(| )(lim11 CXfXfXWErr iniin（7.1.24）是任意的，故引理得证。证毕证毕引理引理 7.1.2 设Wi为满足定理 7.1.1 三个条件的概率权，函数 f 非负且，)(XEf则0)()(lim12 iniinXfXWE（7.1.25）证明证明定义一组新的概率权函数，由于 0Wi1, 故 01。于是由

11、引理2 iiWW iW7.1.1，有0| )()(| )(lim12 iniinXfXfXWE（7.1.26）因为 01，由条件(3)知 niiW120max)max( 11112 P ininiiniiniiWWWW（7.1.27）故由控制收敛定理有0)()(lim12 niinXfXWE（7.1.28）综合两个极限式可知本引理成立。证毕证毕下面我们证明定理 7.1.1。先设 r=2, 则 E(Y2)0，先找 K0，使当 K K0时，对一切 n 成立 (7.1.40)。又依 (7.1.41)，找 K1，使当KK1时有 E | E ( Y | X )- E ( Y(K) | X )| r

12、0，由条件 (7.2.7)，存在充分大的 T0，使MdZZKTZ4)( 0|（7.2.10）这里，并且)(supxfM x0000)()()()(limTTTThdZZKxfdZhZxfZK（7.2.11）于是)(22)()()()()(2)()()()(| )()(|000000000|ndZZKxfdZZnhxfZKMdZZKdZxfZKdZZnhxfZKxxEfTTTTTZTTTTn当（7.2.12）由的任意性，可知。这就说明 fn(x)是 f(x)的渐近无偏估计。)()(limxfxEfn n 再利用 X1，,Xn的独立性，有 22 2)()()(11)(nhXxEKnhXxEKn

13、hnxfVarn（7.2.13）类似于渐近无偏性的证法可得 dxxKxfnhXxKEnhn)()()()(1lim22（7.2.14）于是0)(lim)(lim)()(lim22 xfEfxfVarxfxfEnnnnnn（7.2.15）这就说明对一切 x，fn(x)均方收敛于 f(x)，因此，这就证明密度核)()(nxfxfP n估计的相合性。二、使用正交多项式核的密度及其偏导数核估计的收敛速度二、使用正交多项式核的密度及其偏导数核估计的收敛速度14上一段研究的密度核估计的收敛性，针对的是使用概率密度核函数 K，它非负，积分为 1，从而可以肯定保证密度核估计函数 fn(x)非负且积分为 1

14、。只是它的收敛速度不会超过。为了提高收敛速度，统计工作者使用正交多项式作理论上的研究，取得不少成果。)(54nO这里介绍的是本书作者的研究成果，近期发表在国际数学杂志“Communications in Statistics”上。它是直接研究多元密度，并连带一般偏导数的核估计给出收敛速度。记多元密度 f(t)的 s 阶混合偏导数为s psspssptttftssftf111)()()();,()(（7.2.16）这里。, 2 , 1 , 0,),(11sssstttpp使用多元核函数作出 f(s) (t)的估计如下： njnjssp ns nttKntf)(1)(1)(（7.2.17）其中是构造核函数的正交多项式空间维数，可以任意取定。2,21rprnn不仅决定于 s, 而且决定于 s1, sp,且满足：)(u

展开阅读全文