《高等计量经济学第2章第6节》由会员分享，可在线阅读，更多相关《高等计量经济学第2章第6节（18页珍藏版）》请在金锄头文库上搜索。
1、12.62.6 无参数回归模型无参数回归模型经典计量经济学模型首先根据经济理论和样本数据设定模型的函数关系，然后估计关 系参数并检验所设定的关系。如果模型的函数关系通过检验被证明是成立的，那么回归结 果可以外延，其推断有较高的精度，模型的参数一般具有明确的经济意义，可以方便于各 方面的应用。但关于模型及参数的一些假定在现实中未必成立。例如 C-D 生产函数模型假 定技术进步是中性的、技术进步独立于要素投入量的变化、要素替代弹性为 1、具有一次 齐次性即不变规模报酬等，这些假定在现实中很难同时成立。因而当模型及参数的假定与 实际背离（也包括模型的随机干扰项的正态性假定与实际背离）时，就容易造成模
2、型设定 误差。此时，基于经典假设模型所作出的推断的表现可能很差，这就促使人们寻找别的出 路，而无参数回归模型则是朝着这个方向的一种努力。无参数回归模型的特点是：回归函 数的形式可以任意,没有任何约束，解释变量和被解释变量的分布也很少限制，因而有较大 的适应性，但无参数回归结果外延困难。无参数技术的目的是放松回归函数形式的限制， 为确定或建议回归函数的参数表达式提供有用的工具。无参数技术并不能取代参数技术， 两者相结合将会得到用单一方法无法获得的结论。一、一、无参数回归模型的概念无参数回归模型的概念设随机变量是被解释变量，维向量是解释变量，它既可以是确定性的也可以是YpX 随机性的。在本节中，为
3、了书写方便，并不将解释变量写成矩阵形式。读者应该将它作为 矩阵来理解。称（2.6.1）)|()(xXYExm为对的回归函数或条件回归函数，其中。无参数回归模型就是要在给定样本YXpRx下，得到条件回归函数的一个估计。n iiiYX1),()(xm)(xmn如果联合密度函数存在，则可表成),(yxf)(xm)(/),()(xfdyyxyfxm其中是的边缘密度函数。此时，称(2.6.1)为随机设定模型。dyyxfxf),()(X如果是确定性变量，称(2.6.1)为固定设定模型，可以表示为：X, (2.6.2)iiiXmY)(ni, 1L其中是相互独立、均值为 0、方差为的序列。n ii12无参数回
4、归模型的估计方法有三大类，一是权函数方法，二是最小二乘估计，三是稳 健估计。二、二、权函数估计权函数估计权函数方法的系统研究始于 Stone(1977)，最常用的权函数方法是核估计和近邻估计。 使用无参数平滑技术时应该意识到关于被估回归曲线的最终确定存在一定的主观性，因为 即使是渐近最优平滑也含有相当部分的噪音，留给人们主观选择的余地。1. 权函数估计给定样本，权函数估计就是条件回归函数的估计，可表示成n iiiYX1),()(xm)(xmn下述形式：(2.6.3) niininYxWxm1)()(2其中权函数，满足，),;()(1nniniXXxWxWLni, 1L0)(xWni。 nini
5、xW11)(从(2.6.3)可看出，条件回归函数的估计是的线性组合，对应所得到的被解释iYpRx变量的估计是的加权平均，权数利用了解释变量的信息且由解释变量的数值来确)(xmniY定每个的权数的大小。iY2. 核估计 核估计是权函数估计的一种方法，在于找到核权函数作为(2.6.3)中的权函数。核权函 数是最重要的一种权函数，由此产生的估计，即核估计已有广泛的应用。(1) Nadaraya-Watson 核估计Nadaraya(1964)及 Watson (1964)提出了一种既适合解释变量是确定性变量，也适合解 释变量是随机变量的核估计，其思路如下：选定概率密度)(K(2.6.4)1)(duu
6、K为核函数及窗宽，定义核权函数为：0h(2.6.5) njjhihniXxKXxKxW1)(/ )()(其中也是一个概率密度。于是 Nadaraya-Watson 核估计为：)()(11uhKhuKh(2.6.6) ninjjhiihnXxKYXxKxm11)(/)()(容易推得：(2.6.7) ninininiinixmYxWnYxWn121121)()()(min 所以，核估计等价于局部加权最小二乘估计。关于局部加权最小二乘估计，将在3.4 中介 绍。 当时,有0h，iiinYKYKXm)0(/)0()(, (2.6.8)0)(xmn), 1,(niXxiL可见，太小的窗宽得到除了数据点外
7、其它点的函数值都为 0 的函数。当时,，所以h)0()(KhXxKi(2.6.9) niininiinYnKnYKnxm111111)0(/)0()(可见，太大的窗宽得到过分光滑的曲线，接近于直线。由上述可见，窗宽是控制核估计精度的重要参数。(2) 密度核估计密度估计本身不属于无参数回归内容，但随机设定模型的回归方法里经常用到它，且 在需求和均衡理论中，家庭收入的密度函数估计是一个重要的应用内容。另外，在条件回 归函数的导数期望估计 ADE(Average derivative estimation)中也要用到密度函数的估计。a)一元密度函数估计可从经验分布函数导出密度核估计，经验分布函数为：
8、3(2.6.10),(1)(1的个数中小于xXXnxFnnL取核函数为均匀核：(2.6.11) 其他当01121 )(0xxK则密度估计为hhxFhxFxfnnn2/)()()(hxhxntdFh)(21)()(10tdFhtxKhn(2.6.12)(110hXxKnhini 将核函数放宽就得到一般的密度核估计(2.6.13)(xfn)(11hXxKnhini 要求当时，,。n0hnh下面是除了均匀核外的其它核函数的例子：(2.6.14) 1|01|1)(1xxxxK(2.6.15)12 2)1 ()(xxK(2.6.16) 0)2(02/)2/sin()2()(12 13 xxxx xK (
9、2.6.17) 222222340)(75. 0)(xxxxK其中。0此外，还有高斯核和 Epanechnikov 核等。b) 多元密度函数估计设维随机向量的密度函数未知，是它的一pX),()(1nxxfxfLnXXX,21L个独立同分布的样本，则的核估计为；)(xf(2.6.18)(xfn)(11hXxKnhinip 其中是多元核函数。对窗宽的要求为：当时， ，。)(Kn0hpnh此外，密度函数估计方法还有近邻(Nearest Neighbors)、正交序列(Orthogonal Series)、 惩罚函数(Penalty Functions)、付里叶逆变换（Fourier Inversio
10、n）、序列(Delta Sequences)、 小波估计、贝叶斯方法等。(3) 其它形式的核权函数在随机设定模型中，如果已知，可取核权函数（Greblicki 1974;Johnston )(xf1979,1982;Greblicki 和 Krzyzak 1980; Georgiev 1984a,1984b）为：(2.6.19)(/)()()1(xnfXxKxWihni假设在0,1上取值，不妨设，Priestley 和 Chao(1972)和n iiX1nXXXL21 Benedetti(1977)采用了下面的核权：4， （） (2.6.20)()()(1)2( ihiiniXxKXXxW00
11、X这个核权的解释是的估计为,。)(xf1 1)()( iiXXnxf),(1iiXXxGasser 和 Mller(1979)定义了如下核权：(2.6.21)duuxKxWiSiShni 1)3()()(其中。iiiXSX11 （2.6.20）和(2.6.21) 主要用于固定设定模型。 回归函数估计的方差随着窗宽减少而增大，偏随着窗宽减少而减少。所以，无参数估 计就是在估计的偏和方差中寻求平衡，使得均方误差达最小。(4)导数的核估计a)固定设定模型回归函数的导数的核估计采用 Priestley-Chao 核权定义为：(2.6.22) niiik iikk nYhXxKXXhxm1)( 1)1(
12、)()()()(即回归函数的阶导数用回归函数的核估计的阶导数来估计。kk b)随机设定模型对于随机设定模型，仍可利用核权函数的导数得到条件回归函数导数的估计： niik nik nYxWxm1)()()()(但此时的权数的表达式很复杂。例如：2)1( )1( )()()()()()( xfxfXxKxfXxKxWnnihnih ni其中，)/()()1(2)1(huKhuKh niihnXxKnxf1)1(1)()(（5）窗宽的选择当，为-1,1上对称、单峰的概率密度时，是集中在附近一个邻域1p)(K)(xmnx的样本的加权平均，而正好是这个邻域的宽度。当大时，参加平均的样本就多，会提hh 高
13、估计精度，但可能会增大偏差。反之，小则正好相反。所以，窗宽是控制核估计精hh 度的最主要的参数。因为平方拟合误差(2.6.23)()()(121 iniiniXwXmYnhp (为某权数)随着增加而增加(参见(2.6.8)和（2.6.9）)。所以，使得达最小0)(xwh)(hp的为 0。因而，最佳窗宽选择的基本思想是使得平均平方误差：h(2.6.24) niiiinAXwXmXmnhd121)()()()(达到最小。我们希望通过调整而得到的估计量。为此，将展开：)(hp)(hdA)(hp njnjjjjnjAjjXwXmXmnhdXwnhp11121)()()(2)()()(2.6.25) 最
14、后一项可重写为：5(2.6.26)()()(2)(1111 1jnjnijijnijnXwXmYXWnnhC 其在给定下的条件期望为：,1nXX L(2.6.27) njjjjnjXwXXWnn1211)()()(2至少有三种可能的途径得到的无偏估计：)(hdA应用剔除技术使得(2.6.26)的期望为 0。对进行修正，消除(2.6.26)的偏。)(hp利用插入法，将中未知量用其无偏估计量代入。)(hdA对应于这三种不同的途径产生了选择窗宽的交错鉴定方法、惩罚函数法和插入法。交错鉴定方法（Cross-validation method）是 Stone（1977）提出的，在给定核权函 数下，选择带
15、宽的一个常用方法。其基本思路是：在每个局部观察点，)(xWnihiXx 首先在样本中剔除该观察点；其次将剩下的1 个观察点在处进行核估),(iiYXniXx 计： ijjinjiinYXWXm)()(,最后，通过比较平方拟合误差)()()(12 ,1 iniiiniXwXmYnhCV (为某权数)的大小，选择使平方拟合误差达最小的带宽。该方法的关键是在样0)(xwh本中剔除观察点。如果不这样的话，由于核权函数在观察点达最大),(iiYX)(xWniiXx 值，就会使得的重要程度过份夸大且其它观察点数据的重要程度降低。所以采用交iXx 错鉴定方法就避免了因没剔除观察点，而将有用的数据排除在外的情况。将),(iiYX展开，类似于（2.6.26）的项为：
