《高级计量经济学及Stata应用全套配套课件第二版陈强 第27章 非参数与半参数估计》由会员分享，可在线阅读，更多相关《高级计量经济学及Stata应用全套配套课件第二版陈强 第27章 非参数与半参数估计（43页珍藏版）》请在金锄头文库上搜索。
1、 1 陈强 高级计量经济学及 Stata 应用 课件 第二版 2014 年 高等教育出版社 第 27 章 非参数与半参数估计第 27 章 非参数与半参数估计 27 1 为什么需要非参数与半参数估计为什么需要非参数与半参数估计 参数估计法 parametric estimation 假设总体服从带未知参数 的某个分布 比如正态 或具体的回归函数 然后估计这些参数 其缺点是 对模型设定所作的假定较强 可能导致较大的设定 误差 不够稳健 2 非参数估计法 nonparametric estimation 一般不对模型的具体 分布或函数形式作任何假定 更为稳健 缺点是要求样本容量较大 且估计量收敛的速
2、度较慢 作为折衷 同时包含参数部分与非参数部分的 半参数方法 semiparametric estimation 降低对样本容量的要求 又有一定稳 健性 非参及半参方法与传统的参数法互补 后者不太适用时 可考 虑前者 3 27 2 对密度函数的非参数估计对密度函数的非参数估计 考虑根据样本数据来推断总体的分布 即密度函数 如用参数估计法 则先对总体分布的具体形式进行假定 比如 假设总体服从正态分布 2 N 然后估计参数 2 如果真实总体与正态分布相去甚远 则统计推断有较大偏差 如不假设总体分布的具体形式 则为非参数方法 最原始的非参数方法是画直方图 即将数据的取值范围等分为 若干组 计算数据落
3、入每组的频率 以此画图 作为对密度函数 的估计 4 直方图的缺点是 即使随机变量连续 直方图始终是不连续的 阶梯函数 为得到对密度函数的光滑估计 Rosenblatt 1956 提出 核密度 估计法 kernel density estimation 首先考察直方图的数学本质 假设要估计连续型随机变量x在 0 x 处的概率密度 0 f x 概率密度 0 f x是累积分布函数 F x在 0 x处的导数 00 0 0 00 0 lim 2 P lim 2 h h F xhF xh f x h xhxxh h 5 对于样本 12 n x xx 用数据落入区间 00 xh xh 的频率来 估计概率 0
4、0 P xhxxh 得到直方图估计量 00 1 HIST0 0 1 2 11 1 2 n i i n i i xhxxhn fx h xx nhh 1 1 HIST0 fx对于区间 00 xh xh 内的观测值给予相同权重 而区间 外的观测值权重为 0 区间半径h定义了 在 0 x附近邻域的大小 称为 带宽 bandwidth 2h称为 窗宽 window width 6 直方图得不到光滑的密度估计 根本原因在于使用示性函数作 为 权重函数 weighting function 以及各组间不允许交叠 核密度估计法使用更一般的权重函数 并允许各组之间交叠 核密度估计量为 00 1 1 n i i
5、 f xKxxh nh 函数 K 称为 核函数 kernel function 本质上就是权重函数 带宽h越大 在 0 x附近邻域越大 则估计的密度函数 f x越光滑 故称带宽h为 光滑参数 smoothing parameter 7 一般假设核函数 K z满足以下性质 i K z连续且关于原点对称 偶函数 ii d1K zz d0zK zz dK zz iii 或者 存在 0 0z 使得当 0 zz 时 0K z 或者 当 z 时 0z K z iv 2 dz K zz 其中 为常数 条件 ii 要求核函数的曲线下面积为 1 并满足一些有界条件 条件 iii 比条件 iii 更强 实践中常采
6、用条件 iii 常将邻 8 域 00 zz 标准化为 1 1 条件 iv 也是有界条件 常见核函数见表 27 1 这些核函数的共同特点是 离原点越近 则核函数取值越大 并在原点达到最大 即越近的点权重越大 其中 均匀核也用于直方图 只是在用均匀核进行核密度估计 时并不固定分组 而在每个点上进行估计 最流行的核函数为二次核 也称 Epanechnikov 核 与高斯核 9 表 27 1 常用的核函数 核函数名称 核函数的数学形式 均匀核 uniform or rectangular 1 2 1 z 1 1 3510 三角核 triangular or Bartlett 1 1 zz 1 伊 番
7、科 尼 可 夫 核 Epanechnikov 或二次核 quadratic 2 3 4 1 1 zz 1 1 7188 四次核 quartic 2 2 15 16 1 1 zz 1 2 0362 10 或双权核 biweight 三权核 Triweight 2 3 35 32 1 1 zz 1 2 3122 三三核 Tricubic 3 3 70 81 1 1 zz 1 高 斯 核 Gaussian or Normal 2 1 exp2 2 z 0 7764 注 其中 为用来计算 Silverman 嵌入估计 的常数 给定核函数 K 与带宽h 可估计核密度 0 f x 在 Stata 中 默
8、认设置为在等距离的50min n个点来计算 0 f x 然后连成光滑的 密度函数 11 图 27 1 二次核 Epanechnikov 核 12 27 3 核密度估计的性质核密度估计的性质 由于核密度估计使用了在 0 x附近的点x来估计 0 f x 而一般地 如果 0 xx 则 0 f xf x 故核密度估计通常是有偏的 22 0000 1 Bias E d 2 xf xf xh fxz K zz 即偏差与 2 h成正比 为 2 h的同阶无穷小 记为 2 O h 带宽h越大 则将使用离 0 x更远的点在估计 0 f x 导致偏差增 大 以 2 h的速度迅速上升 13 当n 时 让带宽0h 则偏
9、差将在大样本中消失 密度函数的二阶导数 0 fx 越大 即在 0 x处的曲率越大 则 0 x附 近的函数值波动越大 也会引起偏差增大 偏差还取决于核函数 K z 核密度估计的方差为 2 00 1 Var d1f xf xK zzonh nh 故 0 Var 1f xOnh 是 1 nh的同阶无穷小 14 样本容量 n 越大 则方差越小 带宽h越大 由于使用了更多观测点来估计 0 f x 故方差越小 当n 时 让nh 虽然0h 但h趋于 0 的速度比样本容 量n 的速度更慢 则此方差将在大样本中消失 核密度估计的一致性 当n 时 让带宽0h 且nh 则偏差 0 Bias x与方差 0 Var f
10、 x 在大样本下都趋于 0 根据均方收敛可知 0 f x是 0 f x 的一致估计量 15 核密度估计的渐近正态性 如果核函数 K z的条件 iv 满足 则 0 f x服从渐近正态分布 2 0000 Bias 0 d d nhf xf xxNf xK zz 据此可进行区间估计 核密度估计量的收敛速度为nh 由于最优带宽 h与 0 2 n 成正比 参见下节 故 0 20 80 40 5 nhn nnnnn 16 这意味着非参估计量的收敛速度 0 4 n慢于参数估计量的通常收 敛速度 0 5 n 27 4 最最 优优 带带 宽宽 如果带宽h越大 则 0 x附近的邻域越大 故偏差也越大 偏差与 2
11、h 成正比 而带宽h越大 则 0 f x越光滑 即方差 0 Var f x 越小 在选择 最优带宽 optimal bandwidth h时 希望最小化均方 误差 MSE 即方差与偏差平方之和 2 000 min MSE Bias Var h f xxf x 17 由于 2 0 Bias xO h 故 2 4 0 Bias xO h 而 0 Var 1f xOnh 故此最小化问题可大致写为 4 012 min MSE h f xk hknh 其中 12 kk为常数 对h求导 可得一阶条件为 32 12 1 410k hkh n 0 2 0 2 12 4hk kn 18 故最优带宽为 0 2 h
12、O n 随着 n 增大 0 25 1nn 的下降速度远慢于 1 1nn 0 2 4 6 81 0100200300400500 n 1 n1 n 0 2 图 27 2 对比 0 2 n 与 1 n 的下降速度 19 当n 时 0h 而 0 20 8 nhn O nO n 选择最优带宽 h 就能保证核密度估计的一致性 均方误差 0 MSE f x 仍取决于 0 x 为得到对于 0 x所有可能取值 的整体度量 可最小化 积分均方误差 Integrated Mean Squared Error 简记 IMSE 00 min IMSEMSE d h f xx Silverman 1986 证明最优带宽
13、为 20 0 2 20 2 00 dhfxxn 其中 常数 0 2 2 22 d dK zzz K zz 仅依赖于核函数 最优带宽 h还取决于密度函数的曲率 0 fx 当密度函数波动较大时 将带来较大偏差 故最优带宽 h较小 由于 依赖于核函数 故最优带宽 h也依赖于核函数 对于不同的核函数分别使用相应的最优带宽 则积分均方误差 IMSE h差别不大 21 能 使 IMSE h最 小 化 的 核 函 数 为 伊 番 科 尼 可 夫 核 Epanechnikov 是 Stata 默认的核函数 但只有微弱优势 对于最优带宽的选择远比核函数的选择更重要 使用不同核函 数得到的密度估计一般非常接近 最
14、优带宽 h仍依赖于 0 fx 如果样本来自正态总体 则 255 00 3 80 2116 d fxx 故 0 2 1 3643hns 其中 s为样本标准差 为了防止样本标准差受极端值的影响 常使用 Silverman 嵌入估计 Silverman s plug in estimate 22 0 2 1 36431 349min hns iqr 其中 iqr 为样本四分位距 sample interquartile range 即样本3 4 分位数与1 4分位数之间的距离 为保险起见 可比较两倍嵌入估计与一半嵌入估计的效果 实践中也常使用 眼球法 eyeball method 用肉眼对带宽进行判
15、断 是否密度函数 过度光滑 oversmoothed 或 不够光滑 undersmoothed 再微调到合适的带宽 23 27 5 多元密度函数的核估计多元密度函数的核估计 对于k维随机变量 x 可进行 多元密度函数的核估计 00 1 1 n i i f xKh nh xx 其中 K 是 k 维核函数 即权重函数 K 通常为一维核函数 的乘积 也可使用多维正态的密度函数 多元密度函数核估计的性质与一元情形相似 但最优带宽为 1 4 k hO n 大于一元情形下的最优带宽 而 0 f x的收敛速度 也更慢 24 在多维情况下 易出现 数据稀疏 问题 sparseness of data 即在 0
16、 x附近的观测点很少 估计多维密度函数的用途之一是估计条件密度函数 conditional density function 由于条件密度 f y xf x yf x 故可用 f y xf x yf x 作为条件密度的估计量 其中 f x y与 f x分别为二维与一维的密度函数核估计 25 27 6 非参数核回归非参数核回归 考虑以下非参数一元回归模型 2 iid 0 iii i ym x 其中 m 是未知函数 连函数形式也未知 对于每一个 1 i in 分别估计 i m x 从而得到对回归函数 m x的估计 不寻求 m x的解析解 而是寻找其数值解 26 假设对于x的某个特定取值 比如 0 x 都有若干个y的观测值 比如 0 n个 则可把这 0 n个y观测值的平均值作为 0 m x的估计量 现实数据中 0 n可能很小 对于连续变量 可能仅为 1 导致估 计量的方差过大 解决方法是 对 0 x附近邻域中的观测值也进行加权平均 即 局 部加权平均估计量 local weighted average estimator 00 1 n ihi i m xwy 其中 权重 0 ih w是 0
