《非参数回归模型核光滑估计及模拟计算分析》由会员分享，可在线阅读，更多相关《非参数回归模型核光滑估计及模拟计算分析（4页珍藏版）》请在金锄头文库上搜索。
1、h 0h非参 数回 归模型 核光 滑估计 及模 拟计算 分析丁士 俊(武汉 大学 测绘 学院 ,湖北 武汉 430079 )Kern e l Sm oo th in g E st im a t ion of Non pa ram e tr ic M ode l an dS im u la ted C om pu t in g Ana ly s isD IN G Sh ijun摘要 :讨 论非 参数回 归模 型核 光滑估 计方 法 , 通 过广义 交叉 核实函 数 自 动 选 取 窗 口 参 数 ,利 用 几 种 不 同 的 核 函 数 进 行 模 拟 计 算 ,表 明该 方法 适用于 曲线 拟
2、合 。关键词 :非参 数模 型 ; 核 光滑 ; 广义交 叉核 实 ; 窗 口参数 ; 曲线 拟合一 、 概 述在 回归分析数 据 处 理 中 , 回 归 模 型 一 般 可 分 为表示为下 面形式ns ( t) = W h t L 2i = 1n; i ( ) i ( )两大类 , 即参 数 回 归 模 型 与 非 参 数 回 归 模 型 。 如 果 表示反 应 变 量 与 解 释 变 量 之 间 数 量 关 系 的 回 归 函 数是由 有 限 参 数 所 决 定 , 该 模 型 为 参 数 回 归 模 型 ; 与之相 反 如 果 表 示 反 应 变 量 与 解 释 变 量 的 数 量 关系
3、不明 确 , 反 应 变 量 的 分 布 不 确 定 等 原 因 , 而 且 回归函数 只限制属 于 某 一 光 滑 函 数 类 , 且 回 归 函 数 属 于 某 个 函 数 的 集 合 , 则 该 模 型 属 于 非 参 数 回 归 模 型 。非 参 数 模 型 在 模 型 假 定 方 面 具 有 较 强 适 应 性 的 特 点 ,即 非 参 数 模 型 所 需 的 假 设 要 比 参 数 模 型 要 弱 , 因 此 应 用 范 围 更 广 ,适 应 数 据 变 化 的 能 力 更 强 。非 参数 回 归 方 法 中 不 管 是 核 函 数 法 、 最 近 邻 法 、 样条函数 法 , 还
4、 是 小 波 法 , 这 些 方 法 尽 管 起 源 不一样 , 方法 表 达 形 式 与 数 学 形 式 相 差 较 远 , 但 都 可 以 看 作 为 关 于 L i 的 线 性 组 合 的 某 种 权 函 数 。 权 函数方法 作为一种非 参 数 估 计 方 法 , 其 形 成 已 有 一 段在一 般实际问题 中 , 权 函数满足下 述条件nW n; i ( t: t1 , , tn ) 0, W n; i ( t: t1 , , tn ) = 1h h1i =( 3 ) 满足上 述 条 件 的 权 函 数 为 概 率 权 。 不 同 的 权 函 数 形式产生 了不同 的 估 计 方 法
5、 2 , 较 为 常 用 的 两 种 权 函数为核 权函数与 最 近 邻 权 函 数 , 由 此 产 生 的 非 参 数估计 为 核 估 计 和 近 邻 估 计 。 这 里 主 要 讨 论 核 权 函数估计 方法 。二 、 核 权函数 估计法核 权 函数是一种 最 重 要 的 权 函 数 , 文 献 2 介 绍了一种 适合式 ( 1 )的 核 函 数 , 即 选 定 Rd 空 间 上 的 核函数 K ( ) (一般 为概率密度 ) , 定义核 权函数为n较 长 的 历 史 , 但 对 这 种 方 法 的 研 究 则 始 于 Stone( 1977 ) , 基本思想 如下 1 :W n; i (
6、 t) = K t - ti Kh j = 1t - tjh, i = 1, , n( 4 )设 非线性模型 为L i = s ( ti ) + i则回归函 数表示为nhn nt - ti t - tjE ( ) = 0, E (i j ) = 0, i j N ( 0, 2 P - 1 )( 1 ) sn1 ( t) = W n; i ( t) L i = Ki = 1 i = 1 Kj = 1 L ih( 5)式中 , L i 为 观测量 ; i 为 随机误差 。 式中 , 窗宽 h ( w indow 2w id th ) 是 光 滑 参 数 。 当 d = 1设 权函数 W h ( t
7、) = W h ( t: t , , t ) , 这 表 明 ( )n; i hn; i 1 n 时 , K 以 - 1, 1 为其支撑 , K为对称 、 单峰时 ,W n; i ( t)的生 成 不 仅 与 ti 有 关 , 而 且 可 能 与 全 体 ti 或部分 ti 有关 。 则回归函 数 s ( t)的 估计 s ( t) 可 以则 s ( t)是集中在 t附 近 一 个 邻 域 的 样 本 的 加 权 平 均值 , 而 h 正好是 该邻域的宽 度 。 当 h 较 大时 , 参加平收稿 日期 : 2009 204 217sn3 ( t) = W ( t) L = im2hK t eh
8、 h hhhi i i 1iih hh h均的样 本 较 多 , 这 样 会 提 高 估 计 的 精 度 , 但 有 可 能 会 增大 偏差 , 当 h 较 小 时 则 正 好 相 反 。 因 此 同 密 度 估计一 样 , h 的 选 取 是 一 个 重 要 问 题 。 常 用 的 核 估 计除 sn1之 外 , 还 经常采用如 下形式核估 计n nh 1 t - tisn2 ( t) = Wi = 1nn; i ( t) L i = K L in h i = 1 hnhn; i iti - ti - 1 K t - ti L 图 5 K5 ( t)核函数 图 6 K6 ( t)核函数i =
9、 1 i = 2 h h假 定 K ( ) 为 R 1 上 的 核 函 数 , 若 K ( ) 有 支 撑 - 1, 1 , 且满足三 、 窗 宽参数 h 的选择在核 光滑估计 问 题 中 ,窗 宽 参 数 的 选 择 有 许 多1 1- 1 K ( t) d t = 1 ; - 1 t K ( t) d t = 0, i = 1, , m - 1;1方法 ,其 中 包 括 普 通 交 叉 核 实 与 广 义 交 叉 核 实 方法 。 普通 交 叉 核 实 与 广 义 交 叉 核 实 方 法 的 基 本 思- 1 t K ( t) d t = c (非 零常数 ) 想 最初由 C raven
10、与 W ahba 在 光 滑 样 条 与 病 态 问 题则称 K ( ) 为 一 维 m 阶 核 函 数 。 较 常 用 的 核 函 数有 3 24 中得 到 应 用 。 Green等加以推广 。 5 将 该 方 法 在 核 光 滑 应 用 中K1 ( t) = 1 exp ( - t ) , - 1L j = s ( tj ) = W n; i ( tj ) L i , j = 1, , n ( 6 )i = 1L = s ( t) =,t 5 h h hK3 ( t) = 20 5 W n; 1 ( t1 ) W n; 2 ( t1 ) W n; n ( t1 ) L10, t 5 W14
11、 ( ) = 2- | t | , - t n; 1 ( t2 ) W n; 2 ( t2 ) W n; n ( t2 ) L2 ( 7 )h h hW n; 1 ( tn ) W n; 2 ( tn ) W n; n ( tn ) L n1 , K5 ( t) = 20,| t | 1其 他令 K = K ( h ) =W t W t W tn; 1 ( 1 ) n; 2 ( 1 ) n; n ( 1 )1 - | t | , | t | 1 W ( t ) W h ( t ) W h ( t )K6 ( t) = 0, 其他n; 1 2 n; 2 2 n; n 2 ,核 函数图像如 图 1
12、 图 6所示 。 Wn; 1 ( tn ) W n; 2 ( tn ) W n; n ( tn )L1L2L = , 则有LnL = s ( t) = K ( h ) L ( 8 )图 1 K1 ( t)核函 数 图 2 K2 ( t)核 函数 即 H ( h ) = K ( h ) , 则广 义交叉核实GCV = RSS ( h )( 1 - n - 1 tr ( H ( h ) ) 2四 、 核 估计算 例( 9 )设 函 数 模 型 为 L = s ( t ) + , s ( t) = t + 0. 5 t2 +0. 05 t3 + 6 sin ( 2 t) ,观 测 误 差 为 N (
13、 0, 1) , i = 1, ,50, ti = 2 ( i - 1 ) / 50, 函 数 图 像 见 图 7 , 核 权 函 数 取图 3 K3 ( t)核函数 图 4 K4 ( t)核函数 式 ( 4) 。 核函 数分别取 K t , i = 1, , 6。 以 广 义 交i ( )叉核实 最 小 为 计 算 准 则 , 对 其 分 别 进 行 计 算 , 不 同 核函数的 窗 口 参 数 h 以 及 标 准 方 差 (单 位 权 方 差 0 )的计 算结 果 见 表 1。 图 7 与 图 8 分 别 显 示 核 函 数 取 函 数 K1 ( t)和 K2 ( t)时 , 曲 线 s1
14、 ( t)的估 计 结 果 。2 / 3观 测量 2取 s2 ( t) = t / ( 1 + t2) , ti N ( 0. 25, 1 ) , i =1, , 30, i N ( 0, 0. 2 ) , 则 观 测 量 为 L2 = s1 ( ti ) +0. 2N ( 0, 1 ) , 核权函 数 取 式 ( 4 ) , 核 函 数 取 K2 ( t) , 计算结果 见 图 9 、 图 1 0 , 当 h = 0. 836 时 , GCV 最 小 值为 3. 722, 0 = 0. 219。表 1 核估计 窗口参数 h 与标准方 差估值K1 ( t) K2 ( t) K3 ( t) K4
15、 ( t) K5 ( t) K6 ( t) 图 9 核函数 取 K t 时 s t 的核估计2 ( ) 2 ( )h 0. 12 0. 31 0. 12 0. 07 0. 25 0. 28 0 0. 970 1. 021 1. 047 0. 685 1. 076 0. 973图 10五 、 结 论图 7 核函数取 K1 ( t)时 s1 ( t)的核估计图 8 核函数取 K2 ( t)时 s1 ( t)的核估计参考文 献 : 1 STON E C J. Con sisten t Nonp a ram e tric R egre ssion J .A nn. Sta tist. , 1977, 5 ( 4) : 5952620.实验 表明 , 非 参 数 核 估 计 拟 合 曲 线 的 光 滑 度 与拟合效果 取 决 于 窗 口 参 数 与 样 本 的 大 小 以 及 采 样 点的间 隔 大 小 。 在 样 本 的 大 小 以 及 采 样 点 的 间 隔 大小一定 的情况下 , 正确选 择
