《3chap02参数估计》由会员分享，可在线阅读，更多相关《3chap02参数估计（32页珍藏版）》请在金锄头文库上搜索。
1、第二章 参数估计 29 第 二 章 参 数 估 计 从这章 起 ， 我们 进入 数理 统计的 核心 部分 统计 推断 。 统计 推断 的意 义是 指如何 根据样本来 对总 体的 种种 特征 作出推 断 。 统 计推断 理论 在情报 资料 的综 合与 分析 、 图 像处 理 ， 从带有噪 声的 信息 中提 取有 用的信 号 ， 对 各种试 验数 据的处 理 ， 天 气预报 ， 地 震资料 分析 以及在工农 业生 产等 方面 都有 广泛的 应用 。 统 计推 断理 论的主 要内 容分 为两 大类 ： 总体 参数 估计和统计 假设 检验 。 这 一章 先讨论 参数 估计 。 1 参 数 估 计 的
2、意 义 及 种 类 一 、 参数估计 用直方 图求 随机 变量 （ 总 体 ） 的 分布 密度 ， 要 求样 本容量 大 ， 即是 说原 始数 据要多 ， 一般至少 要 50 个以 上 。 不过 实际中 常常 碰到 的问 题并 不要求 把分 布密 度求 出来 ， 例如 分布 函数 F （ x ； 1q ， 2q ， hq ） 类型 已知 ， 而每 个参 数 iq （ i = 1 ， 2 ， ， k ） 未 知 ； 或者 ，分 布 函 数 F （ x ； 1q ， 2q ， hq ） 类型 未 知 ， 所 关心 的 只是 总体 中 的 某一 些数 字 特征 。从以下 例子 就可 以看 到这 类问
3、题 的要 求 。 例 1 . 1 某 电 话 局 在 单 位 时 间 间 隔 内 收 到 呼 唤 的 次 数 是 服 从 泊 松 分 布 j ( x ； l ）=!xxlel-， 但其 参数 l 未知 ， 问 题在 于估计 l 。 例 1. 2 产 品的 某些 质量 指标 x （ 如钢 筋强 度 ） 很多 是服 从正态 分布 j （ x ； a ， s ） =( )22212xeasp s-， 但其参数 a 、 s 未 知 ， 问题在 于估计 a 、 s 。 例 1. 3 长江 某水 文站 最高 水 位 X 服从 G 分布 j （ x ； a ， b ） =( )1 xx eaa bba- -
4、G（ 0 x=-0,00,xxexxlllj样本为 ),(21 nXXX L ， 试 用矩 法求 l 的估 计量 l),(21 nXXX L 解 ： 因 用样本 均值=C=Cniin11去估 计总 体均 值l1=E X ， 则 有 l)111= niiXnEX， =niiXn1l)可以证 明 ， 当样 本容 量 n 无限增 大时 ， 样 本矩 与其 相对应 的总 体矩 任意 接近 的概率 趋 于1 。 因 此当 n 无限 增大 时 ， 用矩法 来估 计总 体的 各个 参数一 定可 以达 到任 意精 确 的程 度 。 除第二章 参数估计 32 了上述 优点 外 ， 矩法 还不 依赖于 总体 分布
5、 的具 体形 式 ， 因而 适用 性广 。 缺 点 是由于 这方 法太一般化 了 ， 因而 对特 定的 一些分 布 ， 它可 能不 如专 门的估 计量 好 。 总之 ， 矩 法是很 常用 的 。比 如 ， 不 论 什 么 分布 用 样本 均 值=C=Cniin11都 可 以 作 为 总 体 均值 （ 数 学 期 望 E X ） 的 估计量 ， 即 C=EX（ 2. 1 ） 可以用 样本 二阶 中心 矩 ( )=C-C=niinS1221作为总体 方差 D X 的估 计量 ， 即 2SD X =（ 2.2 ） 二 、 极大似然估计法 无论总 体分 布类 型已 知或 未知 ， 对其 参数 的估 计
6、 ， 矩法都 是可 行的 。 对 于总 体分布 类型已知 ， 则估 计它 的参 数最 好 用极大 似然 估计 法 ， 因这 种 方法不 仅可 行 ， 而且 它有 很 多优良 性 。这里我 们先 介绍 似然 函数 ， 并结 合实 例讲 讲这 种方 法的基 本思 想 ， 再谈 极大 似然估 计法 。 1 似然函 数 设样本 ),(21 nXXX L 为来 自分 布密 度为 ),;(21 kxf qqq L 的总 体 X ，jq 为参 数 ，kj ,2,1 L= ， 其 联 合 分 布 密 度 就 称 为 似 然 函 数 ， 由 于 我 们 强 调 它 是jq 的 函 数 ， 故 记 作),2,(1
7、 kL qqq L =nikikxfL111),2,;(),2,( qqqqqq LL （ 2.5 ） 2 极大似 然估 计量 如果 )( q)L 在 q)达到 最大 值 ， 则 称jq)分布是参 数jq 的极大 似然 估计 量 （ kj ,2,1 L= ） 。 值得注 意的 是 ， 极大 似然 估计量jq)（ kj ,2,1 L= ） 当然 与样 本 ),(21 nXXX L 有关 ， 它是样本 的函 数 ， 即 ),(21 njjXXX L)qq = 。 3 极大似 然估 计法 极大似 然估 计法 就是 当我 们用样 本估 计总 体的 参数 值时 ， 应使 得当 参数 取这 些值时 ， 所
8、观察到 的样 本出 现的 概率 为最大 。 极 大似 然估 计法 的直观 想法 是 ： 一个 试验 者有若 干个 结果A 、 B 、 C 。 如 果 A 实 际上 出现 ， 则当 然应 认为 试验 的条件 更有 利于 A 的 出现 ， 例如 有一 事第二章 参数估计 33 件 ， 我 们知 道它 出现 的概 率中只 有两 个可 能 ： 0.01 或 0.99 ， 如 果在 一次 观测 中 ， 这 一事 件出现了 ， 则 我们 自然 地更 倾向于 认为 它出 现的 概率 是 0.9 9 。 为了介 绍极 大似 然估 计法 的基本 思想 ， 我 们考 虑一 个简单 的例 子 。 一个 箱内 有黑色
9、 白 色球共 4 个 。 今 抽球 三次 （ 每次抽 后均 放回 ） ， 得到 2 次白球 ， 1 次黑 球 。 问如 何估计 箱内 白球的个 数 ？ 如果 一般 地说 ， 抽球 三次 得 到 k 个 白球 ， 3 - k 个黑 球 ， 应如 何估 计白球 个数 ？ 记 X 为 抽得 白球 的个 数 ， 显然 X 应该 服从 二项 分布 ( )pb ,3 ， 其 中 p 值为 一次 抽中 白 球的概 率 ， 应 与 箱 内 白 球 总 数 有 关 。 我 们 可 以 求 出 在 p 已 知 时 ， 3,2,1,0=x 的 概 率 分 别 为( )301 pp - ， ( )213 pp - ，
10、 ( )pp -132， 及3p 。 对于 箱内 白球 总数为 0 ， 1 ， 2 ， 3 ， 4 时 分别得 到 p 的 五个 值 ： 0 ，41，42，43， 1 。 其 分布 列表 成表 2 .1 表 2.1 x = 0 x = 1 x = 2 x = 3 0 0 1 0 0 0 1 416 42 76 42 76 496 412 426 486 42 46 42 46 483 436 416 496 42 76 42 74 1 0 0 0 1 这个表 横着 看 ， 每一 行都 是一个 二项 分布 的概 率分 布表 。 这是 认 为 p 给 定而 列出来 的 。我们可 以从 另一 个角
11、度来 看这张 表 ， 竖 着看 每一 列 。 这 时 X= x 给 定了 ， p 反而 是变量 。 例如第 三 列 就 是 已 知 抽 中 白 球 为 2 的 情 况 。 当 0=p 时 ， 02 =XP ； 当41=p 时 ， 6 492 =XP ； 当21=p 时 ， 836 42 42 =XP ； 当43=p 时 ， 6 42 72 =XP ； 当1=p 时 ， 02 =XP ， 那么 ， 在已 知 X = 2 时 ， 如何 估计 p 呢 ？ 一 个最 自然的 想法 就是 选使 2=XP 达到 最大 的 p 值 ， 从表 中 看 ，43=p 时出现 2=X 的可 能性 最大 ， 也即当
12、2=x时 ， 看来这五个总 体 （ 1,41,0 L=p ） 中43=p 的总体 “ 最像 ” 是出现此结果的总体 。 也抽中白球数 x 箱内 白球数 P 第二章 参数估计 34 就是说 ， 2=x 时 ， ( )pLLpm ax43=， 我们 就取43作为 p 的 估计 量 p)。 同样 ， 可得 其 它值 。 总 之 ， ( )=3,12,431,410,0XXXXXp)我们这 样做 ， 就 是根 据样 本的具 体情 况来 选择 p)， 使 得该样 本发 生的 可能 性最 大 ， 这 样选择出 现概 率最 大的 一个 p)作为参 数 p 的 估计 量 ， 也 就是极 大似 然估 计法 的原
13、 理 。 这 里有意无意 地用 到了 “ 概 率最 大的事 件最 可能 出现 ” 的 原理 。 根据同 样的 思想 方法 ， 可 估计连 续型 总体 的参 数 。 由极大 似然 估计 量的 定义 可知 ， 求总体参数jq 的极 大似 然估 计量jq)的问题 ， 就 是求 似然 函数 L 的最大 值问 题 。 在 L 关 于jq 可微时 ， 要 使 L 取 得最 大值 ， 诸jq 必须满 足下 列方 程组 （ 似然 方程 组 ） ： 0=jLq( )kj ,2,1 L= （ 2.6 ） 从此方 程组 可解 得参 数jq 的极大似 然估 计量jq)。 由 于 l n x 是 x 的 增函 数 ，
14、因此 ， L 与 l nL在相同 的点 达到 最大 ， 所 以上方 程组 可以 用下 列方 程组来 代替 。 0ln=jLq( )kj ,2,1 L= （ 2.7 ） 后者比 前者 在实 际上 往往 来得方 便 。 例 2 .4 设总 体 X 服 从泊 松分 布 ： ll-= ekkXpk!( )L,2,1,0=k ， 样本为 ),(21 nXXX L ， 求 参数 l 的最 大似 然估计 量 。 解 ： 设 样本 观测 量为 ),(21 nkkk L ( )=-=ni iknnkkkkeekekekLin121!21lllllllllL 第二章 参数估计 35 或 ( )=+-=ni ikk
15、nLi1!l nl nlll 故 =+-=niikndLd11)(l nlll令上式 为 0 ， 得 解为=niikn11l l 的最大 似然 估计 量为 XXnnii= 11l)（ 2.8 ） 这就是 说 ， 泊松 分布 参数 l 的最大 似然 估计 量是 样本 的均值 。 例 2 .5 设 ),(21 nXXX L 为来自正 态总体 ),(2saN 的样本 。 求总体均 值 a 与方差2s 的极大 似然 估计 量 解 ： 似 然函 数为 2212 2( x )( x )222 2211 1L22nii innie eaas sa sp sp s=- -= = （ ， ） =或 ( ) ( )2122222)(l n22l n,l nsaspsa -=-niinxnL 解似然 方程 组 ( )( )( )( )( )=-+-=-=0212,l n01,l n1222222122niiniixnLxLassssaasasa解得估 计量 XXnnii= 11a)， ( ) (
