《北邮考研概率论与数理统计7.1点估计(1).》由会员分享，可在线阅读，更多相关《北邮考研概率论与数理统计7.1点估计(1).（49页珍藏版）》请在金锄头文库上搜索。
1、第七章 参数估计 7.1 点估计 7.3 估计量的评价标准 7.4 区间估计 7.5 正态总体均值与方差区间估计 7.6 （0-1）分布参数区间 7.7 单侧置信区间 第第2 2页页 作出推断 统计就是利用统计量对总体进行统计推断 ，而此项工作取决于其抽样分布的性质. 总体 样 本 统计量 描述 随机抽样 第第3 3页页 现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数或者参数的某些函数. 估计废品率 估计新生儿的体重 估计湖中鱼数 估计降雨量 第第4 4页页 参数估计 点估计 区间估计 假如我们要估计某队男生的平均身高. （假定身高服从正态分
2、布 ） 现从该总体选取容量为5的样本，我们 的任务是要根据选出的样本（5个数）求出总 体均值 的估计. 而全部信息就由这5个数组 成 . 设这5个数是: 1.65 1.67 1.68 1.78 1.69 估计 为1.68， 这是点估计. 估计 在区间1.57, 1.84内，这是区间估计. 第第5 5页页 使用什么样的统计量去估计 ？ 可以用样本均值; 也可以用样本中位数; 还可以用别的统计量 . 问题是: 我们知道,服从正态分布 由大数定律, 第第6 6页页 自然想到把样本体重的平均值作为总体平均 体重的一个估计. 类似地，用样本体重的方差 . 用样本体重的均值 样本体重的平均值 第第7 7页
3、页 设 x1, x2, xn 是来自总体 X 的一个样本 ，我们用一个统计量 的取 值作为 的估计值， 称为 的点估计（量 ），简称估计。在这里如何构造统计量 并没有明确的规定，只要它满足一定的合 理性即可。这就涉及到两个问题： 其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。 思考：多个参数如何估计？如何估计？ 第第8 8页页 7.1 点估计的几种方法 7.1.1 替换原理和矩法估计 一、矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数，譬如： 用样本均值估计总体均值E(X)，即 ； 用样本方差估计总体方差Var(X)，即
4、 用样本的 p 分位数估计总体的 p 分位数， 用样本中位数估计总体中位数。 第第9 9页页 矩估计法 其基本思想是用样本矩估计总体矩 . 理论依据: 大数定律或格列汶科定理 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 矩法估计：用样本 k 阶矩作为总体 k 阶矩的估计 量, 建立含有待估参数的方程, 从而解出待估参数 第第1010页页 设待估计的参数为 设总体的 r 阶矩存在，记为 样本 X1, X2, X n 的 r 阶矩为 含未知参数 1,2, ,k 的 方程组。 未知参数 1, ,k 的矩估计量 第第1111页页 例1 对某型号的
5、20辆汽车记录其每加仑汽油 的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分 别为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总 体分布，其理论基础是格里纹科定理。 第第1212页页 解 用样本K阶矩替换总体K阶矩，得到 矩估计量分别为 例2 一般不论总体服从什么分布, 总体期望 与方差 2 存在, 则它们的矩估计量为
6、第第1313页页 例3 设总体 X E(), X1, X2, Xn为总体的 样 本, 求 的矩法估计量. 解 故 思考：矩估计是唯一的吗？ 其优缺点？ 用样本1阶矩替换总体1阶矩 第第1414页页 解得 用样本1阶矩替换总体1阶矩 第第1515页页 例5 设总体 X U (a, b), a, b 未知, 求参数a, b 的 矩法估计量。 解由于 即 7-15 第第1616页页 极大似然估计法 是在总体类型已知条件下使用的一种 参数估计方法 . 它首先是由德国数学家 高斯在1821年提出的 , Gauss Fisher 然而，这个方法常归功于 英国统计学家费歇 . 费歇在1922年重新发现了 这
7、一方法，并首先研究了这 种方法的一些性质 . 7.1.2 极(最)大似然估计 第第1717页页 极大似然法的基本思想 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一起外 出打猎 . 如果要你推测，你会如何想呢? 只听一声枪响，野兔应声倒下 . 你就会想，只发一枪便打中,猎人命 中的概率一般大于这位同学命中的概 率. 看来这一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似然法的 基本思想 . 第第1818页页 定义 设总体的概率函数为P(x; )，是参 数 可能取值的参数空间，x1, x2 , , xn 是样本，将样本的联合概率函数看成 的函数，用L( ; x 1, x2,
8、 , xn) 表示，简记 为L( )， 称为样本的似然函数。 如果某统计量 满足 则称 是 的极(最)大似然估计，简记 为MLE（Maximum Likelihood Estimate）。 第第1919页页 人们通常更习惯于由对数似然函数lnL( )出发寻 找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最 常用的方法，对lnL( )求导更加简单些。 思考：多个参数时极大似然估计如何做？ 答：此时似然函数为 使似然函数取得最大值 为似然方程组。 第第2020页页 解 似然函数 例6 第第2121页页 这一估计量与矩估计量是相同的。 第第2222页页 例7：设一个试验有三种可能
9、结果，其发生的概 率分别为 现做了n次试验，观察到三种结果发生的次数为 解： 由题意得似然函数为 ，求 最大似然估计值 第第2323页页 将之关于 求导并令其为0得到似然方程 解得： 由于 所以 是极大似然点 第第2424页页 例8 设总体 X N (, 2), x1, x2, xn 是 X的样本 值, 求 , 2 的极大似然估计。 解 7-26 第第2525页页 , 2 的极大似然估计量分别为 似然 方程 组为 7-27 思考 1) 待估参数的极大似然估计是否一定存在? 2) 若存在, 是否惟一? 虽然求导函数是求极大似然估计最常用的方法，但 并不是在所有场合求导都是有效的。例如下例。 第第
10、2626页页 第第2727页页 令 例9（续）.设X服从0,区间上的均匀分布,参数 0,求的最大似然估计. 解:由题意得: 无解.基本方法失效. 考虑L的取值,要使L取值最大,应最小, 取此时,L取值最大, 所以,所求最大似然估计为 应用最大似然估计基本思想: L越大,样本观察值越可能出现. 第第2929页页 极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g( )，其极 大似然估计为 。 该性质称为极大似然估计的不变性，从而使一些 复杂结构的参数的极大似然估计的获得变得容易了。 第第3030页页 概率 的MLE是 ； 总体0.90分位数 x0.90= + u0.9
11、0 的MLE是 ，其中u0.90为标准正态分布的0.90分位数。 标准差 的MLE是 ； 例10 设 x1 , x2 , , xn是来自正态总体N( , 2) 的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然 估计，它们是: 第第3131页页 附录 1、思考：多个参数如何估计？ 2、常用的点估计方法-频率替换法。 3、思考：矩估计是唯一的吗？其优缺点？ 4、极大似然估计思想的举例。 5、思考: 6、应用：用极大似然法估计湖中的鱼数。 1) 待估参数的极大似然估计是否一定存在? 2) 若存在, 是否惟一? 第第3232页页 点估计的思想方法 设总体X 的分布函数的形式已知,
12、 但含有一个 或多个未知参数：1,2, ,k 设 X1, X2, X n为总体的一个样本。 构造 k 个统计量： 随机变量 1、思考：多个参数如何估计？ 第第3333页页 当测得样本值(x1, x2, x n)时,代入上述方程 组，即可得到 k 个数： 数 值 称数为未知参数的估计值 对应统计量 为未知参数的估计量 建立k个方程： 第第3434页页 2、常用的点估计方法 q 频率替换法 利用事件A 在 n 次试验中发生的频率 作为事件A 发生的概率 p 的估计量。 7-7 第第3535页页 例 设总体X N ( , 2 ), 在对其作28 次 独立观察中, 事件 “X 4” 出现了21 次,
13、试 用频率替换法求参数 的估计值。 解 由 查表得 7-8 于是 的估计值为 75. 0 28 21 ) 2 4 () 4(= - F= XP 675. 0 2 4 = - 045. 3 第第3636页页 另外， 用矩法估计事件发生的概率p。可得 即可用事件发生的频率来估计概率。 第第3737页页 例 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为 另外，由于Var(X)=1/ 2，其反函数为 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的， 这是矩法估计的一个缺点，此时通常应该尽量采 用低阶矩给出未知参数的估计。 3、思考：矩
14、估计是唯一的吗？其优缺点？ 第第3838页页 矩估计的优点：直接、简便 缺点：未充分利用分布信息 第第3939页页 例 设XB(1,p), p未知.设想我们事先知道 p只有两种可能: 问:应如何估计p? p=0.7 或 p=0.3 如今重复试验3次,得结果: 0 , 0, 0 由概率论的知识, 3次试验中出现“1”的次数 k=0,1,2,3 4、极大似然估计思想的举例。 第第4040页页 将计算结果列表如下： 应如何估计p?p=0.7 或 p=0.3 k=0,1,2,3 p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027 出现 估计 出现 出现 出现 估计 估计 估计 0.3430.441 0.4410.343 第第4141页页 如果有p1,p2,pm可供选择, 又如何合理地 选p呢? 从中选取使Qi 最大的pi 作为p的估计. i=1,2,m 则估计参数p为 时Qi 最大,比方说,当 若重复进行试验n次,结果“1”出现k次 (0 k n), 我们计算一切可能
