《概率论与数理统计：7-1点估计》由会员分享，可在线阅读，更多相关《概率论与数理统计：7-1点估计（53页珍藏版）》请在金锄头文库上搜索。
1、第七章 参数估计 7.1 点估计点估计7.3 估计量的评价标准估计量的评价标准7.4 区间估计区间估计7.5 正态总体均值与方差正态总体均值与方差区间估计区间估计7.6 （0-10-1）分布参数区间）分布参数区间7.7 单侧置信区间单侧置信区间第第4 4页页参数估计点估计区间估计假如我们要估计某队男生的平均身高.（假定身高服从正态分布 ） 现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 .设这5个数是: 1.65 1.67 1.68 1.78 1.69估计 为1.68， 这是点估计.估计 在区间1.57, 1.84内，这是
2、区间估计.第第7 7页页设 x1, x2, xn 是来自总体 X 的一个样本，我们用一个统计量 的取值作为 的估计值， 称为 的点估计（量），简称估计。在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题： 其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。思考：多个参数如何估计？第第8 8页页7.1 点估计的几种方法 7.1.1 替换原理和矩法估计替换原理和矩法估计 一、矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：用样本均值估计总体均值E(X)，即 ；用样本方差估计总体方差Var(
3、X)，即用样本的 p 分位数估计总体的 p 分位数，用样本中位数估计总体中位数。 第第9 9页页矩估计法 其基本思想是用样本矩估计总体矩 . 理论依据: 大数定律或格列汶科定理 它是基于一种简单的“替换”思想建立起来的一种估计方法 .是英国统计学家K.皮尔逊最早提出的 .矩法估计：矩法估计：用样本用样本 k 阶矩作为总体阶矩作为总体 k 阶矩的估计阶矩的估计量量, 建立含有待估参数的方程建立含有待估参数的方程, 从而解出待估参从而解出待估参数数第第1010页页设待估计的参数为设待估计的参数为设总体的设总体的 r 阶矩存在，记为阶矩存在，记为样本样本 X1, X2, X n 的的 r 阶矩为阶矩
4、为 含未知参数含未知参数 1, 2, , k 的方程组。的方程组。 未知参数未知参数 1, , k 的的矩估计量矩估计量第第1111页页例1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别为: 28.695, 0.9185 和 28.6。 矩法估计的实质实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。第第12
5、12页页解解用样本用样本K阶矩替换总体阶矩替换总体K阶矩，得到阶矩，得到矩估计量分别为矩估计量分别为例例2 一般不论总体服从什么分布一般不论总体服从什么分布, 总体期望总体期望 与方差与方差 2 存在存在, 则它们的矩估计量为则它们的矩估计量为第第1313页页例例3 3 设总体设总体 X E( ), X1, X2, Xn为总体的为总体的 样样本本, 求求 的矩法估计量的矩法估计量.解解故故思考：矩估计是唯一的吗？ 其优缺点？用样本用样本1阶矩替换总体阶矩替换总体1阶矩阶矩第第1414页页解得解得用样本用样本1阶矩替换总体阶矩替换总体1阶矩阶矩第第1515页页例例5 5 设总体设总体 X U (
6、a, b), a, b 未知未知, 求参数求参数a, b 的的 矩法估计量。矩法估计量。解解由于由于即即7-15第第1616页页极大似然估计法 是在总体类型已知条件下使用的一种参数估计方法 . 它首先是由德国数学家高斯在1821年提出的 , GaussFisher然而，这个方法常归功于英国统计学家费歇 . 费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 .7.1.2 极(最)大似然估计 第第1717页页 极大似然法的基本思想极大似然法的基本思想一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起外某位同学与一位猎人一起外出打猎出打猎
7、 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . 你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人命猎人命中的概率一般大于这位同学命中的概中的概率一般大于这位同学命中的概率率. 看来这一枪是猎人射中的看来这一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似然法的这个例子所作的推断已经体现了极大似然法的基本思想基本思想 .第第1818页页定义 设总体的概率函数为P(x; )，是参数 可能取值的参数空间，x1, x2 , , xn 是样本，将样本的联合概率函数看成 的函数，用L( ; x1, x2, , xn) 表示，简
8、记为L( )， 称为样本的似然函数。 如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。 第第1919页页人们通常更习惯于由对数似然函数lnL( )出发寻找 的极大似然估计。当L( )是可微函数时，求导是求极大似然估计最常用的方法，对lnL( )求导更加简单些。思考：多个参数时极大似然估计如何做？思考：多个参数时极大似然估计如何做？答：此时似然函数为答：此时似然函数为使似然函数取得最大值使似然函数取得最大值为为似然方程组似然方程组。第第2020页页解解似然函数似然函数例例6第第2121页页这一估计量与矩估计量是相同的。这
9、一估计量与矩估计量是相同的。第第2222页页例例7：设一个试验有三种可能结果，其发生的概设一个试验有三种可能结果，其发生的概率分别为率分别为现做了现做了n次试验，观察到三种结果发生的次数为次试验，观察到三种结果发生的次数为解：解： 由题意得似然函数为由题意得似然函数为，求，求 最大似然估计值最大似然估计值第第2323页页将之关于将之关于 求导并令其为求导并令其为0得到似然方程得到似然方程解得：解得：由于由于所以所以 是极大似然点是极大似然点第第2424页页例例8 8 设总体设总体 X N ( , 2), x1, x2, xn 是是 X的样本的样本值值, 求求 , 2 的极大似然估计。的极大似然
10、估计。解解7-26第第2525页页 , 2 的极大似然估计量分别为的极大似然估计量分别为似然似然方程方程组为组为7-27 思考思考1) 待估参数的极大似然估计是否一定存在待估参数的极大似然估计是否一定存在?2) 若存在若存在, 是否惟一是否惟一? 虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。例如下例。第第2626页页第第2727页页令令例例9（续）（续）.设设X服从服从0,区间上的均匀分布区间上的均匀分布,参数参数0,求求的最大似然估计的最大似然估计.解解:由题意得由题意得:无解无解.基本方法失效基本方法失效.考虑考虑L的取值的取值,要使要使L取值最大取值最大,
11、应最小应最小,取取此时此时,L取值最大取值最大,所以所以,所求最大似然估计为所求最大似然估计为应用最大似然估计基本思想应用最大似然估计基本思想: L越大越大,样本观察值越可能出现样本观察值越可能出现.第第2929页页 极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g( )，其极大似然估计为 。 该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。 第第3030页页概率 的MLE是 ；总体0.90分位数 x0.90= + u0.90 的MLE是 ，其中u0.90为标准正态分布的0.90分位数。 标准差 的MLE是 ； 例10 设
12、x1 , x2 , , xn是来自正态总体N( , 2) 的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是: 第第3131页页附录1、思考：多个参数如何估计？2、常用的点估计方法-频率替换法。3、思考：矩估计是唯一的吗？其优缺点？4、极大似然估计思想的举例。5、思考:6、应用：用极大似然法估计湖中的鱼数。1) 待估参数的极大似然估计是否一定存在?2) 若存在, 是否惟一?第第3232页页点估计的思想方法点估计的思想方法 设总体设总体X 的分布函数的形式已知的分布函数的形式已知, 但含有但含有一个一个或多个未知参数：或多个未知参数： 1, 2, , k 设设 X
13、1, X2, X n为总体的一个样本。为总体的一个样本。构造构造 k 个统计量：个统计量：随机变量随机变量1 1、思考：多个参数、思考：多个参数如何估计？如何估计？第第3333页页当测得样本值当测得样本值(x1, x2, x n)时时,代入上述方程代入上述方程组，即可得到组，即可得到 k 个数：个数：数数 值值称数称数为未知参数为未知参数的的估计值估计值对应统计量对应统计量 为未知参数为未知参数的的估计量估计量建立建立k个方程：个方程：第第3434页页2、常用的点估计方法、常用的点估计方法q 频率替换法频率替换法利用事件利用事件A 在在 n 次试验中发生的频率次试验中发生的频率作为事件作为事件
14、A 发生的概率发生的概率 p 的估计量。的估计量。7-7第第3535页页例例 设总体设总体X N ( , 2 ), 在对其作在对其作28 次次 独立观察中独立观察中, 事件事件 “X 4” 出现了出现了21 次次, 试试用频率替换法求参数用频率替换法求参数 的估计值。的估计值。解解 由由查表得查表得7-8于是于是 的估计值为的估计值为75. 02821)24() 4(=-F=XP675. 024=-045. 3第第3636页页另外，另外， 用矩法估计事件发生的概率用矩法估计事件发生的概率p。可得。可得即可用事件发生的频率来估计概率。即可用事件发生的频率来估计概率。第第3737页页例 设总体服从
15、指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为 另外，由于Var(X)=1/2，其反函数为 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。3、思考：矩估计是唯一的吗？其优缺点？第第3838页页矩估计的优点：矩估计的优点：直接、简便直接、简便缺点：缺点：未充分利用分布信息未充分利用分布信息第第3939页页 例例 设设XB(1,p), p未知未知.设想我们事先知设想我们事先知道道p只有两种可能只有两种可能:问问:应如何估计应如何估计p?p=0.7 或或 p=0.3如今重复
16、试验如今重复试验3次次,得结果得结果: 0 , 0, 0由概率论的知识由概率论的知识, 3次试验中出现次试验中出现“1”的次数的次数k=0,1,2,34、极大似然估计思想的举例。第第4040页页 将计算结果列表如下：将计算结果列表如下：应如何估计应如何估计p?p=0.7 或或 p=0.3k=0,1,2,3p值值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027出现出现估计估计出现出现出现出现出现出现估计估计估计估计估计估计0.3430.4410.4410.343第第4141页页如
17、果有如果有p1,p2,pm可供选择可供选择, 又如何合理地又如何合理地选选p呢呢?从中选取使从中选取使Qi 最大的最大的pi 作为作为p的估计的估计.i=1,2,m则估计参数则估计参数p为为时时Qi 最大最大,比方说比方说,当当 若重复进行试验若重复进行试验n次次,结果结果“1”出现出现k次次(0 k n), 我们计算一切可能的我们计算一切可能的 P(Y=k; pi )=Qi ， i=1,2,m第第4242页页 如果只知道如果只知道0p1,并且实测记录是并且实测记录是 Y=k (0 k n),又应如何估计又应如何估计p呢呢?注意到注意到是是p的函数的函数,可用求导的方法找到使可用求导的方法找到
18、使f (p)达到达到极大值的极大值的p .但因但因f (p)与与lnf (p)达到极大值的自变量相同达到极大值的自变量相同,故问题可转化为求故问题可转化为求lnf (p)的极大值点的极大值点 .=f (p)第第4343页页将将ln f (p)对对p求导并令其为求导并令其为0,这时这时, 对一切对一切0p0,令令第第4848页页求导并令其为求导并令其为0=0从中解得从中解得即为即为 的的MLE .对数似然函数为对数似然函数为第第4949页页 设设 X U ( a , a + ), x1, x2, xn 是是 X的的一个样本一个样本, 求求 a 的极大似然估计值。的极大似然估计值。解解由上例可知由
19、上例可知, 当当时时, L 取最大值取最大值 1, 即即 显然显然, a 的极大似然估计值可能不存在，也的极大似然估计值可能不存在，也可能不惟一。可能不惟一。5 5、思考、思考第第5050页页不仅如此不仅如此, 任何一个统计量任何一个统计量若满足若满足都可以作为都可以作为 a 的估计量。的估计量。7-34第第5151页页思考题：为了估计湖中的鱼数N，第一次捕上r条鱼，做上记号后放回. 隔一段时间后, 再捕出S条鱼, 结果发现这S条鱼中有k条标有记号.根据这个信息，如何估计湖中的鱼数呢？6、应用：用极大似然法估计湖中的鱼数第第5252页页第二次捕出的有记号的鱼数X是r.v, X具有超几何分布：第第5353页页应取使L(N;k)达到最大的N，作为N的极大似然估计. 但用对N求导的方法相当困难, 我们考虑比值：把上式右端看作N的函数，记作L(N;k) .经过简单的计算知，这个比值大于或小于1，或而定 .由这就是说，当N增大时，序列P(X=k;N)先是上升而后下降; 当N为小于 的最大整数时, 达到最大值 . 故N的极大似然估计为
