参数估计点估计

《 参数估计点估计》由会员分享，可在线阅读，更多相关《 参数估计点估计（87页珍藏版）》请在金锄头文库上搜索。

1、统计推断参数估计假设检验点估计区间估计矩估计 最大似然估计参数假设检验非参数假设检验最小二乘估计第三章 参数估计3.1 点估计设总体X的分布函数为F(x;), 为待估计参数，X1,X2,Xn是X的样本， x1, x2, xn是相应样本值。Question：如何利用这些信息估计参数？Answer：构造一个适当的统计量用它的观察值作为的近似值。称为的估计量，称为的估计值。1.矩估计法理论依据：辛钦大数定律由英国统计学家K.皮尔逊提出.且具有数学期望辛钦设随机变量序列X1 , X2 , 独立同分布，则对任意0，有K.皮尔逊命题 若总体X 的 k 阶矩存在，证独立、 同分布辛钦大数定律独立、 同分布为

2、X的样本，则矩估计的基本思想：令若X为连续型随机变量，设概率密度为令其中为X的样本，解出称为的矩估计量。例1 设总体X 的概率密度为解 是未知参数,其中X1,X2,Xn是取自X 的样本,求参数的矩估计量.令， 则的矩估计量为例2 设总体一个样本，求 的矩估计量。为X 的Answer:若X为离散型随机变量，设其分布律为令其中为样本，解出例3 设总体X的分布律为其中参数未知，现有一组样本值解的矩估计值为1, 1, 1, 3, 2, 1, 3, 2, 2, 1, 2, 2, 3, 1, 1, 2试求的矩估计值。令Question: 设X的概率密度为设 X1, X2,Xn为X的样本，求参数的矩估计量。

3、Answer:的矩估计量不存在。练 习P 68：1, 3, 42. 最大似然估计 1821年,德国数学家高斯提出最大似然估计法； 1922年,费歇重新发现了这一方法，并研究了这种方法的统计性质 。GaussFisher最大似然法的基本思想：问题：请推断兔子是谁打中的？例1 袋中放有白球和黑球共4个，今进行3次有放回抽样，每次抽取1个，结果抽得2次白球1次黑球，试估计袋中白球个数。解 设袋中白球个数为m，X为3次抽样中抽得的白球数，则当袋中白球数m分别为1,2,3时，p对应的值分别为1/4,2/4,3/4，X对应的分布律见下表袋中白 球数mp抽到白球数xx=0x=1x=2x=311/422/43

4、3/4袋中白 球数mp抽到白球数xx=0x=1x=2x=311/427/6422/433/4袋中白 球数mp抽到白球数xx=0x=1x=2x=311/427/6427/6422/433/4袋中白 球数mp抽到白球数xx=0x=1x=2x=311/427/6427/649/6422/433/4袋中白 球数mp抽到白球数xx=0x=1x=2x=311/427/6427/649/641/6422/433/4袋中白 球数mp抽到白球数xx=0x=1x=2x=311/427/6427/649/641/6422/48/6424/6424/648/6433/4袋中白 球数mp抽到白球数xx=0x=1x=2x

5、=311/427/6427/649/641/6422/48/6424/6424/648/6433/41/649/6427/6427/64袋中白 球数mp抽到白球数xx=0x=1x=2x=311/427/6427/649/641/6422/48/6424/6424/648/6433/41/649/6427/6427/64当p=3/4时，PX=2的概率最大，估计袋中白球个数为3比较合理。其分布律为，其中未知。为X 的样本，为X 的样本值， X 为离散总体情形称为似然函数。当时，称称为的最大似然估计量；称为的最大似然估计值。表示取到样本值的概率具体算法：令两边取对数令设X1,X2,Xn是取自总体 X

6、b(1, p) 的一个例2样本，求参数p的最大似然估计值。解例3 设 X1, X2, , Xn 是取自总体 X 的一个样本,，求参数的最大似然估计量。似然函数为:最大似然估计量为(2)X为连续型随机总体情形设X的概率密度为f(x,), 未知，为X 的样本，为样本值，则的联合密度为称为似然函数求使称为的最大似然估计量；称为的最大似然估计值。例4 设 X1, X2, , Xn 是取自总体 X 的一个样本,，求参数的最大似然估计值。解似然函数当令所以时例5 设 X1, X2, , Xn 是取自总体 X 的一个样本,，求参数的最大似然估计值。解令所以的最大似然估计值为例6 设 X1, X2, , Xn

7、 是取自总体 X 的一个样本,，求参数 a , b 的最大似然估计值。解似然函数所以所以则要使得取最大值注：特殊的似然函数通过求导得不到其最值点， 需要用似然估计的思想来求。例7设 X1, X2, , Xn 是取自总体 X 的一个样本,求 参数 和的矩估计量； 参数 和的最大似然估计量。解 令所以解得参数和的矩估计量为 设x1, x2, , xn是X1, X2, , Xn的样本值，则似然函数为其中当时令第二个似然方程求不出的估计值，观察，表明L是的严格递增函数，又，故当时L 取到最大值从而参数和的最大似然估计值分别为所以参数和的最大似然估计量分别为例8 设总体X的分布律为其中参数未知，现有一组

8、样本值解试求的极大似然估计值。1, 1, 1, 3, 2, 1, 3, 2, 2, 1, 2, 2, 3, 1, 1, 2例9 设一个试验有三种可能结果，其发生概率分别为现做了n次试验，观测到三种结果发生的次数分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，求的最大似然估计值。解 似然函数为令极大似然估计的不变性练习1 ：设总体在上服从均匀分布，和最大似然估计.设X1,X2,Xn是取自总体X的一个样本求 的极大似然估计.其中 0,2.一、基本概念 1.寿命分布产品寿命T 是一个随机变量,它的分布称为寿命分布.(一种典型的寿命试验)2. 完全样本3.2 基于截尾样本的最大似然

9、估计如果不能得到完全样本, 就考虑截尾寿命试验.3. 两种常见的截尾寿命试验(1) 定时截尾寿命试验(2) 定数截尾寿命试验二、基于截尾样本的最大似然估计1. 定数截尾样本的最大似然估计设产品的寿命分布是指数分布,其概率密度是设有n个产品投入定数截尾试验, 截尾数为m,得定数截尾样本为了确定似然函数, 观察上述结果出现的概率.上述观察结果出现的概率近似地为 取似然函数为对数似然函数为2. 定时截尾样本的最大似然估计设定时截尾样本与上面讨论类似,得似然函数为例 设电池的寿命服从指数分布,其概率密度为随机地取50只电池投入寿命试验, 规定试验进行到其中有15只失效时结束试验, 测得失效时间(小时)

10、为115, 119, 131, 138, 142, 147, 148, 155, 158, 159, 163, 166, 167, 170, 172. 解常用的估计量评价标准：1无偏性2有效性3相合性本节重点介绍前面两个标准 .3.3 估计的评选标准对同一个参数，用不同的估计方法求出的估计量可能不相同，采用哪一个估计量好呢?而它的期望值等于未知参数的真值. . 真值1无偏性估计量是随机变量， 对于不同的样本值会得到不同的估计值 .我们希望估计值在未知参数真值附近摆动，这就导致无偏性这个标准 .定义1 设 是未知参数的估计量存在，且对任意的，有则称 为的无偏估计。无偏性的实际意义是指没有系统偏差

11、则称是的渐近无偏估计量.例如 设总体X的数学期望为方差为2 ，是X的样本，求证均为的无偏估计。为2 的无偏估计量。一个未知数可以有不同的无偏估计量。解例1例2 设是总体的样本. 使为的无偏估计量。 求故当时, 解的大小来决定二者谁更优。和一个参数往往有不止一个无偏估计, 若和都是参数 的无偏估计量， 我们通过可以比较由于2. 有效性定义2 设都是参数的无偏估计量，若有则称 有效。例3 设 X1, X2, , Xn 是取自总体 X 的一个样本, 验证都是的无偏估计. 问那个估计量最有效?解 设由于都是总体均值的无偏估计量;故因为所以更有效例4 （1）求均匀总体U(0, )中 的矩估计量 1 1和

12、最 大似然估计量 2 2；（2）判断 1 1和 2 2是否为 的无偏估计量，请对其中 不具有无偏性的估计量进行无偏修正 * *；（3）判断上述无偏估计量中哪个最有效。答案定义3 设则称 的相合估计量或一致估计量。为参数的估计量，3.一致性定理 设 是的估计量，如果 存在，且 则 是的一致估计量。例5 设 X1, X2, , Xn 是取自总体 X 的一个样本,证明样本均值是总体均值的一致估计量。例6 设 X1, X2, , Xn 是总体 X（0，） 的一 个样本, 证明Y=maxX1, X2, , Xn是的一致估计量。4.最小方差无偏估计定义:Problem：无偏估计的方差是否可以任意小? 如果

13、不能任意小,那么它的下界是什么?（1） Fisher信息量5.罗-克拉美（CramerRao ）不等式(1)是实数轴上的一个开区间;设总体X 的概率函数为f(x; ),且满足条件:正则条件注：I() 的另一表达式为设总体X 的概率函数为f(x ; ), 满足上面定义 条件； x1,.,xn 是来自总体X的一个样本, T(x1,.,xn ) 是g( )的一个无偏估计.定理 (Cramer-Rao不等式):的微分可在积分号下进行，即则有上述不等式的右端称为C-R下界, I() 为Fisher信息量.特别，对的无偏估计有注:(1) 定理对离散型总体也适用,只需改积分号为求和号(2) 在定理条件下,

14、若g( ) 的无偏估计量T 的方差D(T)达到下界, 则T必为g( ) 的最小方差无偏估计. 但 是它不一定存在, 也就是说, C-R不等式有时给出的下界过小证明：设 是 的无偏估计量，则两边对求导（1）又两边对求导（2）（1）与（2）式相加改写为由柯西施瓦尔兹不等式，得其中则有6.有效估计定义综上, 求证T是g()的有效估计的步骤为:例1 设总体 X的概率密度为为 X 的一个样本值.求 的最大似然估计量, 并判断它是否为达到方差下界 的无偏估计,即有效估计.解 由似然函数知 的最大似然估计量为所以它是 的无偏估计量, 且而故 是达到方差下界的无偏估计.所以C-R下界为因此,=的C-R下界为是的有效估计因此例4 设X1 ,Xn 为正态分布N(,2)的样本, 证明 是的有效估计.解： 为无偏估计, 现求的C-R下界,由于解 由于 所以2的C-R下界为: 例5 设X1 ,Xn 取自正态分布总体N(,2) ,若未知，讨论2的无偏估计 是否为有效估计. 由于 即不是2的有效估计所以 = 2的C-R下界为 注： S2为2 的渐近有效估计.