《3第三章 参数估计-点估计》由会员分享，可在线阅读，更多相关《3第三章 参数估计-点估计（87页珍藏版）》请在金锄头文库上搜索。
1、统计推断,参数估计,假设检验,点估计,区间估计,矩估计,最大似然估计,参数假设检验,非参数假设检验,最小二乘估计,第三章 参数估计,3.1 点估计,设总体X的分布函数为F(x;), 为待估计参数，X1,X2,Xn是X的样本， x1, x2, xn是相应样本值。,Question：如何利用这些信息估计参数？,Answer：构造一个适当的统计量,用它的观察值,作为的,近似值。,称为的估计量，,称为的估计值。,1.矩估计法,理论依据：辛钦大数定律,由英国统计学家K.皮尔逊提出.,且具有数学期望,辛钦,设随机变量序列X1 , X2 , 独立同分布，,则对任意0，有,K.皮尔逊,命题 若总体X 的 k
2、阶矩,存在，,证,独立、 同分布,辛钦大数定律,独立、 同分布,为X的样本，则,矩估计的基本思想：令,若X为连续型随机变量，设概率密度为,令,其中,为X的样本，,解出,称为的矩估计量。,例1设总体X 的概率密度为,解,X1,X2,Xn是取自X 的样本,求参数的矩估计量.,令,， 则,的矩估计量为,例2设总体,Answer:,若X为离散型随机变量，设其分布律为,令,其中,为样本，,解出,例3 设总体X的分布律为,其中参数,未知，现有一组样本值,解,的矩估计值为,1, 1, 1, 3, 2, 1, 3, 2, 2, 1, 2, 2, 3, 1, 1, 2,试求的矩估计值。,令,Question:
3、设X的概率密度为,设 X1, X2,Xn为X的样本，求参数的矩估计量。,Answer:的矩估计量不存在。,练 习,P 68：1, 3, 4,2. 最大似然估计, 1821年,德国数学家高斯提出最大似然估计法；, 1922年,费歇重新发现了这一方法，并研究了这种方法的统计性质 。,Gauss,Fisher,最大似然法的基本思想：,问题：请推断兔子 是谁打中的？,例1 袋中放有白球和黑球共4个，今进行3次有放回抽样，每次抽取1个，结果抽得2次白球1次黑球，试估计袋中白球个数。,解 设袋中白球个数为m，,X为3次抽样中抽得的白球数，则,当袋中白球数m分别为1,2,3时，,p对应的值分别为1/4,2/
4、4,3/4，,X对应的分布律见下表,当p=3/4时，PX=2的概率最大，,估计袋中白球个数为3比较合理。,其分布律为,，其中未知。,为X 的样本，,为X 的样本值，, X 为离散总体情形,称为似然函数。,当,时，称,称为的最大似然估计量；,称为的最大似然估计值。,表示取到样本值 的概率,具体算法：,令,两边取对数,令,设X1,X2,Xn是取自总体 Xb(1, p) 的一个,例2,样本，求参数p的最大似然估计值。,解,例3,似然函数为:,最大似然估计量为,(2)X为连续型随机总体情形,设X的概率密度为f(x,), 未知，,为X 的样本，,为样本值，,则,的联合密度为,称为似然函数,求,使,称为的
5、最大似然估计量；,称为的最大似然估计值。,例4,解,似然函数,当,令,所以,时,例5,解,令,所以,的最大似然估计值为,例6,解,似然函数,所以,所以,则要使得,取最大值,注：特殊的似然函数通过求导得不到其最值点， 需要用似然估计的思想来求。,例7,解, 令,所以,解得参数和的矩估计量为, 设x1, x2, , xn是X1, X2, , Xn的样本值，则,似然函数为,其中,当,时,令,第二个似然方程求不出的估计值，观察,，表明L是的严格递增函数，又,，故,当,时L 取到最大值,从而参数和的最大似然估计值分别为,所以参数和的最大似然估计量分别为,例8设总体X的分布律为,其中参数,未知，现有一组样
6、本值,解,试求的极大似然估计值。,1, 1, 1, 3, 2, 1, 3, 2, 2, 1, 2, 2, 3, 1, 1, 2,例9 设一个试验有三种可能结果，其发生概率分别为,现做了n次试验，观测到三种结果发生的次数分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，求的最大似然估计值。,解 似然函数为,令,极大似然估计的不变性,练习1：,和最大似然估计.,设X1,X2,Xn是取自总体X的一个样本,求 的极大似然估计.,其中 0,2.,一、基本概念,寿命分布产品寿命T 是一个随机变量,它的分布称为寿命分布.,(一种典型的寿命试验),2. 完全样本,3.2 基于截尾样本的最大似
7、然估计,如果不能得到完全样本, 就考虑截尾寿命试验.,3. 两种常见的截尾寿命试验,(1) 定时截尾寿命试验,(2) 定数截尾寿命试验,二、基于截尾样本的最大似然估计,1. 定数截尾样本的最大似然估计,设产品的寿命分布是指数分布,其概率密度是,设有n个产品投入定数截尾试验, 截尾数为m,得定数截尾样本,为了确定似然函数, 观察上述结果出现的概率.,上述观察结果出现的概率近似地为,取似然函数为,对数似然函数为,2. 定时截尾样本的最大似然估计,设定时截尾样本,与上面讨论类似,得似然函数为,例,设电池的寿命服从指数分布,其概率密度为,随机地取50只电池投入寿命试验, 规定试验进行到其中有15只失效
8、时结束试验, 测得失效时间(小时)为115, 119, 131, 138, 142, 147, 148, 155, 158, 159, 163, 166, 167, 170, 172.,解,常用的估计量评价标准：,1无偏性,2有效性,3相合性,本节重点介绍前面两个标准 .,3.3 估计的评选标准,对同一个参数，用不同的估计方法求出的估,计量可能不相同，采用哪一个估计量好呢?,而它的期望值等于未知参数的真值.,1无偏性,估计量是随机变量，,对于不同的样本值会得到不同的,估计值 .,我们希望估计值在未知参数真值附近摆动，,这就导致无偏性这个标准 .,定义1 设 是未知参数的估计量,存在，且对任意的
9、，有,则称 为的无偏估计。,无偏性的实际意义是指没有系统偏差,例如 设总体X的数学期望为方差为2 ，,是X的样本，求证,均为的无偏估计。,为2 的无偏估计量。,一个未知数可以有不同的无偏估计量。,解,例1,例2 设,是总体,的样本.,使,为,的无偏估计量。,求,故当,时,解,的大小来决定二者谁更优。,和,一个参数往往有不止一个无偏估计, 若,和,都是参数 的无偏估计量，,我们通过可以比较,由于,2. 有效性,定义2 设,都是参数的无偏估计量，若有,则称 有效。,例3,设 X1, X2, , Xn 是取自总体 X 的一个样本, 问那个估计量最有效?,解 设,由于,因为,例4 （1）求均匀总体U(
10、0, )中 的矩估计量1和最大似然估计量2 ；（2）判断1和2 是否为 的无偏估计量，请对其中不具有无偏性的估计量进行无偏修正* ；（3）判断上述无偏估计量中哪个最有效。,答案,定义3 设,则称 的相合估计量或一致估计量。,为参数的估计量，,3.一致性,例5 设 X1, X2, , Xn 是取自总体 X 的一个样本,证明样本均值是总体均值的一致估计量。,例6 设 X1, X2, , Xn 是总体 X（0，） 的一个样本, 证明Y=maxX1, X2, , Xn是的一致估计量。,4.最小方差无偏估计,定义:,Problem：,无偏估计的方差是否可以任意小? 如果不能任意小,那么它的下界是什么?,
11、（1） Fisher信息量,5.罗-克拉美（CramerRao ）不等式,(1)是实数轴上的一个开区间;,设总体X 的概率函数为f(x; ),且满足条件:,正则条件,注：,I() 的另一表达式为,设总体X 的概率函数为f(x ; ), 满足上面定义 条件； x1,.,xn 是来自总体X的一个样本, T(x1,.,xn )是g( )的一个无偏估计.,定理 (Cramer-Rao不等式):,的微分可在积分号下进行，即,则有,上述不等式的右端称为C-R下界, I() 为Fisher信息量.,特别，对的无偏估计有,注:,(1) 定理对离散型总体也适用,只需改积分号为求和号,(2) 在定理条件下, 若g
12、( ) 的无偏估计量T 的方差D(T),达到下界, 则T必为g( ) 的最小方差无偏估计. 但是它不一定存在, 也就是说, C-R不等式有时给出的下界过小,证明：设是的无偏估计量，则,两边对求导,（1）,又,两边对求导,（2）,（1）与（2）式相加,改写为,由柯西施瓦尔兹不等式，得,其中,则有,6.有效估计,定义,综上, 求证T是g()的有效估计的步骤为:,例1 设总体 X的概率密度为,为 X 的一个样本值.,求 的最大似然估计量, 并判断它是否为达到方差下界的无偏估计,即有效估计.,解 由似然函数,知 的最大似然估计量为,所以它是 的无偏估计量, 且,而,故 是达到方差下界的无偏估计.,所以,C-R下界为,因此,=的C-R下界为,是的有效估计,因此,解： 为无偏估计, 现求的C-R下界,由于,解 由于,所以2的C-R下界为:,由于,所以,= 2的C-R下界为,注： S2为2 的渐近有效估计.,
