《极大似然估计-统计之都课件》由会员分享，可在线阅读，更多相关《极大似然估计-统计之都课件（69页珍藏版）》请在金锄头文库上搜索。
1、第三章 参数估计Parametric Estimation数理统计课题组本章大纲1.点估计的基本概念点估计的基本概念2.置信区间估计的基本概念置信区间估计的基本概念3.两种基本的点估计方法两种基本的点估计方法4.有效估计和有效估计和C-R下界下界5.充分统计量充分统计量学习目标参数估计解决问题的基本思想参数估计解决问题的基本思想;几种点估计方法的优缺点几种点估计方法的优缺点;常见点估计的评价常见点估计的评价;掌握大样本极大似然估计的近似分布掌握大样本极大似然估计的近似分布;置信区间估计的定义和常用求法置信区间估计的定义和常用求法;点估计与置信区间估计的主要区别点估计与置信区间估计的主要区别.本
2、章大纲点估计的基本概念点估计的基本概念两种基本的点估计方法两种基本的点估计方法矩估计矩估计极大似然估计极大似然估计多项分布的极大似然估计多项分布的极大似然估计极大似然估计的渐进分布极大似然估计的渐进分布置信区间估计的基本概念置信区间估计的基本概念枢轴量的概念枢轴量的概念小样本小样本置信区间求法置信区间求法极大似然估计的置信区间解法极大似然估计的置信区间解法有效估计和有效估计和C-R下界下界充分统计量充分统计量因子分解定理因子分解定理Rao-Blackwell定理定理1.点估计的基本概念点估计的基本概念(Point Estimator) 点估计点估计: 就是由样本就是由样本x1,x2,xn确定一
3、个统计量确定一个统计量 用它估计总体的未知参数，称为总体参数的估用它估计总体的未知参数，称为总体参数的估计量。当具体的样本抽出后，可求得出样本统计量。当具体的样本抽出后，可求得出样本统计量的值。用它作为总体参数的估计值，称作计量的值。用它作为总体参数的估计值，称作总体参数的点估计值。总体参数的点估计值。2.两种基本的点估计方法矩估计矩估计(Moment Estimator)极大似然估计极大似然估计 (Maximum Likelihood estimator)多项分布的极大似然估计多项分布的极大似然估计极大似然估计的渐进分布极大似然估计的渐进分布极大似然估计的置信区间解法极大似然估计的置信区间解
4、法设设 是一随机变量，是一随机变量， 是它的一个样本。是它的一个样本。称称 为为样本的样本的 阶原点矩。阶原点矩。若若 存在，则称之为存在，则称之为 X 的的 阶原点矩。记作阶原点矩。记作若若 存在，则称之为存在，则称之为 X 的的 阶中心矩。记作阶中心矩。记作称称 为为样本的样本的 阶中心矩。阶中心矩。矩法估计：矩法估计：1） 矩估计法矩估计法2 点估计的常用方法点估计的常用方法设设 是一随机变量，是一随机变量， 是它的一个样本。是它的一个样本。称称 为为样本的样本的 阶原点矩。阶原点矩。若若 存在，则称之为存在，则称之为 X 的的 阶原点矩。记作阶原点矩。记作若若 存在，则称之为存在，则称
5、之为 X 的的 阶中心矩。记作阶中心矩。记作称称 为为样本的样本的 阶中心矩。阶中心矩。矩法估计：矩法估计：1） 矩估计法矩估计法2 点估计的常用方法点估计的常用方法矩估计的原理：矩估计的原理：1. 经验分布趋向于理论分布经验分布趋向于理论分布;2. 由辛钦大数定律知由辛钦大数定律知例1 设某少年儿童出版社每本书发生错字的次数X服从 例例2解：解：解得：解得：例例2（续）（续）u2）极大似然估计法）极大似然估计法 设总体设总体X的概率分布为的概率分布为 或概率密度为或概率密度为 其中其中 是未知参数。是未知参数。 如何求极大似然估如何求极大似然估计量呢？计量呢？2 点估计的常用方法点估计的常用
6、方法2. 点估计的常用方法点估计的常用方法-极大似然估计极大似然估计含多个参数含多个参数令令似然方程似然方程或或 最大似然解最大似然解2. 点估计的常用方法点估计的常用方法-极大似然估计极大似然估计多项分布参数的极大似然估计 很多情况下, 假定一个变量X可能取m个状态,m2,每个状态假定可能性为p1,pm, , 独立进行n次试验, 用Xi表示第i种状态出现的频数, X1,Xm会有多项分布,例7:Hardy-Weinberg平衡定律 假定基因的频率在自然界是固定的,基因类型三类:AA,Aa,aa,它们出现的可能性为 其中 是父代为A的可能性, 是父代为a的可能性 需要给出父代 的MLE. AA
7、Aa aa 合计342 500 187 1029解: 对数似然函数为极大似然估计的理论结果极大似然估计的分布有渐进的正态分布3.置信区间估计的基本概念(Confidential Interval) 枢轴量的概念枢轴量的概念小样本置信区间求法小样本置信区间求法拔靴法置信区间求法拔靴法置信区间求法u置信区间估计的概念置信区间估计的概念样本样本使得使得置信度置信度1-1-3. 置信区间估计置信区间估计置信区间的含义 样本分布样本分布区间区间区间区间 （ X - X - Z Z X X ， X + X + Z Z X X ）该随机区间以该随机区间以该随机区间以该随机区间以(1 (1 - - ) % )
8、 % 包含包含包含包含 , ,以以以以 % % 不包含不包含不包含不包含. .构造置信区间的一般方法(pilot function)1.一一. .总体均值的区间估计总体均值的区间估计总体服从正态分布总体服从正态分布,2 2已知时已知时, ,当当 时，时， 根据区间估计的定义，在根据区间估计的定义，在1 1置信度下，总体均置信度下，总体均值值的置信区间为：的置信区间为：单一总体参数的区间估计单一总体参数的区间估计即：即：从而有从而有 即在即在1 1置信度下，置信度下，的置信区间为：的置信区间为： 单个总体参数的区间估计单个总体参数的区间估计注意:有很多满足置信度的置信区间 +1.65+1.65
9、x x +2.58+2.58 x x x_ X +1.96+1.96 x x -2.58-2.58 x x -1.65-1.65 x x -1.96-1.96 x x 1. 数据的分布离散程度Measured by 2. 样本容量X = / n3. 置信水平 (1 - )Affects Z影响到区间精度的量 X - ZX - Z X X to to X + X + Z Z X X 1984-1994 T/Maker Co.例例8 已知某零件的直径服从正态分布，从该批产已知某零件的直径服从正态分布，从该批产品中随机抽取品中随机抽取10件，测得平均直径为件，测得平均直径为202.5mm，已知总体标
10、准差，已知总体标准差=2.5mm，试建，试建立该种零件平均直径的置信区间，给定置信立该种零件平均直径的置信区间，给定置信度为度为0.95。 解：已知解：已知 =202.5,=202.5, n=10, 1n=10, 1=0.95 =0.95 单个总体参数的区间估计单个总体参数的区间估计 即即计算结果为：计算结果为：200.95,204.05200.95,204.05单个总体参数的区间估计单个总体参数的区间估计u2 2未知时未知时 （1 1） n30n30时，只需将时，只需将2 2由由S S2 2代替即可代替即可. .中的中的用用 S S近似近似 ( 2 ) n30( 2 ) n30时，由时，由
11、所以所以 即即 单个总体参数的区间估计单个总体参数的区间估计u 例例9 9某大学从该校学生中随机抽取某大学从该校学生中随机抽取3030人，人，调查到他们平均每人每天完成作业时间调查到他们平均每人每天完成作业时间为为120120分钟，样本标准差为分钟，样本标准差为3030分钟，试分钟，试以以9595的置信水平估计该大学全体学生的置信水平估计该大学全体学生平均每天完成作业时间。平均每天完成作业时间。u 解：解： 1-=0.95 1-=0.95 t t/2/2=2.04=2.04在在9595的置信度下，的置信度下， 的置信区间为的置信区间为 单个总体参数的区间估计举例单个总体参数的区间估计举例u二二
12、.总体方差的区间估计总体方差的区间估计 单个总体参数的区间估计单个总体参数的区间估计所以在所以在1-1-置信度下：置信度下：2 2的置信区间的置信区间总体标准差总体标准差的置信区间为的置信区间为单个总体参数的区间估计单个总体参数的区间估计比例的置信区间的例子 400个毕业生中有32名进入研究生学习，构造 p 的95% 置信区间估计：R程序: p.hat=32/400n=400alpha=0.05L=p.hat-qnorm(1-alpha/2,0,1)*sqrt(p.hat*(1-p.hat)/n)U=p.hat+qnorm(1-alpha/2,0,1) *sqrt(p.hat*(1-p.hat
13、)/n)样本量样本量 由由1、正态：2、比例：（1）总体的方差越大，需要的样本量越大。）总体的方差越大，需要的样本量越大。（2）样本量）样本量n和置信区间长度的平方成反比。和置信区间长度的平方成反比。（3）置信度越高，样本量越大。）置信度越高，样本量越大。在总体均值的区间估计时，半置信区间的宽度为：在总体均值的区间估计时，半置信区间的宽度为： 需要考虑问题：需要考虑问题：(1)(1)要求什么样的精度？即我们想构造多宽的区间？要求什么样的精度？即我们想构造多宽的区间？(2)(2)对于构造的置信区间来说，想要多大的置信度？即我对于构造的置信区间来说，想要多大的置信度？即我们想要多大的可靠度？们想要
14、多大的可靠度？样本量的确定样本量的确定样本容量样本容量n n与总体方差、允许误差、置信度有以下关系：与总体方差、允许误差、置信度有以下关系：1.1.必要样本容量必要样本容量n n 与总体方差成正比。与总体方差成正比。2 2在给定的置信水平下，允许误差越大，样本在给定的置信水平下，允许误差越大，样本容量就可以越小。容量就可以越小。3.3.样本容量样本容量n n与置信度成正比。与置信度成正比。估计总体均值时，样本量的确定估计总体均值时，样本量的确定例例10 一家广告公司想估计某类商店一家广告公司想估计某类商店去年所花的平均广告费有多少。经验表去年所花的平均广告费有多少。经验表明，总体方差约为明，总
15、体方差约为1 800 000。如置信。如置信度取度取95%，并要使估计值处在总体平均，并要使估计值处在总体平均值附近值附近500元的范围内，这家广告公司元的范围内，这家广告公司应取多大的样本？应取多大的样本？解：已知解：已知 这家广告公司应抽选这家广告公司应抽选2828个商店作样本（注意抽取样本数个商店作样本（注意抽取样本数总是整数，所以总是整数，所以n n应圆整成整数）。应圆整成整数）。 估计总体均值时，样本量的确定估计总体均值时，样本量的确定估计总体比例时，允许误差为：估计总体比例时，允许误差为：由上式可得出估计总体比例时，确定必要样本容量由上式可得出估计总体比例时，确定必要样本容量的公式
16、。由于总体比率是未知的，因此要用样本比的公式。由于总体比率是未知的，因此要用样本比率代替率代替估计总体比例时，样本量的确定估计总体比例时，样本量的确定例例11 一家市场调研公司想估计某地区一家市场调研公司想估计某地区有健身器材的家庭所占的比例。该公司有健身器材的家庭所占的比例。该公司希望对希望对p 的估计误差不超过的估计误差不超过0.05, 要求要求的可靠程度为的可靠程度为95%，应取多大量的样本，应取多大量的样本？没有可利用的？没有可利用的 估计值。估计值。 解：对于服从二项分布的随机变量，当解：对于服从二项分布的随机变量，当 时，其方差达到最大值。因此，在无法得到时，其方差达到最大值。因此，在无法得到 值时，可以用值时，可以用 计算。计算。 已知：已知： 由于由于 的估计值未知，可以采用的估计值未知，可以采用 计算必要的样本量：计算必要的样本量：估计总体比例时，样本量的确定估计总体比例时，样本量的确定故为了以故为了以95%95%的可靠度保证估计误差不超过的可靠度保证估计误差不超过0.050.05，应取应取385385户进行调查。户进行调查。估计总体比例时，样本量的确定估计总体比例时
