《概论与统计课件第七章参数估计》由会员分享，可在线阅读，更多相关《概论与统计课件第七章参数估计（70页珍藏版）》请在金锄头文库上搜索。
1、 引引 言言 上一章，我们介绍了总体、样本、简单随机样本、上一章，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理布，给出了几个重要的抽样分布定理. 它们是进一步学它们是进一步学习统计推断的基础习统计推断的基础.参数估参数估计问题计问题假设检假设检验问题验问题点估计点估计区间估计区间估计统计统计推断推断 的的基本基本问题问题第七章第七章 参数估计参数估计 参数的点估计参数的点估计 点估计的优良性准则点估计的优良性准则 区间估计区间估计 在实际问题中在实际问题中, ,我们根据问题本
2、身的专业知识或以往的经验或我们根据问题本身的专业知识或以往的经验或适当的统计方法适当的统计方法, ,有时可以有时可以判断总体分布的类型判断总体分布的类型. . 总体分布的参数总体分布的参数往往是未知的往往是未知的, ,需要通过样本来估计需要通过样本来估计. .例如例如 (1) (1) 为了研究人们的市场消费行为为了研究人们的市场消费行为, ,我们要先搞清楚人们我们要先搞清楚人们的收入状况的收入状况. . 假设某城市人均年收入假设某城市人均年收入X X N(N( , , 2 2). ). 但参数但参数 和和 2 2 的具的具体值并不知道体值并不知道, ,需要通过样本来估计需要通过样本来估计. .
3、 (2) (2) 假定某城市在单位时间假定某城市在单位时间( (譬如一个月譬如一个月) )内交通事故发生内交通事故发生次数次数 X X P( P( ). ). 参数参数 未知未知, ,需要从样本来估计需要从样本来估计. . 通过样本来估计总体的参数通过样本来估计总体的参数,称为参数估计称为参数估计,它是统计推断它是统计推断的一种重要形式的一种重要形式.参数估计参数估计点估计点估计区间估计区间估计（假定身高服从正态分布（假定身高服从正态分布N(，0.12） 设这设这5个数是个数是: 估计估计 为为1.68，这是这是点估计点估计.这是这是区间估计区间估计.估计估计在区间在区间 1.57, 1.84
4、 内，内，例如我们要估计某队男生的平均身高例如我们要估计某队男生的平均身高. 现从该总体选取容量为现从该总体选取容量为5的样本，我们的任务的样本，我们的任务是要根据选出的样本（是要根据选出的样本（5个数）求出总体均值个数）求出总体均值 的的估计估计. 而全部信息就由这而全部信息就由这5个数组成个数组成 .从总体从总体 X 中抽取样本中抽取样本( (X1, X2, , X n ) ) 构造构造合适的合适的统计量统计量 =T( (X1, X2, , X n ) ) 参参数数的的 估估计计量量 将样本观察值将样本观察值( (x1, x2, , x n ) )代入估计量代入估计量 计算出估计量的观察值
5、计算出估计量的观察值 =T( (x1, x2, , x n ) ) 参参数数的的 估估计计值值 或构造或构造 1 = T1( (X1, X2, , X n ) ) 和和 2 =T2( (X1, X2, , X n ) ) ( 10, 其中其中 与与 2未知未知, 样本样本(X1, X2, , X n )来自总体来自总体 X，求求 与与 2的的矩估计量。矩估计量。 解解： 无论总体的分布形式如何，总体均值无论总体的分布形式如何，总体均值 和方差和方差2 2的的矩估计量矩估计量分别分别为样本均值和样本二阶中心矩。为样本均值和样本二阶中心矩。 矩法的矩法的优点优点是简单易行是简单易行,并不需要事先知
6、道总体并不需要事先知道总体是什么分布是什么分布 . 缺缺点点是是，当当总总体体类类型型已已知知时时，没没有有充充分分利利用用分分布提供的信息布提供的信息 . 一般场合下一般场合下, 矩估计量矩估计量不具有唯一性不具有唯一性 . 其主要原因在于建立矩法方程时，选取哪些总其主要原因在于建立矩法方程时，选取哪些总体矩用相应样本矩代替带有一定的体矩用相应样本矩代替带有一定的随意性随意性 . 1.2 极大似然估计法极大似然估计法极大似然估计极大似然估计作为一种点估计方法最初是由作为一种点估计方法最初是由 德国数学家高斯德国数学家高斯(Gauss)于于1821年提出，英国统计年提出，英国统计 学家费歇尔学
7、家费歇尔(R.A.Fisher)在在1922年作了进一步发展年作了进一步发展 使之成为数理统计中最重要应用最广泛的方法之一使之成为数理统计中最重要应用最广泛的方法之一. GaussFisher 极大似然估计法极大似然估计法是建立在是建立在极大似然极大似然原理原理的的基础上的一个统计方法。基础上的一个统计方法。 极大似然原理的直观想法是：极大似然原理的直观想法是：一次试验就出现一次试验就出现的事件有较大的概率的事件有较大的概率. 即：一个试验如有若干个即：一个试验如有若干个 可能结果可能结果 ,若在一次试验中，结果若在一次试验中，结果 出现出现, 则认为则认为 出现的概率最大出现的概率最大. 例
8、如例如: 有两外形相同的箱子有两外形相同的箱子,各装各装100个球个球 一箱一箱 99个白球个白球 1 个黑球个黑球 一箱一箱 1 个白球个白球 99个黑球个黑球现从两箱中任取一箱现从两箱中任取一箱, 并从箱中任取一球并从箱中任取一球,结果所取得的球是白球结果所取得的球是白球.问问: 所取的球来自哪一箱？所取的球来自哪一箱？答答: 第一箱第一箱. 假定一个盒中黑球和白球两种球的数目之比假定一个盒中黑球和白球两种球的数目之比 为为 3:1，但不知哪种球多，但不知哪种球多 ， 表示从盒中任取一球表示从盒中任取一球 是黑球的概率，那么是黑球的概率，那么 或或 , 现在有放回地现在有放回地 从盒中抽从
9、盒中抽3个球，试根据样本中的黑球数个球，试根据样本中的黑球数 来估计来估计 参数参数 .解解随机变量随机变量 ，即，即 例例例例估计估计 只需在只需在 和和 之间作出选择之间作出选择. 计算这两种情况下计算这两种情况下 的分布律：的分布律： 的估计的估计 27/6427/649/641/641/649/6427/6427/643210, 根据极大似然原理，根据极大似然原理，应该寻找使事件发生的概率最大的参数值作应该寻找使事件发生的概率最大的参数值作为未知参数的估计值。为未知参数的估计值。1. 1. 似然函数似然函数进行一次具体的抽样之后，进行一次具体的抽样之后， (X1, X2, , X n
10、) 得到一组观察值得到一组观察值 (x1, x2, , x n )。是一组确定的数，把它们代入上式，则。是一组确定的数，把它们代入上式，则 设总体分布设总体分布(以离散型为例以离散型为例)为为P(X=x)=P(x, 1, 2 , k), （ 1, 2 , k )未知，未知，样本样本(X1, X2, , X n )来自总体来自总体 X，则则样本样本(X1, X2, , X n )的的概率分布函数概率分布函数为：为： 仅为仅为（ 1, 2 , k )的函数。把它记作的函数。把它记作 并并称称为参数（为参数（ 1, 2 , k )的的似然函数似然函数。进行一次具体的抽样之后，进行一次具体的抽样之后，
11、 (X1, X2, , X n ) 得到一组观察值得到一组观察值 (x1, x2, , x n )。是一组确定的数，把它们代入上式，则。是一组确定的数，把它们代入上式，则若总体若总体X为为连续性随机变量连续性随机变量，其密度函数为分布为，其密度函数为分布为f(x, 1, 2 , k), （ 1, 2 , k )未知，未知，样本样本(X1, X2, , X n )来自总体来自总体 X，则则样本样本(X1, X2, , X n )的的密度函数密度函数为：为： 仅为仅为（ 1, 2 , k )的函数。把它记作的函数。把它记作 并并称称为参数（为参数（ 1, 2 , k )的的似然函数似然函数。 可见
12、，可见，似然函数实质上是样本的概率分布或密度函数。似然函数实质上是样本的概率分布或密度函数。2.2.极大似然法极大似然法当给定一组样本值时，当给定一组样本值时，似然函数似然函数L ( 1, 2 , k )为参数为参数( 1, 2 , k )的函数，极大似然估计法的思想就是：的函数，极大似然估计法的思想就是：选择使选择使似然函数似然函数L ( 1, 2 , k )达到最大值的点达到最大值的点作为作为为参数为参数( 1, 2 , k )的估计。的估计。定义定义定义定义若存在样本值若存在样本值 (x1, x2, , x n )的函数的函数使使似然函数似然函数L ( 1, 2 , k )达到最大值，即
13、达到最大值，即则称则称为参数为参数 i的的极大似然估计值极大似然估计值；称相应的统计量称相应的统计量为为 i的的极大似然估计量极大似然估计量；极大似然估计值和极大似然估计值和极大似然估计量统称为极大似然估计量统称为极大似然估计。极大似然估计。3、极大似然估计（离散型总体）的步骤 极大似然估计（连续型总体）的步骤 下面举例说明如何求参数的极大似然估计。下面举例说明如何求参数的极大似然估计。试求试求参数参数p的极大似然估计量的极大似然估计量 故似然函数为故似然函数为例例1：试求试求参数参数p的极大似然估计量的极大似然估计量 故似然函数为故似然函数为例例1：故似然函数为故似然函数为例例2：似然函数为
14、：似然函数为：例例3：例例4：例例5：例例6：极大似然法求估计量的步骤：极大似然法求估计量的步骤：( (一般情况下一般情况下) )说明：说明：若似然方程（组）无解，或似然函数不可导，若似然方程（组）无解，或似然函数不可导， 此法失效，改用其它方法。此法失效，改用其它方法。例例7：方程组无解方程组无解 点估计点估计矩估计法矩估计法基本步骤基本步骤极大似然估计法极大似然估计法基本步骤基本步骤 第二节第二节 点估计的优良性准则点估计的优良性准则 我们知道，一个未知参数的估计量可能不止我们知道，一个未知参数的估计量可能不止一个。究竟采用哪个为好呢？这就涉及到用什么一个。究竟采用哪个为好呢？这就涉及到用
15、什么标准来评价估计量的问题。我们介绍三个常用的标准来评价估计量的问题。我们介绍三个常用的标准：标准： 1）无偏性；）无偏性； 2）有效性；）有效性； 3）一致性。）一致性。2.1 无偏性无偏性 根据样本推得的估计值与真值可能不同，根据样本推得的估计值与真值可能不同， 然而，如果有一系列然而，如果有一系列抽样构成各个估计，很合理地会要求这些估计的期望值与未知参数抽样构成各个估计，很合理地会要求这些估计的期望值与未知参数的真值相等，它的直观意义是样本估计量的数值在参数的真值周围的真值相等，它的直观意义是样本估计量的数值在参数的真值周围摆动，而无误差，这就是估计量的无偏性。摆动，而无误差，这就是估计
16、量的无偏性。 定义定义：设总体：设总体X的分布中含有未知参数的分布中含有未知参数 ， 为参数为参数空间，样本空间，样本(X1, X2, , X n)来自来自 X， ，若，若 例例1：设总体：设总体X 有期望有期望 EX= 与方差与方差 DX= 2， 与与 2 都未知。都未知。 样本样本(X1, X2, , X n)来自来自 X，试证：，试证： (1) 样本均值样本均值 是总体均值是总体均值 的无偏估计的无偏估计； (2) 样本方差样本方差S2是是 2的无偏估计；的无偏估计； (3) 样本标准差样本标准差S不是标准差不是标准差 的无偏估计；的无偏估计； (4) B2不是不是 2的无偏估计。的无偏估计。 证证： 由定理知：由定理知： (1) (2) ES2= 2 这个结论与总体的分布类型没有关系。只要总体期望和方差存在这个结论与总体的分布类型没有关系。只要总体期望和方差存在， 样本均值样本均值总总是总体期望的无偏估计，是总体期望的无偏估计，样本方差总是总体方差的无偏估计样本方差总是总体方差的无偏估计 (3) 由由DS=ES2 - (ES)2= 2 - (ES)2，得，得 所以，样本标准差所
