高数第二篇线性代数 第07章 - 参数估计

《高数第二篇线性代数 第07章 - 参数估计》由会员分享，可在线阅读，更多相关《高数第二篇线性代数 第07章 - 参数估计（133页珍藏版）》请在金锄头文库上搜索。

1、第七章 参数估计 引言 第一节 点估计 第二节 估计量的评选标准 第三节 区间估计 第四节 正态总体均值与方差的区间估计 第五节 单侧的置信区间 习题引言总体样 本统计量描述作出推断 (统计推断 ) 研究统计量的性质和评价一个统计推断的 优良性，完全取决于其抽样分布的性质.随机抽样参数估计 问题假设检验 问题点估计区间估计统计 推断参数估计问题是利用从总体抽样得到的信息来估 计总体的某些参数或者参数的某些函数.参数估计估计废品率估计新生儿的体重估计湖中鱼数 估计降雨量在参数估计问题 中，假定总体分 布形式已知，未 知的仅仅是一个 或几个参数.这类问题称为参数估计.参数估计问题的一般提法X1,

2、X2, , Xn要依据该样本对参数作出估计, 或估计的某个已知函数 .现从该总体抽样，得样本设有一个统计总体 , 总体的分布函数为F( x, ) ，其中 为未知参数 ( 可以是向量) . 假定身高服从正态分布 。设这5个数是:1.65 1.67 1.68 1.78 1.69估计 为1.68，这是点估计.这是区间估计.估计在区间 1.57, 1.84 内，例如我们要估计某队男生的平均身高.现从该总体选取容量为5的样本，我们的任务 是要根据选出的样本（5个数）求出总体均值 的 估计. 而全部信息就由这5个数组成 .第一节 点估计一、点估计概念随机抽查100个婴儿 ,得100个体重数据 10,7,6

3、,6.5,5,5.2, 呢 ?据此,我们应如何估计和而全部信息就由这100个数组成 .引例: 已知某地区新生婴儿的体重 , 未知为估计 :我们需要构造出适当的样本的函数 T(X1,X2,Xn) ， 每当有了样本，就代入该函数中算出一个值，用来 作为 的估计值 .把样本值代入T(X1,X2,Xn) 中，估计值 .T(X1,X2,Xn) 称为参数的点估计量，得到 的一个点我们知道,若 ,由大数定律, 自然想到把样本体重的平均值作为总体平均体重的一 个估计.样本体重的平均值则 .用样本体重的均值 估计 .类似地，用样本体重的方差 估计 .二、寻求估计量的方法1. 矩估计法2. 最大似然估计法3. 最

4、小二乘法4. 贝叶斯方法 我们主要介绍前面两种方法 .1. 矩估计法由辛钦大数定理 ,若总体 的数学期望 有限,则有其中 为连续函数 .这表明 , 当样本容量很大时 , 在统计上 , 可以用 样本矩去估计总体矩 . 这一事实导出矩估计法.定义 用样本原点矩估计相应的总体原点矩 , 又用样本原点矩的连续函数估计相应的总体原点矩的连续函数, 这种参数点估计法称为矩估计法 .理论依据: 大数定律矩估计法的具体做法如下：设总体的分布函数中含有k个未知参数 , 那么它的前k阶矩 ,一般都是这 k 个参数的函数,记为：从这 k 个方程中解出j=1,2,k那么用诸 的估计量 Ai 分别代替上式中的诸 , 即

5、可得诸 的矩估计量 ：矩估计量的观察值称为矩估计值 .解： 例题: 设总体 X 的均值 和方差 都存在 , 未知 . 是来自 X 的样本 , 试求 的矩估计量 .解得于是 的矩估计量为 例: 设总体 X 在 a , b 上服从均匀分布 , a , b 未知 . 是来自 X 的样本 , 试求 a , b 的矩估计量 .解 即 解得于是 a , b 的矩估计量为 样本矩总体矩求参数 的矩估计.课堂练习：设总体X的概率密度为其中 是未知参数 ,X1 , X2 , , Xn 是取自 X 的样本,解: 解得的矩估计量为故矩估计法的优点是简单易行,并不需要事先知道 总体是什么分布 .缺点是，当总体类型已知

6、时，没有充分利用分 布提供的信息 .2. 最大似然估计法它是在总体类型已知条件下使用的一种参数估 计方法 .它首先是由德国数学家高斯在 1821年提出的 . GaussFisher然而,这个方法常 归功于英国统计学家费歇尔 .费歇尔在1922年重新发现了 这一方法，并首先研究了这种方 法的一些性质 .最大似然法的基本思想先看一个简单例子：一只野兔从前方窜过 .是谁打中的呢？某位同学与一位猎人一起外 出打猎 .如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下 .你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 . 这个例子所作的推断已经体

7、现了极大似然法的 基本思想 .最大似然估计原理：当给定样本X1,X2,Xn时，定义似然函数为：设X1,X2,Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为f (x1,x2, ,xn ; ) .f (x1, x2 , xn; )这里 x1, x2 , xn 是样本的观察值 .似然函数：最大似然估计法就是用使 达到最大值的去估计 . 称 为 的最大似然估计值 .看作参数 的函数，它可作为 将以多大可 能产生样本值 x1, x2, ,xn 的一种度量 .f (x1,x2, xn; )而相应的统计量称为 的最大似然估计量 .两点说明：1、求似然函数L( ) 的最大值点

8、，可以应用 微积分中的技巧。由于ln(x)是 x 的增函数, lnL( ) 与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是 的一个可微函数。通过 求解方程：可以得到 的最大似然估计 .若 是向量，上述方程必须用方程组代替 .2、用上述求导方法求参数的最大似然估计有 时行不通，这时要用最大似然原则来求 .故似然函数为:例 设X1,X2,Xn是取自总体 XB(1, p) 的一个样本，求参数p的最大似然估计量.解： X的分布律为对数似然函数为：对p求导并令其为0，=0得即为 p 的最大似然估计值 .从而 p 的最大似然估计量为 (4) 在最大值点的表达式中, 用样本值代入就

9、 得参数的最大似然估计值 .求最大似然估计的一般步骤是：(1) 由总体分布导出样本的联合分布律(或联 合密度);(2) 把样本联合分布律 ( 或联合密度 ) 中自变量看成已知常数,而把参数 看作自变量,得到似然函数L( );(3) 求似然函数L( ) 的最大值点(常常转化为 求ln L( )的最大值点) ，即 的最大似然估计;例: 设总体 X N( ) , 未知 . 是来自 X 的样本值 , 试求 的最大似然估计量 .似然函数为 解：X 的概率密度为 于是令解得的最大似然估计量为例: 设总体X在(a,b)上服从均匀分布, a,b未知, x1,x2,.,xn是一个样本值. 试求a,b的最大似然估

10、计量.由于ax1,x2,.,xnb等价于ax(1), x(n)b. 似然函数解： 记x(1)=min(x1,x2,.,xn), x(n)=max(x1,x2,.,xn). X的概率密度是用求导方法无法最终确定a,b 用最大似然原则来求 .于是对于满足条件ax(1), bx(n)的任意a,b有即L(a,b)在a=x(1), b=x(n)时取到最大值(x(n)-x(1)-1. 故 a,b的最大似然估计值为a,b的最大似然估计量为其中 0,解 似然函数为对数似然函数为课堂练习: (1)设X1,X2,Xn是取自总体X的一个样本求 的最大似然估计值.求导并令其为0=0从中解得即为 的最大似然估计值 .对

11、数似然函数为(2) 设X1,X2,Xn是取自总体X的一个样本其中 0,求 的最大似然估计和矩估计.对数似然函数为i=1,2,n解：(a)最大似然估计。似然函数为0 (2)由(1)得=0 (1)对 分别求偏导并令其为0,对数似然函数为故使 达到最大的 为对取其它值时，且是 的增函数最后得最大似然估计为（b）矩估计。由密度函数是具有均值为 的指数分布即E(X- ) =D(X- )=E(X)=D(X)=故知所以解得 的矩估计量为于是第二节 估计量的评选标准样本均值是否是 的一个好的估计量？(2) 怎样决定一个估计量是否比另一个估计量“好”？样本方差是否是 的一个好的估计量？这就需要讨论以下几个问题:

12、(1) 我们希望一个“好的”估计量具有什么特性？(3) 如何求得合理的估计量？XN( )关于估计量的评选标准，我们必须强调指出：评价一个估计量的好坏，不能仅仅依据一次试 验的结果，而必须由多次试验结果来衡量 .这是因为估计量是样本的函数, 是随机变量 . 因此，由不同的观测结果，就会求得不同的参数估计 值. 因此一个好的估计，应在多次试验中体现出优良 性 .常用的几条标准是：1无偏性2有效性3相合性这里我们重点介绍前面两个标准 .估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 引出无偏性这个标准 . 一

13、、无偏性则称 为 的无偏估计 .设是未知参数 的估计量，若多次估计的理论平均值等于真值例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随 机地在0的周围波动，对同一统计问题大量重复使 用不会产生系统偏差 .无偏性的实际意义是指没有系统误差 .无偏性是对估计量的一个常见而重要的要求 .例如，即，不论总体服从什么分布， 分别为 总体均值和总体方差的无偏估计量.又如，若总体的k阶矩 存在，则即，样本k阶矩Ak是总体k阶矩 的 无偏估计量.例1 设总体 X 服从指数分布 , 其概率密度为为未知,X1,X2,Xn是取自总体的一个样本 ,试证 和 都是参数 的无偏 估计量 .证:所以 是参数 的无偏估计量 .而具有概率密度故知即 也是参数 的无偏估计量 .所以无偏估计以方差小者为好, 这就引进了有效性 这一概念 .和的大小来决定二者谁更优 .我们可以比较由于可见，一个参数的无偏估计往往不止一个. 问题：若 和 都是参数 的无偏估计量， 那么如何进一步鉴别哪个估计量好呢？我们当然希望估计值相对真值的平均偏差越小越好。 从而，二、有效性D( ) D( )则称 较 有效 .都是参数 的无偏估计量，若设和且至少对于某个 上式中的不等号成立，故 较 有效 .例2 (续例1) 试证 当 n 1 时 的