《概率论 参数估计》由会员分享，可在线阅读，更多相关《概率论 参数估计（58页珍藏版）》请在金锄头文库上搜索。
1、第七章 参数估计,7-1,参数估 计问题,假设检 验问题,点 估 计,区间估 计,7-2,总体,样本,统计量,描述,作出推断,研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质.,随机抽样,现在我们来介绍一类重要的统计推断问题,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.,参数估计,估计废品率,估计新生儿的体重,估计湖中鱼数, ,估计降雨量,在参数估计问题中，假定总体分布 形式已知，未知的仅仅是一个或几个 参数.,这类问题称为参数估计.,参数估计问题的一般提法,X1,X2,Xn,参数估计的类型,点估计 估计未知参数的值,区间估计 估计未知参
2、数的取值范围， 并使此范围包含未知参数 真值的概率为给定的值.,（假定身高服从正态分布 ）,设这5个数是:,1.65 1.67 1.68 1.78 1.69,估计 为1.68，,这是点估计.,这是区间估计.,假如我们要估计某队男生的平均身高.,现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 .,一、点估计概念及讨论的问题,例1 已知某地区新生婴儿的体重X,随机抽查100个婴儿,得100个体重数据,10,7,6,6.5,5,5.2, ,而全部信息就由这100个数组成.,7.1 点估计方法,把样本值代入T(X1,X2,Xn)
3、中，得到,的一个点估计值 .,请注意，被估计的参数 是一个 未知常数，而估计量 T(X1,X2,Xn) 是一个随机变量，是样本的函数,当 样本取定后，它是个已知的数值,这 个数常称为 的估计值 .,二、寻求估计量的方法,1. 矩估计法,2. 极大似然法,3. 最小二乘法,4. 贝叶斯方法,这里我们主要介绍前面两种方法 .,1. 矩估计法,其基本思想是用样本矩估计总体矩 .,理论依据:,或P160-1结论,它是基于一种简单的“替换”思想建立起来的一种估计方法 .,是英国统计学家K.皮尔逊最早提出的 .,大数定律,记总体k阶矩为,样本k阶矩为,用相应的样本矩去估计总体矩的估计方法 就称为矩估计法.
4、,记总体k阶中心矩为,样本k阶中心矩为,i=1,2,k,从这k个方程中解出,j=1,2,k,那么用诸 的估计量 Ai分别代替上式中的诸 , 即可得诸 的矩估计量 ：,j=1,2,k,例2 设总体 X 在 a , b 上服从均匀分布 , a , b 未知 . 是来自 X 的样本 , 试求 a , b 的矩估计量 .,解,即,解得,于是 a , b 的矩估计量为,样本矩,总体矩,解,例3 设总体 X 的均值 和方差 都存在 , 未知 . 是来自 X 的样本 , 试求 的矩估计量 .,解得,于是 的矩估计量为,样本矩,总体矩,例 设总体 X N ( , 2 ), X1, X2, Xn为 总体的样本,
5、 求 , 2 的矩法估计量.,例 设总体 X E(), X1, X2, Xn为总体的 样本, 求 的矩法估计量.,7-13,一般, 不论总体服从什么分布, 总体期望 与方差 2 存在, 则它们的矩估计量分别为,例4 设从某灯泡厂某天生产的灯泡中随机 抽取10只灯泡，测得其寿命为(单位:小时) 1050, 1100, 1080, 1120, 1200 1250, 1040, 1130, 1300, 1200 试用矩法估计该厂这天生产的灯泡的平均 寿命及寿命分布的方差.,解,7-14,例 设总体 X U (a, b), a, b 未知, 求参数 a, b 的 矩法估计量.,7-15,方法,用样本
6、k 阶矩作为总体 k 阶矩的估计量, 建立含有待估参数的方程, 从而解出待估参数,7-9,矩法,2种常用的点估计方法,矩法的优点是简单易行,并不需要事先知道总体是什么分布 .,缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .,其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性 .,2. 极大似然法,是在总体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家 高斯在1821年提出的 ,Gauss,Fisher,然而，这个方法常归功于 英国统计学家费歇 .,费歇在1922年重新发现了 这一方法，并首先研究了这
7、种方法的一些性质 .,极大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过 .,是谁打中的呢？,某位同学与一位猎人一起外出打猎 .,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下 .,下面我们再看一个例子,进一步体会极大似然法的基本思想 .,你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 .,这个例子所作的推断已经体现了极大似然法的基本思想 .,例 设XB(1,p), p未知.设想我们事先知道p只有两种可能:,问:应如何估计p?,p=0.7 或 p=0.3,如今重复试验3次,得结果: 0 , 0, 0,由概率论的知识, 3次试验
8、中出现“1”的次数,k=0,1,2,3,将计算结果列表如下：,应如何估计p?,p=0.7 或 p=0.3,k=0,1,2,3,p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027,出现,估计,出现,出现,出现,估计,估计,估计,0.343,0.441,0.441,0.343,以上这种选择一个参数使得实验结果具有最大概率的思想就是极大似然法的基本思想 .,例 设总体 X 服从0-1分布,且P (X = 1) = p, 用极大似然法求 p 的估计值.,7-18,L(p)= f
9、(X1,X2,Xn; p ),解：似然函数为:,对数似然函数为：,对p求导并令其为0，,=0,得,即为 p 的MLE .,对于不同的 p , L (p)不同, 见右下图,现经过一次试验，,7-19,在容许范围内选择 p ，使L(p)最大,注意到，ln L(p)是 L 的单调增函数,故若 某个p 使ln L(p)最大, 则这个p 必使L(p)最大。,7-20,(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .,求极大似然估计(MLE)的一般步骤是：,(1) 由总体分布导出样本的联合概率函数 (或联合密度);,(2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,
10、而把参数 看作自变量, 得到似然函数L( );,(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;,一般, 设 X 为离散型随机变量, 其分布律为,则样本 X1, X2, Xn的概率分布为,7-21,或,称 L( ) 为样本的似然函数,称这样得到的,为参数 的极大似然估计值,称统计量,为参数 的极大似然估计量,7-22,极大似然法的思想,若 X 连续, 取 f (xi, )为Xi 的密度函数,似然函数为,7-23,注1,注2,未知参数可以不止一个, 如1, k,设X 的密度(或分布)为,则定义似然函数为,为似然方程组,若对于某组给定的样本值 x1
11、, x2, xn， 参数 使似然函数取得最大值, 即,7-24,显然，,称统计量,为1, 2, k 的极大似然估计量,7-25,例 设总体 X N (, 2), x1, x2, xn 是 X 的样本值, 求 , 2 的极大似然估计.,7-26,极大似然估计方法,1） 写出似然函数 L,7-28,可得未知参数的极大似然估计值,然后, 再求得极大似然估计量.,7-29,L是 的可微函数,解似然方程组,若,L不是 的可微函数, 需用其它 方法求极大似然估计值. 请看下例：,若,例 设 X U (a,b), x1, x2, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估
12、计量.,似然函数为,7-30,似然函数只有当 a xi b, i = 1,2, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大.,令,xmin = min x1, x2, xn xmax = max x1, x2, xn,取,7-31,都有,故,是 a , b 的极大似然估计值.,分别是 a , b 的极大似然估计量.,7-32,极大似然估计的不变性,设 是 的极大似然估计值, u( ),( )是 的函数, 且有单值反函数, = (u), uU 则 是 u( ) 的极大似然估计值.,7-35,不变性,如 在正态总体N (, 2)中, 2的极大 似然估计值为,lg 的极大似然估计
13、值为,7-36,这一讲，我们介绍了参数点估计，给出了寻求估计量最常用的矩法和极大似然法 .,参数点估计是用一个确定的值去估计未 知的参数. 看来似乎精确，实际上把握不大. 为了使估计的结论更可信，需要引入区间估计. 这是下一讲的内容 .,例 4：设 X U(a, b)，求 a, b 的极大似然估计。,解：因,所以,由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。,为使 L(a, b) 达到最大，b-a 应该尽量地小。 但 b不能小于 maxx1,x2,xn。否则，L(a,b) = 0。类似地，a 不能大于minx1,x2,xn。 因此，a 和 b 的极大似然估计为, 课堂练习,解,样本矩,总体矩,解得,解 似然函数为,对数似然函数为,例3 设X1,X2,Xn是取自总体X的一个样本,求 的最大似然估计值.,其中 0,求导并令其为0,=0,从中解得,即为 的最大似然估计值 .,对数似然函数为,这一讲，我们介绍了参数点估计，给出了寻求估计量最常用的矩法和极大似然法 .,参数点估计是用一个确定的值去估计未 知的参数. 看来似乎精确，实际上把握不大. 为了使估计的结论更可信，需要引入区间估计. 这是下一讲的内容 .,
