《第二节点估计的常用方法教材课程》由会员分享，可在线阅读，更多相关《第二节点估计的常用方法教材课程（14页珍藏版）》请在金锄头文库上搜索。
1、第二节 点估计的常用方法,矩估计法 最大似然估计法,一. 矩估计法,矩估计法是英国统计学家K.皮尔逊最早提出来的 .,由大数定律, 若总体 X 的数学期望 E(X)= 有限, 则有:,这表明, 当样本容量很大时, 在统计上, 可以用样本k阶原点矩去估计总体k阶原点矩(替换原理). 这一事实是矩估计法的理论基础.,1)定义: 用样本原点矩估计相应的总体原点矩 ,又用样本原点矩的连续函数估计相应的总体原点矩的连续函数,这种参数点估计法称为矩估计法 .,例1: 设总体 X 的概率分布律为,解:,求 的矩估计值.,其中 为未知参数。现抽取一组样本,的矩估计值为,例2: 设总体 X 在 a, b 上服从
2、均匀分布, a, b未知.,解:,X1, X2, , Xn 是来自 X 的样本, 试求 a, b的矩估计量 .,即:,解得:,总体矩,于是 a , b 的矩估计量为:,样本矩,二. 极(最)大似然估计法,它是在总体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家高斯在1821年提出的 .,Gauss,Fisher,然而, 这个方法常归功于英国统计学家费歇 .,费歇在1922年重新发现了该方法, 并首先研究了该方法的一些性质 .,先看一个简单例子：,一只野兔从前方窜过, 只听一声枪响, 野兔应声倒下.,某位同学与一位猎人一起外出打猎 .,如果要你推测, 是谁打中的呢? 你会如何想呢
3、?,你就会想, 猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 .,这个例子所作的推断已经体现了极大似然法的基本思想 .,再如, 一袋中有红、白球10个和5个, 但不知其中每种颜色的球具体为多少. 今从袋中任取一球, 结果为白球, 由此我们有理由认为袋中有10个白球, 5个红球。,1) 似然函数(likelihood function)：,定义似然函数为:,设 X1, X2, , Xn 是取自总体X 的一个样本, 样本的联合密度(连续型) 或联合分布律 (离散型)为:,这里 x1, x2 , xn 是样本的观察值.,L()看作参数 的函数, 它可作为 将以多大可能产生样本值
4、 x1, x2, , xn 的一种度量 .,f(x1, x2, , xn;),2) 极大似然估计法: 就是用使 L() 达到最大值的 去估计,称 为 的极大似然估计值.,相应的统计量:,称为 的极大似然估计量. (maximum likelihood estimator),两点说明：,a. 求似然函数 L() 的最大值点, 可以应用微积分中的技巧. ln L() 与 L() 在 的同一值处达到它的最大值, 假定 是一实数, 且 ln L() 是 的一个可微函数, 通过求解方程:,可以得到 的 MLE .,若 是向量, 上述方程必须用方程组(求偏导为0)代替.,b. 用上述求导方法求参数的 ML
5、E 有时行不通, 这时要用极大似然原则来求 .,L(p) = f (x1, x2, xn; p),例4: 设X1, X2, , Xn是取自总体 Xb(1, p) 的一个样本, 求参数 p的极大似然估计量.,解: 似然函数为:,对数似然函数为：,对 p求导并令其为0:,得:, 即为 p 的极大似然估计值.,从而 p 的极大似然估计量为:,d. 在极大值点的表达式中, 用样本值代入就得参数的极大似然估计值 .,3) 求极大似然估计(MLE)的一般步骤是：,a. 由总体分布导出样本的联合分布律(或联合密度);,b. 把样本联合分布律(或联合密度) 中自变量看成已知常数, 而把参数 看作自变量, 得到似然函数 L();,c. 求似然函数 L() 的极大值点 (常常转化为求 ln L() 的极大值点), 即 的MLE;,例5: 设总体 XN(, 2), , 2 未知. x1, x2, , xn 是来自 X 的样本值, 试求 , 2的极大似然估计量 .,似然函数为:,解:,X的概率密度为 :,于是:,解得:, 2的极大似然估计量为:,令:,作业,习题6-2 1(2); 5,
