《极大似然估计法》由会员分享，可在线阅读，更多相关《极大似然估计法（13页珍藏版）》请在金锄头文库上搜索。
1、概率论与数理统计典型教案教学内容：极大似然估计法教学目的：通过本节内容的教学，使学生：1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用 的参数估计方法；2、理解极大似然思想；3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似然估计值教学重点：1、对极大似然思想阐述；2、极大似然估计值的求解教学难点：对不能通过求导方法获得极大似然估计的值的确定教学时数：2学时.教学过程：引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过只 听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打 的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同 学命中的概率，看来
2、这一枪是猎人射中的这个例子所作的推断就体现了极大似然法的基本思想一、极大似然思想般地说，事件A与参数0 E0有关,取值不同，则P(A)也不同.若 A发生了，则认为此时的0值就是0的估计值.这就是极大似然思想.看 例子：例1、设袋中装有许多黑、白球，不同颜色球的数量比为3:1, 试设计一种方法，估计任取一球为黑球的概率P 分析：易知P的值无非是1 /4或3/4 为估计P的值，现从袋中有放 回地任取 3 只球，用 X 表示其中的黑球数，则 X b(3, P) 按极大似然 估计思想，对P的取值进行估计.解:对p的不同取值，X取k = 0,1,2,3的概率可列表如下:X0123P - 1/27/27/
3、P y/64/64964!幺4P %496427./6427/64故根据极大似然思想即知：P=114,k=0,1.34,k = 2,3在上面的例子中，P是分布中的参数，它只能取两个值：1/4或3/4, 需要通过抽样来决定分布中参数究竟是 1/4还是 3/4在给定了样本观测 值后去计算该样本出现的概率，这一概率依赖于P的值，为此需要用1/4、 3/4分别去计算此概率，在相对比较之下，哪个概率大，则P就最象那个.二、似然函数与极大似然估计1、离散分布场合：设总体X是离散型随机变量，其概率函数为p (x;0)，其中0是未知参数.设X , X，,X为取自总体X的样本.X , X，,X的联合概率函1 2
4、 n 1 2 n数为Hp (X ;0 )，这里，0是常量，X , X，,X是变量.i12ni=1若我们已知样本取的值是x , x，,x ,则事件12 nX = x , X = x ,X = x 发生的概率为Hp(x ;0) 这一概率随0的1122n nii=1值而变化从直观上来看，既然样本值x , x，,x出现了，它们出现的12 n概率相对来说应比较大，应使Hp(x ;0)取比较大的值换句话说，0应ii=1使样本值x , x，,x的出现具有最大的概率.将上式看作0的函数，并用12 nL(9)表示，就有：L(0) = L(x ,x ,，x ;0)二打 p(x 询)(1)1 2 n ii=1称L(
5、9)为似然函数极大似然估计法就是在参数0的可能取值范围0 , 选取使L(0)达到最大的参数值0八，作为参数0的估计值即取0，使L(0) = L(x ,x，,x ;0) = maxL(x ,x，,x ;0)(2)12n0旳12n因此，求总体参数0的极大似然估计值的问题就是求似然函数L(0) 的最大值问题这可通过解下面的方程四=0(3)d0来解决因为ln L是L的增函数，所以ln L与L在0的同一值处取得最大 值我们称l (0) = ln L(0)为对数似然函数因此，常将方程(3)写成: d ln L(0)= 0(4)d0方程(4)称为似然方程解方程(3)或(4)得到的就是参数0的 极大似然估计值
6、如果方程(4)有唯一解，又能验证它是一个极大值点，则它必是 所求的极大似然估计值有时，直接用(4)式行不通，这时必须回到 原始定义(2)进行求解2、连续分布场合：设总体X是连续离散型随机变量，其概率密度函数为f (x;0)，若取得样本观察值为x ,x，,x ,则因为随机点(X ,X，,X )取值为1 2 n 1 2 n(x , x ,x )时联合密度函数值为Hf(x ; 0 ) 所以，按极大似然法，应12 nii=1选择0的值使此概率达到最大我们取似然函数为L(0)二打f (x ;0)，再按前述方法求参数0的极大似然估计值.ii=1三、求极大似然估计的方法1、可通过求导获得极大似然估计： 当函
7、数关于参数可导时，常可通过求导方法来获得似然函数极大值 对应的参数值例2、设某工序生产的产品的不合格率为p，抽n个产品作检验， 发现有T个不合格，试求p的极大似然估计.分析：设X是抽查一个产品时的不合格品个数，则X服从参数为p 的二点分布b(1, p) 抽查n个产品，则得样本X , X，,X，其观察值为12nx , x，,x，假如样本有T个不合格，即表示x , x，,x中有T个取值为12 n12 n1, n - T个取值为0按离散分布场合方法，求p的极大似然估计.解：(1)写出似然函数：l(p)=npx.(i-p)1-x.i=1(2)对L(p)取对数，得对数似然函数l(p):/(p)=工x I
8、n p + (1 - x )ln(1 - p) = n ln(1 - p) + 工 x In p 一 ln(1 - p)iiii=1i=1（3）由于l （p）对p的导数存在，故将l （p）对p求导，令其为0,得似然方程：如=-丄+ x (丄+丄)=-丄+1 工x = 0dp1 - pi p 1 - p1 - p p (1 - p )ii=1i=1）解似然方程得：p =丄 x = xnii=1dp2）经验证，在p = x时，竺凹0,这表明p = x可使似然函数达到最大）上述过程对任一样本观测值都成立，故用样本代替观察值便得p的极大似然估计为：p二X将观察值代入，可得p的极大似然估计值为：p =
9、x = T，其中nT 二工x -ii=1若总体X的分布中含有多个未知参数0 ,0，,0时，似然函数L是1 2 k这些参数的多元函数L （0，,0 ） 代替方程（3）,我们有方程组1k賀凹=0（i = 1,2,k），由这个方程组解得00 ,00 ,00分别是参数3012ki0 ,0，e的极大似然估计值.1 2 k例3、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从N（PQ 2），其中PQ 2未知为估计PQ 2，从中随机抽取n = 100根轴,测得其偏差为x , x , X 试求PQ 2的极大似然估计.1 2 100分析：显然，该问题是求解含有多个(两个)未知参数的极大似然 估计问题通过建立
10、关于未知参数RQ 2的似然方程组，从而进行求解.解:(1 )写出似然函数：L(，O 2)爲ei=1(X厂P)220 2n=(2 兀o 2)- 2 e另(x(.-P )2-7120 2(2) 写出对数似然函数:n1 n2l(PQ2) = -一ln(2o 2) 一2 (x -P)220 2ii=1)将 l(g 2)分别对P Q 2求偏导，并令它们都为0,得似然方程组为：dl ( PQ 2) = 1工(X -P)2 = 0dP o 2 ii=1dl (PQ 2)n 1+2o 22o 4(x -P)2 = 0 ii=1)解似然方程组得：1 一P 二 X， O 2 二2 (X - X)2 nii=1(5
11、)经验证P，&2使l ( P Q 2)达到极大,(6)上述过程对一切样本观察值成立，故用样本代替观察值，便得P Q 2的极大似然估计分别为:P = X，0 2 = - (X - X )2 = S 2. ni2、不可通过求导方法获得极大似然估计:当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义(2)出发直接求L(9)的 极大值点例4、设总体X服从均匀分布U (0,0)，从中获得容量为n的样本 X ,X，,X，其观测值为x ,x，,x ,试求0的极大似然估计.12n12 n分析：当写出其似然函数L(0)时，我们会发现L(0)的非零区域与0有 关，因
12、而无法用求导方法来获得0的极大似然估计，从而转向定义(2) 直接求L(0)的极大值.解：写出似然函数：L(0)=0 - n ,0 X X 0(1)(n)0,其它场合为使 L (0 ) 达到极大，就必须使0 尽可能小，但是 0 不能小于 x ，因(n)而0取X时使L(0 )达到极大，故0的极大似然估计为：(n)0 = X (n)进一步，可讨论估计b的无偏性：由于总体XU (0,0 )，其密度函数与分布函数分别为:p (x)=1，0 x 90,其它0, x 0F(x) = J-X,0x9为：p = nF(y)”-由总体分布导出样本的联合概率函数(或联合密度)； 把样本联合概率函数(或联合密度)中自
13、变量看成已知常数，而把参数9看作自变量，得到似然函数L(9); 求似然函数L(9)的最大值点(常转化为求对数似然函数l (9 )的最 大值点)； p(y) =,0 y 0 ,九未知现从中抽取了 n个元件测得其失效时间为 x , x , , x ,试求九及平均寿命的极大似然估计.12 n分析：可先求九的极大似然估计，由于元件的平均寿命即为X的期 望值，在指数分布场合，有E (X) = 1，它是九的函数，故可用极大似然 人估计的不变原则，求其极大似然估计解:(1 )写出似然函数：l(X)=nr 九 e 随=Xe .=i=1(2)取对数得对数似然函数：1(九)=n ln k-心x.(3) 将 2)对对求导得似然方程为：警珥6二0i=1(
