《统计建模与R软件-第四讲- 20 17》由会员分享，可在线阅读，更多相关《统计建模与R软件-第四讲- 20 17（39页珍藏版）》请在金锄头文库上搜索。
1、第四章参数估计 关于统计量的诱导关系 两个正态母体诱导的统计量 两个完全不同的正态分布母体诱导F分布 具有相同方差的正态分布母体诱导t分布 主要内容 4 1矩法4 2极大似然估计4 3估计量的优良性准则4 4区间估计 思想 用样本矩去估计总体矩 总体矩与总体的参数有关 从而得到总体参数的估计 设总体X的分布函数F x 1 m 中有m个未知参数 假设总体的m阶原点矩存在 n个样本x1 xn 令总体的k阶原点矩等于样本的k阶原点矩 即 4 1矩法 解此方程组得到则称为参数 k的矩法估计量 一阶 二阶矩法估计参数 更一般的提法为 利用样本的数字特征作为总体的数字特征的估计 例如 无论总体服从什么分布
2、 其均值和方差分别为 解得均值与方差的矩法点估计 设总体服从二项分布B k p k p为未知参数 X1 x2 xn是总体X的一个样本 求参数k p的矩估计 M1是总体均值 一阶原点矩 M2是总体方差 二阶中心矩 解得 R实现 1 N 20 p 0 7 试验次数n 100 x rbinom 100 20 0 7 m1 mean x m2 sum x mean x 2 100 m1 1 13 84 m2 1 4 8544 由解析计算给定结果 N m1 2 m1 m2 N 1 21 31695 p m1 m2 m1 p 1 0 6492486 R实现 2 moment fun function p
3、f c p 1 p 2 M1 p 1 p 2 p 1 p 2 2 M2 J matrix c p 2 p 1 p 2 p 2 2 p 1 2 p 1 p 2 nrow 2 byrow T list f f J J 牛顿法 Newtons function fun x ep 1e 5 it max 100 index 0 k 1while k it max x1 x obj fun x x x solve obj J obj f norm sqrt x x1 x x1 if norm ep index 1 break k k 1 obj fun x list root x it k index
4、index FunVal obj f fun是列表 返回函数表达式和函数的Jacobi矩阵 x是迭代初值 初始化 把初值记下来 牛顿法 x1 x0 J 1f index是示性指标 如果等于1表示牛顿法解存在 否则没有解 函数返回一个列表 根 迭代次数 示性指标 函数值 主函数 x rbinom 100 20 0 7 n length x M1 mean x M2 n 1 n var x source moment fun R source Newtons R p c 10 0 5 Newtons moment fun p Newtons function fun x ep 1e 5 it ma
5、x 100 index 0 k 1while k it max x1 x obj fun x x x solve obj J obj f norm sqrt x x1 x x1 if norm ep index 1 break k k 1 obj fun x list root x it k index index FunVal obj f root 1 20 91589830 6564385 it 1 5 极大似然法 定义1 设总体X的概率密度函数或分布律为是未知参数 为来自总体X的样本 称 为 的似然函数 likelihoodfunction 定义2 设总体X的概率密度函数或分布律为是未知
6、参数 为来自总体X的样本 为 的似然函数 若 是一个统计量 且满足 则称为 的极大似然估计 1 似然函数关于 连续 极值条件 得 独立同分布的样本 似然函数具有连乘的形式 例子 正态分布 对数似然方程 multiroot 函数计算 e 1 mu e 2 sigma x 样本model function e x n length x F1 sum x e 1 F2 n e 2 2 sum x 1 2 e 2 4C F1 F2 x rnorm 10 multiroot f model start c 0 1 x x F1 0 F2 0是似然方程 公式计算 mean x 1 0 1273094 su
7、m x mean x 2 10 1 1 267102 root 1 0 24807940 9077064 2 似然函数关于 有间断点 设总体X服从区间 a b 的均匀分布 x x1 xn为来自总体的一组样本 用极大似然估计法估计参数a b 似然函数为 L a b x 不是a b的连续函数 其似然方程为 从极大似然估计的定义出发来求L a b x 的最大值 要使L达到最大 那么b a应该尽可能的小 但是a不能大于min x b不能小于max x 因此a b的极大似然估计为 3 是离散参数空间 一般地 在鱼塘钓出r条鱼 做上记号 然后再钓出s条 发现有x条有标记第二次钓出的鱼的条数x服从超几何分布
8、 似然函数为 L N x P X x 似然函数的比为 将数字带入上式得池塘中鱼的总数为 500 1000 72 6944 例子 在鱼塘捞出500条鱼 做上记号 然后再捞出1000条 发现有72条有标记 试估计鱼塘所有的鱼有多少 4 在解似然方差时无法得到解析解 采用数值方法 设总体X服从Cauchy分布 其概率密度函数为 其中 为未知参数 X1 X2 Xn是总体X的样本 求 极大似然估计 Cauchy分布的似然函数为 求对数似然方程的解析解是困难的 考虑使用数值方法 1 使用uniroot函数 参数为1的cauchy分布x rcauchy 100 1 f function p sum x p
9、1 x p 2 out uniroot f c 0 5 out root 1 0 9020655 f root 1 1 800204e 07 2 使用optmize 函数 x rcauchy 100 1 loglikeoptimize loglike c 0 5 minimum 0 9021objective 254 4463exitflag 1 的近似解 lnL x 的近似值 minimum 1 1 03418 objective 1 239 4626 lnL min 则lnL max optimize只能求最小 最大问题转化为负的最小问题 关于二项分布的极大似然估计 matlab输出的极大
10、似然估计数值解 x 20 00000 7065fval 210 2846 matlab functionf fg sita x load abc txt s 0 fori 1 100s1 log nchoosek fix sita 1 x i s2 log sita 2 x i s3 log 1 sita 2 sita 1 x i s s s1 s2 s3 endf s matlab主函数 x0 21 0 5 A 0 1 0 1 1 0 b 1 0 20 x fval fmincon fg x0 A b 矩法估计值 root 1 20 91589830 6564385 it 1 5 R实现 o
11、bj function n x rbinom 100 20 0 7 m length x f sum log choose n 1 1 x log n 2 sum x log 1 n 2 m n 1 sum x sita0 c 20 0 5 初值constrOptim sita0 obj NULL ui rbind c 0 1 c 0 1 c 1 0 ci c 1 0 20 R输出结果 par 1 22 03402140 6179089 value 1 209 5277 matlab输出的极大似然估计数值解 x 20 00000 7065fval 210 2846 区间估计 设总体X的分布函数
12、F x 含有未知参数 对于给定值 0 1 若由样本X1 X2 Xn确定的两个统计量 和满足 则称随机区间是参数 的置信度为1 的置信区间 3 1一个正态总体的情况 3 1 1均值 的区间估计 已知时 未知时 interval estimate1 0 tmp sigma sqrt n qnorm 1 alpha 2 df n else tmp sd x sqrt n qt 1 alpha 2 n 1 df n 1 data frame mean xb df df a xb tmp b xb tmp 默认 未知 函数返回一个数据框 例子 source interval estimate1 R x
13、c 14 6 15 1 14 9 14 8 15 2 15 1 interval estimate1 x sigma 0 2 meandfab14 95614 7899715 11003 t test x OneSamplet testdata xt 162 1555 df 5 p value 1 692e 10alternativehypothesis truemeanisnotequalto095percentconfidenceinterval 14 7130015 18700sampleestimates meanofx14 95 几乎所有的统计软件P value都是这个意思 当 已知
14、时 3 1 2方差的区间估计 当 未知时 interval var1 function x mu Inf alpha 0 05 n length x if mu Inf S2 sum x mu 2 n df n else S2 var x df n 1 a df S2 qchisq 1 alpha 2 df b df S2 qchisq alpha 2 df data frame var S2 df df a a b b 已知时 mu Inf 未知时 mu Inf 例4 16 用区间估计方法估计例4 15的测量误差 2 分别对均值 已知 10 和均值未知两种情况进行讨论 输入数据 调用编好的程
15、序 x c 10 1 10 9 8 10 5 9 7 10 1 9 9 10 2 10 3 9 9 interval var1 x mu 10 vardfab0 055100 026851300 1693885 interval var1 x vardfab0 0583333390 027598510 1944164 4 3 2两个正态总体的情况 interval estimate2 0 均值差 1 2的区间估计 置信度为1 tmp qnorm 1 alpha 2 sqrt sigma 1 2 n1 sigma 2 2 n2 df n1 n2 else if var equal TRUE Sw
16、 n1 1 var x n2 1 var y n1 n2 2 tmp sqrt Sw 1 n1 1 n2 qt 1 alpha 2 n1 n2 2 df n1 n2 2 else S1 var x S2 var y nu S1 n1 S2 n2 2 S1 2 n1 2 n1 1 S2 2 n2 2 n2 1 tmp qt 1 alpha 2 nu sqrt S1 n1 S2 n2 df nu data frame mean xb yb df df a xb yb tmp b xb yb tmp 例子4 17 欲比较甲 乙两种棉花品种的优劣 现假设用它们纺出的棉纱强度分别服从N 1 2 182 和N 2 1 762 试验者从这两种棉纱中分别抽取样本X1 X2 X100和Y1 Y2 Y100 数据用计算机模拟 其随机数的均值分别为5 32和5 76 试给出 1 2的置信度为0 95的区间估计 x rnorm 100 5 32 2 18 y rnorm 100 5 76 1 76 source interval estimate2 r interval estimate2 x y sigma
