《概率论参数估计1》由会员分享，可在线阅读，更多相关《概率论参数估计1（48页珍藏版）》请在金锄头文库上搜索。
1、1第七章作业：P1347.1，7.2，7.6，7.9，7.10 7.13， 7.16， 7.17， 7.19， 7.20， 7.21数理统计问题：如何选取样本来对总体的种种统计特征作出判断。参数估计问题：知道随机变量（总体）的分布类型，但确切的形式不知道，根据样本来估计总体的参数，这类问题称为参数估计。参数估计的类型点估计、区间估计 2内容提要u概述u参数的点估计l矩法估计l极大似然估计u估计量优劣性的评价u参数的区间估计3参数的估计量和估计值 设总体的分布函数为F(x,)（未知），X1，X2，Xn为样本，构造一个统计量 来估计参数，则称 为参数的估计量。将样本观测值 代入 ， 得到的值 称为
2、参数的估计值。 41.估计量是某些特殊的统计量，但统计量不一定是某个参数的估计量。2.每次取样不同，观测值也不同，统计量的统计值也不同，所以估计量也是随机变量，我们用大写字母表示。而固定某次观测的估计值才是一个固定的数字。点估计：如果构造一个统计量来作为参数的估计量，则称为参数的点估计。 区间估计：如果构造两个统计量而用 来作为参数可能取值范围的估计，称为参数的区间估计。5参数的点估计 矩法，极大似然法6定义 设 为随机变量，若 存在，则称 为 的 阶原点矩，记作 ；若 存在，则称 为 的 阶中心矩，记作 样本的 阶原点矩，记作 样本的 阶中心矩，记作 阶矩的概念 7矩法估计：用样本的矩作为总
3、体矩的估计量矩估计的想法来源于大数定理。如果总体X存在k阶矩，对任意 有这说明，当样本容量较大时，样本k阶矩与总体k阶矩差别很小。不仅仅是矩法估计，所有统计方法的中心思想都一致：用部分推断整体，但是当部分足够大时，根据大数定理，所做的推断越来越接近真实值。8例：长期的生产经验告诉我们，水泥厂成品打包机 装袋的重量X服从正态分布，试用矩法估计来估计一台打包机装袋重量的均值和方差。解：设装袋的重量为随机变量X，即总体为XN(, 2)。观测50次，即取X1，X2，X50个样本，样本容量50此时，要估计参数，就转化为估计随机变量的矩计算样本的期望和方差9根据大数定理，样本的矩和总体的矩应当非常接近假若
4、样本有观测值x1，x2，x50,代入统计量中，有统计值：此时，为两个统计量用他们来估计和21. 用样本的原点矩估计总体的原点矩，样本的中心距估计总体的中心矩2. 简便起见，代入具体观测值的过程可以省略，只要明确写出用哪些统计量来估计相应的参数即可10一般而言，并不是每个统计问题中的分布都如正态 分布：很多时候参数并没有直接的概率意义。所以 想要直接构造估计量来估计参数是不现实的。引例：求a，b的估计。有没有一般的办法来构造估计量？曲线救国：不能直接构造参数的估计量，可以先估计总体的各阶矩，进而通过求解方程得到参数的估计量。11解 ：例：总体求a，b的矩估计。a,b是均匀分布的两个参数假设取样n
5、次，先写出总体，样本，统计量，并按照矩法写出估计量总体：X样本：接下来是矩法的标准步骤：12注意：熟练之后可以略去写出总体和样本的过程。第一步：计算一阶原点矩和二阶中心矩第二步：用样本的矩作为总体矩的统计量即：第三步：求解方程组中的参数13一般步骤 若总体X的分布函数中含有l个参数1， 2， ， l，要估计l个参数，我们需要l个统计量及l个相应的方程。我们以原点矩为例说明：（1）求出总体的各阶矩，作为被统计量14得l个方程构成的方程组：（2）用样本的矩作为总体矩的统计量（3）求解方程组中的参数从而 为 的矩估计量u第(2)步和第(3)步的次序可以对换；u涉及中心距的参数也可类似求解15例：解：
6、一个参数，只要一个矩即可。与参数无关。可先求解参数选最简单的矩：16再代入样本对应的矩1. 并不是标准的矩法，而是某种推广了的矩法估计；2. 以后遇到密度函数为偶函数的情形均可这样处理。有无其他方法？注意：17例： 设X1，X2，Xn为总体XPois()的样本，试求参数的矩法估计量。解： 仅有一个参数 ，只需要做一个矩法估计。此时参数恰为分布的期望，所以可以直接用样本均值来估计 ，省去了求解方程这一步。 考虑一阶原点矩 参数本身为分布的数字特征，不需求解方程，直接利用样本的统计量来估计分布的数字特征，进而得到参数估计的办法也叫数字特征法，是矩法的特例。18矩法估计能用低阶矩就不用高阶矩可见：同
7、一个参数的矩估计量可以不同。得到矩法估计量 考虑泊松分布的二阶中心矩 使用哪个更好一些？之后会系统地介绍估计量优劣的评价，届时再展开讨论思考一下，是否有其他求解的办法？ 19解 由于 所以由矩法估计，得 解得 所以，参数 的矩估计量为 例 对容量为n的样本，求下列密度函数中参数 的矩估计量。20参数的极大似然估计法 思想：设总体X的密度函数为f(x,)，为未知参数，则样本（X1,X2,Xn）的联合密度函数为令 参数的估计量 ，使得样本（X1,X2,Xn）落在观测值 上的概率L()达到最大，即则称 为参数的极大似然估计值。 21回忆：为了估计鱼塘中有多少条鱼,鱼塘主先从鱼塘中网起100条鱼作上记
8、号后，放回鱼塘中,过了一段时间(使有记号的鱼和无记号的鱼混合均匀)后， 从鱼塘中网起一网鱼,共80条,其中有记号的鱼有2条。试估计鱼塘中有多少条鱼。由于数量很大，可以近似认为是简单随机取样，故每条 鱼是否有记号服从XiB(1,100/N)估计N就是估计参数p=100/N。回忆当时的解法 求参数p使得P(Y=2)最大可以用矩法来估计。221. 所谓似然函数，就是带参数的联合密度函数2. 似然函数的选取是唯一的，这一点和矩法估计不同注意23解：EX=1/,例: 据经验，进入稳定期的生产线生产出的LED电视的使用寿命试用极大似然法估计电视机的平均寿命。即求参数的极大似然估计取对数后求导找出极大值点2
9、4得到参数的估计值：将具体的样本值替换为样本对应的随机变量，得到参数的估计量：25求解步骤（2）取自然对数 其解 即为参数的极大似然估计值。 （3）令 （1）构造似然函数 若总体的密度函数中有多个参数1，2，n，则将第（3）步改为解方程组即可。 261. 对于离散型总体的分布，只要参数为连续变化，仍然可以求导，上述方法同样适用。 2. 有些情况下参数是离散的，比如二项分布B(n,p)中的n。此时不能求导，只能按定义找极大值，运算比较复杂。3. 为了逻辑上更为严密，极大似然估计一般先用样本值代入求解估计值，再用样本替换样本值得到参数的估计量。极大似然估计的一些注意事项27例:解先求似然函数接着求
10、对数为非负整数28参数连续变化，求导有29例: 假设（X1，X2，Xn）是取自正态总体N(,2)的样本，求和2的极大似然估计量。解 构造似然函数 取对数 30续解 求偏导数，并令其为0 解得 所以，2的极大似然估计量为 31之前的三个例子极大似然估计与矩估计量相同如果矩估计量和极大似然估计量相同的话往往说明这样的估计是好的然而不是对每一个分布的参数估计两种估计量都一致32例解 ：故似然函数为：由于似然函数中并不显式包含x1xn ，我们直接来找似然函数的最大值33越小越好，不过一旦xi, 则L()=0故要在 xi即 maxxi的限制条件下取最小估计值为估计量为34另外，可以考虑矩法估计1. 矩法
11、估计中，选取不同的矩，得到的估计量不同2. 用矩法估计和极大似然估计，得到的估计量不同那种估计更好一些？由于35估计量优劣性的评价标准:无偏性、有效性、相合性36无偏性无偏估计量：设 是 的估计量，如果则称 是 的无偏估计量。即无系统偏差37例: 设总体的数学期望EX=和方差VarX=2都存在，证明：样本均值 修正样本方差 分别是EX、VarX的无偏估计。证明：之前已经计算了样本均值和修正样本方差的期望 这也是为何用修正样本方差，而非样本方差的原因38有 效 性 设 是 的无偏估计量，当样本容量n固定时，使达到最小的 称为 的有效估计比较：若 ，则 比 有效。 由于方差是度量随机变量落在它的均
12、值E的邻域内的集中或分散程度的。所以一个好的估计量，不仅应该是待估参数的无偏估计，而且应该有尽可能小的方差。39例如 及 （其中 ）都是EX的无偏估计，但 比 有效。首先 算术平均几何平均 其次 40一致最小方差无偏估计量1. 要求无偏2. 最有效定义：设总体XFX(,).若T0(X1, Xn)为g()的无偏估计量，且对g()的任意无偏估计量T(X1, Xn)，都有则称T0(X1, Xn)为g()的一致最小无偏估计量注意：没有普遍可行的构造办法41我们不仅希望一个估计是无偏的，且具有较小的方差，有时还希望当子样容量无限增大时，即观察次数无限增多时，估计能在某种意义下越来越接近被估计的参数的真实
13、值，这就是所谓一致性的要求。相合性42定义注意：依概率收敛到真值43可以证明：44证明（1）45（2）根据切比雪夫不等式（3）证明很难，这里不介绍了46参数估计的点估计方法小结 数字特征法：以样本均值、方差作为总体期望、方差的估计量。矩法估计：以样本k阶矩作为总体k阶矩的估计量。 或 极大似然估计：最能产生观测值(x1, xn)的参数值顺序统计量估计：用样本中位数和极差估计期望和标准差47一、矩估计法（包含数字特征法）直观意义比较明显，但要求总体k阶矩存在。二、极大似然估计法。具有理论上的优点，似然函数唯一。如果参数连续取值，可用求导；但若参数不连续取值，求法复杂。三、顺序统计量法使用起来无条件限制，无需多大计算，但准确度不高。比较48
