数理统计知识小结

《数理统计知识小结》由会员分享，可在线阅读，更多相关《数理统计知识小结（13页珍藏版）》请在金锄头文库上搜索。

1、1数理统计知识小结-缪晓丹 20114041056第五章 统计量及其分布5.1 总体与样本一、总体与样本在一个统计问题中，把研究对象的全体称为总体，构成总体的每个成员称为个体。对于实际问题，总体中的个体是一些实在的人或物。这样，抛开实际背景，总体就是一堆数，这堆数中有大有小，有的出现机会多，有的出现机会小，因此用一个概率分布去描述和归纳总体是合适的，从这个意义上说：总体就是一个分布，而其数量指标就是服从这个分布的随机变量。例 5.1.1 考察某厂的产品质量，将其产品分为合格品和不合格品，并以 0 记合格品，以1 记不格品，若以 p 表示不合格品率，则各总体可用一个二点分布表示：X 0 1p 1

2、-p p不同的 p 反映了总体间的差异。在有些问题中，我们对每一研究对象可能要观测两个或更多个指标，此时可用多维随机向量及其联合分布来描述总体。这种总体称为多维总体。若总体中的个体数是有限的，此总体称为有限总体；否则称为无限总体。实际中总体中的个体数大多是有限的，当个体数充分大时，将有限总体看作无限总体是一种合理抽象。二、样本与简单随机样本1、样本为了了解总体的分布，从总体中随机地抽取 n 个个体，记其指标值为 , nx,21则 称为总体的一个样本，n 称为样本容量或简称为样本量，样本中的个体称x,21为样品。当 时，称 为大样本，否则为小样本。30nx,21首先指出，样本具有所谓的二重性：一

3、方面，由于样本是从总体中随机抽取的，抽取前无法预知它们的数值，因此样本是随机变量，用大写字母 表示；另一nX,21方面，样本在抽取以后经观测就有确定的观测值，因此样本又是一组数值，此时用小写字母 表示。简单起见，无论是样本还是其观测值，本书中均用 表nx,21 nx,212示，从上下文我们能加以区别。每个样本观测值都能测到一个具体的数值，则称该样本为完全样本，若样本观测值没有具体的数值，只有一个范围，则称这样的样本为分组样本。从而知道分组样本与完全样本相比在信息上总有损失，但在实际中，若样本量特别大，用分组样本既简明扼要，又能帮助人们更好地认识总体。2、简单随机样本从总体中抽取样本可有不同的抽

4、法，为了能由样本对总体作出较可靠的推断就希望样本能很好地代表总体。这就需要对抽样方法提出一些要求，最常用的有如下两个要求：1）样本具有随机性：要求每一个个体都有同等机会被选入样本，这便意味着每一样品 与总体 X 有相同的分布。ix2）样本要求有独立性：要求每一样品的取值不影响其它样品的取值，这便意味着 相互独立。n,1若样本 是 n 个相互独立的具有同一分布的随机变量，则称该样本为简单随x,21机样本，简称为样本。注（1）若总体 X 的分布函数为 F(x)，则其样本的联合分布函数为 )(1inixF（2）若总体 X 的密度函数为 p(x)，则其样本的联合密度为 iip（3）若总体 X 的分布列

5、为 ，则其样本的联合分布列为i )(1inix（4）对有限总体不放回抽样，若总体中有几个个体，抽取样本容量为 n，当 n0。)(2 122()()nnpxe1、 性质可加性 若 且 X 与 Y 独立，则。 )(),(22mYnX )(2nmYX6证明 略。若 , 则 EX=n, VarX=2n。2)(2X分布的分位数3定义 若 ，对给定的 ， ，称满足)(2101(12nP的 是自由度为 n 的 分布的 分位数。)12注 要会查 分位数。2t分布、 F分布仍有相应的分位数定义。2二、F分布1、定义 设 ，且 X 与 Y 独立，则称 的分布为自由)(),(22nYmX/XmFYn度为(m,n )

6、的 F 分布，记为 FF（m,n） ，m 、 n 分别为分子、分母的自由度。F（m,n）的密度函数可由商的分布来推导，此处略。2、性质（1） 若 。),(1),(Fn则（2） 。),(,1m三、t分布1、定义定义 5.4.3 设随机变量 X 服从 则称 的分2(0,1)(),NYnXY且 与 独 立 /XtYn布为自由度为 n 的 t 分布,记为 tt(n)。t(n)分布的密度可由商的分布公式来推导,此处略,但必须注意：注(1) t(n)分布的密度函数为偶函数 ,从而 n1 时,Et=0。(2) t(n)分布当 n 充分大时(n30),可用 N(0,1)分布近似。2、性质(1) 若 ；),1,

7、2Ftt则(2) 1()().n四、Fisher 定理及其推论1、Fisher 定理定理 5.4.1 设 是来自正态总体 的样本, 分别是样本均值与nx,21 )(2N2sx和7样本方差，则(1) ；)1,(2nNx(2) ；iinxs122 )1()(3) 独立。x与注(1) 在证明 Th5.4.1 的过程中有一重要结论即：独立同 N(0,1)分布的随机变量经过正交变换后得到的仍是独立同 N(0,1)分布的随机变量。(2) 证明思路: 而后研究经, 212121 nnn zyx 正 交 化标 准 化过两步变换得到的随机变量之间的关系。2、三个推论推论 5.4.1 设 是来自正态总体 的样本,

8、 为样本均值、样本方nx,21 )(2N2,sx差,则 。)()(tsxnt分析 按 t分布定义来证。推论 5.4.2 设 是来自 的样本, 是来自mx,21 )(21Nny,21的样本,且两样本相互独立,记)(2N,21211221 )(,)(, niiynimiixmi ysyxsx则有 。特别当 时,),(21nFsyx21).,(2nmFsyx分析 据 F分布的定义结合 Th5.4.1。推论 5.4.3 在推论 5.4.2 的记号下,设 ,则有221。)(2)1()( nmtnmssyxy第六章 参数估计6.1 点估计的几种方法8一、参数估计问题这里所指的参数是指如下三类未知参数：1、

9、 类型已知的分布中所含的未知参数 。如二点分布 b(1, p)中的概率 p；正态分布中的 和 ;),(2N22、 分布中所含的未知参数 的函数：如正态分布 的变量 X 不超过给定值),(2Na 的概率 是未知参数 的函数；)()(aXP,3、 分布的各种特征数也都是未知参数，如均值 EX，方差 VarX，分布中位数等等。一般场合，常用 表示参数，参数 所有可能取值的集合称为参数空间，记为 。参数估计问题就是根据样本对上述各种参数做出估计。二、概率函数总体 X 的概率函数 是指：当 X 为离散型总体时， 就是总体的分布列；),(xp ),(xp当 X 为连续性总体时， 就是总体的密度函数。三、参

10、数估计形式分为点估计与区间估计。设 是来自总体的样本，我们用一个统计量 的取值作为nx,21 ),(1nx的估计值， 称为 的点估计量，简称估计。若给出参数 的估计是一个随机区间，使这个区间 包含参数真值的概率大到一定程度，此时称 为参数 的区),(),( ),(间估计。四、矩法估计1、替换原理及矩法估计用样本矩去替换总体矩（矩可以是原点矩也可以是中心矩） ，用样本矩的函数去替换总体矩的函数，这就是替换原理。用替换原理得到的未知参数的估计量称为矩法估计。注 矩法估计适用于总体分布形式未知场合，因此只要知道总体相应的矩即可，而不必知道其具体分布。2、概率函数 已知时未知参数的矩法估计),(xp设

11、总体的概率函数 ， 是未知参数， 是)1k，； ),(1k nx,21总体 的样本，若 存在，则 存在。设XkEjEXj,，kjkjjj ,2),(1 如果 也能够表示成 的函数 ，则可给k,1 k,1 kjkjj ,21)(1 9出 的矩估计量为 ，其中j kjakjj ,21),(1 kjxnaij ,21,1设 是 的函数，则利用替换原理可得到 的矩估计量),(1kg k,1 ，其中 是 的矩估计， 。,jjkj,21例 6.1.2 设总体为指数分布，其密度函数为 ， 为0,);(xexpnx,21样本， 为未知参数，求 的矩估计。0解 ， ， 为 的矩估计。1),(EXxpXEX1注

12、， 也为 的矩估2,VarVarS12计。因此矩估计不唯一，此时，尽量采用低阶矩给出未知参数的估计。例 6.1.3 设总体 ， 为样本，求 的矩估计。,bUXnx,21 b,解 )(, 2aVrXaEa由 ，得 ，12)(bVarXarb3所以 的矩估计为,xs3、矩估计的步骤 （1）计算总体的各阶矩 ， ，令jEXk,21；kjkjjj ,21)( （2）解出 ，即 ；jkjj ,1（3）令 ，其中 ；jakjj ,2),(1 kjxnaij ,21,1（4）若 ，则 为 的矩估计量。,1kg ),(1kg 五、最大似然估计1、最大似然原理一个试验有若干个可能的结果 A， B， C， ，若在

13、一次试验中结果 A 出现，则一般认为试验条件对结果 A 出现有利，也即 A 出现的概率最大。10例 6.1.5 产品分为合格品和不合格品两类，用随机变量 表示某个产品是否合格，X表示合格品， 表示不合格品，从而 ，其中 未知是不合格品率，0X1X),1(pb现抽取 个产品看是否合格，得到样本 ，这批观测值发生的概率为：n nx,21 niniii xxni xx iiippxXpL11)()1( )(,)(21当 已知时， 仅是 p 的函数，既然一次抽样观测到 ，此时应nx,21 L nx,21认为试验条件对该组样本的出现有利，即该组样本出现的概率最大，从而可求出当 =？p时 达到最大，此时把

14、求出的 =？做为参数 的估计就得到 的最大似然估计，问)(pL p题转化为求 的最大值点。如果总体为连续型的，求未知参数的最大似然估计仍可转化为求 的最大值点问)(L题。为此给出似然函数与最大似然估计的定义。2、似然函数与最大似然估计定义 6.1.1 设总体 X 的概率函数为 是一个未知参数或几个未知参数组),;(xp成的参数向量, 为来自总体 X 的样本，称样本的联合概率函数为似然函数，用nx,21表示，简记为 ，即),;(1nxL)(Lniixpx11),(),;如果统计量 满足),(21nx)(max)(L则称 是 的最大似然估计，简记为 MLE。),(21nx由于 是 的单调增函数，因

15、此对数似然函数 达到最大与似然函数 达l )(ln)(L到最大是等价的。 3、求最大似然估计的两种方法(1)似然方程法当 是可微函数时， 的极大值点一定是驻点，从而求最大似然估计往往借助)(L)(L11于求下列似然方程（组） 0)(lnL的解得到，而后利用最大值点的条件验证求出的是最大值点。（2）定义法虽然求导函数是求最大似然估计量最常用的方法，但并不是所有场合求导都是有效的。4、最大似然估计的不变性性质 如果 是 的最大似然估计，则对任一函数 ， 是 的最大似然估 )(g)(g计。注 上述性质称为最大似然估计的不变性，从而使求复杂结构的参数的最大似然估计变得容易，具体应用略。62 点估计的评价标准在评价某一个估计好坏时，首先要说明是在哪一个标准下，否则所论好坏则毫无意义。有一个基本标准是所有的估计都应该满足的，它是衡量估计是否可行的必要条件