《8大数定律和中心极限定理解析》由会员分享，可在线阅读，更多相关《8大数定律和中心极限定理解析（18页珍藏版）》请在金锄头文库上搜索。
1、第五章大数定律和中心极限定理大数定律和中心极限定理是概率论中两类极限定理的统称，前者是从理论上证明随机现象的“频率稳定性，并进一步推广到“算术平均值法那么；而后者证明了独立随机变量标准 化和的极限分布是正态分布或近似正态分布问题，这两类极限定理揭示了随机现象的重要统计规律，在理论和应用上都有很重要的意义。 5.1 大数定律设Xi, X2，Xn ,是互相独立的一列随机变量，每个随机变量取值于二元集合0 ,1,并有相同的概率分布函数P Xj =0 =q, P Xj =1 = p, p q =1易计算它们的数学期望和方差为E(Xj); p, D(Xj); pq如果取这些Xj的局部和Sn =XX2 X
2、nn并考虑它们的平均值 Sn/n = ( Xj)/n,易知它的数学期望和方差为j 1利用定理4.2.13给出的切比雪夫不等式可知：对任何一个正数t有Spqlim P 总-p 之t Mlim_pq=0T 、n n Tt2nlim P Sn-p n-5Cnt =0(5.1.1)可见当n很大时，局部和的平均值Sn / n与p相距超过任何一个数t 0的概率都很小，而当n t笛时，这个概率趋于 0。(5.1.(1) 结果称为弱大数定律， 也称伯努利大数定律，因为这个定律是伯努利在 1713 年首先证明的，是从理论上证明随机现象的频率具有稳定性的第一个定律。注意式(5.1.1)等价于lim PJ 二sn0
3、成立。该定理的证明可以利用定理4.2.13给出的切比雪夫不等式类似伯努利大数定律证之，把它留给读者。本定律使算术平均值的法那么有了理论依据，比方要测量某个物理量 a,在客观条件不变的情况下重复测量n次，得到n个测量值X1,X2，Xn,显然可以把它们看作n个独立同 分布的随机变量，有数学期望a,由大数定律知，当n充分大时，n次测量的平均值可作为a的近似估计，即Xi X2Xna ,n由此所产生的误差很小。弱大数定律可以进一步推广为以下形式的切比雪夫大数定律。定理5.1.3 (切比雪夫弱大数定律)设X1,X2，Xn,是互相独立的一列随机变量,每一个随机变量都有数学期望E(Xj)和有限方差D(Xj)
4、8, j =1,2,| ,并且它们有公共的上界D(Xj) 0有lim Pn帛二Sn y一2 E(Xj) t 1=0n jd(5.1.5)或等价地nmp1 一一 E(Xj) t =0.5 1 n n y.由俄国数学家切比雪夫证明的上述定律是关于大数定律的一个相当普遍的结论，前两 个弱大数定律都是它的特例。弱大数定律涉及一列概率的收敛性，此种收敛称为依概率收敛，定义如下：定义5.1.4 设丫,，工，是互相独立的一列随机变量，a是一个常数，如果对任意正数8,有场P(Yn -a z)=0,(5.1.7)或等价地lim P(|Yn -a )= 1,(5.1.8)n_那么称序列丫1，工,，YnJ依概率U敛
5、于a。依概率收敛的更一般的定义如下：定义5.1.5 (依概率收敛)设丫1,丫2,，Yn,是一列随机变量，Y是一个随机变量，如果对任意正数3 ,有lim P(Yn Y 至君)= 0,(5.1.9)n_sc*或等价地lim P(|Yn Y 名)= 1,(5.1.10)nC mP那么称序列Y1，Y2,，Yn，依概率U敛于Y。通常记为YnT Y .弱定律只涉及一列概率的收敛性，对应地一个强定律那么给出了一列随机变量的极限情况，它涉及的收敛性为几乎处处收敛，或依概率1收敛，其定义如下：定义5.1.6设Y，Y2，Yn，是互相独立的一列随机变量，a是一个常数，如果对任意正数8,有P(ljmYn -a 至君)
6、= 0，(5.1.11)或等价地P(lim Yn a )=1,(5.1.12)nSC那么称序列Y1,Y2,，Yn,几乎处处收敛于a(或依概率1收敛于a)。几乎处处收敛的更一般的定义如下：定义5.1.7 (几乎处处收敛)设Y,X,，Yn,是一列随机变量，Y是一个随机变量 如果对任意正数8,有或等价地P lim 工 -丫 ； =0, n p(nmx-Y i,(5.1.13)(5.1.14)那么称序列丫1，丫2,，Yn，几乎处处收敛于 Y (或依概率1收敛于丫)。通常记为YnT Y(ae).注 几乎处处收敛的定义(5.1.13)和(5.1.14)与依概率收敛的定义中 (5.1.9)和(5.1.10)
7、形式上的 区别是将极限号和概率符号交换了，但这却是本质上的区别，因为一般情况下是不能交换的。几乎处处收敛要强于依概率收敛，即假设随机变量序列Y,Y2,，Yn,几乎处处收敛于 Y ,那么必定也依概率收敛于 Y。但反之不成立。在几乎处处收敛意义下的大数定律称为强大数定律，通常强定律的证明要比弱定律的证明困难得多，以下不给证明地给出强大数定律。定理5.1.8 (强大数定律)设X1,X2，Xn,是互相独立同分布的一列随机变量，有数学期望E(Xj)=a和有限方差D(Xj)=r2 t = 0(5.1.15)Ll n I J或等价地P lim - -a t =1(5.1.16)产n )注意弱大数定律和强大数
8、定律的区别不仅仅是一个法那么的不同，不能简单地把极限号lim从概率号P()中移出来，这两个定律描述的是相当不同的事情，弱定律描述的是一列概率的收敛性，而强大数定律说的是一列随机变量Sn/n收敛到一个常数a。正是强大数定律最有力地保证了用事件出现的相对频率作为事件出现概率的估计的正确性。下面举一个信息论中应用的例子说明大数定律的重要性。定理5.1.9 设XX2，Xn，是互相独立同分布、取值于同一个有限字母集&,X2，Xn的一列随机变量，它们的公共分布记为p(x) =p(x) p(X2)，P(Xn),那么依概率收敛的意义下有其中11n p(X1, X2JII,X n= H(X)H(X) =，p(X
9、i)ln p(x) i 1称为分布p(x)的嫡，当式中对数是以 2为底时，嫡的单位为比特(bit),当式中对数是以e 为底的自然对数时，嫡的单位为奈特(nat)。证设Yn=lOgXn,由于Xi,X2，Xn,是互相独立同分布，它们的函数Yi ,Y2,，Yn，也是互相独立同分布的随机变量，11 n .11n-ln p(Xi,X2,HI,Xn)l-ln P(Xi)l-Xnn yn y1 n根据大数定律，一 Yi依概率4敛到Y的数学期望 n i4 nE ln Y = E -ln Xi =，p(xn p(xj i 1这里用到了求随机变量函数数学期望的(4.1.3)式，由此定理得证。口这个定理称为嫡定理，
10、在信息论和数据压缩中有重要应用。以上介绍了概率论中的两种重要的收敛性：依概率收敛和几乎处处收敛，下面再简要 介绍概率论中另外两种常见的收敛性：依分布收敛和矩收敛。定义5.1.10(分布函数弱收敛)设Fn(x),n = 1,2，是一列分布函数，如果存在一个非降函数F(x),对它的每个连续点 x,都有nim：Fn(x) = F(x) W那么称分布函数列Fn(x),n=1,2，弱收敛于F(x),记为Fn(x)T F(x).定义5.1.11(依分布收敛)设随机变量序列Yn,n =1,2,和随机变量 Y的分布分别为Fn(x),n =1,2,和 F(x),如果Fn(x),n = 1,2,弱收敛于 F(x)
11、,那么称LYn,n =1,2，依分布4敛于Y ,记为YnT Y.定义5.1.12(矩收敛)设对随机变量序列K,n =1,2，和随机变量Y有E(Yn|r )0, E(Y)0为常数，如果lim EtlY, -Y|r )=0r那么称随机变量序列Yn,n =1,2， r 阶矩收敛于随机变量 Y , Kt Y .在r 阶矩收敛中最重要的是 r =2的情形，这时称为均方收敛。以上介绍了随机变量序列的4种收敛性，它们之间有什么关系呢，哪种强一些，哪种弱一些呢？下面用图 5.1表示它们的关系：图5.1随机变量序列的四种收敛性的关系其中“ At B表示由命题 A可以推出命题 B,上述逆命题一般不成立。此外在“ r -阶 矩收敛和“几乎处处收敛
