《本科生必修课概率论与数理统计》由会员分享，可在线阅读，更多相关《本科生必修课概率论与数理统计（42页珍藏版）》请在金锄头文库上搜索。
1、本科生必修课：概率论与数理统计,第五章 大数定律及中心极限定理,主讲教师：董庆宽 副教授 研究方向：密码学与信息安全 电子邮件： 个人主页：http:/ 大数定律及中心极限定理,5.1 大数定律 5.2 中心极限定理,3/41,5.1 大数定律,大数定律(law of large numbers)，又称大数定理，是一种描述当试验次数很大时所呈现的概率性质的定律。但是大数定律并不是经验规律，而是严格证明了的定理。 在前面我们接触了两个重要的概念 大量试验后事件发生的频率nA/n稳定于一个常数，即概率 大量试验的算术平均值稳定于数学期望 大数定律就是以确切的数学形式表达了大量重复出现的随机现象的统
2、计规律性 即频率的稳定性和算术平均值的稳定性,4/41,弱大数定理 1(契比雪夫定理的特殊情况) 设随机变量X1, X2,., Xn,.相互独立, 且具有相同的数学期望和方差: E(Xk)=m, D(Xk)=s2(k=1,2,.), 作前n个随机变量的算术平均值,则对于任意正数e, 有,5.1 大数定律,5/41,证,由契比雪夫不等式可得,由随机变量X1,X2,Xn,相互独立，且具有相同的数学期望和方差，有,在上式中令n, 并注意到概率不能大于1, 即得,6/41,定理的实际含义：令充分小，当n充分大时，随机变量X1,X2,Xn的算术平均值无限接近数学期望E(X1)= E(X2)= E(Xn)
3、，即当n无限增加时n个随机变量的算术平均值将几乎变成一个常数。这种接近是概率意义上的接近,5.1 大数定律,7/41,5.1 大数定律,概率中的几种收敛 依概率收敛 依分布收敛(弱收敛，只在连续点保证收敛) 几乎必然收敛，也叫几乎处处收敛,8/41,5.1 大数定律,定义 已知随机变量序列Y1,Y2,.,Yn,. 与随机变量Y。如果对 ，都有那么我们就称随机变量序列Yn，nZ+依概率收敛到随机变量Y ，记为依概率收敛的本质是Yn对Y的绝对偏差小于任一给定量的可能性将随着n的增大而增大. 特别当Y为退化分布时,即PY=a=1,则称序列依概率收敛于a,即,如果把极限放到绝对值上，即差值的极限小于任
4、意正数的概率为1则称为几乎处处收敛,9/41,5.1 大数定律,依概率收敛序列的性质 (只考虑收敛于常数a的情况)： 若 ， ，又设函数g(x,y)在点(a,b)连续，则 这样上述弱大数定理可以描述为 定理一 设随机变量X1,X2,Xn,相互独立，且具有相同的数学期望和方差：E(Xk)=，D(Xk)=2(k=1,2,)，则序列 依概率收敛于，即,10/41,5.1 大数定律,在概率极限理论中,研究随机变量序列收敛性的同时当然也要研究相应的分布函数序列的收敛性如：中心极限定理，第六章的经验分布函数Fn(x)等 定义3 设 Fn(x),nN是一列定义在R上的有界非减右连续函数，如果存在一个满足同样
5、条件的函数F(x)使得则称Fn(x),nN弱收敛到F(x)，记为 如果Fn(x)是一列分布函数，并且存在分布函数F(x) ，使得 ，那么我们就称Fn(x)依分布收敛到F(x) ，记为 。,11/41,5.1 大数定律,依概率收敛包含了依分布收敛，反之不成立，依分布收敛是弱收敛 所谓“弱大数定律”，是指上述收敛为依概率收敛(in probability)， 所谓“强大数定律”，是指上述收敛为“几乎必然收敛”(almost surely/with probability one),12/41,上述定理中要求随机变量X1,X2,.的方差存在. 但这些随机变量服从相同分布的场合, 并不需要这一要求,
6、我们有以下的定理.,弱大数定理(辛钦定理) 设随机变量X1,X2,.,Xn,.相互独立, 服从同一分布, 且具有数学期望E(Xk)= (k=1,2,.), 则对于任意正数e, 有,5.1 大数定律,即序列 依概率收敛于，,13/41,伯努利大数定理(辛钦定理的推论) 设nA是n次独立重复试验中事件A发生的次数. p是事件A在每次试验中发生的概率, 则对于任意正数e0, 有,或,5.1 大数定律,证 因为nAb(n,p), 且根据第四章中随机变量分解的思想, 有 nA=X1+X2+.+Xn, 其中, X1,X2,.,Xn相互独立, 且都服从以p为参数的(0-1)分布， Xi=,14/41,5.1
7、 大数定律,因而E(Xk)=p, D(Xk)=p(1-p) (k=1,2,.,n)，由定理一得,伯努利大数定理表明，事件发生的频率nA/n依概率收敛于事件的概率p，以严格的数学形式表达了频率的稳定性和概率的合理性 近似：当n很大时，事件发生的频率nA/n与概率有较大偏差的可能性很小，因此由实际推断原理，由于小概率事件几乎不发生，当试验次数很大时，可以用事件的频率来代替事件的概率,15/41,5.1 大数定律,16/41,5.2 中心极限定理,实例：考察射击命中点与靶心距离的偏差 这种偏差是大量微小的偶然因素造成的微小误差的总和 包括: 瞄准误差、测量误差、子弹制造过程方面 (如外形、重量等)
8、的误差以及射击时武器的振动、气象因素(如风速、风向、能见度、温度等) 的作用, 所有这些不同因素所引起的微小误差是相互独立的, 并且它们中每一个对总和产生的影响不大 问题：某个随机变量是由大量相互独立且均匀小的随机变量相加而成的, 其概率分布有何规律？ 在客观实际中有许多随机变量是由大量的相互独立的随机因素的综合影响所形成的，而其中每一个因素在总的影响中所起的作用都是微小的。这种随机变量往往近似地服从正态分布,17/41,定理4（独立同分布的中心极限定理，也叫作林德贝格-列维中心极限定理）,5.2 中心极限定理,18/41,定理4表明:,5.2 中心极限定理,19/41,5.2 中心极限定理,
9、定理含义： 均值为，方差为20的独立同分布的随机变量X1,X2,Xn之和 的标准化变量，当n充分大时，有近似N(0,1)这样可以用(标准)正态分布来对 作理论分析或实际计算，不必求分布函数,20/41,5.2 中心极限定理,将上式改写为 ，这样有近似N(0,1)，或近似N(, 2/n) 即均值为，方差为20的独立同分布的随机变量X1,X2,Xn的算术平均 ，当n充分大时，近似的服从均值为，方差为2/n的正态分布，这是数理统计中大样本统计的推断基础,5.2 中心极限定理,思考：如何产生符合正态分布的随机数？ 第一种方法：利用中心极限定理 先产生n个符合均匀分布的随机数 计算着n个随机数的和，即为
10、近似服从正态分布的随机数 第二种方法：Box-Muller变换，将均匀分布变换为正态分布，更为精确,21/41,22/41,定理5(李雅普诺夫Liapunov定理),5.2 中心极限定理,23/41,则随机变量之和的标准化变量,5.2 中心极限定理,24/41,定理5表明:,如：城市的总用电量，测量误差，实例中射击偏差等等,5.2 中心极限定理,25/41,证明,如伯努利大数定理中的处理,定理6(德莫佛拉普拉斯定理De MoivreLaplace ),5.2 中心极限定理,26/41,根据定理4得,定理6表明:,正态分布是二项分布的极限分布, 当n充分大时, 可以利用该定理来计算二项分布的概率
11、.,5.2 中心极限定理,27/41,下面的图形表明:正态分布是二项分布的逼近.,5.2 中心极限定理,28/41,中心极限定理的意义,在后面的课程中，我们还将经常用到中心极限定理.,中心极限定理是概率论中最著名的结果之一，它不仅提供了计算独立随机变量之和的近似概率的简单方法，而且有助于解释为什么很多自然群体的经验频率呈现出钟形曲线这一值得注意的事实.,5.2 中心极限定理,29/41,解,由定理4.6, 随机变量Z近似服从正态分布N(0,1),例1,5.2 中心极限定理,30/41,其中,5.2 中心极限定理,31/41,例2：一船舶在某海区航行, 已知每遭受一次海浪的冲击, 纵摇角大于 3
12、 的概率为1/3, 若船舶遭受了90000次波浪冲击, 问其中有2950030500次纵摇角大于 3 的概率是多少？,解：将船舶每遭受一次海浪的冲击看作一次试验, 并假设各次试验是独立的,在90000次波浪冲击中纵摇角大于 3 的次数为X,则X是一个随机变量,5.2 中心极限定理,32/41,所求概率为,分布律为,直接计算很麻烦，利用德莫佛拉普拉斯定理,5.2 中心极限定理,33/41,5.2 中心极限定理,34/41,对于一个学生而言, 来参加家长会的家长人数是一个随机变量. 设一个学生无家长、1名家长、 2名家长来参加会议的概率分别为0.05、0.8、0.15. 若学校共有400名学生, 设各学生参加会议的家长数相互独立, 且服从同一分布. (1) 求参加会议的家长数X超过450的概率; (2) 求有1名家长来参加会议的学生数不多于340的概率.,解,例3,5.2 中心极限定理,35/41,根据定理4,5.2 中心极限定理,36/41,5.2 中心极限定理,37/41,由德莫佛拉普拉斯定理知,5.2 中心极限定理,38/41,证,例4,5.2 中心极限定理,39/41,根据定理4,5.2 中心极限定理,40/41,本章小结,41/41,本章作业,第一次： P126：1，3，5，10，11，13,42/41,谢谢！,
