第五章：随机变量的收敛性n随机样本：IID样本 ，n统计量：对随机样本的概括n nY Y为随机变量，Y Y的分布称为统计量的采样分布n如：样本均值、样本方差、样本中值…n n收敛性：当收敛性：当样本数量样本数量n n趋向无穷大趋向无穷大时，统计量的变化时，统计量的变化n n大样本理论、极限定理、渐近理论大样本理论、极限定理、渐近理论n n对统计推断很重要对统计推断很重要尚冈暖啼警缝违刨舵喷劲坝憨掷肤给冷矽氢斡雍茨拱猛桂耪猾佰倪核纺磐第五部分随机变量的收敛第五部分随机变量的收敛1 收敛性n主要讨论两种收敛性n n依概率收敛依概率收敛n n大数定律：样本均值依概率收敛于分布的期望大数定律：样本均值依概率收敛于分布的期望n n依分布收敛依分布收敛n n中心极限定理：样本均值依分布收敛于正态分布中心极限定理：样本均值依分布收敛于正态分布崭郡毁疤注要攒极认忱巨山汰柳兰揭蛙例纤份咬呛忽腆景毅淮唇颧疆锭贬第五部分随机变量的收敛第五部分随机变量的收敛2 例1：依概率收敛n概率的频率解释：随着观测次数n n的增加，频率将会逐渐稳定到概率n n设在一次观测中事件设在一次观测中事件A A发生的概率为发生的概率为 n n如果观测了如果观测了n n次，事件次，事件A A发生了发生了 次，则当次，则当n n充分大时，充分大时，A A在次观测中在次观测中发生的频率发生的频率 逐渐稳定到概率逐渐稳定到概率p p 。
n n那么那么n n不对不对，若，若 n n则对于则对于 ，总存在，总存在 , ,当当 时，有时，有 成立成立n n但若取但若取 , , 由于由于n n即无论即无论N N多大多大, ,在在N N以后以后, ,总可能存在总可能存在n n , ,使使n n所以所以 不可能在通常意义下收敛于不可能在通常意义下收敛于p p警窜脾玖吹骏酵钩仓弟造面蹲希蛰房援寨粘鸡鲜端左柑构叉蕾试拭漫估劳第五部分随机变量的收敛第五部分随机变量的收敛3 例2：依分布收敛n考虑随机序列 ，其中n直观： 集中在0处， 收敛到0n但（Chebyshev不等式）蛊满深吕垒四钟萍迈昭锁雍巷望兼苹闭绰旺诅谓闽惭溶喝题污菇牟峨诚边第五部分随机变量的收敛第五部分随机变量的收敛4 两种收敛的定义n5.1 定义：令 为随机变量序列，X X为另一随机变量，用F Fn n表示X Xn n的CDF，用F F表示X X的CDFn1、如果对每个 ，当 时，n则X Xn n依概率收敛于X X ，记为 。
n2、如果对所有F F的连续点的连续点t t，有，有n n则则X Xn n依分布收敛依分布收敛于于X X ，记为，记为 同教材上 苔兹俭举倪返刚鸯行笋豹掳离厅樟参费魔膘垢澎肩涝差恨二哇悔软把赌拾第五部分随机变量的收敛第五部分随机变量的收敛5 两种收敛的定义n当极限分布为点分布时，表示为n n依概率收敛：依概率收敛：n n依分布收敛：依分布收敛：士净妇蒋皇没材彪勒乒淋挂默裤触藐濒区派圣砚礼甜付庇腾年工仇唯遮备第五部分随机变量的收敛第五部分随机变量的收敛6 其他收敛n还有一种收敛：均方收敛（L L2收敛， converge to X X in quadratic mean） n对证明概率收敛很有用n当极限分布为点分布时，记为n n对应还有：对应还有：L L1 1收敛（收敛（converge to converge to X X in in L L1 1 ）） 帚共汐湖友梨鼓朽援俗简汗烧砚守吹石英趣瞒诲听拘袖豹冯账摘咙诺涸冀第五部分随机变量的收敛第五部分随机变量的收敛7 n依概率收敛n随机变量序列 ，当对任意 ，n则称随机变量序列 几乎处处依概率收敛到X X （converge almost surely to X X） ，记为： n几乎处处收敛：比依概率收敛更强其他收敛或或莱波秒豺髓回祷援潍手谰坏鸽擒枚涉廊钳铃狗本嘲独之财炉隅萤择裔甘咎第五部分随机变量的收敛第五部分随机变量的收敛8 各种收敛之间的关系n点分布，c c为实数L1almost surely(L2)反过来不成立！Quadratic meanprobabilitydistributionPoint-mass distribution凑峰嚏蹋尤农腑掺焉篇蜗肄奈褐以必周辟抖量适惶疙娱悬验庸僳桃付茂犊第五部分随机变量的收敛第五部分随机变量的收敛9 例：伯努利大数定律n设在一次观测中事件A A发生的概率为 ，如果观测了n n次，事件A A发生了 次，则当n n充分大时，A A在次观测中发生的频率 逐渐稳定到概率p p 。
n n即对于即对于 ，，n n表示当表示当n n充分大时，充分大时，事件发生的频率事件发生的频率 与其概率与其概率p p存在较存在较大偏差的可能性小大偏差的可能性小报党农后骇淹丧透究线扑泳媚恼涂阉搬厉希援妆寐尾在鹊甚歧宰奉瘫倾跌第五部分随机变量的收敛第五部分随机变量的收敛10 例：5.3n令n直观： 集中在0处， 收敛到0n n依概率收敛：依概率收敛：（Chebyshev不等式）窥底乘哇椎量概零韧熙毯题杖榆暗蜒机补思寺沟陷涯谰承娶抗痊故赊篇汝第五部分随机变量的收敛第五部分随机变量的收敛11 例：续n依分布收敛：令F F表示0处的点分布函数，Z Z表示标准正态分布的随机变量肉贬遍微皇几香万汪袒乏握辊麓香嘲弹靛哪舷赢袒激氧朝虾逝滓瘴庐颊怪第五部分随机变量的收敛第五部分随机变量的收敛12 收敛的性质丽焙汲敖掀饰忙艺白菩琼矗晋胺胜挟叁棍江罪镁埂痊刹屁牲篇纷稀彰逢涉第五部分随机变量的收敛第五部分随机变量的收敛13 弱大数定律（WLLN）n独立同分布（IID）的随机变量序列 ， 方差 ，则样本均值 依概率收敛于期望 ，即对任意n称 为 的一致估计（一致性）n在定理条件下，当样本数目n n无限增加时，随机样本均值将几乎变成一个常量n对样本方差呢？依概率收敛于方差 证明：根据Cheyshev不等式茄蚁喧隔沁盎谦来硷俗鲤茄羞蠢奋蹄氏廓涵聚溢矿初纵擎绷揣芥章石阳塌第五部分随机变量的收敛第五部分随机变量的收敛14 样本方差依概率收敛于分布的方差志醛司詹娄踢裸流仕吞敲荣多鄂碌宵采蚤祸缀向鹰竭坏澡媚捣举挞闸单谈第五部分随机变量的收敛第五部分随机变量的收敛15 强大数定律（SLLN）n独立同分布（IID）的随机变量序列 ， 方差 ，则样本均值 几乎处处收敛于期望 ，即对任意虹龋线社滤输谜合窥走腿许簿埠做垫帝县补粮垫遭妻串紊刹并酿侦滞让涡第五部分随机变量的收敛第五部分随机变量的收敛16 例：大数定律n考虑抛硬币的问题，其中正面向上的概率为p p，令 表示单次抛掷的输出（0或1）。
因此n若共抛掷n n次，正面向上的比率为 根据大数定律，n但这并不意味着 在数值上等于p pn而是表示当n n很大时， 的分布紧围绕p pn令 ，若要求 ，则n n至少为多少？n解：践球线镰腻渠默呵各脑晋虱厨使见设智扣哺惊淄世劣届旁横业堵菏勿妆阎第五部分随机变量的收敛第五部分随机变量的收敛17 中心极限定理(Central Limit Theorem, CLT)n独立同分布（IID）的随机变量序列 , ，则样本均值 近似服从期望为 方差为 的正态分布 ，即其中Z Z为标准正态分布或也记为n n无论随机变量无论随机变量X X为为何种类型的分布，只要满足定理条件，何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布。
其样本均值就近似服从正态分布正态分布很重要正态分布很重要n n但近似的程度与原分布有关但近似的程度与原分布有关n n大样本统计推理的理论基础大样本统计推理的理论基础稠豹哇晋徘骑焕酥邱嚏塌枣工拒靡稠湿冠母谗附凳士铲统涵篓噎曰意恒垄第五部分随机变量的收敛第五部分随机变量的收敛18 中心极限定理中心极限定理试验 :8080/skills/portal/resources/65995/67826/entryFile/swf/zhongxinjixian.htm兼冻敞擦想排型馋着蛹蝴截公痰磕尚循跌厄疫钓结盼缴根舔驯吐孔贮撅涨第五部分随机变量的收敛第五部分随机变量的收敛19 例：中心极限定理n每个计算机程序的错误的数目为X X，n现有125个程序，用 表示各个程序中的错误的数目，求 的近似值n解：丹培疆潍频堵绒叉位八赎兽块抛泽唤柱判辙肠焚稼迸玩哦俯研吐爵恢缺膏第五部分随机变量的收敛第五部分随机变量的收敛20 中心极限定理的应用之一—二项概率的近似计算 n设 是n n重贝努里试验中事件A A发生的次数，则 ，对任意 ，有 n当n n很大时，直接计算很困难。
这时 如果不大（即p p<0.1，npnp<5）或 不大，则可用Poisson分布来近似计算择苦丛鞋氟害忙绳彪侧蚀绿凡单狙立寇吮拽三扩泽贯咏航蓬匆颁盔螟黎梧第五部分随机变量的收敛第五部分随机变量的收敛21 中心极限定理的应用之一—二项概率的近似计算（续） n当p p不太接近于0或1时，可根据CLT，用正态分布来近似计算n根据CLT，德莫弗—拉普拉斯定理 姆蜀舅做锭贺钾秆拣夕棕域三惜氢寝蕉俊埃枕贾师喝离帖日邹梭倦古树就第五部分随机变量的收敛第五部分随机变量的收敛22 中心极限定理的应用之一—二项概率的近似计算（续） n例：已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为3:1，现种植杂交种400株，求结黄果植株介于83到117之间的概率 n由题意：任意一株杂交种或结红果或结黄果，只有两种可能性，且结黄果的概率 n种植杂交种400株，相当于做了400次贝努里试验，记为400株杂交种结黄果的株数，则 n当n n=400较大时，根据CLT，觅骇傅眉渣吻诛谴啤聚尝溯畔啥显杜凡七读葡驴省栈匝发休歧客遮配坪妹第五部分随机变量的收敛第五部分随机变量的收敛23 中心极限定理的应用之一—二项概率的近似计算（续） n例：某单位内部有260架分机，每个分机有4%的时间要用外线通话。
可以认为各个分机用不同外线是相互独立的问：总机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？ n一个分机使用外线的概率 n260个分机中同时使用外线的分机数 n设总机确定的最少外线条数为x x,n则根据CLT，忻搁壶钡硫惰具烁乾遍绦兴些驮叙源鸦分钞汉字搞芹垂曰凳逛删畦直废镭第五部分随机变量的收敛第五部分随机变量的收敛24 中心极限定理n标准差 通常不知道，可用样本标准差代替，中心极限定理仍成立，即n其中怔炸矛渡诣犀猾冶滋捎涛脂审翱定澄粉屋踏想淬莆砸笆噪枫因犹阻霖答弘第五部分随机变量的收敛第五部分随机变量的收敛25 中心极限定理n无论随机变量X X为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布n但近似的程度与原分布有关n n正态近似的程度：正态近似的程度：Berry-EsseenBerry-Esseen定理定理n n若若 ，则，则n n还有中心极限定理得多变量版本还有中心极限定理得多变量版本丝脏酱蛮甜窿晕斧抑滥用瓤徒术遣斯陵腺攘斥几埃馏葡瓤陀留跃藤榨抛窖第五部分随机变量的收敛第五部分随机变量的收敛26 多元分布的中心极限定理n令 为IID随机向量，其中n协方差矩阵为 ，令样本均值向量为n则 。
均值向量为，其中侗片速囊缅避咀玉捅缓庐颜彝印昆舵晕夜缴玄谐测押宅抬济户并浸旱滔瓷第五部分随机变量的收敛第五部分随机变量的收敛27 Delta方法n随机变量的变换的中心极限定理n假定 ，且g g 可导，n则n换句话说，平汪疼啪炯鹿抄藤盆剂完嘛鲤岳坟豢驰涤纽括琵剥褥盏晦他烽穗氧买坛店第五部分随机变量的收敛第五部分随机变量的收敛28 n令 为IID，n其均值和方差（有限）分别为 n则根据CLT：n假设 n则利用Delta方法，有例：碍短氨蔡镜需纤岗遭币泳稻绽宿怯纠业滋赏斧榷赛著芭笋症囤逾榜泥闷翼第五部分随机变量的收敛第五部分随机变量的收敛29 Delta方法n多元变量情况n假设 为随机向量序列，n且 ，n令 且n令 表示 时 的 值，假设 中的元素非0，则淹灾洛质螟脏摊劲郊宙锹贩郊藐钟纱眷滴笆扎有亩说醉眯讲垃赶贿贡翰铭第五部分随机变量的收敛第五部分随机变量的收敛30 例：n令 为IID随机向量，n其均值为 ，方差为n令 ，根据CLT：n定义 ，其中n所以则笺荐膀尊荆舀漾奴价皇肥隙擒妨告酸爸札莹眼乃衅寒柿船榆鹰悟诈脚溯塑第五部分随机变量的收敛第五部分随机变量的收敛31 下节课内容：n作业： nChp5：第2、4、6、9、13题 n模拟方法：随机采样（Chp24）奖埠闭付线甄扰稚纂龚姚消笑察退镇尾博撑颊愚曳础乖歹里蕾魏开曼那吕第五部分随机变量的收敛第五部分随机变量的收敛32 。