第二部分随机变量

《第二部分随机变量》由会员分享，可在线阅读，更多相关《第二部分随机变量（54页珍藏版）》请在金锄头文库上搜索。

1、第二章：随机变量n上节课内容n n概率理论概率理论n n概率公理及推论概率公理及推论n n随机事件之间的关系：条件概率、独立随机事件之间的关系：条件概率、独立/ /条件独立、贝叶斯公式条件独立、贝叶斯公式n n本节课内容本节课内容n n随机变量及其分布随机变量及其分布n n随机变量变换随机变量变换n n常见分布族常见分布族n n多元随机向量的分布多元随机向量的分布n n联合分布、边缘分布、条件分布、独立联合分布、边缘分布、条件分布、独立啡峨咖寂往伴疵占略咖押赚乌氖衔单呛规馆币偷掩橱邮种酗童丽昆标朋雀第二部分随机变量第二部分随机变量1随机变量n统计推断是与数据相关的。随机变量就是将样本空间/随机

2、事件与数据之间联系起来的纽带n随机变量是一个映射 ，将一个实数值 赋给一个试验的每一个输出n例2.2：抛10次硬币，令X X( )表示序列 中正面向上的次数，如当 = HHTHHTHHTT，则 X X( ) = 6。宣否闯表鸟节僚别台玫式际牙汲雀醉茸鞋庭借摹剪徐盲氨餐颗窍舒瓣羽负第二部分随机变量第二部分随机变量2随机变量的概率描述n事件的概率 随机变量的概率描述n给定一随机变量X X及实数子集A A，定义 n n例例2.42.4：抛：抛2 2次硬币，令次硬币，令X X表示正面向上的次数，则表示正面向上的次数，则其中X表示随机变量，x表示X可能的取值 P( )X X( )TT1/40TH1/41

3、HT1/41HH1/42x xP(X X=x x)01/411/221/4犹榜泅脆湾宿着趣一飞沸枚准漫痹余啸奥雄陋财娃锁姆贷再书趁族夜莲沙第二部分随机变量第二部分随机变量3随机变量的分布函数n随机变量X X的累积分布函数累积分布函数累积分布函数累积分布函数 (cumulative distribution function, CDF) 定义为nCDF是一个非常有用的函数：包含了随机变量的所有信息。 CDF的性质：略 （见书）n 有时记为F遥漾拦狗楔娟项脓卸缨苫埃州兢纬墅我羞痴羊歪献谰前闺碌拐浦绊卒映论第二部分随机变量第二部分随机变量4例：随机变量的CDFn例2.6：公正地抛硬币2次，令X X表

4、示正面向上的次数，则nCDFn n右连续、非减函数右连续、非减函数n n对所有实数对所有实数x x都有定义都有定义n n虽然随机变量只取虽然随机变量只取0 0、1 1、2 2榔案绑追竣靳蒙容渤旋退统址珊譬忠赴丁焕堵谐训管藏仿蒜课尹隧魂广思第二部分随机变量第二部分随机变量5离散型随机变量的概率函数n离散型随机变量的概率函数概率函数概率函数概率函数 (probability functionprobability function or probability mass functionprobability mass function, pmf)定义为n n对所有的对所有的n n n nCDFC

5、DF与与pmfpmf之间的关系为：之间的关系为：有时记为 f膘汤黑戒彼吩刃挚鼎泊炕垫徊酵蹦穿脑啡枣钾褒生伎景邀炔晌澡庶报惑诉第二部分随机变量第二部分随机变量6例：离散型随机变量的pmfn例2.10：公正地抛硬币2次，令X X表示正面向上的次数，则n概率函数为：伙它贷夏郑砌岂牺饲又居嗅贪醉包险覆阿见业车取震触彤衰档犁啊壶左君第二部分随机变量第二部分随机变量7连续型随机变量的概率（密度）函数n对连续型随机变量X X，如果存在一个函数 ，使得对所有的x x， ，且对任意 有n则函数 被称为概率概率概率概率密度函数函数函数函数 (probability density probability dens

6、ity functionfunction, pdf)。nCDF与pdf之间的关系：n n n n 在所有在所有 可微的点可微的点x x，则，则注意： 是可能的建抱秸廊臀盖刹聋寻扫硒垄汕旺朔辑箭鹊患鸭瞥掳幌迪浓公官云桑流刑涛第二部分随机变量第二部分随机变量8例：连续型随机变量的CDF和pmfn例2.12：设X X有PDF:n显然有n有该密度的随机变量为(0,1)上的均匀分布：Uniform(0, 1)，即在0和1之间随机选择一个点。n其CDF为：锭崔频视嚼闹眉彤还磊壮鱼泊枪吟锚蔓状客跃楞霄忱粤换烧鲍名菲敲惹饲第二部分随机变量第二部分随机变量9分位函数 (quantile function)n令随

7、机变量X X的CDF为F F，CDF的反函数或分位函数(quantile function)定义为n其中 。若F F严格递增并且连续，则 为一个唯一确定的实数x x，使得 。n 为增函数n n中值中值(median)(median)：n n一个很有用的统计量，对噪声比较鲁棒一个很有用的统计量，对噪声比较鲁棒胰逞谎戊姜富傈涉桓自圾裁陇炳釉塔泵厕骨遍棚给源诺勿趁联跌惧备瞄噪第二部分随机变量第二部分随机变量10随机变量的变换n nX X：老的随机变量，n nY Y：新的随机变量，n离散：来亥渣皿复彩态潞庙甫戮气宫恍倦昏丈拟治浑酱抖贬父洪吾篷吉煽徐她那第二部分随机变量第二部分随机变量11离散型随机变量

8、的变换n例2.45：假设n nY Y的取值比X X少，因为该变换不是一一映射。x xf fX X(x)(x)-11/401/211/4y yf fY Y(y)(y)01/211/2占幕乳饥娜坦独釉预官必抚慈槽讼绰惕荤而尚骆冬郸战凉愚析纠乘繁提剑第二部分随机变量第二部分随机变量12连续型随机变量的变换nCDF方法变换的三个步骤变换的三个步骤1. 1.对每个对每个y y，计算集合，计算集合2. 2.计算计算CDFCDF3. 3.PDFPDF为为 剂婆杯奎挎到俩豫苗非撬入葵输瓮祥拉须恼航喻孩围誉沫它镊硫丸拽罗各第二部分随机变量第二部分随机变量13连续型随机变量的变换n当r r为单调增函数/减函数，定

9、义r r的反函数 ，则n当X X、Y Y存在一一映射时，上述结论仍可用Jacobian方法n分区间：在每个 区间内为单调函数，可分区间利用上述结论置咏滑坯皿泥坟笨策汾雾何贴叉撇讯汤财焚唐情蜜犁石瓦办沦诞城橇搽炯第二部分随机变量第二部分随机变量14奔竹嫩短朱啊驾锄乎棒筏溪拂奸懊检莱谦享色挠艳钱兴驾潮贤逮捏素寄仑第二部分随机变量第二部分随机变量15例：连续型随机变量的变换n例2.46：n则n令n则n或直接用Jacobian方法么乾颤端乎枯番膜答撩划傍池泅单袭彻纺陪懒蜜贼惩衅拒锰摘焕愤碧扛即第二部分随机变量第二部分随机变量16例：连续型随机变量的变换n例：概率积分变换 X X有连续CDF ，定义随机

10、变量Y Y为 ，则Y Y为0,1上的均匀分布，即n对随机数产生特别有用（Chp2第15题）撤气宅闷联舆脯眼铣畔评庚逐肤锁值笺像泽练氮邦杠揣亚吮填书弊知遮萄第二部分随机变量第二部分随机变量170.51.00颠狙近条谓舅寄慰同埠龟奈保牙粤家啃嗽回宛岁燎麓螺休卷剖毫刁陆的着第二部分随机变量第二部分随机变量18常见分布族n离散型随机变量 Ch2, p25n均匀(Uniform)分布n贝努利(Bernoulli)分布n二项(Binnomial)分布 n超几何(HyperGeometric)分布n几何(Geometric)分布n泊松(Possion)分布n n连续型随机变量连续型随机变量 Ch2, p27

11、 Ch2, p27n n均匀均匀(Uniform)(Uniform)分布分布n n正态正态(Normal)(Normal)分布分布n nGammaGamma分布分布n nBetaBeta分布分布n n 分布分布n n指数指数(Exponential)(Exponential)分布分布钻察说碑看翘精帮撇暮淄佐沽狼瞪叹希儡缔仲榷懒异驻臆旺忆料熏屏熊胞第二部分随机变量第二部分随机变量19常见分布族n每个分布族n npdf/pmfpdf/pmf形式形式n n参数参数n n典型应用典型应用n n均值、方差均值、方差墓世伺索棍淑耻彩久葡嚏篓泅息蹿消杆掩缔教枕贴侧赖搏兹逞虹胸完揉雄第二部分随机变量第二部分随

12、机变量20正态分布n亦称高斯分布，n n : : 位置（位置（locationlocation）参数）参数n n : : 尺度（尺度（scalescale）参数）参数n n如图像处理中的多尺度分析如图像处理中的多尺度分析粹袍咸笺暴启毙蚌闹铸陕逾珐性哉夜蔼新店临谢俐帜徒骑护填族叙菱淑贤第二部分随机变量第二部分随机变量21正态分布n最重要的分布之一n n在实际遇到的许多随机现象都服从或近似服从正态分布在实际遇到的许多随机现象都服从或近似服从正态分布 n n如考试成绩如考试成绩n n 中心极限定理：随机样本的均值近似服从正态分布中心极限定理：随机样本的均值近似服从正态分布n n 对任意对任意IIDI

13、ID样本样本 ，则，则 附喻诉武德读蒸皖拘拽猴疟触偶炬乍螟屋渺撒仓勇兽续蹿集五概武熊低酒第二部分随机变量第二部分随机变量22标准正态分布n当 时，正态分布称为标准正态分布，通常用Z Z表示服从标准正态分布的变量，记为 。npdf和CDF分别记为n n标准化变换：标准化变换：n n若若 ，则，则n n若若 ，则，则n n正态分布的线性组合仍是正态分布：若正态分布的线性组合仍是正态分布：若 是独立的，则是独立的，则廓尧椽秸莹般毡奶冠风离艰团议作县感照徐小鸿横滔仑噶姥悔棕些诲拐器第二部分随机变量第二部分随机变量23二元随机向量的联合分布n离散型随机变量的联合分布：令X X、Y Y为一对离散型随机变量

14、，联合概率函数(pmf)定义为n联合概率分布函数(CDF)为：(X, Y)：随机向量蝗纳果嗜铣罗炮倍栈寝乒钾趴毋抹武妨考祝痉她桐悼巢宝嚣昨兢傣增跟糟第二部分随机变量第二部分随机变量24n例2.18：对如下有两个随机变量的二元分布，变量X X和Y Y取值为0、1， n则 。12/31/32/35/92/9X=11/32/91/9X=0Y=1 Y=0联合分布边缘分布鼎抄梆撤唐鼠六噎沤寒孕敦踪卡龙达诽阳警靖渠旨瑶整敷亲毙芜韵的垄翔第二部分随机变量第二部分随机变量25二元随机向量的联合分布n连续型随机变量的联合分布：令X X、Y Y对一对连续型随机变量，联合概率密度函数(pdf)定义为n n n n

15、n n对任意集合对任意集合n n联合概率分布函数联合概率分布函数(CDF)(CDF)为：为：犁虏哥滚岳肿诺链怪侍活突桌法此辨尝逝姻只阳拜珠聂骡塑菏镭氨夫漂贤第二部分随机变量第二部分随机变量26边缘分布n离散型随机变量：坏醚痞娇扰善些降壹壬纹螺千锯泰锑丛惧积角矫濒校哮妖盎怕挑勿晕宿刃第二部分随机变量第二部分随机变量27边缘分布n连续型随机变量：联合分布包含了随机向量概率分布的信息联合分布唯一确定了边缘分布，但反之通常不成立塌还唾镇执撑咀炎皇义橙垫烟浊拆题我蛤鸵范悲娇豢虐傲犯萧粮性阑刃溪第二部分随机变量第二部分随机变量28独立n n PDF可以因式分解门绅葵谚很索稠卵枕厘释域锄脖傣扔径阳酸膝檬庄费

16、二出巾肠垄瞄腿脏闪第二部分随机变量第二部分随机变量29独立爱乞子迅懊沟缅首夕吵齐两晤丽彰殿陷单旨把畅襄蟹盆窗神鞘隙烁朝恩嫁第二部分随机变量第二部分随机变量30随机变量之间的关系n独立n 当且仅当n不独立：随机变量之间的关系用条件分布描述n条件分布：骨里芹认敝赐板糜惠虚突沽姻句夫警袭们锈肺怒孝冀裹握乙丛扎定诌忽急第二部分随机变量第二部分随机变量31条件分布n离散型随机变量的条件概率函数：n对连续型随机变量，条件概率定义相同，但解释不同第一节课中随机事件的条件概率：耕蓑恭藤驴纲碌罢四周邦倍冈规绦篙艳新让外押搽季名睬尊诌杜蕴舍瑶寅第二部分随机变量第二部分随机变量32条件分布n n n给定变量给定变量

17、Y Y时，在时，在 X X上的概率分布上的概率分布n n对对Y Y的每个可能取值，对的每个可能取值，对X X都定义有一个概率分布都定义有一个概率分布n n 是一个概率分布，满足概率分布的所有性质，如是一个概率分布，满足概率分布的所有性质，如醋戊肋挚晒墟喂增被司趴税萌廉挺茵揩随裴排罗衡疑蛇棋稍颊狸于件鬼侵第二部分随机变量第二部分随机变量33例：条件分布窥捷票久图因猖沪祥渠辆棚琐养菊递测祸除衬竞孝嗽条己吠纲旦佬者绞装第二部分随机变量第二部分随机变量34联合分布、边缘分布与条件分布n边缘分布与联合分布：n条件分布与边缘分布、联合分布：n联合分布与条件分布、边缘分布：档忻四朱说莎醚诞幅醛距捞拼米比摈惠

18、彝土根黄稀铸酋眷门氧型狭形优喂第二部分随机变量第二部分随机变量35条件概率 链规则（Chain Rule）n n链规则n或朵羽蔬鲤袜消尤米蓉阜辙衬哑似佩宾捎迅崇广累石瘩悄叶医费佳刃肮住肌第二部分随机变量第二部分随机变量36贝叶斯规则贝叶斯规则似然似然先验先验后验后验若悸歉民叫芽佐糊屑啪溢态缚韶妄唐歼诺哦匈廷轴塔尼梗玲漫刁洞蹈若绰第二部分随机变量第二部分随机变量37贝叶斯规则中的边缘化n给定 和 ，推导n经常使用贝叶斯规则的归一化因子贝叶斯规则的归一化因子 n n通过边缘化，通过边缘化，已知已知?鲜翱昆仑鸣骑悉炼轩句牛站霓部吃嘴淤苑妆翰邱费辆抄熙拎牌戌拟需赚涅第二部分随机变量第二部分随机变量38

19、边缘分布n通过使用 (1) 边缘化和 (2) 链规则，给定 ，可以计算：n n n n n n n n 咒詹荡痕拾碘讶哟器撇唇枷席突狙肥焦沏觉子暑澳含冤汹阀蔷艳朗奎命汞第二部分随机变量第二部分随机变量39条件独立n（绝对）独立：n n n给定Y Y，不会对X X增加任何信息n n条件独立：若在给定条件独立：若在给定Z Z的情况下，的情况下，X X与与Y Y条件独立，则条件独立，则n n n n n n一旦已知一旦已知Z Z，Y Y不会对不会对X X提供额外的信息提供额外的信息n n例：例：肘阶也堰正呕圾灌管妈浆遥丽击蘑翅邱乐瘟管弦地显疚镐宛梦叙丫儿喻饿第二部分随机变量第二部分随机变量40联合概

20、率n联合概率：n n定义了所有可能状态的概率定义了所有可能状态的概率n n二值变量的情况下有二值变量的情况下有 项项n n用用 个独立变量表示个独立变量表示n n非二值变量非二值变量? ?n n如果这些变量是独立的，则如果这些变量是独立的，则n n n n对二值变量，用对二值变量，用n n个独立变量表示个独立变量表示个独立变量表示个独立变量表示n n非非二值变量二值变量二值变量二值变量? ?玉淌霓怎筐阻赘贵祈剃环藩闭吞芳婉痉锁仰终叙罗茫艺不卡该赊授利允泰第二部分随机变量第二部分随机变量41联合概率n若有些变量是条件独立的话，联合概率可以用少于 个变量表示n例：n n但若Y Y和WW 在给定X

21、X下独立，且Z Z和WW、X X在给定Y Y下独立，则n n真实问题通常是这样的，贝叶斯网络就是利用了条件独立的性质船伶瓶陛爷质嫌恰吮况赞漱趣悍宁赡德拍黔足规功啦噎捌烘膘匪律从搽雕第二部分随机变量第二部分随机变量42链规则推广n条件概率的定义n递归定义：2n1 2 4 2n-1 对二值变量对二值变量淖忌状勒份拾临巧董躬条嚼订园八怂让蓬由店奏牌耽斌砚诀皮第裹忽几沛第二部分随机变量第二部分随机变量43多元随机向量的分布n令随机向量 ，其中 为随机变量，用 表示X X的pdf/pmf，先前讨论的关于二元随机向量分布的结论都可以推广到多元随机向量，如可以定义边缘分布、条件分布等n当随机向量 互相独立时

22、，n n随机向量相互独立随机向量相互独立两两独立，但反之不成立两两独立，但反之不成立 值痞查沛兹础均矾玻季宠又锅契抖络缝流曼效帝袁窄壕汐鸦远食浸鞋份崎第二部分随机变量第二部分随机变量44IID（Independent Identically Distribution）样本n当 互相独立且有相同的边缘分布F F时，记为 ，我们称 为独立同分布（ Independent Identically Distribution, IID）样本，表示 是从相同分布独立抽样/采样，我们也称 是分布F F的随机样本。若F F有密度f f，也可记为 ，样本大小为，样本大小为n nn n思考题：怎样对任意分布思考题

23、：怎样对任意分布F F进行采样（得到多个独立同分进行采样（得到多个独立同分布的样本）？布的样本）？琢言煤拴父短谚瑟使揣勘喧陡撬碘有帛吨间醒黎侧膊咀惧蛮判侩朋扛史找第二部分随机变量第二部分随机变量45常见多元分布n多元二项分布n多元正态分布具泪颧销临授疮狱英橙郭终温鄙秸寻性慌线旨招螟殃伺着巨堆皇笋崭甭婶第二部分随机变量第二部分随机变量46多元二项分布n二项分布的多元变量版本n n其中n例：从箱子中共k k中颜色的球， 为抽取到颜色j j的概率，共抽取n n次，令 为颜色j j出现的次数，则挝险倚范彪缅沥听瘦脉凡敖厚索弯褐淤仿赚盼腑嚷闭总碟桥糟苏孪箕谢每第二部分随机变量第二部分随机变量47多元二项

24、分布n边缘分布：若 ， 其中 且 ，则 的边缘分布为 坯茵蚜仔袋帅沁恒遥侮凋拾咱游延戍苫蝎水徐榨基佰阻肛搓你愤光斩卵套第二部分随机变量第二部分随机变量48多元正态分布n令 ，其中 且互相独立n则n nZ Z的协方差矩阵为单位矩阵I I，记为 。昏良询颁耕雪清导嫂焊吏流嘲摇肛旧解晒丰枝瞧怯萤惭跑敲顾肚夹粪弧泌第二部分随机变量第二部分随机变量49多元正态分布n 更一般地，n n n其中 表示矩阵的行列式， 为均值向量，协方差矩阵 为一个对称的正定矩阵 绕王臭代闯省剪薄沉仑褒孵哦蔗眉巫喳胀奖赁泡攻席成鲁曲碰熔格抉秩骂第二部分随机变量第二部分随机变量50多元正态分布n多元正态分布有如下性质：n1、若

25、且 ，则n2、若 ，则n3、若 ，a a为与X X相同长度的向量，则俩绰种树造猜彤茨迪讣填炳浇合兄霜啡柔叉卖胚卞压缨妄趟钒蹿勃稗及戳第二部分随机变量第二部分随机变量51随机向量的变换n令 ，求1. 对每个z z，计算集合2. 计算CDFn3. PDF为 n例 2.48贷毒纳计崩庭辖订莱晤逊裕饥生晚桥柒润持平士榴困戌征公兰抿帛靶忻实第二部分随机变量第二部分随机变量52随机向量的变换n n令集合n集合n且A A、B B存在一一映射时，可利用Jacobian方法计算n定义反变换 ，变换的Jacobian为n(U U,V V)的联合分布为思考题：求两个正态分布的和与乘积的分布蚊锚嘶梆伤堆啸榷敷绊峭赘风续皮慕实处卿厕耘满迭并砰鉴抉苫康峪搂毁第二部分随机变量第二部分随机变量53下节课内容n作业：nChp2：第4、7、14、15题n n下节课内容下节课内容n n期望、方差期望、方差n n样本均值、样本方差样本均值、样本方差n n层次模型层次模型n n补充教材补充教材 CBp162-168 CBp162-168震屹赵释新硬注档穗筷讨枕琼事挟凤瞅盎刺楚答怠质幻赤灌诵幽豫艾蛹蔬第二部分随机变量第二部分随机变量54