本科生必修课概率论与数理统计

《本科生必修课概率论与数理统计》由会员分享，可在线阅读，更多相关《本科生必修课概率论与数理统计（95页珍藏版）》请在金锄头文库上搜索。

1、本科生必修课：概率论与数理统计本科生必修课：概率论与数理统计第四章第四章 随机变量的数字特征随机变量的数字特征 主讲教师主讲教师：董庆宽：董庆宽 副教授副教授研究方向研究方向：密码学与信息安全：密码学与信息安全电子邮件：电子邮件：个人主页：个人主页：http:/ 2/92第四章第四章 随机变量的数字特征随机变量的数字特征4.1 数学期望数学期望4.2 方差方差 4.3 协方差及相关系数协方差及相关系数 4.4 矩、协方差矩阵矩、协方差矩阵 3/924.1 数学期望数学期望概率分布虽然能够完整的描述随机变量的统计特征但却不概率分布虽然能够完整的描述随机变量的统计特征但却不直观。如：直观。如：l研

2、究水稻品种时，常关注的是研究水稻品种时，常关注的是稻穗的平均稻谷粒数稻穗的平均稻谷粒数，这从稻谷粒数，这从稻谷粒数的分布函数是不能直接看出来的，而且在实际生产中可能只关心该的分布函数是不能直接看出来的，而且在实际生产中可能只关心该平均值，甚至不关心分布函数。平均值，甚至不关心分布函数。l一篮球队上场比赛的运动员身高是一随机变量，常关心平均身高一篮球队上场比赛的运动员身高是一随机变量，常关心平均身高l研究信道上的随机噪声时，出于热噪声功率对系统可能产生较大影研究信道上的随机噪声时，出于热噪声功率对系统可能产生较大影响的考虑，对噪声的均值很关心，而且还关心噪声电压的大小与噪响的考虑，对噪声的均值很

3、关心，而且还关心噪声电压的大小与噪声电压的均值的偏离程度。这两个量在实际系统中往往比知道随机声电压的均值的偏离程度。这两个量在实际系统中往往比知道随机变量的分布更重要变量的分布更重要本章重点讨论数学期望，方差，相关系数，矩等本章重点讨论数学期望，方差，相关系数，矩等 4/924.1 数学期望数学期望实例：一射手进行打靶练习，规定实例：一射手进行打靶练习，规定l打中区域打中区域e0得得0分分l打中区域打中区域e1得得1分分l打中区域打中区域e2得得2分分以以X记每次射击得分数，则记每次射击得分数，则X的分布律如下：的分布律如下： X 0 1 2 pk p0 p1 p25/924.1 数学期望数学

4、期望考察每次射击的平均得分数？考察每次射击的平均得分数？l射击射击N次，其中得次，其中得0分有分有a0次，得次，得1分有分有a1次，得次，得2分有分有a2次次 即即Na0a1a2l射击射击N次得分总和为次得分总和为a00a11a22l每次射击平均分数为每次射击平均分数为(a00a11a22)/N= ， 这是有限次实验的这是有限次实验的算术平均值算术平均值，其中，其中 是事件是事件PX=k的的频率。频率。当当N时，时， 无限的接近一个稳定的常数无限的接近一个稳定的常数pk，即事件，即事件PX=k发生的概率发生的概率也就是说，当也就是说，当N时，算术平均值时，算术平均值 一个稳定的一个稳定的常数值

5、，就把该值称为随机变量常数值，就把该值称为随机变量X的数学期望或均值的数学期望或均值Expectation6/924.1 数学期望数学期望定义定义 设离散型随机变量设离散型随机变量X的分布律为的分布律为 PX=xkpk，k1,2,l若级数若级数 绝对收敛，则称级数绝对收敛，则称级数 的和为随机变的和为随机变量量X的数学期望，记为的数学期望，记为E(X)， 即即E(X) l设连续型随机变量设连续型随机变量X的概率密度为的概率密度为f(x)，若积分，若积分 绝对收敛，则称积分绝对收敛，则称积分 的值为随机变量的值为随机变量X的数学的数学期望，记为期望，记为E(X)， 即即E(X)7/924.1 数

6、学期望数学期望数学期望简称期望，又称为均值数学期望简称期望，又称为均值物理意义物理意义lE(X)是实数而非变量，它是一种是实数而非变量，它是一种加权平均，加权平均，与一般变量与一般变量的算术平均值不同。大量试验的算术平均值趋近于期望的算术平均值不同。大量试验的算术平均值趋近于期望l l质心的概念质心的概念质心的概念质心的概念：可以把物体的质量看作是集中在一点处，：可以把物体的质量看作是集中在一点处，如果一条直线的质量线密度为如果一条直线的质量线密度为f(x)，x为直线上任一质点为直线上任一质点的坐标，那么直线的质心的位置的坐标，那么直线的质心的位置xc？ xc / 现在如果现在如果f(x)是概

7、率密度，则是概率密度，则 xc / /1即即xcE(X)，数学期望相当于质心的坐标，数学期望相当于质心的坐标8/924.1 数学期望数学期望只有级数的和或广义积分的值存在，数学期望才只有级数的和或广义积分的值存在，数学期望才有意义，而有时是不存在的有意义，而有时是不存在的l注意绝对收敛与条件收敛的区别，某些交错级数是条件收敛的，注意绝对收敛与条件收敛的区别，某些交错级数是条件收敛的，其和可能不为一，因此期望不存在。如果一个数项级数其和可能不为一，因此期望不存在。如果一个数项级数un的各项的各项取绝对值后满足收敛，则称数项级数取绝对值后满足收敛，则称数项级数un绝对收敛，相应的如果绝绝对收敛，相

8、应的如果绝对值的积分收敛，则绝对收敛对值的积分收敛，则绝对收敛数学期望数学期望E(X)完全由随机变量完全由随机变量X的概率分布所确的概率分布所确定定l若若X服从某一分布，也称服从某一分布，也称E(X)为这一分布的数学期望，为这一分布的数学期望，比如二项分布，均匀分布等的数学期望比如二项分布，均匀分布等的数学期望9/92例例 设随机变量设随机变量 X X服从柯西分布服从柯西分布, ,其密度函数为其密度函数为求求E(X).E(X).解解: : 由于积分由于积分因此柯西分布的数学期望不存在因此柯西分布的数学期望不存在. .4.1 数学期望数学期望10/924.1 数学期望数学期望例：甲乙两人打靶，所

9、得分数例：甲乙两人打靶，所得分数X和和Y分布律为分布律为 X 0 1 2 Y 0 1 2 pk 0 0.2 0.8 pk 0.6 0.3 0.1 试评定它们成绩的好坏试评定它们成绩的好坏解解 主要看多次射击的得分均值，即数学期望，主要看多次射击的得分均值，即数学期望， 离散型：离散型：E(X) E(X)0010.220.8=1.8分分 E(Y)00.610.320.1=0.5分分 所以乙的成绩远不如甲的成绩所以乙的成绩远不如甲的成绩11/924.1 数学期望数学期望例例2 有两个相互独立工作的电子装置，寿命有两个相互独立工作的电子装置，寿命X1和和X2服从同一服从同一指数分布指数分布 f(x)

10、 ，0. 若将二者串联成整机，求整机寿命若将二者串联成整机，求整机寿命N的数学期望的数学期望E(N)解解 N=min(X1,X2)，要求期望，先求概率密度，本题要先，要求期望，先求概率密度，本题要先求求N的的分布函数分布函数 Fmin(x)11F(x)2 /X1,X2独立同分布独立同分布 又又F(x)= ， Fmin(x)11F(x)2 fmin(x) ，服从参数为，服从参数为/2的指数分布的指数分布 E(N) =/2，指数分布的均值即参数，指数分布的均值即参数/212/92例例3 如何确定投资决策方向如何确定投资决策方向? 某人有某人有10万元现金万元现金, 想投资想投资于某项目于某项目,

11、欲估成功的机会为欲估成功的机会为 30%, 可得利润可得利润8万元万元 , 失败的机会失败的机会为为70%, 将损失将损失 2 万元万元.若存入银若存入银行行, 同期间的利率为同期间的利率为5% , 问是否问是否作此项投资作此项投资?解解设设 X 为投资利润为投资利润,则则存入银行的利息存入银行的利息:故应选择投资故应选择投资.4.1 数学期望数学期望13/92例例 设随机变量设随机变量X服从服从求求E(X)4.1 数学期望数学期望解解E(X)=14/92到站时刻到站时刻概率概率例例4.1 数学期望数学期望15/92解解4.1 数学期望数学期望16/924.1 数学期望数学期望随机变量的函数的

12、数学期望随机变量的函数的数学期望l比如：飞机机翼受到的正压力比如：飞机机翼受到的正压力WkV2是风速是风速V的函数，如果的函数，如果V的分布已知，如何求得的分布已知，如何求得W的数学的数学期望，而无需先求出期望，而无需先求出W的分布的分布l先由先由V的分布求其函数的分布求其函数W的分布，再求数学期望的分布，再求数学期望是可以的，而还有更简单直接的求解方法是可以的，而还有更简单直接的求解方法17/924.1 数学期望数学期望定理定理l设设Y是随机变量是随机变量X的函数：的函数：Y=g(X)，其中，其中g是连续函数是连续函数 (i) X是离散型随机变量，分布律为是离散型随机变量，分布律为 PX=x

13、kpk，k1,2, 若级数若级数 绝对收敛，则有绝对收敛，则有 E(Y)E(g(X) (ii)X是连续型随机变量，概率密度为是连续型随机变量，概率密度为f(x)， 若积分若积分 绝对收敛，则有绝对收敛，则有 E(Y)E(g(X)这样求这样求E(Y)而不必算出而不必算出Y的分布的分布18/924.1 数学期望数学期望定理的定理的证证明明(略略)，以下，以下对对离散型离散型X进进行行简简要要说说明明E(Y) 实际实际上是上是对对所有的所有的X的取的取值值的概率的加的概率的加权权求和求和 E(Y) 连续连续型的特例情况下型的特例情况下证证明，明，请请参看教材参看教材19/924.1 数学期望数学期望

14、推广：多维随机变量推广：多维随机变量(X1,X2,Xn)的函数的函数Yg(X1,X2,Xn)也满足以上定理。也满足以上定理。 例如：若例如：若Zg(X,Y)，且，且g是连续函数，则是连续函数，则若若(X,Y)是连续型随机变量，概率密度为是连续型随机变量，概率密度为f(x,y)，那么，那么 E(Z)E(g(X,Y) 只要该积分绝对收敛则存在只要该积分绝对收敛则存在若若(X,Y)是离散型随机变量，分布律是离散型随机变量，分布律PX=xi,Y=yjpij，i,j=1,2, 那么那么 E(Z)E(g(X,Y) ， 右边级数绝对收敛右边级数绝对收敛20/924.1 数学期望数学期望例例9：设随机变量：设

15、随机变量(X,Y)的概率密度为的概率密度为 f(x,y) 求数学期望求数学期望E(Y)，E(1/(XY)解解 此时可以看成是函数此时可以看成是函数zg(x,y)=y 这样这样E(Z)E(Y) 3/4 也可以先求也可以先求也可以先求也可以先求Y Y的边缘概率密度，再用数学期望定义求解的边缘概率密度，再用数学期望定义求解的边缘概率密度，再用数学期望定义求解的边缘概率密度，再用数学期望定义求解 对于第对于第2个问题个问题 E(Z)E(1/(XY) 3/521/92解解例例10 设设 (X ,Y) 的分布律为的分布律为4.1 数学期望数学期望22/92由于由于4.1 数学期望数学期望23/924.1

16、数学期望数学期望24/92例例10：某公司计划开发一种新产品市场，并试图确定该产：某公司计划开发一种新产品市场，并试图确定该产品的产量，他们估计品的产量，他们估计 售一件产品可获利售一件产品可获利m元，积压一件产品亏损元，积压一件产品亏损n元元 现在可预测销售量现在可预测销售量Y服从参数为服从参数为的指数分布的指数分布 f(x) ，0. 问若要获得利润的数学期望最大，应生产多少件产品？问若要获得利润的数学期望最大，应生产多少件产品？解：解：显然获利多少显然获利多少Q是生产产品数量是生产产品数量x(确定量确定量)和销售量和销售量Y(随机变量随机变量)的函数的函数 Q=Q(x,Y)= ， 从随机变

17、量的角度看，从随机变量的角度看，Q是一个随机变量，它是是一个随机变量，它是Y的函数，的函数，而而Y的分布已知的分布已知4.1 数学期望数学期望25/924.1 数学期望数学期望固有固有E(Q) (m+n)(m+n)ex/nx令令dE(Q)/dx=(m+n)ex/n =0得到得到x 又又d2E(Q)/dx2 ，所以所以x 时时E(Q)取唯一极大值，即最大取唯一极大值，即最大值值26/924.1 数学期望数学期望数学期望的性质数学期望的性质1设设C是常数，则有是常数，则有E(C)Cl相当于相当于XC为必然事件，分布律为为必然事件，分布律为PXC=1l所以，所以，E(C)C1C2设设X是一个随机变量

18、，是一个随机变量，C是常数，则有是常数，则有 E(CX)CE(X)l证：令证：令Y=CX，则，则Y是是X的函数，则的函数，则lE(Y)E(CX) CE(X)27/924.1 数学期望数学期望3设设X,Y是两个随机变量，则有是两个随机变量，则有 E(XY)E(X)+ E(Y)l可推广到任意有限个随机变量之和的情况可推广到任意有限个随机变量之和的情况证：仅就连续型的随机变量加以证明证：仅就连续型的随机变量加以证明 设二维随机变量设二维随机变量(X,Y)的概率密度的概率密度f(x,y)，边缘概率，边缘概率密度为密度为fX(x)， fY(y) E(XY) E(X)+ E(Y)28/924.1 数学期望

19、数学期望4设设X,Y是相互独立的随机变量，则有是相互独立的随机变量，则有 E(XY)E(X)E(Y)l可以推广到任意有限个独立随机变量之积的情况可以推广到任意有限个独立随机变量之积的情况证：仅证连续型证：仅证连续型 E(XY) =E(X)E(Y)有了以上性质后，再求解数学期望的问题时就可有了以上性质后，再求解数学期望的问题时就可利用性质，简化求解复杂度利用性质，简化求解复杂度29/92解解例例12 随机变量分解随机变量分解随机变量分解随机变量分解 4.1 数学期望数学期望30/924.1 数学期望数学期望将将X分分解解成成数数个个随随机机变变量量之之和和，然然后后利利用用随随机机变变量量和和的

20、的数数学学期期望望等等于于随随机机变变量量数数学学期期望望之之和和来来求求解解数数学学期望期望典典型型的的例例子子是是二二项项分分布布的的随随机机变变量量可可以以分分解解为若干个为若干个01分布的随机变量只和分布的随机变量只和31/92解解例例 设设求求:4.1 数学期望数学期望32/92解解例例44.1 数学期望数学期望I和和R相互独立相互独立33/924.2 方差方差方差主要考虑的是随机变量的取值与其均值偏离程度方差主要考虑的是随机变量的取值与其均值偏离程度l例如：电子器件的热噪声，其产生的噪声电压的均值可能为例如：电子器件的热噪声，其产生的噪声电压的均值可能为0，但，但是噪声电压的大小可

21、能很不一样，从而对信号处理的影响也不一是噪声电压的大小可能很不一样，从而对信号处理的影响也不一样，噪声的功率也不同，因此我们常常关心噪声电压与均值电压样，噪声的功率也不同，因此我们常常关心噪声电压与均值电压的偏离程度，的偏离程度，设噪声电压为设噪声电压为X，均值为，均值为E(X)，则偏离程度，则偏离程度Y很容易用二很容易用二者之差来描述，即者之差来描述，即 Y|XE(X)|l而我们通常考察平均偏离程度，即考察而我们通常考察平均偏离程度，即考察 E|XE(X)|l由于该式中含有绝对值，运算不方便，通常用下式来描由于该式中含有绝对值，运算不方便，通常用下式来描述述X X与均值的偏离程度与均值的偏离

22、程度 E EXXE E(X)(X)2 2 34/924.2 方差方差定义定义定义定义 设设X是一个随机变量，若是一个随机变量，若EXE(X)2存在，则称存在，则称EXE(X)2为为X的方差，记为的方差，记为D(X)或或Var(X)，Variance 即即 D(X)Var(X)EXE(X)2 应用上还引入与随机变量应用上还引入与随机变量X具有相同量纲的量具有相同量纲的量 ，记，记为为(X)，称为标准差或均方差，称为标准差或均方差方差的含义方差的含义方差的含义方差的含义： 由定义可知，方差表达了随机变量由定义可知，方差表达了随机变量X取值与其数学期望的取值与其数学期望的偏离程度，并表达了以偏离程度

23、，并表达了以E(X)为为X的代表性的好坏的代表性的好坏l如果如果X取值比较集中，则偏离程度小，取值比较集中，则偏离程度小，D(X)也较小，也较小， E(X) 的代表性好的代表性好l如果如果X取值比较分散，则偏离程度大，取值比较分散，则偏离程度大，D(X)也较大也较大l所以说所以说D(X)是描述是描述X分散程度的量分散程度的量35/924.2 方差方差方差的计算方法：方差的计算方法：方差的计算方法：方差的计算方法：(1)(1)利用定义利用定义利用定义利用定义由定义，方差实际上是由定义，方差实际上是X的函数的函数g(X)=XE(X)2的数学期望的数学期望对于离散型随机变量对于离散型随机变量X： D

24、(X)Eg(X) ， 其中，其中，X的分布律为的分布律为PX=xkpk，k1,2,对于连续型随机变量对于连续型随机变量X: D(X)Eg(X) 其中其中f(x)是是X的概率密度的概率密度36/924.2 方差方差方差的计算方法：方差的计算方法：方差的计算方法：方差的计算方法：(2)(2)利用方差恒等式利用方差恒等式利用方差恒等式利用方差恒等式 D(X)E(X2)E(X)2；l更重要的是更重要的是E(X2)D(X)E(X)2证：由数学期望的性质证：由数学期望的性质 D(X)EXE(X)2EX22XE(X)+E(X)2 EX22E(X)E(X)+E(X)2E(X2)E(X)2这样，求解方差时，除定

25、义式外，可直接利用以上公式这样，求解方差时，除定义式外，可直接利用以上公式l首先计算首先计算E(X)，l然后计算然后计算E(X2)，l最后计算最后计算D(X)E(X2)E(X)237/924.2 方差方差随机变量的标准化：随机变量的标准化：l设随机变量设随机变量X具有数学期望具有数学期望E(X)=，方差，方差D(X)20，记记X*(X)/，l则则E(X*)=E(X)/(E(X)/0l D(X*)E(X*2)E(X*)2E(X)/2)0 (1/2)E(X)2) (1/2)21所以所以X*的数学期望的数学期望0，方差，方差1，X*称为称为X的标准化的标准化变量变量38/92证明证明方差的性质方差的

26、性质1设设 C 是常数是常数, 则有则有2设设 X 是一个随机变量是一个随机变量, C 是常数是常数, 则有则有证明证明4.2 方差方差39/924.2 方差方差3设设X,Y是两个随机变量，则有是两个随机变量，则有 D(XY)D(X)D(Y)2EXE(X)YE(Y)， 特别的，若特别的，若X,Y相互独立，则有相互独立，则有 D(XY)D(X)D(Y)， 这一性质可以推广到任意有限多个相互独立的随机变量之和的情况。这一性质可以推广到任意有限多个相互独立的随机变量之和的情况。证：证：D(XY)E(XY)E(X+Y)2= E(XE(X)(YE(Y)2 EXE(X)2EYE(Y)22EXE(X)YE(

27、Y) D(X)D(Y)2EXE(X)YE(Y)又又EXE(X)YE(Y)EXYXE(Y)YE(X)E(X)E(Y) E(XY)E(X)E(Y)E(Y)E(X)E(X)E(Y) E(XY)E(X)E(Y)当当X,Y相互独立时，由数学期望的性质有相互独立时，由数学期望的性质有E(XY)E(X)E(Y)，从而有，从而有 D(XY)D(X)D(Y)40/92推广推广推广推广 “以概率以概率1 1”的含义：对于连续型随机变量，如果存在的含义：对于连续型随机变量，如果存在一些孤立的点其随机变量的取值不为常数，那么不影响一些孤立的点其随机变量的取值不为常数，那么不影响结论，这和独立性中几乎处处成立有点类似结

28、论，这和独立性中几乎处处成立有点类似 所以在这一前提下，所以在这一前提下，X X不一定等于不一定等于C C 另外，不难证明有如下不等式成立另外，不难证明有如下不等式成立 4.2 方差方差41/924.2 方差方差契比雪夫契比雪夫契比雪夫契比雪夫(Chebyshev)(Chebyshev)不等式不等式不等式不等式定理定理 设随机变量设随机变量X具有数学期望具有数学期望E(X)=，方差，方差D(X)=2，则对于任意正数，则对于任意正数，以下不等式成立，以下不等式成立l契比雪夫不等式是一个重要的理论工具，应用极为普遍，契比雪夫不等式是一个重要的理论工具，应用极为普遍，很多重要结论都来自于该不等式，对

29、于任意的数学期望很多重要结论都来自于该不等式，对于任意的数学期望和方差都存在的随机变量都成立和方差都存在的随机变量都成立证：证： 42/924.2 方差方差契比雪夫契比雪夫不等式的变形不等式的变形该不等式给出了随机变量该不等式给出了随机变量X分布未知的情况下事分布未知的情况下事件概率的下限的估计，具有普适性。如取件概率的下限的估计，具有普适性。如取3，有，有 ，这一结果，这一结果具有普遍意义的具有普遍意义的3准则，可以与正态分布的准则，可以与正态分布的3准则比较一下，准则比较一下，又又 概率值近概率值近144/924.2 方差方差几种重要分布的数学期望和方差几种重要分布的数学期望和方差(一一)

30、 (01)分布分布 X 0 1 pk 1p p E(X)0(1p)+1pp E(X2)02(1p)+12pp D(X)E(X2)E(X)2=pp2=p(1p) 45/924.2 方差方差(二二) 二项分布二项分布 Xb(n,p) 分布律为分布律为PX=k pkqnk，k0，1，n，(q1p)(i)直接法：组合拆分直接法：组合拆分 E(X) ，而，而 所以所以E(X) np E(X2) ， 而而 E(X2) n(n1)p2+np D(X)E(X2)E(X)2n(n1)p2+np(np)2=np(1p)46/924.2 方差方差(ii)间接法：随机变量分解间接法：随机变量分解(变量拆分变量拆分)

31、随机变量随机变量X表示表示n重伯努利实验中重伯努利实验中n次相互独立的重复实验次相互独立的重复实验中事件中事件A发生的次数，引入发生的次数，引入n个随机变量个随机变量Xi，i1， 2， 其中，其中，Xi ， 于是有于是有XX1X2Xn Xi 0 1 且由题设易知且由题设易知Xi服从同一服从同一(01)分布分布 pk 1p pX可以分解为可以分解为n个参数为个参数为p的的(01)分布的独立同分布的变分布的独立同分布的变量之和量之和 由由Xi的独立性，及数学期望和方差的性质易得的独立性，及数学期望和方差的性质易得E(X)E(X1X2Xn)E(X1)E(X2)E(Xn)npD(X)D(X1X2Xn)

32、D(X1)D(X2)D(Xn)np(1p)47/924.2 方差方差(三三) 泊松分布泊松分布X()，（期望等于方差），（期望等于方差） E(X) = = = E(X2) 2 D(X)E(X2)E(X)22248/924.2 方差方差(四四) 均匀分布均匀分布XU(a,b) E(X) = = E(X2) D(X)E(X2)E(X)2 49/924.2 方差方差(五五) 指数分布指数分布 f(x) ，0. E(X) E(X2) 2 2 D(X)E(X2)E(X)22 2 2 250/924.2 方差方差(六六) 正态分布正态分布XN(, 2) 正态分布稍复杂，先求标准正态分布正态分布稍复杂，先求

33、标准正态分布 Z N(0,1)， (Z)= ，z E(Z) 0 D(Z)E(Z2)E(Z)2E(Z2) 151/924.2 方差方差这样由于这样由于X=Z E(X)E(Z)= E(Z)E(Z) D(X)D(Z) E(Z)E(Z)2 E(Z)2 2E(Z2) 2D(Z) 2所以在正态分布中，两个参数所以在正态分布中，两个参数,2分别为数学期望和方差分别为数学期望和方差有限个相互独立的正态随机变量的任意线性组合仍然服从有限个相互独立的正态随机变量的任意线性组合仍然服从正态分布正态分布 因此由数学期望和方差的性质易知，因此由数学期望和方差的性质易知， Z=a1X1+ a2X2+,+ anXnN(a1

34、1a22+ann，(a11)2(a22)2+(ann)2)52/92分布分布参数参数数学期望数学期望方差方差(0-1)分布分布二项分布二项分布泊松分布泊松分布均匀分布均匀分布指数分布指数分布正态分布正态分布几何分布几何分布 分布分布53/92解解例例14.2 方差方差于是于是54/92 解解例例4.2 方差方差55/924.2 方差方差56/92因此有因此有4.2 方差方差57/924.2 方差方差58/92证明证明例例4.2 方差方差59/924.2 方差方差60/92故得故得4.2 方差方差61/92解解例例54.2 方差方差62/92 4.3 协方差及相关系数协方差及相关系数对于二维随机

35、变量对于二维随机变量(X,Y)若若X和和Y相互独立，根据独立性的相关定理相互独立，根据独立性的相关定理l则显然有则显然有XE(X)和和YE(Y)也相互独立也相互独立l于是有于是有EXE(X)YE(Y)=0若若X和和Y不相互独立，则不相互独立，则EXE(X)YE(Y)不一定等不一定等于于0l这表明了这表明了X和和Y之间的相关性，而我们以之间的相关性，而我们以XE(X)和和YE(Y)来讨论来讨论相关性，是与方差的概念相适应，我们有如下协方差的定义相关性，是与方差的概念相适应，我们有如下协方差的定义协方差定义协方差定义 量量EXE(X)YE(Y)称为随机变量称为随机变量X与与Y的协方差，记为的协方差

36、，记为Cov(X,Y)，即，即 Cov(X,Y)EXE(X)YE(Y)63/924.3 协方差及相关系数协方差及相关系数方差与协方差之间的关系：方差与协方差之间的关系： 1) Cov(X,X)D(X) 2) 对任意的对任意的X和和Y，下列等式成立，下列等式成立 D(XY)E(XY)E(X+Y)2 E(XE(X)(YE(Y)2 EXE(X)2EYE(Y)2 2EXE(X)YE(Y) D(X)D(Y)2Cov(X,Y)当当X和和Y相互相互独立时，协方独立时，协方差为差为0，此时，此时D(X+Y)=D(X)+D(Y)64/924.3 协方差及相关系数协方差及相关系数协方差的一个计算公式协方差的一个计

37、算公式 Cov(X,Y)E(XY)E(Y)E(Y)协方差的性质：协方差的性质： 1Cov(X,Y)Cov(Y,X) 2Cov(aX,bY)abCov(X, Y)，a，b是常数是常数 3Cov(X1X2,Y)Cov(X1,Y)Cov(X2,Y)相关系数定义相关系数定义 称为随机变量称为随机变量X和和Y的相关系数的相关系数 XY是一个无量纲的量是一个无量纲的量65/924.3 协方差及相关系数协方差及相关系数相关系数的性质相关系数的性质l先来看一个问题：对于任意的两个随机变量先来看一个问题：对于任意的两个随机变量X和和Y，以，以X的线性函数的线性函数a+bX来近似表示来近似表示Y，并以，并以Y和和

38、a+bX的均方误差的均方误差e来衡量来衡量a+bX近似表达近似表达Y的的好坏程度。其中均方误差定义为：好坏程度。其中均方误差定义为： eEY(abX)2E(Y2)+b2E(X2)+a2 2bE(XY)+2abE(X)2aE(Y)l显然显然e的值越小近似程度越好的值越小近似程度越好l这种方法类似于最小二乘法这种方法类似于最小二乘法66/924.3 协方差及相关系数协方差及相关系数现在来确定一下现在来确定一下a和和b取何值时该均方误差最小取何值时该均方误差最小 (2)(1)E(X)得：得：2bE(X2)2E(XY)2E(X)E(Y) 2b(E(X)20 即即bD(X)E(XY)E(X)E(Y)Co

39、v(X,Y) b0Cov(X,Y)/D(X) a0E(Y)b0E(X)E(Y)E(X)Cov(X,Y)/D(X) 67/924.3 协方差及相关系数协方差及相关系数即当即当aa0，bb0时均方误差时均方误差e取最小值取最小值 D(Y)+ D(Y)(1 )=(1 )D(Y) 由上式很容易得到相关系数的两个性质由上式很容易得到相关系数的两个性质68/92相关系数的性质相关系数的性质定理：定理：证明证明4.3 协方差及相关系数协方差及相关系数又又D(Y)和和非负，对任意的非负，对任意的X,Y都成立都成立69/924.3 协方差及相关系数协方差及相关系数2充分性：充分性： 若若|XY|1， 则则 (1

40、 )D(Y)0 又又E(X2)D(X)+(E(X)2 所以：所以：EY-(a0+b0X)2D(Y-(a0+b0X)+E(Y-(a0+b0X)2=0 两个非负数和为两个非负数和为0，固有，固有D(Y-(a0+b0X)0，E(Y-(a0+b0X)=0 由方差性质由方差性质4知知PY(a0+b0X)=C1， 而而EY(a0+b0X)=C=0 所以所以PY(a0+b0X)=0170/924.3 协方差及相关系数协方差及相关系数必要性：必要性： 若存在常数若存在常数a*，b*使得使得PY(a*+b*X)1， 即即PY(a*+b*X)=01 则则PY(a*+b*X)2=01 所以所以Y(a*+b*X)2的

41、期望的期望EY(a*+b*X)2=0 固有固有0EY(a*+b*X)2 (1 )D(Y) 即即(1 )D(Y)0，对任意，对任意Y都成立，所以都成立，所以1 0 即即|XY|171/924.3 协方差及相关系数协方差及相关系数由前述推导表明：由前述推导表明： 1单调递减性：给定随机变量单调递减性：给定随机变量Y及及a+bX，均方误差，均方误差e的最小的最小值是值是|XY|的单调减函数的单调减函数 |XY|增大，误差越小，增大，误差越小，Y与与a+bX的线性关系就越明显，的线性关系就越明显，近似程度就越好近似程度就越好 |XY|1时，时，PYa+bX1 2|XY|大小与线性关系大小与线性关系 X

42、Y可以表征可以表征X和和Y线性关系紧密程度的量线性关系紧密程度的量 XY越大，线性相关程度越好越大，线性相关程度越好72/924.3 协方差及相关系数协方差及相关系数3不相关与独立性：不相关与独立性： 定义：当定义：当XY0时称时称X和和Y不相关不相关 如果如果X和和Y相互独立，则有相互独立，则有XY0，于是，于是X和和Y不相关不相关 反之，如果反之，如果X和和Y不相关，则不相关，则XY0，从而有，从而有E(XY)E(X)E(Y)0 但仅有这一结果，但仅有这一结果，X和和Y不一定独立。不一定独立。独立性是就一般关系而言，很广泛，而相关性仅指线性独立性是就一般关系而言，很广泛，而相关性仅指线性关

43、系，独立性中还包括非线性的情况关系，独立性中还包括非线性的情况73/92(1) 不相关与相互独立的关系不相关与相互独立的关系注意注意相互独立相互独立不相关不相关(2) 不相关的充要条件不相关的充要条件74/924.3 协方差及相关系数协方差及相关系数不相关但不独立的例子不相关但不独立的例子例例 设设(X,Y)的分布律为的分布律为 Y X -2 -1 1 2 PY=j 1 0 0 4 0 0 PX=i 1易知易知E(X)=0，E(Y)=2.5，E(XY)=0，于是，于是X和和Y的相关系数的相关系数 XY=0，X和和Y不相关，即不相关，即X和和Y不存在线性关系。不存在线性关系。但但PX=-2,Y=

44、1 PX=-2 PY=1，知，知X和和Y不相互独立不相互独立.事实上事实上X和和Y具有关系具有关系Y=X2，是非线性的，是非线性的75/92解解例例14.3 协方差及相关系数协方差及相关系数76/924.3 协方差及相关系数协方差及相关系数77/924.3 协方差及相关系数协方差及相关系数78/92结论结论4.3 协方差及相关系数协方差及相关系数79/92解解例例280/9281/9282/9283/924.4 矩、协方差矩阵矩、协方差矩阵本节引入随机变量的另外几个数字特征本节引入随机变量的另外几个数字特征定义：定义：X和和Y是随机变量是随机变量1若若E(Xk)存在，存在，k1,2,，称它为，

45、称它为X的的k阶原点矩，简称阶原点矩，简称k阶矩阶矩 当当k1时即为数学期望时即为数学期望E(X),它是它是X的一阶原点矩的一阶原点矩2若若EXE(X)k存在，存在，k1,2,，称它为，称它为X的的k阶中心矩阶中心矩 当当k2时即为方差时即为方差D(X),它是它是X的二阶中心矩的二阶中心矩3若若E(XkYl)存在，存在，k,l1,2,，称它为，称它为X和和Y的的kl阶混合矩阶混合矩4若若EXE(X)kYE(Y)l存在，存在，k,l1,2,，称它为，称它为X和和Y的的kl阶混合中心矩阶混合中心矩 当当kl1时即为协方差时即为协方差Cov(X,Y),它是它是X和和Y二阶混合中心矩二阶混合中心矩84

46、/924.4 矩、协方差矩阵矩、协方差矩阵n维随机变量的协方差矩阵维随机变量的协方差矩阵首先考虑二维随机变量的协方差矩阵首先考虑二维随机变量的协方差矩阵二维随机变量二维随机变量(X1,X2)有四个二阶中心矩，设它们都存在，分有四个二阶中心矩，设它们都存在，分别记为别记为 c11EX1E(X1)2 D(X1) c12EX1E(X1)X2E(X2) Cov(X1,X2) c21EX2E(X2)X1E(X1) Cov(X2,X1) c22EX2E(X2)2 D(X2)将它们排成矩阵的形式，将它们排成矩阵的形式， 这个矩阵称为随机变量这个矩阵称为随机变量(X1,X2)的协方差矩阵的协方差矩阵85/92

47、4.4 矩、协方差矩阵矩、协方差矩阵86/924.4 矩、协方差矩阵矩、协方差矩阵对于对于n维随机变量维随机变量(X1,X2,Xn)的协方差矩阵。由于的协方差矩阵。由于cijcji，(ij, i，j1，2，,n)因而是一个因而是一个对称矩阵对称矩阵对称矩阵对称矩阵在实际中，由于在实际中，由于n n维随机变量的分布是不知道维随机变量的分布是不知道维随机变量的分布是不知道维随机变量的分布是不知道的，或者太的，或者太复杂，数学上不易处理，因此复杂，数学上不易处理，因此协方差矩阵尤为重要协方差矩阵尤为重要n n维正态随机变量的概率密度的协方差矩阵表示维正态随机变量的概率密度的协方差矩阵表示维正态随机变

48、量的概率密度的协方差矩阵表示维正态随机变量的概率密度的协方差矩阵表示l首先将二维正态随机变量的概率密度改写成另一种形式首先将二维正态随机变量的概率密度改写成另一种形式l二维正态随机变量二维正态随机变量(X1,X2)的概率密度为的概率密度为 ， x x1 1, x x2 2。l现在将指数中括号内的部分写成矩阵的行列式形式现在将指数中括号内的部分写成矩阵的行列式形式 87/924.4 矩、协方差矩阵矩、协方差矩阵令令X= ，= ，记，记(X1,X2)的协方差矩阵为的协方差矩阵为 C ， 其中其中1 2 Cov(X1,X2)Cov(X2,X1)C的行列式的行列式|C| 12 22(1- 2) ，于是

49、于是C的逆阵的逆阵C1 88/924.4 矩、协方差矩阵矩、协方差矩阵做如下计算做如下计算(X) C1(X) (x11，x22)展开展开 于是于是(X1,X2)的概率密度可写为的概率密度可写为 f(x1,x2) ， x1,x289/924.4 矩、协方差矩阵矩、协方差矩阵推广到推广到n维正态随机变量维正态随机变量(X1,X2,Xn)的情况的情况引入矩阵引入矩阵 X= ，= ，f(x1,x2,xn)= ， xi，i1，2，n C是是(X1,X2,Xn)的协方差矩阵的协方差矩阵90/924.4 矩、协方差矩阵矩、协方差矩阵n维正态随机变量的四条重要性质：维正态随机变量的四条重要性质：1n维正态随机

50、变量维正态随机变量(X1,X2,Xn)的每一个分量的每一个分量Xi，i1,2,n，都是正态变量；反之若，都是正态变量；反之若X1,X2,Xn都是正态变量，都是正态变量，且相互独立，则且相互独立，则(X1,X2,Xn)是正态变量是正态变量 证明：对于第一个问题，由归纳法，正态变量的边缘概率证明：对于第一个问题，由归纳法，正态变量的边缘概率密度都是正态变量密度都是正态变量 反之，若相互独立，则协方差为反之，若相互独立，则协方差为0，协方差矩阵只有主对，协方差矩阵只有主对角线元素不为角线元素不为0且是各正态变量的方差。且是各正态变量的方差。2n维正态随机变量维正态随机变量(X1,X2,Xn)服从服从

51、n维正态分布的充要维正态分布的充要条件是条件是X1,X2,Xn的任意线性组合：的任意线性组合： l1X1+l2X2+lnXn 服从一维正态分布服从一维正态分布(其中其中l1,l2,ln不全为不全为0)91/924.4 矩、协方差矩阵矩、协方差矩阵3正态变量的线性变换不变性：若正态变量的线性变换不变性：若(X1,X2,Xn)服服从从n维正态分布，设维正态分布，设Y1,Y2,Yk是是Xj，j1,2,n的线性函数，则的线性函数，则(Y1,Y2,Yk)也服从多维正态分布也服从多维正态分布4设设(X1,X2,Xn)服从服从n维正态分布，则维正态分布，则“X1,X2,Xn相互独立相互独立”与与“X1,X2,Xn两两不相两两不相关关”是等价的。是等价的。 这是因为，正态变量的性质由协方差矩阵完全确这是因为，正态变量的性质由协方差矩阵完全确定，而矩阵中的元素为两两分量的协方差，反映定，而矩阵中的元素为两两分量的协方差，反映了两两相关性了两两相关性92/92本章小结本章小结93/92本章小结（本章小结（2）94/92本章作业本章作业第一次：第一次：lP113：1(3)，2，4，6，7 第二次：第二次：lP115：9(2)，10，14，15，18，22(2)，25 第三次：第三次：lP116：26(1)，29，32，33，34，36 95/92谢谢！谢谢！