《概率论与数理统计第14课》由会员分享，可在线阅读，更多相关《概率论与数理统计第14课（22页珍藏版）》请在金锄头文库上搜索。
1、概率论与数理统计概率论与数理统计 第第14课课 很多时候很多时候, ,两个随机变量之间相关联的程度对于问题的解两个随机变量之间相关联的程度对于问题的解决也很重要决也很重要.这就是本章的又一个问题这就是本章的又一个问题 协方差与相关系数协方差与相关系数 随机变量的期望与方差是刻划随机变量随机变量的期望与方差是刻划随机变量取值的集中位置取值的集中位置和取值和取值与其中心偏离程度与其中心偏离程度的两个数字特征的两个数字特征 . 对任意的随机变量对任意的随机变量 X , ,若若EX , ,DX 均存在均存在, ,且且 DX 0 , , 则称则称为为 X 的的标准化随机变量标准化随机变量.由上节例由上节
2、例1111的计算可知的计算可知 无量纲无量纲便于比较便于比较线性关联线性关联 前面我们介绍了随机变量的期望和方差前面我们介绍了随机变量的期望和方差. . 对对多维随机变量多维随机变量, ,反映反映分量之间分量之间关系关系的数字特征中的数字特征中, , 最重要的就是最重要的就是 协方差和相关系数协方差和相关系数. 在研究子女与父母的相象程度时在研究子女与父母的相象程度时, ,有一项是关于父亲的身高和其有一项是关于父亲的身高和其成年儿子身高的关系成年儿子身高的关系. 为了研究二者关系为了研究二者关系, , 英国统计学家皮尔逊收集了英国统计学家皮尔逊收集了1078 个父亲及其成年儿子身高的数据个父亲
3、及其成年儿子身高的数据, , 画出了一张散点图画出了一张散点图. 这里有两个变量这里有两个变量, ,一个是父亲的身高一个是父亲的身高, ,另另一个一个是成年儿子身高是成年儿子身高. 问题问题: 父亲及其成年儿子父亲及其成年儿子身高有什么关系？身高有什么关系？ 为了研究诸如此类的两变量的相互关系为了研究诸如此类的两变量的相互关系问题，我们需要从理论上对两变量的相互关系加以研究问题，我们需要从理论上对两变量的相互关系加以研究.受教育程度和失业有什么关系？受教育程度和失业有什么关系？ 类似的问题很多类似的问题很多:吸烟和肺癌有什么关系？吸烟和肺癌有什么关系？ 高考入学分数和大学学习成绩有什么关系？高
4、考入学分数和大学学习成绩有什么关系？ X 与与Y 独立独立 E(X- - EX )()(Y- - EY ) = 0 E(X- - EX )()(Y- - EY ) 0 X 与与Y 不独立不独立独立是两个变量之间的一种重要关系独立是两个变量之间的一种重要关系: 即即 cov(X,Y) = E (X- -EX)()(Y- -EY). 1. 定义定义 设二维随机变量设二维随机变量(X,Y), ,4.3 协方差和相关系数协方差和相关系数一、协方差一、协方差 记为记为 cov( (X,Y) ). 若若 E (X- -EX)(Y- -EY) 存在存在, 则称则称 E(X- - EX)()(Y- - EY)
5、 ) 为为 X,Y 的的协方差协方差, 离散型离散型连续型连续型二维随机变量函数二维随机变量函数( (X- -EX)()(Y- -EY) )的期望的期望2. 计算协方差的一个简便公式计算协方差的一个简便公式 由协方差的定义及期望的性质，可得由协方差的定义及期望的性质，可得cov(X,Y)= E(X- -EX)()(Y- -EY) ) = E( XY XEY YEX + EXEY ) XY EXEY EYEX + EXEY = E(XY) EXEY , , 即即 cov(X,Y)=E(XY)-EXEY 独立独立 协方差协方差= 0解解例例1已知（已知（X,Y）的联合分布律）的联合分布律, X Y
6、012-10.20.1000.100.3100.20.1求求E(X), E(Y),Cov(X,Y)X012Pi0.30.30.4Y-101Pj0.30.40.3例例2 试求：试求：E( (X), E(Y) , Cov(X,Y). 解解= E Y- -EY 3. 简单性质简单性质由方差的定义可知由方差的定义可知 X 与与Y 有对称性有对称性 cov( (X,Y) )= cov( (Y, X) );对称性对称性 cov ( (X1+ X2 , Y) )= E (X1+ X2)- -E(X1+ X2) Y- -EY X1- -EX1 +X2- -EX2= E(X1- -EX1)()(Y- -EY)
7、+ E(X2 - -EX2)()(Y- -EY) cov( (X1+ X2 , Y) )偏和公式偏和公式 = cov( (X1, Y) ) + cov( (X2, Y) ); cov( (aX, bY) ) a, b 是常数是常数cov(aX, bY) = E(aX - - EaX)()(bY - - EbY) ) aE bE = a b E(X- -EX)()(Y- -EY) = ab cov( (X, Y) ); D( (X Y ) )= DX + DY 2 E(X- - EX )()(Y- - EY ) cov( (X,Y) );且且 X 与与 Y 相互独立时相互独立时, E(X- -
8、EX )()(Y- - EY ) = 0 cov( (X,Y) ) = 0 ;可提出常数可提出常数 方差与协方差的关系方差与协方差的关系 独立与协方差的关系独立与协方差的关系 协方差的大小在一定程度上反映了协方差的大小在一定程度上反映了X 和和Y 相互间的关系，但它相互间的关系，但它受受 X 与与Y 本身大小和度量单位的影响本身大小和度量单位的影响. 如：如： cov( (kX, kY) )= k 2 cov( (X,Y),), 为了克服这一缺点为了克服这一缺点, ,先先对对X , ,Y 进行标准化进行标准化是一个是一个无量纲的数无量纲的数EX * * = 0, EY * * = 0, DX
9、* * = 1, DY * * = 1,相关系数相关系数二、相关系数二、相关系数不引起混淆时简记为不引起混淆时简记为 . 1. 定义定义 若若DX 0, DY 0, 为随机变量为随机变量X 和和Y的的相关系数相关系数.则称则称 例例3求求 XY . 解解 由条件知由条件知则有则有 EX= 1 , , DX= 12, , EY = 2 , , DY= 22 , ,( (X,Y) )N( ).( ).设设 02. 相关系数的性质相关系数的性质证证 由由方差与协方差的关系方差与协方差的关系知知,X 和和Y 以概率以概率1 1线性相关线性相关 D( (X * *Y * * ) )= DX * *+ D
10、Y * * 2 cov( (X * *, Y * * ) ) = 1+ 1 2 cov( (X * *, Y * *) ) = 2( (1 XY ) )证证 “”：“”：设设| XY| = 1，若若 a 0 和和 b, P( (Y = aX +b) )= 1,若若 XY = 1， 由由( (1) )的证明可知的证明可知 D( (Y * *- -X * *) )= 0则有则有 P( (Y = aX + b) )= 1, 1, P( (X=C) )=1 DX = 0 类似可证类似可证 XY = - -1 时的情形时的情形. ab相关系数从概率角度刻划了相关系数从概率角度刻划了X 和和Y 之间之间
11、“线性相关线性相关”的程度的程度 X 与与Y 独立时独立时, ,cov( (X,Y) ) = E(XY) EXEY = 0 由由 XY= 0 不一定能推出不一定能推出X 和和Y 独立独立. 定义定义 当当 XY = 0 时时, , 称称 X 与与Y 是是不相关的不相关的或或无关的无关的. 例例4 设设 X U(-(- , ), ), Y = X 2,则则 EX = 0 ,故故 cov( (X,Y) ) = E(XY)EXEY = 0, 即即X 和和Y 不相关不相关 . 但但 Y 与与 X 有严格的函数关系有严格的函数关系.无无 关关 未未 必必 独独 立立! !( (3) ) X 和和Y 独立
12、独立 = 0; 独立必无关独立必无关但其逆不真但其逆不真 X 与与Y 不相关不相关仅是指仅是指 X 与与 Y 之间没有线性关系之间没有线性关系 E( (XY) )= = 0 , = 0 , 独立性与相关性独立性与相关性从不同角度刻划了随机变量从不同角度刻划了随机变量 之间的联系程度之间的联系程度 X,Y 统计规律统计规律之间的联系之间的联系X,Y 之间的之间的线性关系线性关系例例5 设设 ( (X,Y) )的概率密度为的概率密度为 证证 (1)(1) 0 , 其他其他 , 偶函数偶函数 EX = EY = 0, = 0 , cov( (X, ,Y) )= 0, = 0 ， X 与与 Y 不相关
13、不相关. . ( (2) ) f (x, y) X 与与 Y 不独立不独立. . 证明证明 ( (1) ) X 与与 Y 不相关；不相关；( (2) ) X 与与 Y 不独立不独立. . 相关系数度量的是两变量间的线性相互关系相关系数度量的是两变量间的线性相互关系( (“线性相关线性相关”的程度的程度) ) 注意相互关系并不等于因果关系注意相互关系并不等于因果关系. . 若某地区若某地区18-74岁男子身高与体重的相关系数约为岁男子身高与体重的相关系数约为 0. 40. 下面的结论正确还是错误，并说明理由下面的结论正确还是错误，并说明理由.1、较高的男子趋于较重；、较高的男子趋于较重；2、较重
14、的男子趋于较高；、较重的男子趋于较高；3、如果多吃一些从而增加、如果多吃一些从而增加10斤体重斤体重, 你的身材会长高你的身材会长高.即得即得最佳逼近：最佳逼近： 可以衡量用可以衡量用 a+bX 近似表示近似表示 Y 的的好坏程度好坏程度,考虑以考虑以 X 的线性函数的线性函数 a+bX 近似表示近似表示 Y.均方误差均方误差 e = EY-(-(aX+b)2 e 值越小表示值越小表示 aX+b 与与 Y 的近似程度越好的近似程度越好. 可以用偏导数求极值的方法可以用偏导数求极值的方法, 求出使求出使 e 达到最小值时的达到最小值时的 a , b .相关系数相关系数 是刻划是刻划 X 与与Y
15、“线性相关线性相关”的程度的一个重要的数字特征的程度的一个重要的数字特征e = EY-(-(aX+b)2 可求得可求得 且这一逼近的剩余是且这一逼近的剩余是Y 与与 X 有严格线性关系有严格线性关系;可见可见, = 1 时时, 若若 0| | 0 时时, L( (X) )中中X 的系数大于的系数大于0, 即即Y 的的最佳逼近最佳逼近 aX + b 随随 X 增加而增加增加而增加, 这就这就是正向相关；是正向相关；反之反之 0 表示负向相关表示负向相关, 此时此时Y 最佳逼近最佳逼近 aX+b 随随 X 增加而减小增加而减小.Y=L(X) = 0 时时, Y 与与 X 无线性关系无线性关系;E(
16、Y- -L( (X)2 = DY ( (1- - 2 ) )对任意两个随机变量对任意两个随机变量 X, Y， 如果两个变量之间存在强相关性，则已知一个变量的值对预测另一个变量如果两个变量之间存在强相关性，则已知一个变量的值对预测另一个变量的值将很有帮助的值将很有帮助. 如果两个变量之间只有很弱的相关性，则一个变量的信息对如果两个变量之间只有很弱的相关性，则一个变量的信息对预测另一个变量的值没有多大帮助预测另一个变量的值没有多大帮助.独立独立cov( (X,Y) )= 0小结小结n标准化随机变量标准化随机变量n协方差协方差n相关系数相关系数 cov( (X,Y) ) = E(X- -EX)()(
17、Y- -EY) cov(X,Y)= cov(Y, X) cov(aX, bY) = ab cov(X, Y) cov(X+Y, Z)= cov(X,Z) + cov(Y, Z) cov(X,Y)=E(XY)-EXEY ( (3) ) X 和和Y 独立独立 = 0; = 0 X 与与Y 是是不不相相关关的的 即独立必无关即独立必无关. . ( (4 4) ) D( (XY ) )= DX + DY 2 cov(X,Y) ( (5 5) ) X 与与 Y 独立独立, 则则 cov(X,Y)= 0 但反之不真，即但反之不真，即无关未必独立无关未必独立. . 但对下述情形，独立与不相关等价但对下述情形
18、，独立与不相关等价若若( (X,Y) )服从二维正态分布，则服从二维正态分布，则X 与与Y 独立独立 X 与与Y 不相关不相关以下是以下是 取几个不同值时取几个不同值时( (X,Y) ) 的密度函数图的密度函数图若若( (X,Y) )服从二维正态分布服从二维正态分布, , 就是就是 X 与与 Y 的相关系数的相关系数 若若( (X,Y) )服从二维正态分布，则服从二维正态分布，则 X 与与Y 独立独立 X 与与Y 不相关不相关而而 X 与与Y 独立独立 = 0 X 与与Y 不相关不相关 则称它为则称它为X 和和Y 的的 k+l 阶联合阶联合( (原点原点) )矩矩. 则称它为则称它为 X 和和
19、 Y 的的 k+l 阶联合中心矩阶联合中心矩. 在期望一节函数的期望中在期望一节函数的期望中, ,我们已介绍了我们已介绍了矩矩和和中心矩中心矩的概念的概念.下面给出下面给出联合原点矩联合原点矩、联合中心矩联合中心矩的概念的概念: 三、三、 矩和协方差矩阵矩和协方差矩阵 设设 X , Y 是随机变量是随机变量, , 若若 期望期望 EX 是是 X 的的 1 阶原点矩阶原点矩其中其中 k 是正整数是正整数 k 阶原点距阶原点距 k 阶中心距阶中心距 ( (k, l = 1, 2, ) )存在存在,若若 1、矩、矩( (k, l = 1, 2, ) )存在存在,方差方差 DX 是是 X 的的 2 阶
20、中心矩阶中心矩协方差协方差 cov( (X,Y) )是是 X 和和 Y 的的 1+1 阶联合中心矩阶联合中心矩二维随机变量二维随机变量( (X1, X2) )的四个二阶的的四个二阶的中心矩中心矩则称由它们构成的矩阵则称由它们构成的矩阵 为为( (X1, X2) )的的协方差矩阵协方差矩阵. 这是一个对称矩阵这是一个对称矩阵2、协方差矩阵的定义、协方差矩阵的定义类似定义类似定义 n 维随机变量维随机变量( (X1, X2, , Xn) )的的协方差矩阵协方差矩阵： i, j=1, 2, , n 都存在都存在,若若 则称矩阵则称矩阵 为为( (X1, X2, , Xn) )的协方差矩阵的协方差矩阵.存在存在, , 例如二维正态分布的协方差矩阵例如二维正态分布的协方差矩阵 课堂练习课堂练习1、2、1、解、解2、解、解作业作业P123 3
