《概率论与数理统计：4-4协方差、相关系数、矩、协方差矩阵》由会员分享，可在线阅读，更多相关《概率论与数理统计：4-4协方差、相关系数、矩、协方差矩阵（58页珍藏版）》请在金锄头文库上搜索。
1、概概率率论论与与数数理理统统计计第四章第四章 随机变量的数字特征随机变量的数字特征 4 4协方差、相关系数、矩、协方差矩阵协方差、相关系数、矩、协方差矩阵概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计4.4.1 协方差及相关系数协方差及相关系数 如果两个随机变量如果两个随机变量X和和Y是相互独立的，则是相互独立的，则E X-E(X) Y-E(Y) =0这意味着当这意味着当E X-E(X) Y-E(Y) 0时，时，X、Y不相不相互独立，而是存在着一定的关系。互独立，而是存在着一定的关系。概概率率论论与与数数理理统统计计定义定义 对二维随机变量对二维随机变量(X,Y),量量 E
2、X-E(X) Y-E(Y) 称为随机变量称为随机变量 X与与 Y 的的协方差协方差(covariance),记为记为 Cov( X ,Y ).即即 Cov( X ,Y )= E X-E(X) Y-E(Y) 为随机变量为随机变量X与与Y 的的相关系数相关系数(correlation coefficient) 若若称称是一个无量纲的量。是一个无量纲的量。概概率率论论与与数数理理统统计计 对二维离散型随机变量（对二维离散型随机变量（X ,Y）有有 对二维连续型随机变量（对二维连续型随机变量（X, Y ）有有 概概率率论论与与数数理理统统计计由数学期望和方差的性质得到由数学期望和方差的性质得到 协方差
3、具有下述性质协方差具有下述性质 : 概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计同理同理于是于是而而概概率率论论与与数数理理统统计计解解由题意有由题意有概概率率论论与与数数理理统统计计因因得得概概率率论论与与数数理理统统计计相关系数相关系数 也是表征随机变量也是表征随机变量 X、Y 之间线性关之间线性关 系紧密程度的量，具有下述性质系紧密程度的量，具有下述性质 （1）如果随机变量）如果随机变量 X、Y 相互独立，相互独立， 则则 概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计(3)事实上，由事实上，由 有有即即概概率率论论与与数数理理统统计计以下四个结论彼
4、此等价以下四个结论彼此等价 概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计例例易知易知X,Y的边缘概率密度的边缘概率密度概概率率论论与与数数理理统统计计另一方面，易知另一方面，易知E(X)=E(Y)=0上述情况，上述情况，“ 不相关不相关”和和“相互独立相互独立”是不等价的，是不等价的，这是因为不相关只是就线性关系来说的这是因为不相关只是就线性关系来说的,而相互独立而相互独立是就一般关系而言的是就一般关系而言的 。不过从下面例子可以看到，。不过从下面例子可以看到，当当 （X,Y ) 服从二维正态分布时，服从二维正态分布时，X 与与 Y 不相关不相关与相互独立是等价的。与相互独
5、立是等价的。而而, X 与与 Y 不相关。不相关。 从而从而概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计于是于是概概率率论论与与数数理理统统计计而而概概率率论论与与数数理理统统计计于是于是概概率率论论与与数数理理统统计计 可见二维正态随机变量（可见二维正态随机变量（X,Y）的概率密度的参数的概率密度的参数 就是就是 X 与与 Y 的的相关系数相关系数。 因而二维正态随机变量的分布完全可由因而二维正态随机变量的分布完全可由 X、 Y 的各自的各自 的数学期望、方差以及它们的相关系数所确定。的数学期望、方差以及它们的相关系数所确定。由前面讨论可知，由前面讨论可知， 若若（X，Y
6、）服从二维正态分布服从二维正态分布那么那么 X 和和 Y 相互独立的充要条件为相互独立的充要条件为 ，现在还知道，现在还知道 故知对于二维正态随机变量（故知对于二维正态随机变量（X,Y）来说来说X 与与 Y 不相关不相关与与 X 和和 Y 相互独立相互独立是等价的是等价的。概概率率论论与与数数理理统统计计下面我们来说明相关系数的统计含义：下面我们来说明相关系数的统计含义：例如，考察二维随机变量（例如，考察二维随机变量（X ，Y）,其含义分别为其含义分别为 概概率率论论与与数数理理统统计计下面我们来考察下面我们来考察 X 与与 Y 之间的联系。之间的联系。为此作了为此作了 n 次试验，次试验，
7、得到得到 n 组实验数据：组实验数据： 在在xoy平面上描出这些点，若是下述几种情况，平面上描出这些点，若是下述几种情况，我们用数据点的分布来说明这关系：我们用数据点的分布来说明这关系：概概率率论论与与数数理理统统计计X 、Y 是相互不关联的，即是相互不关联的，即该原件的质量对产品的寿命该原件的质量对产品的寿命不发生影响。不发生影响。介于上述二者之间，即介于上述二者之间，即 X 与与 Y 有一定的线性关联性，但较第有一定的线性关联性，但较第 一种弱一种弱 。X 、Y 是线性关联的，即该原是线性关联的，即该原件件 的质量直接影响的产品的寿的质量直接影响的产品的寿命。命。概概率率论论与与数数理理统
8、统计计我们可以用数量关系我们可以用数量关系 ： 来刻划来刻划 X 与与 Y 之间线性关系的程度，之间线性关系的程度， 式中极小值是对式中极小值是对 a 和和b 而取的；上式值越小，表明各点的而取的；上式值越小，表明各点的偏离直线偏离直线 y=ax+b 程度越小程度越小，进而，进而 X 与与 Y 的的线性关系越强线性关系越强； 反之反之,则线则线 性关系较弱。性关系较弱。概概率率论论与与数数理理统统计计来衡量来衡量 以以 aX+b 近似表达近似表达 Y 的好坏程度的好坏程度 , e的值越小的值越小表示表示 X 与与 Y 之间的线性关系越强，即之间的线性关系越强，即 aX+b与与Y 的近似程度越好
9、。的近似程度越好。对于二维随机变量（对于二维随机变量（X,Y），），用用均方误差均方误差概概率率论论与与数数理理统统计计这样，我们就取这样，我们就取a、b 使使 e取到最小取到最小下面就来求最佳近似式下面就来求最佳近似式aX+b中的中的a,b为此，为此， 将将 e=e (a, b) 对对 a, b 求偏导求偏导,并令其为零，得并令其为零，得 概概率率论论与与数数理理统统计计解得解得 于是得于是得 概概率率论论与与数数理理统统计计由式由式 可以看出，可以看出，均方误差均方误差 e 是是的严格单调减函数，于是，相关系数的含义就明的严格单调减函数，于是，相关系数的含义就明 显了。显了。较大，则较大，
10、则 e 较小，较小， 表明表明 X 、Y 线性相关的线性相关的 程度较好，特别，有程度较好，特别，有 X与与 Y 之间是之间是 Y=aX+b的线性关系的线性关系 X与与 Y 有一定程度的线性关系有一定程度的线性关系 X与与 Y 线性相关程度较差线性相关程度较差 X与与 Y 没有线性关系，即没有线性关系，即 X 与与 Y 不相关不相关 概概率率论论与与数数理理统统计计使使 取最小值的取最小值的直线方程为直线方程为或或说明该直线通过（说明该直线通过（E(X),E(Y)），），通常称之为通常称之为Y关于关于X的的回归直线回归直线.概概率率论论与与数数理理统统计计4.4.2 矩矩 定义定义 设设 X
11、和和 Y 是随机变量是随机变量(以下假设各随机变量以下假设各随机变量 的期望均存在）的期望均存在） （1）称）称为为 X 的的 k 阶原点矩阶原点矩，简称，简称 k 阶矩阶矩 (kth moment)。（2）称）称为为 X 的的 k 阶阶中心矩中心矩(kth central moment)。概概率率论论与与数数理理统统计计（3）称）称为为 X 、Y 的的 k +l 阶混合矩阶混合矩。（4）称）称为为 X 、Y 的的 k +l 阶混合中心矩阶混合中心矩。显然，显然， E(X) 是是 X 的一阶原点矩，的一阶原点矩，D(X) 是是 X 的二阶的二阶 中心矩，中心矩，Cov(X,Y)是是 X、Y 的
12、二阶混合中心矩。的二阶混合中心矩。 概概率率论论与与数数理理统统计计4.4.3 协方差矩阵协方差矩阵 将它们写成矩阵的形式：将它们写成矩阵的形式： 二维随机变量二维随机变量 有四个二阶中心矩有四个二阶中心矩(设它们设它们 都存在都存在)，分记为，分记为 概概率率论论与与数数理理统统计计设设 n 维随机变量维随机变量 的二阶混合中心的二阶混合中心矩矩 都存在都存在, 则称矩阵则称矩阵 C 为为 n 维随机变量维随机变量 的的协方差矩阵协方差矩阵。其中。其中 矩阵矩阵 C 为为 由于由于 因而上述矩阵因而上述矩阵是一个是一个对称矩阵（对称矩阵（symmetric matrix）概概率率论论与与数数
13、理理统统计计概概率率论论与与数数理理统统计计二维正态随机变量二维正态随机变量 的概率密的概率密度为度为概概率率论论与与数数理理统统计计它的行列是它的行列是它的逆矩阵为它的逆矩阵为概概率率论论与与数数理理统统计计于是于是 的概率密度可写的概率密度可写成成概概率率论论与与数数理理统统计计推广到推广到n维正态随机变量维正态随机变量 的情况的情况.引入列矩阵引入列矩阵n维正态随机变量维正态随机变量 的概率密度定义的概率密度定义为为其中，其中，C是是 的协方差矩阵的协方差矩阵概概率率论论与与数数理理统统计计n 维随机变量维随机变量 具有以下三条重要性质：具有以下三条重要性质： (1) n维随机变量维随机
14、变量 服从服从n维正态分布的维正态分布的充要条件是充要条件是 的任意的线性组合的任意的线性组合服从服从一维正态分布一维正态分布(其中其中 不全为零不全为零)。概概率率论论与与数数理理统统计计(3) 设设 服从服从维正态分布，则维正态分布，则相互独立与两两不相关是等价的相互独立与两两不相关是等价的.(2) 若若 服从服从 n 维正态分布，设维正态分布，设 多维正态分布多维正态分布 。（此为正态变量的线性变换不变性（此为正态变量的线性变换不变性 ）是是 线性函数，则线性函数，则 也服从也服从概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论
15、与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计概概率率论论与与数数理理统统计计 回归这一术语是回归这一术语是18861886年英国生物学年英国生物学家高尔顿在研究遗传现象时引进的家高尔顿在研究遗传现象时引进的. . 但后代的增高并不与先代的增高等量但后代的增高并不与先代的增高等量. . 他称这一他称这一他发现他发现: : 虽然高个子的先
16、代会有高个子的后代虽然高个子的先代会有高个子的后代, ,现象为现象为“向平常高度的回归向平常高度的回归”. .概概率率论论与与数数理理统统计计尔后尔后, ,他的朋友麦尔逊等人搜集了上千个家庭成他的朋友麦尔逊等人搜集了上千个家庭成员的身高数据员的身高数据: :y=0.516x+33.73 (英寸英寸)分析出儿子的身高分析出儿子的身高y y和父亲的身高和父亲的身高x x大致为如下关系：大致为如下关系：概概率率论论与与数数理理统统计计这意味着这意味着, , 若父亲身高超过父亲平均身高若父亲身高超过父亲平均身高6 6英寸英寸, , 的原意的原意, , 但这一名词却一直沿用下来但这一名词却一直沿用下来, , 成为成为6英寸英寸3英寸英寸诚然诚然, , 如今对回归这一概念的理解并不是高尔顿如今对回归这一概念的理解并不是高尔顿统计学中最常用的概念之一统计学中最常用的概念之一. .可见有向平均值返回的趋势可见有向平均值返回的趋势. .那么其儿子的身高大约只超过儿子平均身高那么其儿子的身高大约只超过儿子平均身高3 3英寸英寸, ,
