随机向量自协方差阵课件

2022/9/30中国人民大学六西格玛质量管理研究中心1第一章第一章 多元正态分布多元正态分布一元正态分布在统计学的理论和实际应用中都有着重要的地位。同样，在多变量统计学中，多元正态分布也占有相当重要的位置。原因是：许多随机向量确实遵从正态分布，或近似遵从正态分布；对于多元正态分布，已有一整套统计推断方法，并且得到了许多完整的结果。目录 上页 下页 返回 结束 2022/9/30中国人民大学六西格玛质量管理研究中心2第一章第一章 多元正态分布多元正态分布 多元正态分布是最常用的一种多元多元正态分布是最常用的一种多元概率分布。除此之外，还有多元对数正概率分布。除此之外，还有多元对数正态分布，多项式分布，多元超几何分布，态分布，多项式分布，多元超几何分布，多元多元 分布、多元分布、多元 分布、多元指数分布、多元指数分布等。本章从多维变量及多元分布的分布等。本章从多维变量及多元分布的基本概念开始，着重介绍多元正态分布基本概念开始，着重介绍多元正态分布的定义及一些重要性质。的定义及一些重要性质。目录 上页 下页 返回 结束 2022/9/30中国人民大学六西格玛质量管理研究中心31.11.1多元分布的基本概念多元分布的基本概念 目录 上页 下页 返回 结束 1.1.1 随机向量随机向量1.1.2 分布函数与密度函数分布函数与密度函数1.1.3 多元变量的独立性多元变量的独立性1.1.4 随机向量的数字特征随机向量的数字特征2022/9/30中国人民大学六西格玛质量管理研究中心41.1.1 1.1.1 随机向量随机向量 表示对同一个体观测的表示对同一个体观测的 个变量。若观测了个变量。若观测了 个个体，则可得到如下表个个体，则可得到如下表1-11-1的数据，称每一个个的数据，称每一个个体的体的 个变量为一个样品，而全体个变量为一个样品，而全体 个样品形成一个样品形成一个样本。个样本。假定所讨论的是多个变量的总体，所研究的数假定所讨论的是多个变量的总体，所研究的数据是同时观测据是同时观测 个指标（即变量），又进行了个指标（即变量），又进行了 次次观测得到的，把这观测得到的，把这 个指标表示为个指标表示为 常常用向量用向量 目录 上页 下页 返回 结束 2022/9/30中国人民大学六西格玛质量管理研究中心5 横看表横看表1-11-1，记，记 ，它表示第它表示第 个样品的观测值。竖看表个样品的观测值。竖看表1-1,1-1,第第 列的元素列的元素 表示对表示对 第个变量第个变量 的的n n次观测数值。下面为表次观测数值。下面为表1-11-1n 21 变量变量序号序号 目录 上页 下页 返回 结束 1.1.1 1.1.1 随机向量随机向量2022/9/30中国人民大学六西格玛质量管理研究中心6因此因此,样本资料矩阵可用矩阵语言表示为样本资料矩阵可用矩阵语言表示为:定义定义1.11.1 设设 为为 个随机变量，由它们组成个随机变量，由它们组成的向量的向量 称为随机向量。称为随机向量。目录 上页 下页 返回 结束 1.1.1 1.1.1 随机向量随机向量若无特别说明，本书所称向量均指列向量若无特别说明，本书所称向量均指列向量2022/9/30中国人民大学六西格玛质量管理研究中心7 定义定义1.21.2 设设 是一随机向量，它的是一随机向量，它的多元分布函数是多元分布函数是 式中，式中，并记成，并记成 。1.1.21.1.2 分布函数与密度函数分布函数与密度函数 描述随机变量的最基本工具是分布函数，类似地描述描述随机变量的最基本工具是分布函数，类似地描述随机向量的最基本工具还是分布函数。随机向量的最基本工具还是分布函数。目录 上页 下页 返回 结束 多元分布函数的有关性质此处从略。多元分布函数的有关性质此处从略。2022/9/30中国人民大学六西格玛质量管理研究中心81.1.21.1.2 分布函数与密度函数分布函数与密度函数 目录 上页 下页 返回 结束 定义1.3：设 =,若存在一个非负的函数 ,使得 对一切对一切 成立，则称成立，则称 （或（或 ）有分布）有分布密度密度 并称并称 为连续型随机向量。为连续型随机向量。一个一个 维变量的函数维变量的函数 能作为能作为 中某个随机向量中某个随机向量的分布密度，当且仅当的分布密度，当且仅当2022/9/30中国人民大学六西格玛质量管理研究中心91.1.31.1.3 多元变量的独立性多元变量的独立性 目录 上页 下页 返回 结束 对一切对一切 成立。若成立。若 为为 的联合分布函的联合分布函数，数，分别为分别为 和和 的分布函数，则的分布函数，则 与与 独立独立当且仅当当且仅当 （1.41.4）定义定义1.4：两个随机向量：两个随机向量 和和 称为是相互独立的，若称为是相互独立的，若注意注意:在上述定义中，在上述定义中，和和 的维数一般是不同的。的维数一般是不同的。若若 有密度有密度 ，用，用 分别表示分别表示 和和 的分布密度，则的分布密度，则 和和 独立当且仅当独立当且仅当 (1.5)(1.5)2022/9/30中国人民大学六西格玛质量管理研究中心101.1.4 1.1.4 随机向量的数字特征随机向量的数字特征是一个是一个 维向量，称为均值向量维向量，称为均值向量.目录 上页 下页 返回 结束 当当 为常数矩阵时，由定义可立即推出如下性质：为常数矩阵时，由定义可立即推出如下性质：1 1、随机向量、随机向量 的均值的均值 设设 有有 个分量。若个分量。若 存在，存在，定义随机向量定义随机向量 的均值为的均值为)(PPm)()6.1)()(2121X=XEXEXEEmm2022/9/30中国人民大学六西格玛质量管理研究中心111.1.4 1.1.4 随机向量的数字特征随机向量的数字特征 目录 上页 下页 返回 结束 2、随机向量、随机向量 自协方差阵自协方差阵 称它为 维随机向量 的协方差阵，简称为 的协方差阵。称 为 的广义方差，它是协差阵的行列式之值。2022/9/30中国人民大学六西格玛质量管理研究中心12 目录 上页 下页 返回 结束 1.1.4 1.1.4 随机向量的数字特征随机向量的数字特征3 3、随机向量、随机向量X X 和和Y Y 的协差阵的协差阵 设设 分别为分别为 维和维和 维随机向量，它们之间的协方差阵定义为一个维随机向量，它们之间的协方差阵定义为一个 矩矩阵，其元素是阵，其元素是 ，即即 当当A A、B B为常数矩阵时，由定义可推出协差阵有如下性质：为常数矩阵时，由定义可推出协差阵有如下性质：2022/9/30中国人民大学六西格玛质量管理研究中心13 目录 上页 下页 返回 结束 1.1.4 1.1.4 随机向量的数字特征随机向量的数字特征（3）设）设X为为 维随机向量，期望和协方差存在记维随机向量，期望和协方差存在记 则则 对于任何随机向量对于任何随机向量 来说，来说，其协差阵其协差阵都是对称阵，同时总是非负定（也称都是对称阵，同时总是非负定（也称半正定）的。大多数情形下是正定的。半正定）的。大多数情形下是正定的。2022/9/30中国人民大学六西格玛质量管理研究中心14 目录 上页 下页 返回 结束 1.1.4 1.1.4 随机向量的数字特征随机向量的数字特征 4 4、随机向量、随机向量X X 的相关阵的相关阵 若随机向量 的协差阵存在,且每个分量的方差大于零，则X X的相关阵定义为:也称为分量 与 之间的（线性）相关系数。2022/9/30中国人民大学六西格玛质量管理研究中心15 在数据处理时，为了克服由于指标的量纲不同对统计分在数据处理时，为了克服由于指标的量纲不同对统计分析结果带来的影响，往往在使用某种统计分析方法之前，常析结果带来的影响，往往在使用某种统计分析方法之前，常需将每个指标需将每个指标“标准化标准化”，即做如下变换，即做如下变换 目录 上页 下页 返回 结束 1.1.4 1.1.4 随机向量的数字特征随机向量的数字特征2022/9/30中国人民大学六西格玛质量管理研究中心16中国人民大学六西格玛质量管理研究中心随机向量数字特征的随机向量数字特征的例子例子2022/9/30中国人民大学六西格玛质量管理研究中心17中国人民大学六西格玛质量管理研究中心例1-1 例1-1 焊接技术培训班有10名学生：基础焊接技术（BWT），焊接技术提高（AWT）和焊接车间实践（PWW）的成绩如表1-1所示（数据文件MV_焊接成绩.BTW）。2022/9/30中国人民大学六西格玛质量管理研究中心18中国人民大学六西格玛质量管理研究中心例1-1请注意：样本资料阵在形式上与在MINITAB软件中的工作表是完全一致的，工作表的第i行表示第i个样品，工作表的第j列表示对第j个变量的观测值，变量名称常列在表头2022/9/30中国人民大学六西格玛质量管理研究中心19中国人民大学六西格玛质量管理研究中心样本均值向量的计算2022/9/30中国人民大学六西格玛质量管理研究中心20中国人民大学六西格玛质量管理研究中心样本协方差阵（也称为样本方差阵）的计算2022/9/30中国人民大学六西格玛质量管理研究中心21中国人民大学六西格玛质量管理研究中心样本协方差阵（也称为样本方差阵）的计算由于样本协方差阵是对称的，会话区窗口结果中只显示了协方差阵的下三角部分，所以整个样本协方差阵全部写出则应是：如果采用存储功能，则存储的样本协方差阵就是整个方阵而不是三角阵，这个矩阵对角线上的3个数74.6222、70.2222、34.9，分别是基础焊接技术（BWT），焊接技术提高（AWT）和焊接车间实践（PWW）三门课成绩的样本方差。样本离差阵等于样本协方差阵乘以n1，所以例1-1样本离差阵就是2022/9/30中国人民大学六西格玛质量管理研究中心22中国人民大学六西格玛质量管理研究中心样本相关阵R计算：2022/9/30中国人民大学六西格玛质量管理研究中心23中国人民大学六西格玛质量管理研究中心样本相关阵R计算：由于样本相关阵是对称的，对角线上全是1，会话区窗口结果中只显示了扣除对角线后的下三角部分，所以整个样本相关阵全部写出则应是：如果采用存储功能，则存储的样本相关阵就是方阵而不是三角阵。2022/9/30中国人民大学六西格玛质量管理研究中心241.2 1.2 统计距离和马氏距离统计距离和马氏距离 目录 上页 下页 返回 结束 欧氏距离欧氏距离马氏距离马氏距离2022/9/30中国人民大学六西格玛质量管理研究中心251.2 1.2 统计距离和马氏距离统计距离和马氏距离欧氏距离欧氏距离 在多指标统计分析中,距离的概念十分重要,样品间的不少特征都可用距离去描述。大部分多元方法是建立在简单的距离概念基础上的。即平时人们熟悉的欧氏距离,或称直线距离.如几何平面上的点p=(x1,x2)到原点O=(0,0)O=(0,0)的欧氏距离,依勾股定理有 目录 上页 下页 返回 结束 2022/9/30中国人民大学六西格玛质量管理研究中心261.2 1.2 统计距离和马氏距离统计距离和马氏距离 但就大部分统计问题而言，欧氏距离是不能令人满意的。这里因为，每个坐标对欧氏距离的贡献是同等的。当坐标轴表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的办法是对坐标加权，使得变化较大的坐标比变化小的坐标有较小的权系数，这就产生了各种距离。欧氏距离还有一个缺点，这就是当各个分量为不同性质的量时，“距离”的大小竟然与指标的单位有关。目录 上页 下页 返回 结束 2022/9/30中国人民大学六西格玛质量管理研究中心271.2 1.2 统计距离和马氏距离统计距离和马氏距离 目录 上页 下页 返回 结束 例如，横轴 代表重量（以kg为单位），纵轴 代表长度（以cm为单位）。有四个点A、B、C、D见图1.1，它们的坐标如图1.1所示2022/9/30中国人民大学六西格玛质量管理研究中心281.2 1.2 统计距离和马氏距离统计距离和马氏距离 目录 上页 下页 返回 结束 这时显然AB比CD要长。现在，如果 用mm作单位，单位保