《协方差公式总结》由会员分享，可在线阅读，更多相关《协方差公式总结（15页珍藏版）》请在金锄头文库上搜索。
1、为了适应公司新战略的发展，保障停车场安保新项目的正常、顺利开展，特制定安保从业人员的业务技能及个人素质的培训计划协方差公式总结协方差的意义和计算公式学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。均值：标准差：方差：很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，0，8，12，20和8，9，11，12，两个集合的均值都是10，但显然两个集合差别是很大的
2、，计算两者的标准差，前者是，后者是，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。为什么需要协方差？上面几个统计量看似已经描述的差不多了，但我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子欢迎程度是否存在一些联系啊
3、，嘿嘿协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：来度量各个维度偏离其均值的程度，标准差可以这么来定义：协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，也就是说一个人越猥琐就越受女孩子欢迎，嘿嘿，那必须的结果为负值就说明负相关的，越猥琐女孩子越讨厌，可能吗？如果为0，也是就是统计上说的“相互独立”。从协方差的定义上我们也可以看出一些显而易见的性质，如：协方差多了就是协方差矩阵上一节提到的猥琐和受欢迎的问题是典型二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算
4、个协方差，那自然而然的我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：这个定义还是很容易理解的，我们可以举一个简单的三维的例子，假设数据集有三个维度，则协方差矩阵为可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。Matlab协方差实战上面涉及的内容都比较容易，协方差矩阵似乎也很简单，但实战起来就很容易让人迷茫了。必须要明确一点，协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。这个我将结合下面的例子说明，以下的演示将使用Matlab，为了说明计算原理，不直接调用Matlab的cov函数(蓝色部分为Matlab代码)。首先，随机产生一个10*3维的整数矩阵作为
5、样本集，10为样本的个数，3为样本的维数。1MySample=fix(rand(10,3)*50)根据公式，计算协方差需要计算均值，那是按行计算均值还是按列呢，我一开始就老是困扰这个问题。前面我们也特别强调了，协方差矩阵是计算不同维度间的协方差，要时刻牢记这一点。样本矩阵的每行是一个样本，每列为一个维度，所以我们要按列计算均值。为了描述方便，我们先将三个维度的数据分别赋值：23dim1=MySample(:,1);dim2=MySample(:,2);dim3=MySample(:,3);计算dim1与dim2，dim1与dim3，dim2与dim3的协方差：sum(dim1-mean(dim
6、1).*(dim2-mean(dim2)/(size(MySample,1)-1)%得到(dim1-mean(dim1).*123(dim3-mean(dim3)/(size(MySample,1)-1)%得到-(dim2-mean(dim2).*(dim3-mean(dim3)/(size(MySample,1)-1)%得到-搞清楚了这个后面就容易多了，协方差矩阵的对角线就是各个维度上的方差，下面我们依次计算：std(dim1)2%得到(dim2)2%得123到(dim3)2%得到这样，我们就得到了计算协方差矩阵所需要的所有数据，调用Matlab自带的cov函数进行验证：1cov(MySam
7、ple)把我们计算的数据对号入座，是不是一摸一样？Update：今天突然发现，原来协方差矩阵还可以这样计算，先让样本矩阵中心化，即每一维度减去该维度的均值，使每一维度上的均值为0，然后直接用新的到的样本矩阵乘上它的转置，然后除以(N-1)即可。其实这种方法也是由前面的公式通道而来，只不过理解起来不是很直观，但在抽象的公式推导时还是很常用的！同样给出Matlab代码实现：X=MySample-repmat(mean(MySample),10,1);%中心化样本矩阵，使12各维度均值为0C=(X*X)./(size(X,1)-1);总结理解协方差矩阵的关键就在于牢记它计算的是不同维度之间的协方差，
8、而不是不同样本之间，拿到一个样本矩阵，我们最先要明确的就是一行是一个样本还是一个维度，心中明确这个整个计算过程就会顺流而下，这么一来就不会迷茫了统计学的基本概念统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。均值：标准差：方差：很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，0，8，12，20和8，9，11，12，两个集合的均值都是10，但显然两个集合差别是很大的，计算两者的标
9、准差，前者是，后者是，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。为什么需要协方差？上面几个统计量看似已经描述的差不多了，但我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：来
10、度量各个维度偏离其均值的程度，标准差可以这么来定义：协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，那必须的结果为负值就说明负相关的，如果为0，也是就是统计上说的“相互独立”。从协方差的定义上我们也可以看出一些显而易见的性质，如：协方差多了就是协方差矩阵上一节提到的猥琐和受欢迎的问题是典型二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算个协方差，那自然而然的我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：这个定义还是很容易理解的，我们可以举一个简单的三维的例子，假设数据集有三个维度
11、，则协方差矩阵为可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。Matlab协方差实战上面涉及的内容都比较容易，协方差矩阵似乎也很简单，但实战起来就很容易让人迷茫了。必须要明确一点，协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。这个我将结合下面的例子说明，以下的演示将使用Matlab，为了说明计算原理，不直接调用Matlab的cov函数(蓝色部分为Matlab代码)。首先，随机产生一个10*3维的整数矩阵作为样本集，10为样本的个数，3为样本的维数。1MySample=fix(rand(10,3)*50)根据公式，计算协方差需要计算均值，那是按行计算均值还是按列
12、呢，我一开始就老是困扰这个问题。前面我们也特别强调了，协方差矩阵是计算不同维度间的协方差，要时刻牢记这一点。样本矩阵的每行是一个样本，每列为一个维度，所以我们要按列计算均值。为了描述方便，我们先将三个维度的数据分别赋值：1dim1=MySample(:,1);2dim2=MySample(:,2);3dim3=MySample(:,3);计算dim1与dim2，dim1与dim3，dim2与dim3的协方差：sum(dim1-mean(dim1).*(dim2-mean(dim2)/(size(MySample,1)-1)%得到12sum(dim1-mean(dim1).*(dim3-mean
13、(dim3)/(size(MySample,1)-1)%得到3-sum(dim2-mean(dim2).*(dim3-mean(dim3)/(size(MySample,1)-1)%得到-搞清楚了这个后面就容易多了，协方差矩阵的对角线就是各个维度上的方差，下面我们依次计算：1std(dim1)2%得到2std(dim2)2%得到3std(dim3)2%得到这样，我们就得到了计算协方差矩阵所需要的所有数据，调用Matlab自带的cov函数进行验证：1cov(MySample)把我们计算的数据对号入座，是不是一摸一样？Update：今天突然发现，原来协方差矩阵还可以这样计算，先让样本矩阵中心化，即
14、每一维度减去该维度的均值，使每一维度上的均值为0，然后直接用新的到的样本矩阵乘上它的转置，然后除以(N-1)即可。其实这种方法也是由前面的公式通道而来，只不过理解起来不是很直观，但在抽象的公式推导时还是很常用的！同样给出Matlab代码实现：X=MySample-repmat(mean(MySample),10,1);%中心化样本矩阵，使各维度均1值为02C=(X*X)./(size(X,1)-1);总结理解协方差矩阵的关键就在于牢记它计算的是不同维度之间的协方差，而不是不同样本之间，拿到一个样本矩阵，我们最先要明确的就是一行是一个样本还是一个维度，心中明确这个整个计算过程就会顺流而下，这么一
15、来就不会迷茫了写论文要选Latex，在wordpress里编辑公式还得用，用Latex还真对得起咱学计算机这张脸自从上次谈了协方差矩阵之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角主成分分析(PrincipalComponentAnalysis，简称PCA)。结合PCA相信能对协方差矩阵有个更深入的认识PCA的缘起PCA大概是198x年提出来的吧，简单的说，它是一种通用的降维工具。在我们处理高维数据的时候，为了能降低后续计算的复杂度，在“预处理”阶段通常要先对原始数据进行降维，而PCA就是干这个事的。本质上讲，PCA就是将高维的数据通过线性变换投影到低维空间上去，但这个投影可不是随便投投，要遵循一个指导思想，那就是：找出最能够代表原始数据的投影方法。这里怎么理解这个思想呢？“最能代表原始数
