《多元统计分析方法》由会员分享，可在线阅读，更多相关《多元统计分析方法（31页珍藏版）》请在金锄头文库上搜索。
1、多元统计分析方法主要内容 主成分分析 因子分析 判别分析 聚类分析主成分分析 主要思想： 减少指标个数，将多个指标组合形成几个 较少的综合指标 希望得到的综合指标之间互不相关 希望综合之后能绝大部分的保留原有的信 息主成分分析 设p维随机变量 的协方差矩阵为 由高代的知识有，必存在正交矩阵 ，使 其中 为特征值，其对应的特征 向量为 的对应列 。主成分分析 作变换 的协方差矩阵为 说明 的各个分量之间是互不相关的，且对 的第i个分量的方差为主成分分析 是对 作的正交变换，是可逆的，因此他们包 含的信息也是相等的。 随机变量包含的信息由方差大小来衡量，因此 衡量总信息的多少主成分分析 称 为 的
2、第j个主成分， 为主成分 的贡献率，称 为 的累计贡献率。主成分分析 实际一般从贡献率大的主成分开始选择，依次选 择直到累计贡献率达到85%以上，当然也可以根 据自己的选择和要求来确定最低的累计贡献率。 第i个主成分实际上是p个原始变量的线性组合， 线性组合的权重是正交矩阵 的第i列的对应元 素。因 子 分 析 模型形式为因 子 分 析 假设 有 因 子 分 析 不妨假设 记 其中 说明公共因子对 的影响，而 说明特 殊因子的影响。 记 说明公共因子 对 的影响，是度量这个公共因 子作用的重要尺度。因 子 分 析 矩阵A的统计意义如下：因 子 分 析 假设已知 记 可以证明因 子 分 析 在实
3、际中，只知道样本的协方差矩阵 对协方差矩阵做谱分解 其中因 子 分 析 先取第一个特征值和相应特征向量，检查是否接近于对角矩阵，如果接近，则表明公共 因子只有一个，剩下的都是特殊因子的影响。如 果不接近对角矩阵，那么考虑取第二个特征值和 相应特征向量，检查因 子 分 析 如何判定对角矩阵，可以设定一个很小的值，比 如0 .001，如果矩阵的非对角元都比它小，则可 以近似认为该矩阵是一个对角阵 如果最后满足条件为则认为有k个公共因子。主成分和因子分析的比较 它们的目的是相同的。 选择标准不一样，主成分分析是让剩余方 差的总和比较小，而因子分析是让剩余的 协方差矩阵近似为对角阵。 如果能得到两者的
4、统一最好。 在很多统计软件中没有单独列出主成分分 析的内容，而是包括在因子分析中。判 别 分 析 有G个总体，每个总体中的个体都含有p项指标， 各总体的分布函数分别为：对给定的一个属于未知类属的个体，希望由它的p 个指标的观测值来判别它的类属。判 别 分 析 距离判别 Bayes（贝叶斯）判别 Fisher（费歇）判别距 离 判 别 以简单的两总体来说明问题。 设有两个p维总体A1、A2，它们分别服从 现有一个来自二总体之一的一个个体 要判断它来自哪个总体？距 离 判 别 马氏距离：个体到总体的距离为 距离判别的思想即求出马氏距离之后，看哪个值小 就判定此个体属于哪个总体。但有误差，因此一般
5、只有两个总体的均值之间有显著性差异的时候才使 用距离判别。 推广到多个总体时思想是一样的，也可以推广到非 正态总体，只要二阶矩存在就可以。实际问题中的距离判别问题 实际问题中，各个总体的均值和协方差矩 阵都是未知的。 需要先从各个总体中抽出一些样本，根据 样本来估计各个总体的均值和相同的协方 差矩阵，然后以这些估计来计算相应的马 氏距离。 实际中不是比较他们的距离，而是根据总 体的性质确定出两个总体的接受域。 如果各个总体的方差不相等怎么办？Bayes 判 别 在各个总体的分布密度和先验概率已知的情形下使 用。是目前使用最多的判别方法之一。Bayes 判 别Bayes 判 别 可以证明Baye
6、s 判 别的划分为如下： 函数 具有明显的概率意义，它表示来自总体 的样品错分到 的平均损失，上式也说明总的平 均损失达到最小与每个的平均损失最小是等价的。Fisher 判 别 假设有k个 p 维总体，Fisher判别的思想为找一个p维向量V，得到线性判别函数Fisher 判 别Fisher 判 别Fisher 判 别 令 则 相当一元方差分析中的组间差，而 相当 于组内差，由前面讲的Fisher判别的思想有？ ？Fisher 判 别 要选择U使得 尽量大，而 尽量小，即选择U 使得下式达到极大：Fisher 判 别 如果令 可以证明我们要求的判别函数所使用的向量U为使 得 成立的最大 对应的U。 如果有的时候一个线性判断函数不一定能很好的区 分各个总体，可以取第二大的 对应的U作出另 外一个判别函数。
