主成分分析的原理与spss实现.ppt

《主成分分析的原理与spss实现.ppt》由会员分享，可在线阅读，更多相关《主成分分析的原理与spss实现.ppt（44页珍藏版）》请在金锄头文库上搜索。

1、1,一、主成分分析概述,2,假定你是一个公司的财务经理，掌握了公司的所有数据，这包括众多的变量，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。 如果让你向上级或有关方面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？,引子,3,当然不能。汇报什么？ 发现在如此多的变量之中，有很多是相关的。人们希望能够找出它们的少数“代表”来对它们进行描述。 需要把这种有很多变量的数据进行高度概括，用少数几个指标简单明了地把情况说清楚。,4,主成分分析（ Principal Components Analysis ）

2、和因子分析（Factor Analysis）就是把变量维数降低以便于描述、理解和分析的方法。 主成分分析也称为主分量分析，是一种通过降维来简化数据结构的方法：如何把多个变量化为少数几个综合变量（综合指标） ，而这几个综合变量可以反映原来多个变量的大部分信息，所含的信息又互不重叠，即它们之间要相互独立，互不相关。 这些综合变量就叫因子或主成分，它是不可观测的，即它不是具体的变量（这与聚类分析不同），只是几个指标的综合。 在引入主成分分析之前，先看下面的例子。,什么是主成分分析法？,5,成绩数据,53个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。,6,从本例可能提出的问题,能不能

3、把这个数据表中的6个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息呢？ 能不能利用找到的综合变量来对学生排序呢？,7,事实上，以上的三个问题在地理学研究中，也会经常遇到。它所涉及的问题可以推广到对企业、对学校、对区域进行分析、评价、排序和分类等。 比如对n个区域进行综合评价，可选的描述区域特征的指标很多，而这些指标往往存在一定的相关性（既不完全独立，又不完全相关），这就给研究带来很大不便。若选指标太多，会增加分析问题的难度与复杂性，选指标太少，有可能会漏掉对区域影响较大的指标，影响结果的可靠性。,8,这就需要我们在相关分析的基础上，采用主成分分析法找到几个新的相互独立的综

4、合指标，达到既减少指标数量、又能区分区域间差异的目的。,9,二、主成分分析的基本原理,10,（一）主成分分析的几何解释,例中数据点是六维的；即每个观测值是6维空间中的一个点。希望把6维空间用低维空间表示。 先假定只有二维，即只有两个变量，语文成绩（x1）和数学成绩（x2），分别由横坐标和纵坐标所代表； 每个学生都是二维坐标系中的一个点。,11,空间的点,如果这些数据形成一个椭圆形状的点阵（这在二维正态的假定下是可能的）该椭圆有一个长轴和一个短轴。在短轴方向上数据变化很少； 在极端的情况，短轴如退化成一点，长轴的方向可以完全解释这些点的变化，由二维到一维的降维就自然完成了。,12,假定语文成绩

5、（X1） 和数学成绩 （X2） 的相关系数= 0.6 。 设 X1 和 X2 分别为标准化后的分数，右图为其散点图。,13,那么随机向量,的方差协方差矩阵为,可以看出，在变量标准化的情况下的方差协方差矩阵与其相关矩阵相等。,由求矩阵特征值和特征向量的方法：令,可以求出：,14,对应的特征向量分别为：,显然，这两个特征向量是相互正交的单位向量。而且它们与原来的坐标轴 X1 和 X2 的夹角都分别等于45 。如果将坐标轴 X1 和 X2 旋转45 ，那么点在新坐标系中的坐标（Y1,Y2）与原坐标（X1,X2）有如下的关系：,Y1和Y2均是X1 和 X2 的线性组合,系数代表什么？,15,在新坐标系

6、中，可以发现：虽然散点图的形状没有改变，但新的随机变量 Y1 和 Y2 已经不再相关。而且大部分点沿 Y1 轴散开，在 Y1 轴方向的变异较大（即 Y1的方差较大） ，相对来说，在 Y2轴方向的变异较小（即 Y2 的方差较小） 。,16,事实上，随机变量 Y1和 Y2的方差分别为：,可以看出，最大变动方向是由特征向量所决定的，而特征值则刻画了对应的方差。这只是我们举的一个例子，对于一般情况，数学上也能证明。,17,在上面的例子中 Y1 和 Y2 就是原变量 X1和 X2的第一主成分和第二主成分。实际上第一主成分 Y1 就基本上反映了 X1 和X2 的主要信息，因为图中的各点在新坐标系中的 Y1

7、 坐标基本上就代表了这些点的分布情况，因此可以选 Y1 为一个新的综合变量。当然如果再选 Y2也作为综合变量，那么 Y1 和 Y2 则反映了 X1 和 X2的全部信息。,18,从几何上看，找主成分的问题就是找出p维空间中椭球体的主轴问题，就是要在x1xp的相关矩阵中m个较大特征值所对应的特征向量。 究竟提取几个主成分或因子，一般有两种方法： 特征值1 累计贡献率0.8 那么如何提取主成分呢？,（二）主成分分析的基本思想,19,假定有n个地理样本，每个样本共有p个变量，构成一个np阶的地理数据矩阵,（3.5.1）,综合指标如何选取呢？这些综合指标要想尽可能多地反映原指标的信息，综合指标的表达式中

8、要含有原指标，那么我们通常是取原指标的线性组合，适当调整它们的系数，使综合指标间相互独立且代表性好。,20,定义：记x1，x2，xP为原变量指标，z1，z2，zm（mp）为新变量指标,(3.5.2),可以看出，新指标对原指标有多个线性组合，新指标对哪个原指标反映的多，哪个少，取决于它的系数。系数lij的确定原则： zi与zk（ik；i，k=1，2，m; j= 1，2，p ）相互无关；,21, z1是x1，x2，xP的一切线性组合中方差最大者(最能解释它们之间的变化），z2是与z1不相关的x1，x2，xP的所有线性组合中方差最大者; zm是与z1，z2，zm1都不相关的x1，x2，xP， 的所有

9、线性组合中方差最大者。 则新变量指标z1，z2，zm分别称为原变量指标x1，x2，xP的第1，第2，第m主成分。,22,从以上的分析可以看出，主成分分析的实质就是确定原来变量xj（j=1，2 ， p）在诸主成分zi（i=1，2，m）上的荷载 lij（ i=1，2，m； j=1，2 ，p）。 从数学上可以证明，它们分别是相关矩阵（也就是x1，x2，xP 的相关系数矩阵）m个较大的特征值所对应的特征向量。,23,三、主成分分析的计算步骤,24,（一）计算相关系数矩阵 rij（i，j=1，2，p）为原变量xi与xj标准化后的相关系数， rij=rji，其计算公式为,（3.5.3）,（3.5.4）,2

10、5,（二）计算特征值与特征向量 1、解特征方程 ，求出特征值，并使其按大小顺序排列 ；,2、分别求出对应于特征值 的特征向量 ，要求 =1，即 ，其中 表示向量 的第j个分量,也就是说 为单位向量。,26,3、计算主成分贡献率及累计贡献率 贡献率,累计贡献率,一般取累计贡献率达85%95%的特征值 所对应的第1、第2、第m（mp）个主成分。,27,4、计算主成分载荷 在主成分之间不相关时，主成分载荷就是主成分zi与变量xj之间的相关系数（在数学上可以证明） 5、各主成分的得分 得到各主成分的载荷以后，可以按照（3.5.2）计算各主成分的得分,（3.5.5）,28,（3.5.6）,每个地区的综合

11、评价值为：对各个主成分进行加权求和。权重为每个主成分方差的贡献率。,29,四、SPSS在主成分分析中的应用,30,以全国31个省市的8项经济指标为例，进行主成分分析。 第一步：录入或调入数据（图1）。,图1 原始数据（未经标准化）,31,32, 设置描述(Descriptives)选项。 单击描述按钮, 弹出描述对话框,选中单变量描述性(Univariate descriptives)复选项， 则输出结果中将会给出原始数据的抽样均值、方差和样本数目 选中原始分析结果(Initial solution)复选项，则会给出主成分载荷的 公因子方差（这一栏数据分析时有用）。 在相关矩阵(Correla

12、tion Matrix)栏中，选中系数(Coefficients)复选项， 则会给出原始变量的相关系数矩阵；选中行列式(Determinant)复选项，则会给出 相关系数矩阵的行列式，如果希望在Excel中对某些计算过程进行了解， 可选此项，否则用途不大。其它复选项一般不用，但在特殊情况下可以用到。 设置完成以后，单击Continue按钮完成设置（图5）。,33,打开抽取对话框。因子提取方法主要有7种，在方法(Method)栏中可以看到， 系统默认的提取方法是主成分.因此对此栏不作变动，就是认可了主成分分析方法。, 设置抽取(Extraction)选项。,在分析(Analyze)栏中，选中相关

13、性矩阵(Correlation matirx)复选项，则因子分析基于数据的相关系数矩阵进行分析；如果选中协方差矩阵(Covariance matrix)复选项，则因子分析基于数据的协方差矩阵进行分析。对于主成分分析而言，由于数据标准化了，这两个结果没有分别，因此任选其一即可。,34,在输出(Display)栏中，选中Unrotated factor solution（非旋转因子解）复选项， 则在分析结果中给出未经旋转的因子提取结果。对于主成分分析而言，这一项 选择与否都一样；对于旋转因子分析，选择此项，可将旋转前后的结果同时给出， 以便对比。,选中Scree Plot（碎石图），则在分析结果中

14、给出特征根按大小分布的折线图 以便我们直观地判定因子的提取数量是否准确。,35,在抽取栏中，有两种方法可以决定提取主成分（因子）的数目。 一是根据特征根（Eigenvalues）的数值，系统默认的是=1。 我们知道，在主成分分析中，主成分得分的方差就是对应的特征根数值。如果默认=1 ，则所有方差大于等于1的主成分将被保留，其余舍弃。如果觉得最后选取的主成分数量不足，可以将值降低，例如取=0.9；如果认为最后的提取的主成分数量偏多，则可以提高值，例如取=1.1 。主成分数目是否合适，要在进行一轮分析以后才能肯定。 因此，特征根数值的设定，要在反复试验 以后才能决定。一般而言，在初次分析时， 最好

15、降低特征根的临界值（如取=0.8）， 这样提取的主成分将会偏多，根据初次 分析的结果，在第二轮分析过程中可以 调整特征根的大小。,36,第二种方法是直接指定主成分的数目即因子数目，这要选中Number of factors复选项。主成分的数目选多少合适？开始我们并不十分清楚。因此，首次不妨将数值设大一些，但不能超过变量数目。本例有8个变量，因此，最大的主成分提取数目为8，不得超过此数。在我们第一轮分析中，采用系统默认的方法提取主成分。,需要注意的是：主成分计算是利用迭代（Iterations）方法，系统默认的迭代次数 是25次。但是，当数据量较大时，25次迭代是不够的，需要改为50次、100次乃 至更多。对于本例而言，变量较少，25次迭代足够，故无需改动。 设置完成以后，单击Continue按钮完成设置。,37,选中保存为变量(Save as variables)栏，则分析结果中给出标准化的主成分得分（在数据表的后面）。至于方法复选项，对主成分分析而言，三种方法没有分别，采用系统默认的“回归”（Regression）法即可。,选中显示因子得分系数矩阵(Display factor score coefficient matrix)，则在 分析结果中给出因子得分系数矩阵及其相关矩阵。 设置完成