《主成分分析法的原理应用及计算步骤》由会员分享，可在线阅读，更多相关《主成分分析法的原理应用及计算步骤（8页珍藏版）》请在金锄头文库上搜索。
1、在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映 此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经 费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基础课 成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间 信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这 必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种 更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会 造成信息的大量丢失。主成分分析正是这样一种能够有效降低
2、变量维数，并已 得到广泛应用的分析方法。主成分分析以最少的信息丢失为前提，将众多的原有变量综合 6210x 较少几 个综合指标，通常综合指标（主成分）有以下几个特点：&主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建 模，这将大大减少分析过程中的计算工作量。G主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造 成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。&主成分之间应该互不相关通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数 据建模能够有效地解决变量信息重叠、多
3、重共线性等给分析应用带来的诸多问 题。&主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数 几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。二、基本原理主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多 的具有一定相关性的指标XI, X2,，XP （比如p个指标），重新组合成一组 较少个数的互不相关的综合指标 Fm 来代替原来指标。那么综合指标应该如何去 提取，使其既能最大程度的反映原变量Xp所代表的信息，又能保证新指标之间 保持相互无关（信息不重叠）。设 F1 表示原变量的第一个线性组合所形成的主成分指标，即F a X + a
4、 X +. + a X1 11 1 21 2p 1p ,由数学知识可知，每个主成分所提取的信息量可用其方差来度量，其方差Var（Fl）越大，表示Fl包含的信息越多。常常希望第 一主成分 F1 所含的信息量最大，因此在所有的线性组合中选取的 F1 应该是 X1， X2,，XP的所有线性组合中方差最大的，故称F1为第一主成分。如果第一主 成分不足以代表原来P个指标的信息，再考虑选取第二个主成分指标F2，为有 效地反映原信息，F1已有的信息就不需要再出现在F2中，即F2与F1要保持独 立、不相关，用数学语言表达就是其协方差Cov(Fl,F2)=0，所以F2是与F1不 相关的XI, X2,，XP的所有
5、线性组合中方差最大的，故称F2为第二主成分， 依此类推构造出的F1、F2、Fm为原变量指标X1、X2XP第一、第二、 第 m 个主成分。根据以上分析得知：(1) Fi 与 Fj 互不相关，即 Cov(Fi，Fj)=O,并有 Var(Fi)二aiai，其中工为 X 的协方差阵F1是X1,X2,Xp的一切线性组合(系数满足上述要求)中方差最大的，, 即Fm是与Fl, F2,Fm-1都不相关的X1, X2,，XP的所有线性组合中 方差最大者。F1,F2,Fm(mWp)为构造的新变量指标，即原变量指标的第一、第二、 第 m 个主成分。由以上分析可见,主成分分析法的主要任务有两点：(1) 确定各主成分F
6、i (i=1, 2,，m)关于原变量Xj (j=1, 2,，p)的表 达式，即系数a (i=1, 2,，m； j=1, 2,，p)。从数学上可以证明，原ij变量协方差矩阵的特征根是主成分的方差，所以前m个较大特征根就代表前m 个较大的主成分方差值；原变量协方差矩阵前m个较大的特征值九(这样选取i才能保证主成分的方差依次最大)所对应的特征向量就是相应主成分Fi表达式 的系数a，为了加以限制，系数a启用的是九对应的单位化的特征向量，即有i i iaiai =1。(2) 计算主成分载荷,主成分载荷是反映主成分 Fi 与原变量 Xj 之间的相互关联程度：P(Z ,x)二九 a (i,二 1,2, L
7、, p; k 二 1,2, L , m)k i F k ki三、主成分分析法的计算步骤主成分分析的具体步骤如下：(1) 计算协方差矩阵计算样品数据的协方差矩阵：工= (sjp?p，其中s = (x - x )(x - x ) i， j=1， 2,，pij n 1ki i kj jk=1(2) 求出工的特征值九及相应的正交化单位特征向量aii工的前m个较大的特征值?1?2?m0,就是前m个主成分对应的方差，九对应i的单位特征向量a就是主成分Fi的关于原变量的系数，则原变量的第i个主成i分 Fi 为：Fi= a Xi主成分的方差（信息）贡献率用来反映信息量的大小，a为：i（3）选择主成分最终要选择
8、几个主成分，即F1,F2,Fm中m的确定是通过方差（信息）累计贡献率G（m）来确定当累积贡献率大于85%时，就认为能足够反映原来变量的信息了，对应的m 就是抽取的前m个主成分。（4）计算主成分载荷主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度，原来变量Xj（j=1，2,，p）在诸主成分Fi（1=1，2,，m）上的荷载lij（1=1，2, m； j=1，2，p）。在SPSS软件中主成分分析后的分析结果中，“成分矩阵”反应的就是主成分载 荷矩阵。（5）计算主成分得分 计算样品在 m 个主成分上的得分：F a X + a X +. + a X i1，2，mi 1i 1 2 i 2 pi p
9、实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的 影响。消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数 据变换：其中：X 才 x ， s2 才（x 一 x ）2j n ij j n 一 ij ji i 根据数学公式知道，任何随机变量对其作标准化变换后，其协方差与其相 关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。另一方 面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即， 标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。也就是说，在标准 化前后变量的相关系数矩阵不变化。根据以上论述，为消除量纲的影响，将变量标准化后再计
10、算其协方差矩阵， 就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是： 计算相关系数矩阵求出相关系数矩阵的特征值九及相应的正交化单位特征向量a ii选择主成分计算主成分得分总结：原指标相关系数矩阵相应的特征值?i为主成分方差的贡献，方差的贡献率为a-九/ 九，a越大，说明相应的主成分反映综合信息的能力越强，i i i ii可根据?i的大小来提取主成分。每一个主成分的组合系数（原变量在该主成分 上的载荷）a就是相应特征值?i所对应的单位特征向量。i主成分分析法的计算步骤1、原始指标数据的标准化采集p维随机向量x?=(x,X，&)n个样品x?=(x ,x，,x )t?, i=1,
11、2,.,n,1 2pii1 i2ipnp,构造样本阵，对样本阵元进行如下标准化变换：2、对标准化阵Z求相关系数矩阵3、解样本相关矩阵R的特征方程打 匚门得p个特征根，确定主成分按 -?确定m值，使信息的利用率达85%以上，对每个尢,j=1,2,.,m，解方程组jRb?=Xb得单位特征向量？。j4、将标准化后的指标变量转换为主成分U称为第一主成分,U ?称为第二主成分，,U ?称为第p主成分。12p5、对m个主成分进行综合评价对m个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。一、主成分分析基本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析 方法。从数
12、学角度来看，这是一种降维处理技术。思路：一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析问题 的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的 变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问 题就简单化了。原理：假定有n个样本，每个样本共有p个变量，构成一个nXp阶的数据矩阵,记原变量指标为X, X,，X,设它们降维处理后的综合指标，即新变量1 2 p为 z , z , z ,，z (mWp)，贝U123m系数 l 的确定原贝： ij z与z (iHj； i, j=1, 2,，m)相互无关；ij z是x , x ,，x的一切线性组合中方
13、差最大者，z是与z不相关的x , x ,1 1 2 P 2 1 1 2x的所有线性组合中方差最大者；z是与z , z , z都不相关的x , x ,乂 ,Pm12m112 P的所有线性组合中方差最大者。新变量指标z ,z ,，z分别称为原变量指标x ,x ,，x的第1,第2,12m12P第 m 主成分。从以上的分析可以看出，主成分分析的实质就是确定原来变量x(j=l,2, jp)在诸主成分z (i=1, 2,，m) 上的荷载l (i=l, 2,，m； j=1, 2, iijp)。从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向量。二、主成分分析的计算步骤1、计算相关系数矩阵r
14、 (i, j=1, 2,，p)为原变量x与x的相关系数，r =r，其计算公式 iji jij ji2、计算特征值与特征向(匕-元丿(xkj. - x)解特征方程r可=；常用雅可比法Jacobi)求出特征值，并使其按大小 (x - x )2 (x - X )2顺序排列；九i込沁 p约k=1j e 2 = 1ijj=1分别求出对应于特征值的特征向量，要求=,，即L，Pp 其中表示向量的第j个分量。3、计算主成分贡献率及累计贡献率贡献率：累计贡献率：一般取累计贡献率达85%-95%的特征值，所对应的第化、第2、第m(m Wp)个主成分。4、计算主成分载荷5、各主成分得分三、主成分分析法在SPSS中的
15、操作1、指标数据选取、收集与录入（表 1）2、AnalyzeDataReductionFactorAnalysis，弹出 FactorAnalysis 对话框：3、把指标数据选入 Variables 框，Descriptives:CorrelationMatrix 框组中选 中 Coefficients,然后点击 Continue,返回 FactorAnalysis 对话框，单击 OK。注意：SPSS在调用FactorAnalyze过程进行分析时，SPSS会自动对原始数据进行标准化处理， 所以在得到计算结果后的变量都是指经过标准化处理后的变量，但SPSS并不直接给出标准化后的 数据，如需要得到标准化数据，则需
