《主成分分析法的原理应用及计算步骤》由会员分享，可在线阅读，更多相关《主成分分析法的原理应用及计算步骤（10页珍藏版）》请在金锄头文库上搜索。
1、-一、概述 在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与工程经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业根底课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丧失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丧失。主成分分析正是这样一种能够有效降低变
2、量维数，并已得到广泛应用的分析方法。主成分分析以最少的信息丧失为前提，将众多的原有变量综合6210*较少几个综合指标，通常综合指标主成分有以下几个特点：主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。主成分能够反映原有变量的绝大局部信息因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丧失，并能够代表原有变量的绝大局部信息。主成分之间应该互不相关通过主成分分析得出的新的综合指标主成分之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多
3、问题。主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丧失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。 二、根本原理主成分分析是数学上对数据降维的一种方法。其根本思想是设法将原来众多的具有一定相关性的指标*1，*2，*P比方p个指标，重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。则综合指标应该如何去提取，使其既能最大程度的反映原变量*p所代表的信息，又能保证新指标之间保持相互无关信息不重叠。设F1表示原变量的第一个线性组合所形成的主成分指标，即,由数学知识可知，每一个主成分所提取的信息量可用其方差来度量，其方差Var(F1)越
4、大，表示F1包含的信息越多。常常希望第一主成分F1所含的信息量最大，因此在所有的线性组合中选取的F1应该是*1，*2，*P的所有线性组合中方差最大的，故称F1为第一主成分。如果第一主成分缺乏以代表原来p个指标的信息，再考虑选取第二个主成分指标F2，为有效地反映原信息，F1已有的信息就不需要再出现在F2中，即F2与F1要保持独立、不相关，用数学语言表达就是其协方差Cov(F1, F2)=0，所以F2是与F1不相关的*1，*2，*P的所有线性组合中方差最大的，故称F2为第二主成分，依此类推构造出的F1、F2、Fm为原变量指标*1、*2*P第一、第二、第m个主成分。根据以上分析得知：(1) Fi与F
5、j互不相关，即Cov(Fi，Fj) = 0,并有Var(Fi)=aiai，其中为*的协方差阵 (2)F1是*1，*2，*p的一切线性组合系数满足上述要求中方差最大的,即Fm是与F1，F2，Fm1都不相关的*1，*2，*P的所有线性组合中方差最大者。F1，F2，Fmmp为构造的新变量指标，即原变量指标的第一、第二、第m个主成分。由以上分析可见，主成分分析法的主要任务有两点：1确定各主成分Fii=1，2，m关于原变量*jj=1，2 ， p的表达式，即系数 i=1，2，m； j=1，2 ，p。从数学上可以证明，原变量协方差矩阵的特征根是主成分的方差，所以前m个较大特征根就代表前m个较大的主成分方差值
6、；原变量协方差矩阵前m个较大的特征值这样选取才能保证主成分的方差依次最大所对应的特征向量就是相应主成分Fi表达式的系数，为了加以限制，系数启用的是对应的单位化的特征向量，即有= 1。 2计算主成分载荷，主成分载荷是反映主成分Fi与原变量*j之间的相互关联程度： 三、主成分分析法的计算步骤主成分分析的具体步骤如下： 1计算协方差矩阵计算样品数据的协方差矩阵：=(sij)pp，其中i，j=1，2，p2求出的特征值及相应的正交化单位特征向量的前m个较大的特征值l1l2lm0,就是前m个主成分对应的方差，对应的单位特征向量就是主成分Fi的关于原变量的系数，则原变量的第i个主成分Fi为：Fi =*主成分
7、的方差信息奉献率用来反映信息量的大小，为：3选择主成分 最终要选择几个主成分，即F1,F2,Fm中m确实定是通过方差信息累计奉献率G(m)来确定当累积奉献率大于85%时，就认为能足够反映原来变量的信息了，对应的m就是抽取的前m个主成分。4计算主成分载荷 主成分载荷是反映主成分Fi与原变量*j之间的相互关联程度，原来变量*jj=1，2 ， p在诸主成分Fii=1，2，m上的荷载lij i=1，2，m； j=1，2 ，p。： 在SPSS软件中主成分分析后的分析结果中，“成分矩阵反响的就是主成分载荷矩阵。5计算主成分得分计算样品在m个主成分上的得分： i = 1，2，m实际应用时，指标的量纲往往不同
8、，所以在主成分计算之前应先消除量纲的影响。消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数据变换：其中：，根据数学公式知道，任何随机变量对其作标准化变换后，其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即，标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。也就是说，在标准化前后变量的相关系数矩阵不变化。根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是：计算相关系数矩阵求出相关系数矩阵的特征
9、值及相应的正交化单位特征向量选择主成分 计算主成分得分总结：原指标相关系数矩阵相应的特征值li为主成分方差的奉献，方差的奉献率为，越大，说明相应的主成分反映综合信息的能力越强，可根据li的大小来提取主成分。每一个主成分的组合系数原变量在该主成分上的载荷就是相应特征值li所对应的单位特征向量。主成分分析法的计算步骤1、原始指标数据的标准化采集p 维随机向量*= (*1,*2,.,*p)T)n 个样品*i= (*i1,*i2,.,*ip)T，i=1,2,n，np，构造样本阵，对样本阵元进展如下标准化变换：其中，得标准化阵Z。2、对标准化阵Z 求相关系数矩阵其中,。3、解样本相关矩阵R 的特征方程得
10、p 个特征根,确定主成分按确定m 值，使信息的利用率达85%以上，对每个j, j=1,2,.,m, 解方程组Rb= 得单位特征向量。4、将标准化后的指标变量转换为主成分U1称为第一主成分,U2称为第二主成分,Up称为第p 主成分。5 、对m 个主成分进展综合评价对m 个主成分进展加权求和，即得最终评价值，权数为每个主成分的方差奉献率。一、主成分分析根本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。从数学角度来看，这是一种降维处理技术。 思路：一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替
11、原来较多的变量，并使这些少数变量尽可能多的保存原来较多的变量所反响的信息，这样问题就简单化了。 原理：假定有n个样本，每个样本共有p个变量，构成一个np阶的数据矩阵，记原变量指标为*1，*2，*p，设它们降维处理后的综合指标，即新变量为 z1，z2，z3， ，zm(mp)，则系数lij确实定原则：zi与zjij；i，j=1，2，m相互无关；z1是*1，*2，*P的一切线性组合中方差最大者，z2是与z1不相关的*1，*2，*P的所有线性组合中方差最大者； zm是与z1，z2，zm1都不相关的*1，*2，*P，的所有线性组合中方差最大者。新变量指标z1，z2，zm分别称为原变量指标*1，*2，*P
12、的第1，第2，第m主成分。从以上的分析可以看出，主成分分析的实质就是确定原来变量*jj=1，2 ， p在诸主成分zii=1，2，m上的荷载 lij i=1，2，m； j=1，2 ，p。 从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向量。二、主成分分析的计算步骤1、计算相关系数矩阵riji，j=1，2，p为原变量*i与*j的相关系数，rij=rji，其计算公式为2、计算特征值与特征向量解特征方程 ，常用雅可比法Jacobi求出特征值，并使其按大小顺序排列；分别求出对应于特征值 的特征向量 ，要求 =1，即其中 表示向量的第j个分量。3、计算主成分奉献率及累计奉献率奉献率：累计
13、奉献率：一般取累计奉献率达85%-95%的特征值， 所对应的第1、第2、第mmp个主成分。 4、计算主成分载荷5、各主成分得分三、主成分分析法在SPSS中的操作1、指标数据选取、收集与录入表12、Analyze Data Reduction Factor Analysis，弹出Factor Analysis 对话框：3、把指标数据选入Variables 框，Descriptives: Correlation Matri* 框组中选中Coefficients,然后点击Continue, 返回Factor Analysis 对话框，单击OK。注意：SPSS 在调用Factor Analyze 过程
14、进展分析时, SPSS 会自动对原始数据进展标准化处理, 所以在得到计算结果后的变量都是指经过标准化处理后的变量, 但SPSS 并不直接给出标准化后的数据, 如需要得到标准化数据, 则需调用Descriptives 过程进展计算。从表3 可知GDP 与工业增加值, 第三产业增加值、固定资产投资、根本建立投资、社会消费品零售总额、地方财政收入这几个指标存在着极其显著的关系, 与海关出口总额存在着显著关系。可见许多变量之间直接的相关性比拟强, 证明他们存在信息上的重叠。主成分个数提取原则为主成分对应的特征值大于1的前m个主成分。特征值在*种程度上可以被看成是表示主成分影响力度大小的指标, 如果特征
15、值小于1, 说明该主成分的解释力度还不如直接引入一个原变量的平均解释力度大, 因此一般可以用特征值大于1作为纳入标准。通过表4( 方差分解主成分提取分析) 可知, 提取2个主成分, 即m=2, 从表5( 初始因子载荷矩阵) 可知GDP、工业增加值、第三产业增加值、固定资产投资、根本建立投资、社会消费品零售总额、海关出口总额、地方财政收入在第一主成分上有较高载荷, 说明第一主成分根本反映了这些指标的信息; 人均GDP 和农业增加值指标在第二主成分上有较高载荷, 说明第二主成分根本反映了人均GDP 和农业增加值两个指标的信息。所以提取两个主成分是可以根本反映全部指标的信息, 所以决定用两个新变量来代替原来的十个变量。但这两个新变量的表达还不能从输出窗口中直接得到, 因为“ponent
