《第七章 主成分分析》由会员分享，可在线阅读，更多相关《第七章 主成分分析（32页珍藏版）》请在金锄头文库上搜索。
1、第七章第七章 主成分分析主成分分析1 1、主成分分析、主成分分析2 2、SPSSSPSS上机实现过程上机实现过程主成分分析主成分分析v每个人都会遇到有每个人都会遇到有很多变量很多变量的数据。的数据。v这这些些数数据据的的共共同同特特点点是是变变量量很很多多，在在如如此此多多的的变变量量之之中中，有有很很多多是是相相关关的的。人人们们希希望望能能够够找找出出它它们们的的少数少数“代表代表”来对它们进行描述。来对它们进行描述。v本本章章就就介介绍绍两两种种把把变变量量维维数数降降低低以以便便于于描描述述、理理解解和和 分分 析析 的的 方方 法法 ： 主主 成成 分分 分分 析析 （ princi
2、pal principal component component analysisanalysis） 和和 因因 子子 分分 析析 （ factor factor analysisanalysis）。实实际际上上主主成成分分分分析析可可以以说说是是因因子子分分析析的一个特例的一个特例。u主成分分析（主成分分析（Principal Components Analysis ，PCA)也称为主分量分析，是一种通过也称为主分量分析，是一种通过降维来简化数据结构的方法，即如何把多个变量（变降维来简化数据结构的方法，即如何把多个变量（变量）转化为少数几个综合变量（综合变量），而这几量）转化为少数几个综合
3、变量（综合变量），而这几个综合变量可以反映原来多个变量的大部分信息。个综合变量可以反映原来多个变量的大部分信息。什么是主成分分析什么是主成分分析主成分分析主成分分析u主成分分析就是设法将原来众多具有一定相关性的主成分分析就是设法将原来众多具有一定相关性的变量变量(如如p个变量个变量)，重新组合成一组新的相互无关的，重新组合成一组新的相互无关的综合变量来代替原来变量。综合变量来代替原来变量。怎么处理？怎么处理？u通常数学上的处理就是将原来通常数学上的处理就是将原来p个变量作线性组合作个变量作线性组合作为新的综合变量。为新的综合变量。如何选择？如何选择？u如果将选取的第一个线性组合即第一个综合变量
4、记如果将选取的第一个线性组合即第一个综合变量记为为F1，自然希望，自然希望F1尽可能多的反映原来变量的信息。尽可能多的反映原来变量的信息。怎样反映怎样反映?基本思想基本思想u最最经经典典的的方方法法就就是是用用方方差差来来表表达达，即即var(F1)越越大大，表表示示F1包包含含的的信信息息越越多多。因因此此在在所所有有的的线线性性组组合合中中所所选选取取的的F1应应该该是是方方差差最最大大的的，故故称称之之为为第第一一主主成成分分（principal component I）。）。u如如果果第第一一主主成成分分不不足足以以代代表表原原来来p个个变变量量的的信信息息，再再考考虑虑选选取取F2即
5、即第第二二个个线线性性组组合合。F2称称为为第第二二主主成成分分（principal component II）。F1和和F2的的关关系？系？基本思想基本思想u为为了了有有效效地地反反映映原原来来信信息息，F1已已有有的的信信息息就就不不再再出出现现在在F2中中，即即cov（F1,F2)0。依依此此类类推推，可可以以获获得得p个个主主成成分分。因因此此，这这些些主主成成分分之之间间是是互互不不相相关关的的，而而且且方方差差依依次次递递减减。在在实实际际中中，挑挑选选前前几几个个最最大大主成分来表征。主成分来表征。标准？标准？u各各主主成成分分的的累累积积方方差差贡贡献献率率80%或或85%(根
6、根据据实验结果和要求可以自己调整实验结果和要求可以自己调整)或特征根或特征根1。基本思想基本思想上上 机机 操操 作作 流流 程程主成分分析的前提条件：主成分分析的前提条件：原始变量之间有一定的相关原始变量之间有一定的相关性性检验方法检验方法（1）Kaiser-Meyer-Olkin（KMO)检验：抽样充足量的测度，检验：抽样充足量的测度，检验变量之间的偏相关系数是否过小。检验变量之间的偏相关系数是否过小。（2）Bartletts 检验：该检验的原假设是相关矩阵为单位阵（不检验：该检验的原假设是相关矩阵为单位阵（不相关），如果不能拒绝原假设相关），如果不能拒绝原假设,则不适合进行主成分分析。则
7、不适合进行主成分分析。综合综合变量变量（主（主成分）成分）之间之间互不互不相关相关 计算主成分特征根及贡献率和累积贡献率计算主成分特征根及贡献率和累积贡献率 如果想选取如果想选取累积贡献率累积贡献率95%，则需要重则需要重新选择因子数新选择因子数确定主成分确定主成分 本操作是选择以特征根大于本操作是选择以特征根大于1为标准提取主成分，提取了为标准提取主成分，提取了2个主成分。按照累积方差的个主成分。按照累积方差的观点，应该提取观点，应该提取80%或或85%的值，本例题提取的值，本例题提取2个主成分，其累积方差贡献率为个主成分，其累积方差贡献率为94.99，应该提取，应该提取2个应该提取前两个主
8、成分。个应该提取前两个主成分。 写出主成分模型写出主成分模型 前面的表前面的表给出的因子出的因子载荷矩荷矩阵，主成分系数，主成分系数应该为特征向量，其特征向量，其换算方法算方法为：用主成分：用主成分载荷矩荷矩阵中的数据除以主成分相中的数据除以主成分相对应的特征的特征值开平方根便开平方根便得到两个主成分中每个指得到两个主成分中每个指标所所对应的系数。的系数。第一主成分的特征值第一主成分的特征值第二主成分的特征值第二主成分的特征值主成分模型主成分模型为：F1主要表示主要表示X4、X5、X6、X7的信息（夏半年的信息）的信息（夏半年的信息）F1=0.337X1+0.34X2+0.347X3+0.22X4+0.102X5+0.084X6+0.156X7+0.322X8+0.344X9+0.34X10+0.328X11+0.337X12F1主要表示主要表示X1、X2、X3、X8、X9、X10、X11、X12的信息（冬半年的信息）的信息（冬半年的信息）F2=-0.134X1 - 0.114X2+0.016X3+0.384X4+0.507X5+0.519X6+0.457X7+0.034X8-0.064X9-0.136X10-0.195X11-0.157X12
