《主成分分析与因子分析的优缺点》由会员分享，可在线阅读，更多相关《主成分分析与因子分析的优缺点（21页珍藏版）》请在金锄头文库上搜索。
1、 欢迎阅读本文档，希望本文档能对您有所帮助!主成分分析与因子分析的优缺点 二、基本思想的异同 （一）共同点 主成分分析法和因子分析法都是用少数的几个变量（因子）来综合反映原始变量（因子）的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85%以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题.并且新的变量彼此间互不相关，消除了多重共线性.这两种分析法得出的新变量，并不是原始变量筛选后剩余的变量.在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1，x2，.，x3，经过坐标变换，将原有的p个相关变量xi作线性变换，每个主成分都是由原有p个变量线性
2、组合得到.在诸多主成分zi中，z1在方差中占的比重最大，说明它综合原有变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱.因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分.公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子.对新产生的主成分变量及因子变量计算其得分，就可以将主成分得分或因子得分代替原始变量进行进一步的分析，因为主成分变量及因子变量比原始变量少了许多，所以起到了降维的作用，为我们处理数据降低了难度.聚类分析的基本思想是：采用多变
3、量的统计值，定量地确定相互之间的亲疏关系，考虑对象多因素的联系和主导作用，按它们亲疏差异程度，归入不同的分类中一元，使分类更具客观实际并能反映事物的内在必然联系.也就是说，聚类分析是把研究对象视作多维空间中的许多点，并合理地分成若干类，因此它是一种根据变量域之间的相似性而逐步归群成类的方法，它能客观地反映这些变量或区域之间的内在组合关系3.聚类分析是通过一个大的对称矩阵来探索相关关系的一种数学分析方法，是多元统计分析方法，分析的结果为群集.对向量聚类后，我们对数据的处理难度也自然降低，所以从某种意义上说，聚类分析也起到了降维的作用. （二）不同之处 主成分分析是研究如何通过少数几个主成分来解释
4、多变量的方差一协方差结构的分析方法，也就是求出少数几个主成分（变量），使它们尽可能多地保留原始变量的信息，且彼此不相关.它是一种数学变换方法，即把给定的一组变量通过线性变换，转换为一组不相关的变量（两两相关系数为0，或样本向量彼此相互垂直的随机变量），在这种变换中，保持变量的总方差（方差之和）不变，同时具有最大方差，称为第一主成分；具有次大方差，称为第二主成分.依次类推.若共有p个变量，实际应用中一般不是找p个主成分，而是找出m（m 三、数据标准化的比较 主成分分析中为了消除量纲和数量级，通常需要将原始数据进行标准化，将其转化为均值为0方差为1的无量纲数据.而因子分析在这方面要求不是太高，因为
5、在因子分析中可以通过主因子法、加权最小二乘法、不加权最小二乘法、重心法等很多解法来求因子变量，并且因子变量是每一个变量的内部影响变量，它的求解与原始变量是否同量纲关系并不太大，当然在采用主成分法求因子变量时，仍需标准化.不过在实际应用的过程中，为了尽量避免量纲或数量级的影响，建议在使用因子分析前还是要进行数据标准化.在构造因子变量时采用的是主成分分析方法，主要将指标值先进行标准化处理得到协方差矩阵，即相关矩阵和对应的特征值与特征向量，然后构造综合评价函数进行评价.聚类分析中如果参与聚类的变量的量纲不同会导致错误的聚类结果.因此在聚类过程进行之前必须对变量值进行标准化，即消除量纲的影响.不同方法
6、进行标准化，会导致不同的聚类结果要注意变量的分布.如果是正态分布应该采用z分数法. 四、应用中的优缺点比较 （一）主成分分析 1、优点 首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息.其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价.再次它在应用上侧重于信息贡献影响力综合评价. 2、缺点 当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确.命名清晰性低. （二）因子分析 1、优点 第一它不是对原有变量的取舍，而是根据原始变量的信息进行重新组合，找出影响变量的共同因子，化简数据；第二，它通过旋转使得因子变量更具有可解释性，命名
7、清晰性高. 2、缺点 在计算因子得分时，采用的是最小二乘法，此法有时可能会失效. （三）聚类分析 1、优点 聚类分析模型的优点就是直观，结论形式简明. 2、缺点 在样本量较大时，要获得聚类结论有一定困难.由于相似系数是根据被试的反映来建立反映被试间内在联系的指标，而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密的关系，但事物之间却无任何内在联系，此时，如果根据距离或相似系数得出聚类分析的结果，显然是不适当的，但是，聚类分析模型本身却无法识别这类错误. 第二篇：主成分分析与全成分分析区别主成分分析与全成分分析的区别 主成分分析。是把几个综合变量来代替原来众多的变量，使这些综合变量能尽可
8、能地代表原来变量的信息量，而且彼此之间互不相关的一种数学降维的方法。 全成分分析。是将送检样品中的原材料、填料、助剂等进行定性定量分析。塑料原材料种类，填料种类、粒径，助剂种类都能影响对产品的性能、寿命，通常是同一种原材料、同一种填料，因为助剂种类的不同，造成产品性能大不相同。 主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在实际问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在
9、一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。主要目的 是希望用较少的变量去解释原来资料中的大部分变量，将我们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。通常是选出比原始变量个数少，能解释大部分资料中变量的几个新变量，即所谓主成分，并用以解释资料的综合性指标。由此可见，主成分分析实际上是一种降维方法。 分析步骤 数据标准化; 一、求相关系数矩阵; 二、一系列正交变换，使非对角线上的数置0，加到主对角上; 三、得特征根xi（即相应那个主成分引起变异的方差），并按照从大到小
10、的顺序把特征根排列; 四、求各个特征根对应的特征向量; 五、用下式计算每个特征根的贡献率vi; vi=xi/（x1+x2+.） 六、根据特征根及其特征向量解释主成分物理意义。 主成分分析的基本思想 主成分分析是设法将原来众多具有一定相关性（比如p个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。 主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来p个指标作线性组合，作为新的综合指标。 主成分分析是把几个综合变量来
11、代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关的一种数学降维的方法。 第三篇：主成分分析法的优点主成分分析法的优点： 1、可消除评价指标之间的相关影响 因为主成分分析在对原指标变量进行变换后形成了彼此相互独立的主成分，而且实践证明指标之间相关程度越高，主成分分析效果越好。 2、可减少指标选择的工作量 对于其它评价方法，由于难以消除评价指标间的相关影响，所以选择指标时要花费不少精力，而主成分分析由于可以消除这种相关影响，所以在指标选择上相对容易些。 3、当评级指标较多时还可以在保留绝大部分信息的情况下用少数几个综合指标代替原指标进行分析 主成分分析中各主成
12、分是按方差大小依次排列顺序的，在分析问题时，可以舍弃一部分主成分，只取前后方差较大的几个主成分来代表原变量，从而减少了计算工作量。 4、在综合评价函数中，各主成分的权数为其贡献率，它反映了该主成分包含原始数据的信息量占全部信息量的比重，这样确定权数是客观的、合理的，它克服了某些评价方法中认为确定权数的缺陷。 5、这种方法的计算比较规范，便于在计算机上实现，还可以利用专门的软件。主成分分析法的缺点： 1、在主成分分析中，我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平（即变量降维后的信息量须保持在一个较高水平上），其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释（否
13、则主成分将空有信息量而无实际含义）。 2、主成分的解释其含义一般多少带有点模糊性，不像原始变量的含义那么清楚、确切，这是变量降维过程中不得不付出的代价。因此，提取的主成分个数m通常应明显小于原始变量个数p（除非p本身较小），否则维数降低的“利”可能抵不过主成分含义不如原始变量清楚的“弊”。 聚类分析法优点： 聚类分析模型的优点就是直观，结论形式简明 聚类分析法缺点： 在样本量较大时，要获得聚类结论有一定困难。由于相似系数是根据被试的反映来建立反映被试间内在联系的指标，而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密的关系，但事物之间却无任何内在联系，此时，如果根据距离或相似系数得出聚
14、类分析的结果，显然是不适当的，但是，聚类分析模型本身却无法识别这类错误。 第四篇：因子分析方法因子分析法 1.因子分析（factoranalysis） 因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系，即将相关比较密切的几个变量归在同一类中，每一类变量就成为一个因子（之所以称其为因子，是因为它是不可观测的，即不是具体的变量），以较少的几个因子反映原资料的大部分信息。运用这种研究技术，我们可以方便地找出影响消费者购买、消费以及满意度的主要因素是哪些，以及它们的影响力（权重）运用这种研究技术，我们还可以为市场细分做前期分析。 因子分析法与其他一些多元统计方法的区别： 2.主成分分
15、析 主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前，用主成分分析来分析数据，让自己对数据有一个大致的了解是非常重要的。主成分分析一般很少单独使用：a，了解数据。（screeningthedata），b，和clusteranalysis一起使用，c，和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解，这时候可以使用主成份发对变量简化。（reducedimensionality）d，在多元回归中，主成分分析可以帮助判断是否存在共线性（条件指数），还可以用来处理共线性。 1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成个变量的线性组合。 2、主成分分析的重点在于解释各变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。 3、主成分分析中不需要有假设（assumptions），因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specificfactor）之间也不
