11因子分析解析

《11因子分析解析》由会员分享，可在线阅读，更多相关《11因子分析解析（81页珍藏版）》请在金锄头文库上搜索。

1、建模,因子分析 （Factor Analysis）,重点,什么是因子分析？ 理解因子分析的基本思想 因子分析的数学模型以及模型中公共因子、因 子载荷变量共同度的统计意义 因子分析的基本步骤 因子旋转的意义,引入,研究事物时候，需要影响该对象的各种变量的大量数据。但是过多的变量会影响数据的采集和数据的分析。 大多数情况下，多变量会出现相关，利用传统的多元回归就出现了大问题。 如果删减指标，有时会损失很多有用的信息。 需要在减少指标的同时，尽量减少对于原指标所包含信息的损失。 由于各变量之间相关，所以有可能用较少的综合指标分别综合存在于各变量中的各类信息，从而达到降维的目的。,降维思路：,身高体重

2、数据,主成分概念示意图,用p1一个指标来代替原始变量h、w研究n个观测对象的差异。 p1、p2可以用原始变量h、w的线性组合来表示：,一、因子分析的基本理论,1、什么是因子分析 利用降维的思想，由研究原始变量相关矩阵或协方差矩阵的内部依赖关系出发，把一些具有错综复杂关系的多个变量归结为少数几个综合因子的一种多元统计分析方法。 2、历史 由心理学家发展起来的，1904年，斯皮尔曼在美国心理学杂志上发表了第一篇有关因子分析的文章，来解释人类的行为和能力。50年代后，在社会学、经济学、医学、地质学、气象学和市场营销学中得到了广泛的应用。,3、应用方面,1、寻求基本结构summarization 2、

3、数据简化 data reduction,应用第一方面：寻求基本结构,多元统计中，多变量如果存在较强的相关性。意味着他们所反映的信息高度重合，通过因子分析可以找到较少的代表因子。 例如，某快餐店为了了解市场竞争力进行消费者调查，通过定性研究设计了30个调查项目，这30个项目可能反映了快餐的质量、价格、就餐环境和服务四个基本方面。通过因子分析我们能找到反映这四个 因子和30个观测变量之间的关系。,应用第二方面：数据简化,数据简化 通过因子分析把一组观测变量化为较少的几个因子后，利用这些因子代替原来的观测变量进行其他的统计分析，比如：回归分析、路径分析、判别分析和聚类分析，利用因子值还可以直接对样本

4、进行分类和综合评价。,把每个研究变量分解为几个影响因素变量，将每个原始变量分解成两部分因素，一部分是由所有变量共同具有的少数几个公共因子组成的，另一部分是每个变量独自具有的因素，即特殊因子。,因子分析的基本思想,因子分析原理,因为任何一个变量都可以经过标准化处理，并且经过这样的标准化转化不改变变量间的相关系数。 不失一般性，假设我们讨论的都是标准化变量。 因子分析模型和多元回归模型类似 每个观测变量由一组因子的线性组合来表示。 设有p个观测变量都是0均值，单位方差的标准化变量。,4、因子分析模型,设 个变量，如果表示为,（1） （2）,称为 公共因子，是不可观测的变量，他们的系数称为因子载荷。

5、 是特殊因子，是不能被前m个公共因子包含的部分。其中：,不相关；,即 互不相关，方差为1。,（3）,即互不相关，方差不一定相等， 。 满足以上条件的，称为正交因子模型 如果（）不成立，即 各公共因子之间不独立，则因子分析模型为斜交因子模型,5、因子分析的目的 因子分析的目的之一，简化变量维数。即要使因素结构简单化，希望以最少的共同因素（公共因子），能对总变异量作最大的解释，因而抽取得因子愈少愈好，但抽取因子的累积解释的变异量愈大愈好。 在因子分析的公共因子抽取中，应最先抽取特征值最大的公共因子，其次是次大者，最后抽取公共因子的特征值最小的，通常会接近0。,案例1：在企业形象或品牌形象的研究中，

6、消费者可以通过一个有24个指标构成的评价体系，评价百货商场的24个方面的优劣。 但消费者主要关心的是三个方面，即商店的环境、商店的服务和商品的价格。因子分析方法可以通过24个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的因子，对商店进行综合评价。而这三个公共因子可以表示为：,是不可观测的潜在因子,称为公共因子。24个变量共享这三个因子. 但是每个变量又有自己的个性，不被包含的部分，称为特殊因子。,因子分析案例2,F1 体现逻辑思维和运算能力，F2 体现空间思维和推理能力,因子分析案例2,该案例是对数学专业的五门专业课进行相关性因子分析,6、因子分析模型中的几个重要统计量的意义 （1

7、）因子负荷量（或称因子载荷）-是指因子结构中原始变量与因子分析时抽取出的公共因子的相关程度。,注意： 在各公共因子不相关的前提下， （载荷矩阵中第i行，第j列的元素）是随机变量xi*与公共因子Fj的相关系数，表示xi*依赖于Fj的程度。反映了第i个原始变量在第j个公共因子上的相对重要性。因此 绝对值越大，则公共因子Fj与原有变量xi的关系越强。,（2）共同度-又称共性方差或公因子方差（community或common variance）就是观测变量的方差中由公因子决定的比例。当因子正交时，等于每个公共因子之负荷量的平方总和（一行中所有因素负荷量的平方和）。变量 的共同度是因子载荷矩阵的第i行的

8、元素的平方和。记为,从共同性的大小可以判断这个原始实测变量与公共因子间之关系程度。特殊因子方差（剩余方差）-各变量的特殊因素影响大小就是1减掉该变量共同度的值。,统计意义：,两边求方差,所有的公共因子和特殊因子对变量 的贡献为1。 hi2反映了全部公共因子对变量Xi*的影响，是全部公共因子对变量方差所做出的贡献，或者说Xi*对公共因子的共同依赖程度，称为公共因子对变量Xi*的方差贡献。 hi2接近于1，表明该变量的原始信息几乎都被选取的公共因子说明了。 特殊因子的方差，反映了原有变量方差中无法被公共因子描述的比例。,因子分析案例2,第一个观测变量共同度h12=(0.896)平方+(0.341)

9、平方=0.919 同时，它的剩余方差是：,（3）特征值-是第j个公共因子Fj对于X*的每一分量Xi*所提供的方差的总和。又称第j个公共因子的方差贡献。即每个变量与某一共同因子之因子负荷量的平方总和（因子载荷矩阵中某一公共因子列所有因子负荷量的平方和）。,如因子分析案例中 F1的特征值 G=（0.896）平方 +（0.802）平方 +（0.516）平方 +（0.841）平方 +（0.833）平方 =3.113 表示了每个公因子对数据的届时能力,（4）方差贡献率 实际中更常用的指标 -指每个因子所解释的方差占所有变量总方差的比例。即公共因子对实测变量的贡献， 变量方差贡献率=特征值G/p， 是衡量

10、公共因子相对重要性的指标， Gi越大，表明公共因子Fj对X*的贡献越大，该因子的重要程度越高,如因子分析案例中 F1的贡献率为3.113/5=62.26%,7、主成分分析分析principal components与因子分析的联系和差异 联系：（1）因子分析是主成分分析的推广，是主成分分析的逆问题。（2）二者都是以降维为目的，都是从协方差矩阵或相关系数矩阵出发。 区别：（1）主成分分析模型是原始变量的线性组合，是将原始变量加以综合、归纳，仅仅是变量变换；而因子分析是将原始变量加以分解，描述原始变量协方差矩阵结构的模型；只有当提取的公因子个数等于原始变量个数时，因子分析才对应变量变换。（2）主成

11、分分析，中每个主成分对应的系数是唯一确定的；因子分析中每个因子的相应系数即因子载荷不是唯一的。（3）因子分析中因子载荷的不唯一性有利于对公共因子进行有效解释；而主成分分析对提取的主成分的解释能力有限。 目的不同！一个侧重降维，一个侧重解释！,二、因子分析的基本内容,1、因子分析的基本步骤 （1）因子分析的前提条件鉴定 考察原始变量之间是否存在较强的相关关系，是否适合进行因子分析。因为： 因子分析的主要任务之一就是对原有变量中信息重叠的部分提取和综合成因子，最终实现减少变量个数的目的。所以要求原有变量之间应存在较强的相关关系。否则，如果原有变量相互独立，不存在信息重叠，也就无需进行综合和因子分析

12、。 （2）因子提取 研究如何在样本数据的基础上提取综合因子。,（3）因子旋转 通过正交旋转或斜交旋转使提取出的因子具有可解释性。 （4）计算因子得分 通过各种方法求解各样本在各因子上的得分，为进一步分析奠定基础。,2、因子分析前提条件相关性分析 分析方法主要有： （1）计算相关系数矩阵(correlation coefficients matrix) 如果相关系数矩阵中的大部分相关系数值均小于0.3，即各变量间大多为弱相关，原则上这些变量不适合进行因子分析。 （2）计算反映象相关矩阵（Anti-image correlation matrix),反映象相关矩阵，如果其主对角线外的元素大多绝对值

13、较小，对角线上的元素值较接近1，则说明这些变量的相关性较强，适合进行因子分析。 其中主对角线上的元素为某变量的MSA(Measure of Sample Adequacy)： 是变量 和变量 （ ）间的简单相关系数，是变量 和变量 （ ）在控制了其他变量影响下的偏相关系数，即净相关系数。 取值在0和1之间，越接近1，意味着变量 与其他变量间的相关性越强，越接近0则相关性越弱。,（3）巴特利特球度检验（Bartlett test of sphericity) 该检验以原有变量的相关系数矩阵为出发点，其零假设H0是：相关系数矩阵为单位矩阵，即相关系数矩阵主对角元素均为1，非主对角元素均为0。（即原

14、始变量之间无相关关系）。 依据相关系数矩阵的行列式计算可得其近似服从卡方分布。如果统计量卡方值较大且对应的sig值小于给定的显著性水平a时，零假设不成立。即说明相关系数矩阵不太可能是单位矩阵，变量之间存在相关关系，适合做因子分析。,（4）KMO(Kaiser-Meyer-Olkin)检验 KMO检验的统计量是用于比较变量间简单相关系数矩阵和偏相关系数的指标，数学定义为： KMO与MSA区别是它将相关系数矩阵中的所有元素都加入到了平方和计算中。KMO值越接近1，意味着变量间的相关性越强，原有变量适合做因子分析；越接近0，意味变量间的相关性越弱，越不适合作因子分析。 Kaiser给出的KMO度量标

15、准：0.9以上非常适合；0.8表示适合；0.7表示一般；0.6表示不太适合；0.5以下表示极不适合。,3、因子提取和因子载荷矩阵的求解 因子载荷矩阵求解的方法： （1）基于主成分模型的主成分分析法 （2）基于因子分析模型的主轴因子法 （3）极大似然法 （4）最小二乘法 （5）a因子提取法 （6）映象分析法,（1）基于主成分模型的主成分分析法Principal components,设随机向量 的均值为，协方差为, 为的特征根， 为对应的 标准化特征向量，则,上式给出的表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的p-m项的贡献，有：,上式有

16、一个假定，模型中的特殊因子是不重要的，因而从的分解中忽略了特殊因子的方差。,例: 假定某地固定资产投资率 ，通货膨胀率 ，失业率 ，相关系数矩阵为 试用主成分分析法求因子分析模型。,(1)求解特征根 (2)求解特征向量： (3)因子载荷矩阵：,(4)因子分析模型： 可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X的贡献为1.55。第一公因子F2为投资因子，对X的贡献为0.85。共同度分别为1，0.706，0.706。,（2）基于因子分析模型的主轴因子法Principal axis factoring 是对主成分方法的修正，假定我们首先对变量进行标准化变换。则 R=AA+D R*=AA=R-D 称R*为约相关矩阵，R*对角线上的元素是 ,而不是1。,直接求R*的前p个特征根和对应的正交特征向量。得如下的矩阵：,当特殊因子 的方差已知：,方差矩阵未知，估计的方法有如下几种：,1）取 ，在这个情况