因子分析解析

《因子分析解析》由会员分享，可在线阅读，更多相关《因子分析解析（81页珍藏版）》请在金锄头文库上搜索。

1、建模建模 因子分析因子分析 （Factor AnalysisFactor Analysis） 重点 v什么是因子分析？ v理解因子分析的基本思想 v因子分析的数学模型以及模型中公共因子、因 子载荷变量共同度的统计意义 v因子分析的基本步骤 v因子旋转的意义 引入 n研究事物时候，需要影响该对象的各种变量的大量 数据。但是过多的变量会影响数据的采集和数据的 分析。 n大多数情况下，多变量会出现相关，利用传统的多 元回归就出现了大问题。 n如果删减指标，有时会损失很多有用的信息。 n需要在减少指标的同时，尽量减少对于原指标所包 含信息的损失。 n由于各变量之间相关，所以有可能用较少的综合指 标分别

2、综合存在于各变量中的各类信息，从而达到 降维的目的。 降维思路： 身高体重数据 变 量 观测量 i 身高h体重w 1h1w1 2h2w2 3h3w3 4h4w4 nhnwn 主成分概念示意图 用p1一个指标来代替原始变量h、w研究n个观测对象的差异。 p1、p2可以用原始变量h、w的线性组合来表示： 一、因子分析的基本理论 1、什么是因子分析 利用降维的思想，由研究原始变量相关矩阵或协 方差矩阵的内部依赖关系出发，把一些具有错综复杂 关系的多个变量归结为少数几个综合因子的一种多元 统计分析方法。 2、历史 由心理学家发展起来的，1904年，斯皮尔曼 在美国心理学杂志上发表了第一篇有关因子分析

3、的文章，来解释人类的行为和能力。50年代后， 在社会学、经济学、医学、地质学、气象学和市 场营销学中得到了广泛的应用。 3、应用方面 n1、寻求基本结构summarization n2、数据简化 data reduction 应用第一方面：寻求基本结构 n多元统计中，多变量如果存在较强的相关 性。意味着他们所反映的信息高度重合， 通过因子分析可以找到较少的代表因子。 n例如，某快餐店为了了解市场竞争力进行 消费者调查，通过定性研究设计了30个调 查项目，这30个项目可能反映了快餐的质 量、价格、就餐环境和服务四个基本方面 。通过因子分析我们能找到反映这四个 因 子和30个观测变量之间的关系。

4、应用第二方面：数据简化 n数据简化 n通过因子分析把一组观测变量化为较少的几个 因子后，利用这些因子代替原来的观测变量进 行其他的统计分析，比如：回归分析、路径分 析、判别分析和聚类分析，利用因子值还可以 直接对样本进行分类和综合评价。 n把每个研究变量分解为几个影响因素变量， 将每个原始变量分解成两部分因素，一部分 是由所有变量共同具有的少数几个公共因子 组成的，另一部分是每个变量独自具有的因 素，即特殊因子。 因子分析的基本思想 因子分析原理 n因为任何一个变量都可以经过标准化处理，并且 经过这样的标准化转化不改变变量间的相关系数 。 n不失一般性，假设我们讨论的都是标准化变量。 n因子分

5、析模型和多元回归模型类似 n每个观测变量由一组因子的线性组合来表示。 n设有p个观测变量都是0均值，单位方差的标准化 变量。 4、因子分析模型 设 个变量，如果表示为 （1） （2） 称为 公共因子，是不可观测的变量， 他们的系数称为因子载荷。 是特殊因子，是不能被 前m个公共因子包含的部分。其中： 不相关； 即 互不相关，方差为1。 （3） 即互不相关，方差不一定相等， 。 满足以上条件的，称为正交因子模型 如果（）不成立，即 各公共因子之间不独立 ，则因子分析模型为斜交因子模型 5、因子分析的目的 l因子分析的目的之一，简化变量维数。即要使因素结构 简单化，希望以最少的共同因素（公共因子）

6、，能对总 变异量作最大的解释，因而抽取得因子愈少愈好，但抽 取因子的累积解释的变异量愈大愈好。 l在因子分析的公共因子抽取中，应最先抽取特征值最大 的公共因子，其次是次大者，最后抽取公共因子的特征 值最小的，通常会接近0。 v案例1：在企业形象或品牌形象的研究中，消费者可以通 过一个有24个指标构成的评价体系，评价百货商场的24个 方面的优劣。 v但消费者主要关心的是三个方面，即商店的环境、商店的 服务和商品的价格。因子分析方法可以通过24个变量，找 出反映商店环境、商店服务水平和商品价格的三个潜在的 因子，对商店进行综合评价。而这三个公共因子可以表示 为： v是不可观测的潜在因子,称为公共因

7、子。24个变量共享这三个因 子. v但是每个变量又有自己的个性，不被包含的部分，称为特殊因 子。 公因子F1公因子 F2 共同度 hi 特殊因子 i x1=代数10.8960.3410.9190.081 x2=代数20.8020.4960.8890.111 x3=几何0.5160.8550.9970.003 x4=三角0.8410.4440.9040.096 x5=解析几何0.8330.4340.8820.118 特征值 G3.1131.4794.9590.409 方差贡献率 （变异量） 62.26%29.58%91.85% 因子分析案例2 F1 体现逻辑思维和运算能力，F2 体现空间思维和推

8、理能力 公因子 F1 公因子 F2 x1=代数10.8960.341 x2=代数20.8020.496 x3=几何0.5160.855 x4=三角0.8410.444 x5=解析几何0.8330.434 因子分析案例2 该案例是对数学专业的五门专业课进行相关性因子分析 6、因子分析模型中的几个重要统计量的意义 （1）因子负荷量（或称因子载荷）-是指因子结构 中原始变量与因子分析时抽取出的公共因子的相关程 度。 注意： 在各公共因子不相关的前提下， （载荷矩阵中第i行， 第j列的元素）是随机变量xi*与公共因子Fj的相关系数 ，表示xi*依赖于Fj的程度。反映了第i个原始变量在第 j个公共因子上

9、的相对重要性。因此 绝对值越大，则 公共因子Fj与原有变量xi的关系越强。 （2）共同度-又称共性方差或公因子方差（community 或common variance）就是观测变量的方差中由公因子决 定的比例。当因子正交时，等于每个公共因子之负荷量的 平方总和（一行中所有因素负荷量的平方和）。变量 的 共同度是因子载荷矩阵的第i行的元素的平方和。记为 从共同性的大小可以判断这个原始实测 变量与公共因子间之关系程度。特殊因子方差 （剩余方差）-各变量的特殊因素影响大小就是1 减掉该变量共同度的值。 统计意义：两边求方差 所有的公共因子和特殊因子对变量 的贡献为1。 hi2反映了全 部公共因子对

10、变量Xi*的影响，是全部公共因子对变量方差所做出的 贡献，或者说Xi*对公共因子的共同依赖程度，称为公共因子对变量 Xi*的方差贡献。 hi2接近于1，表明该变量的原始信息几乎都被选取的公共因子说 明了。 特殊因子的方差，反映了原有变量方差中无法被公共因子 描述的比例。 公因子F1公因子 F2 共同度 hi 特殊因子 i x1=代数10.8960.3410.9190.081 x2=代数20.8020.4960.8890.111 x3=几何0.5160.8550.9970.003 x4=三角0.8410.4440.9040.096 x5=解析几何0.8330.4340.8820.118 因子分析

11、案例2 第一个观测变量共同度h12=(0.896)平方+(0.341)平方=0.919 同时，它的剩余方差是： （3）特征值-是第j个公共因子Fj对于X*的每一分量Xi* 所提供的方差的总和。又称第j个公共因子的方差贡献 。即每个变量与某一共同因子之因子负荷量的平方总和 （因子载荷矩阵中某一公共因子列所有因子负荷量的平 方和）。 如因子分析案例中 F1的特征值 G=（0.896）平方 +（0.802）平方 +（0.516）平方 +（0.841）平方 +（0.833）平方 =3.113 表示了每个公因子 对数据的届时能力 （4）方差贡献率 实际中更常用的指标 -指每个因子所解释的方差占所 有变量

12、总方差的比例。即公共 因子对实测变量的贡献， 变量方差贡献率=特征值G/p， 是衡量公共因子相对重要性的指 标， Gi越大，表明公共因子Fj对X*的 贡献越大，该因子的重要程度 越高 如因子分析案例中 F1的贡献率 为3.113/5=62.26% 7、主成分分析分析principal components与因子分析的联系和差异 联系：（1）因子分析是主成分分析的推广，是主成分分析的逆问题 。（2）二者都是以降维为目的，都是从协方差矩阵或相关系数矩阵 出发。 区别：（1）主成分分析模型是原始变量的线性组合，是将原始变量 加以综合、归纳，仅仅是变量变换；而因子分析是将原始变量加以分解 ，描述原始变

13、量协方差矩阵结构的模型；只有当提取的公因子个数等于 原始变量个数时，因子分析才对应变量变换。（2）主成分分析，中每 个主成分对应的系数是唯一确定的；因子分析中每个因子的相应系数即 因子载荷不是唯一的。（3）因子分析中因子载荷的不唯一性有利于对 公共因子进行有效解释；而主成分分析对提取的主成分的解释能力有限 。 目的不同！一个侧重降维，一个侧重解释！ 二、因子分析的基本内容 1、因子分析的基本步骤 （1）因子分析的前提条件鉴定 考察原始变量之间是否存在较强的相关关系，是否适 合进行因子分析。因为： 因子分析的主要任务之一就是对原有变量中信息重叠 的部分提取和综合成因子，最终实现减少变量个数的目的

14、 。所以要求原有变量之间应存在较强的相关关系。否则， 如果原有变量相互独立，不存在信息重叠，也就无需进行 综合和因子分析。 （2）因子提取 研究如何在样本数据的基础上提取综合因子。 （3）因子旋转 通过正交旋转或斜交旋转使提取出的因子具有可解 释性。 （4）计算因子得分 通过各种方法求解各样本在各因子上的得分，为进 一步分析奠定基础。 2、因子分析前提条件相关性分析 分析方法主要有： （1）计算相关系数矩阵(correlation coefficients matrix) 如果相关系数矩阵中的大部分相关系数值均 小于0.3，即各变量间大多为弱相关，原则上 这些变量不适合进行因子分析。 （2）计

15、算反映象相关矩阵（Anti-image correlation matrix) 反映象相关矩阵，如果其主对角线外的元素大多绝 对值较小，对角线上的元素值较接近1，则说明这些变量 的相关性较强，适合进行因子分析。 其中主对角线上的元素为某变量的MSA(Measure of Sample Adequacy)： 是变量 和变量 （ ）间的简单相关系数，是 变量 和变量 （ ）在控制了其他变量影响下的偏相 关系数，即净相关系数。 取值在0和1之间，越接近1 ，意味着变量 与其他变量间的相关性越强，越接近0 则相关性越弱。 （3）巴特利特球度检验（Bartlett test of sphericity) 该检验以原有变量的相关系数矩阵为出发点，其零假 设H0是：相关系数矩阵为单位矩阵，即相关系数矩阵主对 角元素均为1，非主对角元素均为0。（即原始变量之间无 相关关系）。 依据相关系数矩阵的行列式计算可得其近似服从卡 方分布。如果统计量卡方值较大且对应的sig值小于给定 的显著性水平a时，零假设不成立。即说明相关系数矩阵 不太可能是单位矩阵，变量之间存在相关关系，适合做因 子分析。 （4）KMO(Kaiser-Meyer-Olkin)检验 KMO检验的统计量是用于比较变量间