《因子分析解析》由会员分享,可在线阅读,更多相关《因子分析解析(81页珍藏版)》请在金锄头文库上搜索。
1、建模建模 因子分析因子分析 (Factor AnalysisFactor Analysis) 重点 v什么是因子分析? v理解因子分析的基本思想 v因子分析的数学模型以及模型中公共因子、因 子载荷变量共同度的统计意义 v因子分析的基本步骤 v因子旋转的意义 引入 n研究事物时候,需要影响该对象的各种变量的大量 数据。但是过多的变量会影响数据的采集和数据的 分析。 n大多数情况下,多变量会出现相关,利用传统的多 元回归就出现了大问题。 n如果删减指标,有时会损失很多有用的信息。 n需要在减少指标的同时,尽量减少对于原指标所包 含信息的损失。 n由于各变量之间相关,所以有可能用较少的综合指 标分别
2、综合存在于各变量中的各类信息,从而达到 降维的目的。 降维思路: 身高体重数据 变 量 观测量 i 身高h体重w 1h1w1 2h2w2 3h3w3 4h4w4 nhnwn 主成分概念示意图 用p1一个指标来代替原始变量h、w研究n个观测对象的差异。 p1、p2可以用原始变量h、w的线性组合来表示: 一、因子分析的基本理论 1、什么是因子分析 利用降维的思想,由研究原始变量相关矩阵或协 方差矩阵的内部依赖关系出发,把一些具有错综复杂 关系的多个变量归结为少数几个综合因子的一种多元 统计分析方法。 2、历史 由心理学家发展起来的,1904年,斯皮尔曼 在美国心理学杂志上发表了第一篇有关因子分析
3、的文章,来解释人类的行为和能力。50年代后, 在社会学、经济学、医学、地质学、气象学和市 场营销学中得到了广泛的应用。 3、应用方面 n1、寻求基本结构summarization n2、数据简化 data reduction 应用第一方面:寻求基本结构 n多元统计中,多变量如果存在较强的相关 性。意味着他们所反映的信息高度重合, 通过因子分析可以找到较少的代表因子。 n例如,某快餐店为了了解市场竞争力进行 消费者调查,通过定性研究设计了30个调 查项目,这30个项目可能反映了快餐的质 量、价格、就餐环境和服务四个基本方面 。通过因子分析我们能找到反映这四个 因 子和30个观测变量之间的关系。
4、应用第二方面:数据简化 n数据简化 n通过因子分析把一组观测变量化为较少的几个 因子后,利用这些因子代替原来的观测变量进 行其他的统计分析,比如:回归分析、路径分 析、判别分析和聚类分析,利用因子值还可以 直接对样本进行分类和综合评价。 n把每个研究变量分解为几个影响因素变量, 将每个原始变量分解成两部分因素,一部分 是由所有变量共同具有的少数几个公共因子 组成的,另一部分是每个变量独自具有的因 素,即特殊因子。 因子分析的基本思想 因子分析原理 n因为任何一个变量都可以经过标准化处理,并且 经过这样的标准化转化不改变变量间的相关系数 。 n不失一般性,假设我们讨论的都是标准化变量。 n因子分
5、析模型和多元回归模型类似 n每个观测变量由一组因子的线性组合来表示。 n设有p个观测变量都是0均值,单位方差的标准化 变量。 4、因子分析模型 设 个变量,如果表示为 (1) (2) 称为 公共因子,是不可观测的变量, 他们的系数称为因子载荷。 是特殊因子,是不能被 前m个公共因子包含的部分。其中: 不相关; 即 互不相关,方差为1。 (3) 即互不相关,方差不一定相等, 。 满足以上条件的,称为正交因子模型 如果()不成立,即 各公共因子之间不独立 ,则因子分析模型为斜交因子模型 5、因子分析的目的 l因子分析的目的之一,简化变量维数。即要使因素结构 简单化,希望以最少的共同因素(公共因子)
6、,能对总 变异量作最大的解释,因而抽取得因子愈少愈好,但抽 取因子的累积解释的变异量愈大愈好。 l在因子分析的公共因子抽取中,应最先抽取特征值最大 的公共因子,其次是次大者,最后抽取公共因子的特征 值最小的,通常会接近0。 v案例1:在企业形象或品牌形象的研究中,消费者可以通 过一个有24个指标构成的评价体系,评价百货商场的24个 方面的优劣。 v但消费者主要关心的是三个方面,即商店的环境、商店的 服务和商品的价格。因子分析方法可以通过24个变量,找 出反映商店环境、商店服务水平和商品价格的三个潜在的 因子,对商店进行综合评价。而这三个公共因子可以表示 为: v是不可观测的潜在因子,称为公共因
7、子。24个变量共享这三个因 子. v但是每个变量又有自己的个性,不被包含的部分,称为特殊因 子。 公因子F1公因子 F2 共同度 hi 特殊因子 i x1=代数10.8960.3410.9190.081 x2=代数20.8020.4960.8890.111 x3=几何0.5160.8550.9970.003 x4=三角0.8410.4440.9040.096 x5=解析几何0.8330.4340.8820.118 特征值 G3.1131.4794.9590.409 方差贡献率 (变异量) 62.26%29.58%91.85% 因子分析案例2 F1 体现逻辑思维和运算能力,F2 体现空间思维和推
8、理能力 公因子 F1 公因子 F2 x1=代数10.8960.341 x2=代数20.8020.496 x3=几何0.5160.855 x4=三角0.8410.444 x5=解析几何0.8330.434 因子分析案例2 该案例是对数学专业的五门专业课进行相关性因子分析 6、因子分析模型中的几个重要统计量的意义 (1)因子负荷量(或称因子载荷)-是指因子结构 中原始变量与因子分析时抽取出的公共因子的相关程 度。 注意: 在各公共因子不相关的前提下, (载荷矩阵中第i行, 第j列的元素)是随机变量xi*与公共因子Fj的相关系数 ,表示xi*依赖于Fj的程度。反映了第i个原始变量在第 j个公共因子上
9、的相对重要性。因此 绝对值越大,则 公共因子Fj与原有变量xi的关系越强。 (2)共同度-又称共性方差或公因子方差(community 或common variance)就是观测变量的方差中由公因子决 定的比例。当因子正交时,等于每个公共因子之负荷量的 平方总和(一行中所有因素负荷量的平方和)。变量 的 共同度是因子载荷矩阵的第i行的元素的平方和。记为 从共同性的大小可以判断这个原始实测 变量与公共因子间之关系程度。特殊因子方差 (剩余方差)-各变量的特殊因素影响大小就是1 减掉该变量共同度的值。 统计意义:两边求方差 所有的公共因子和特殊因子对变量 的贡献为1。 hi2反映了全 部公共因子对
10、变量Xi*的影响,是全部公共因子对变量方差所做出的 贡献,或者说Xi*对公共因子的共同依赖程度,称为公共因子对变量 Xi*的方差贡献。 hi2接近于1,表明该变量的原始信息几乎都被选取的公共因子说 明了。 特殊因子的方差,反映了原有变量方差中无法被公共因子 描述的比例。 公因子F1公因子 F2 共同度 hi 特殊因子 i x1=代数10.8960.3410.9190.081 x2=代数20.8020.4960.8890.111 x3=几何0.5160.8550.9970.003 x4=三角0.8410.4440.9040.096 x5=解析几何0.8330.4340.8820.118 因子分析
11、案例2 第一个观测变量共同度h12=(0.896)平方+(0.341)平方=0.919 同时,它的剩余方差是: (3)特征值-是第j个公共因子Fj对于X*的每一分量Xi* 所提供的方差的总和。又称第j个公共因子的方差贡献 。即每个变量与某一共同因子之因子负荷量的平方总和 (因子载荷矩阵中某一公共因子列所有因子负荷量的平 方和)。 如因子分析案例中 F1的特征值 G=(0.896)平方 +(0.802)平方 +(0.516)平方 +(0.841)平方 +(0.833)平方 =3.113 表示了每个公因子 对数据的届时能力 (4)方差贡献率 实际中更常用的指标 -指每个因子所解释的方差占所 有变量
12、总方差的比例。即公共 因子对实测变量的贡献, 变量方差贡献率=特征值G/p, 是衡量公共因子相对重要性的指 标, Gi越大,表明公共因子Fj对X*的 贡献越大,该因子的重要程度 越高 如因子分析案例中 F1的贡献率 为3.113/5=62.26% 7、主成分分析分析principal components与因子分析的联系和差异 联系:(1)因子分析是主成分分析的推广,是主成分分析的逆问题 。(2)二者都是以降维为目的,都是从协方差矩阵或相关系数矩阵 出发。 区别:(1)主成分分析模型是原始变量的线性组合,是将原始变量 加以综合、归纳,仅仅是变量变换;而因子分析是将原始变量加以分解 ,描述原始变
13、量协方差矩阵结构的模型;只有当提取的公因子个数等于 原始变量个数时,因子分析才对应变量变换。(2)主成分分析,中每 个主成分对应的系数是唯一确定的;因子分析中每个因子的相应系数即 因子载荷不是唯一的。(3)因子分析中因子载荷的不唯一性有利于对 公共因子进行有效解释;而主成分分析对提取的主成分的解释能力有限 。 目的不同!一个侧重降维,一个侧重解释! 二、因子分析的基本内容 1、因子分析的基本步骤 (1)因子分析的前提条件鉴定 考察原始变量之间是否存在较强的相关关系,是否适 合进行因子分析。因为: 因子分析的主要任务之一就是对原有变量中信息重叠 的部分提取和综合成因子,最终实现减少变量个数的目的
14、 。所以要求原有变量之间应存在较强的相关关系。否则, 如果原有变量相互独立,不存在信息重叠,也就无需进行 综合和因子分析。 (2)因子提取 研究如何在样本数据的基础上提取综合因子。 (3)因子旋转 通过正交旋转或斜交旋转使提取出的因子具有可解 释性。 (4)计算因子得分 通过各种方法求解各样本在各因子上的得分,为进 一步分析奠定基础。 2、因子分析前提条件相关性分析 分析方法主要有: (1)计算相关系数矩阵(correlation coefficients matrix) 如果相关系数矩阵中的大部分相关系数值均 小于0.3,即各变量间大多为弱相关,原则上 这些变量不适合进行因子分析。 (2)计
15、算反映象相关矩阵(Anti-image correlation matrix) 反映象相关矩阵,如果其主对角线外的元素大多绝 对值较小,对角线上的元素值较接近1,则说明这些变量 的相关性较强,适合进行因子分析。 其中主对角线上的元素为某变量的MSA(Measure of Sample Adequacy): 是变量 和变量 ( )间的简单相关系数,是 变量 和变量 ( )在控制了其他变量影响下的偏相 关系数,即净相关系数。 取值在0和1之间,越接近1 ,意味着变量 与其他变量间的相关性越强,越接近0 则相关性越弱。 (3)巴特利特球度检验(Bartlett test of sphericity) 该检验以原有变量的相关系数矩阵为出发点,其零假 设H0是:相关系数矩阵为单位矩阵,即相关系数矩阵主对 角元素均为1,非主对角元素均为0。(即原始变量之间无 相关关系)。 依据相关系数矩阵的行列式计算可得其近似服从卡 方分布。如果统计量卡方值较大且对应的sig值小于给定 的显著性水平a时,零假设不成立。即说明相关系数矩阵 不太可能是单位矩阵,变量之间存在相关关系,适合做因 子分析。 (4)KMO(Kaiser-Meyer-Olkin)检验 KMO检验的统计量是用于比较变量间