应用多元统计分析 付德印课件07. 因子分析

1应用多元统计分析应用多元统计分析第七章 因子分析2第七章第七章 因子分析因子分析本章主要讨论本章主要讨论:因子分析的原理与模型因子分析的原理与模型因子分析求解过程因子分析求解过程因子分析步骤及其他注意事项因子分析步骤及其他注意事项因子分析应用实例因子分析应用实例3n因子分析是由研究原始数据相关矩阵的内部依赖关系出发，把一些具有错综复杂关系多个变量(或样品)综合为少数几个反映共性的因子，并给出原始变量与综合因子之间的相关关系的一种多元统计分析方法。n它也属于数据降维的一种统计方法。第七章第七章 因子分析因子分析4因子分析在经济分析中主要应用于两个方面：n一是寻求数据基本结构；n二是数据简化，进行分类处理。第七章第七章 因子分析因子分析5第一节第一节 因子分析的原理与模型因子分析的原理与模型本节基本内容本节基本内容一、因子分析一、因子分析的基本思想和数学模型的基本思想和数学模型二、因子载荷二、因子载荷矩阵的统计意义矩阵的统计意义6因子分析是通过变量(或样品)的相关性结构的研究，找出存在于所有变量(或样品)中具有共性的因素，并综合为少数几个新变量，把原始变量表示成少数几个综合变量的线性组合，以再现原始变量与综合变量之间的相关关系的统计分析方法。一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型基本思想基本思想7n研究变量之间的相关关系的 型因子分析n研究样品之间的相关关系的 型因子分析本章主要介绍 型因子分析。一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型因子分析方法常用的有两种类型：因子分析方法常用的有两种类型：8引例引例为了了解学生学习能力，观测了 个学生的 个科目的成绩，用 表示 个科目，()表示第 个学生的 个科目的成绩。我们对这些资料进行归纳分析，可以看出各个科目成绩可由两部分组成，即 ()其中，表示对所有 都起作用的共同因素，它表示智能水平的高低；系数 表示第 个科目在智能高低因子上的体现；是科目 特有的因素。这就是一个最简单的因子模型。一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型9进一步地，可以把这个简单的因子模型推广到多个因子的情况，即影响学习成绩的全部共同因素有 个，如逻辑思维能力、记忆能力、计算能力等，分别记为 ，则各科成绩由如下表达式描述：()用这 个不可观测的互不相关的共同因素 和一个特有的因素 来描述原始可测的相关变量 ，并分析学生的学习能力。它们的系数 表示第 个科目在 个方面的表现。这就是一个因子分析模型。一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型10为了使一切更加正式，下面给出因子模型的一般表述。首先要对上例中涉及的变量作出一些假设(1)是可观测的随机向量，且 ，；(2)()是不可观测的随机向量，且 ，即各分量的均值为0，方差为1，且互不相关；(3)与 不相关，且 ，的协方差为对角阵，即一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型11在关于变量假定(1)-(3)的基础上，设可观测随机向量 与不可观测随机向量 、之间满足以下线性表述关系：则称上述模型为因子模型。一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型12因子模型可以简写为：用矩阵表示为：即，一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型13 称为 的公共因子；分别称为 的特殊因子；公共因子 一般对 的每一个分量都有作用，而 只对 起作用(注意下标)，而且各个特殊因子之间，以及特殊因子与所有公共因子之间都是互不相关的。模型中的矩阵 为待估系数矩阵，称为因子载荷矩阵，其元素 表示第 个变量在第 个公共因子上的载荷。一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型14二、因子载荷矩阵相关性质二、因子载荷矩阵相关性质关于因子模型的协方差结构。在上述因子模型的基础上，我们可以对可观测随机向量 的方差进行如下分解：即 15 由上式可知，因子模型意味着第 变量 和第 变量 的协方差由下式给出若原始变量已经标准化，则上式中的协差阵可用相关阵代替。在此意义上，公共因子解释了观测变量之间的相关性。因子模型预测的相关性同观测变量本身的相关性之间的差异就是剩余相关。所以评价因子模型代表观测变量的程度，就可以考察剩余相关的大小。一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型16类似于前面的推导，进一步地有 这种协方差结构由因子模型表达式的线性设定及假定(1)-(3)导出，是因子模型能够得以求解的依据。一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型17第二，关于因子载荷矩阵的不唯一性。因子载荷矩阵 不是唯一的，若 是任意的 正交矩阵，由于 因子模型可表示为 有 ，因此，上式仍满足因子模型的假定(1)-(3)。故将 看成公共因子，看成相应的因子载荷矩阵，此时有 一、因子分析的基本思想和数学模型一、因子分析的基本思想和数学模型18三、因子载荷矩阵的统计意义三、因子载荷矩阵的统计意义由因子模型可知，与 的协方差为根据因子模型假定(3)，与 不相关，有 根据模型假定(2)，当且仅当 。因此有，19若 是标准化变量，有 ，则 此时，也是 与 的相关系数。它表示 依赖 的程度，即反映第 个变量对第 个公共因子 的相对重要性，也就是表示变量 与公共因子 间的密切程度，可将 看作第 个变量在第 个公共因子上的权重。三、因子载荷矩阵的统计意义三、因子载荷矩阵的统计意义20因子载荷矩阵 中第 行元素的平方和，即 ()称为变量 的共同度。为了说明变量共同度的名称由来及统计意义，有三、因子载荷矩阵的统计意义三、因子载荷矩阵的统计意义21若 是标准化变量，此时 ，则有当时 ，即 完全能够由公共因子的线性组合表示；当 接近于0时，表明公共因子对 的影响很小，主要由特殊因子 来描述。可见 是由公共因子 对变量 方差的一种度量手段，或者说 反映了变量 对所有公共因子 的依赖程度，故称公共因子方差为共同度。三、因子载荷矩阵的统计意义三、因子载荷矩阵的统计意义22在因子载荷矩阵 中第 列元素的平方和，即 ()称为公共因子 的方差贡献。需要指出，的统计意义和 的共同度 刚好是相反的。表示第 个公共因子 对所有变量 所提供的总影响，它是衡量第个 公共因子相对重要性的指标。显然，越大，表明 对 的贡献越大。三、因子载荷矩阵的统计意义三、因子载荷矩阵的统计意义23第二第二节节 因子分析因子分析求解过程求解过程本节基本内容本节基本内容一、因子载荷矩阵的估计方法一、因子载荷矩阵的估计方法二、因子旋转二、因子旋转三、因子得分三、因子得分24一、因子载荷矩阵的估计方法一、因子载荷矩阵的估计方法n有很多方法可以完成因子载荷矩阵的估计任务，如主成分法、主因子法、极大似然法等。n这些方法求解因子载荷的出发点不同，所得到的结果也不完全相同。n下面我们着重介绍比较常用的主成分法。25对于主成分法而言，因子载荷矩阵的估计是从分析原始数据协差阵的内部结构开始的。设随机向量 的协差阵为 ，为 的特征根，为特征根对应的标准正交化的特征向量(如果特征根不相等，则对应的单位特征向量必定是正交的)，令 ，根据线性代数的知识，我们可以对协方差矩阵进行如下的分解：一、因子载荷矩阵的估计方法一、因子载荷矩阵的估计方法26一、因子载荷矩阵的估计方法一、因子载荷矩阵的估计方法27从因子模型角度看，假设特殊因子的方差为0(即可以省略掉特殊因子)，于是有 上式说明因子载荷矩阵 的第 列应该是 ，也就是说，除了常数 外，第 列的因子载荷恰好是第 个主成分的系数 ，所以这种估算因子载荷矩阵的方法称为主成分法。一、因子载荷矩阵的估计方法一、因子载荷矩阵的估计方法28上述做法可以产生 的因子载荷矩阵 ，即可以得到 个公共因子。但是，我们在实际应用中总是希望公共因子个数要少于变量个数，即 ，当最后 个特征根较小时，通常略去最后的 项 对 的贡献，于是得到：一、因子载荷矩阵的估计方法一、因子载荷矩阵的估计方法29n如果进一步把略去的部分看成是特殊因子(一般两者是不同的)，则协差阵应该分解为：一、因子载荷矩阵的估计方法一、因子载荷矩阵的估计方法30一般情况下，的是未知的，可以利用样本协差阵 代替。设 为样本协差阵 的特征根，相应的标准正交特征向量仍记为 。设 ，对样本协差阵进行分解，则因子载荷矩阵的估计为 一、因子载荷矩阵的估计方法一、因子载荷矩阵的估计方法31二、因子旋转二、因子旋转因子载荷矩阵具有不唯一性。因子旋转正是利用这种不唯一性，用一个正交矩阵右乘因子载荷矩阵，实行旋转(由线性代数知识，一次正交变换对应坐标系的一次旋转)，使旋转后的因子载荷矩阵结构简化，以便易于对公共因子进行合理的解释。常用因子载荷矩阵旋转的方法有方差最大正交旋转、斜交旋转等。最常用的是方差最大正交旋转。32方差最大正交旋转是使因子载荷矩阵中，各因子载荷值的总方差达到最大作为因子载荷矩阵结构简化的准则。需要指出的是，总方差最大，而不是某个因子方差最大，这是说如果第个变量在第个公共因子上的载荷经过“方差最大”旋转后，其值增大或者减小，意味着这个变量在另一些公共因子上的载荷要减小或者增大。二、因子旋转二、因子旋转33“方差最大”旋转是使载荷值按照列向0，1两极分化，同时也包含着按行向两极分化。设因子载荷矩阵、经过方差极大化旋转后的因子载荷矩阵分别为：和二、因子旋转二、因子旋转方差极大旋转的意义就在于求一个正交变换矩阵方差极大旋转的意义就在于求一个正交变换矩阵 ，使，使得得 ，并且满足，并且满足 方差最大。方差最大。34三、因子得分三、因子得分n前面我们讨论了如何从协差阵(相关阵)出发，来获得公共因子和因子载荷矩阵，但有时候要求把公共因子表示成变量的线性组合，或反过来对每一个样品计算公共因子的估计值，即因子得分。35因子得分可用于模型的诊断，也可以作为进一步统计分析的数据基础。但需要指出，因子得分的计算不是通常意义下的参数估计，而是对不可观测的随机向量 的取值进行估计。因此，不能精确计算出因子得分，只能对因子得分进行估计。估计因子得分的方法有许多，如加权最小二乘法、回归法等，下面介绍因子得分求解的回归法。三、因子得分三、因子得分36根据因子模型，因子分析的数学模型将变量表示为公共因子的线性组合(不妨设 )：()由于公共因子能够反映原始变量的相关关系，用公共因子代表原始变量时，有时更有利于描述研究对象的特征，因而往往反过来将公共因子表示为变量的线性组合，即 ()称上式为因子得分函数，用它来计算每个样品的公共因子得分。三、因子得分三、因子得分37若假设观测变量和公共因子都已经进行了标准化，公共因子可以对 个变量作回归，回归方程为：因此，为了求出因子得分，可以根据上式先求出回归系数，然后给出因子得分的计算公式。由于公共因子 的值是事先不知道的，是待估计的，所以无法像回归分析中那样利用最小二乘法直接进行参数估计。三、因子得分三、因子得分38我们可以知道根据样本资料计算的因子载荷矩阵。根据因子载荷矩阵的统计意义有：()即 ()三、因子得分三、因子得分39写成矩阵形式有 ()其中，为相关阵。现在我们仅知道样本观测值，由样本观测值计算相关阵 ，以代替 ，并得到因子载荷矩阵 估计，仍将估计的因子载荷矩阵记为 ，根据上式，有 ()故有 ()三、因子得分三、因子得分40记则有三、因子得分三、因子得分41于是利用回归方法所建立的公共因子 对变量 的回归方程为：就是估计因子得分的计算公式。三、因子得分三、因子得分42第三节因子分析步骤及其他注意事项第三节因子分析步骤及其他注意事项本节基本内容本节基本内容一、因子分析计算步骤一、因子分析计算步骤二、因子分析适用性判定二、因子分析适用性判定三、因子分析与主成分分析的区别三、因子分析与主成分分析的区别四、关于四、关于 型因子分析型因子分析43一、因子分析计算步骤一、因子分析计算步骤n根据研究问题选取可观测的分析变量。n根据分析问题的需要，确定从协差阵出发分析还是从相关阵出发分析，判定原则