《主成分分析和因子分析》由会员分享，可在线阅读，更多相关《主成分分析和因子分析（203页珍藏版）》请在金锄头文库上搜索。
1、1,第十三章 主成分分析和因子分析,在建立多元回归模型时，为了更准确地反映事物的特征，人们经常会在模型中包含较多相关解释变量，这不仅使得问题分析变得复杂，而且变量之间可能存在多重共线性，使得数据提供的信息发生重叠，甚至会抹杀事物的真正特征。为了解决这些问题，需要采用降维的思想，将所有指标的信息通过少数几个指标来反映，在低维空间将信息分解为互不相关的部分以获得更有意义的解释。本章介绍的主成分分析和因子分析可用于解决这类问题。,2,主成分分析（principal components analysis，简称PCA）是由霍特林（Hotelling）于1933年首先提出的。它通过投影的方法，实现数据的
2、降维，在损失较少数据信息的基础上把多个指标转化为几个有代表意义的综合指标。,13.1 主成分分析,3,13.1.1 主成分分析的基本思想 假如对某一问题的研究涉及 p 个指标，记为X1，X2, , Xp，由这 p 个随机变量构成的随机向量为X=(X1, X2, , Xp)，设 X 的均值向量为，协方差矩阵为。设Y=(Y1, Y2 , , Yp)为对 X 进行线性变换得到的合成随机向量，即（13.1.1）设i=(i1, i2 , , ip)，( ), A=(1 , 2 , p)，则有 （13.1.2）,4,且（13.1.3）由式（13.1.1）和式（13.1.2）可以看出，可以对原始变量进行任意
3、的线性变换，不同线性变换得到的合成变量Y的统计特征显然是不一样的。每个Yi 应尽可能多地反映 p 个原始变量的信息，通常用方差来度量“信息”，Yi 的方差越大表示它所包含的信息越多。由式（13.1.3）可以看出将系数向量i 扩大任意倍数会使Yi 的方差无限增大，为了消除这种不确定性，增加约束条件：,5,为了有效地反映原始变量的信息，Y的不同分量包含的信息不应重叠。综上所述，式（13.1.1）的线性变换需要满足下面的约束：(1) ，即 ，i =1, 2, , p。(2) Y1在满足约束 (1) 即的情况下，方差最大；Y2是在满足约束(1) ，且与Y1不相关的条件下，其方差达到最大；Yp是在满足约
4、束(1) ，且与Y1，Y2，Y p-1不相关的条件下，在各种线性组合中方差达到最大者。满足上述约束得到的合成变量Y1, Y2, , Yp分别称为原始变量的第一主成分、第二主成分、第 p 主成分，而且各成分方差在总方差中占的比重依次递减。在实际研究工作中，仅挑选前几个方差较大的主成分，以达到简化系统结构的目的。,6,13.1.2 总体主成分求解及其性质13.1.1节中提到主成分分析的基本思想是考虑合成变量的方差大小及其对原始变量波动(方差)的贡献大小，而对于原始随机变量X1，X2，Xp，其协方差矩阵或相关矩阵正是对各变量离散程度和相关程度的度量。在实际求解主成分时，一般从原始变量的协方差矩阵或相
5、关矩阵的结构分析出发。,7,1从协方差矩阵出发求解主成分设1是任意 p1向量，求解主成份就是在约束条件 下，求 X 的线性函数 使其方差 达到最大，即达到最大，且 ，其中 是随机变量向量X =(X1, X2, , Xp)的协方差矩阵。设1 2 p 0 为 的特征值，e1 , e2 , ep为 矩阵各特征值对应的标准正交特征向量，则对于任意的ei 和 ej，有（13.1.4） 且（13.1.5）,8,因此（13.1.6） 当1 = e1 时有（13.1.7） 此时 达到最大值为1。同理有 并且（13.1.8）,9,由上述推导得（13.1.9）可见Y1, Y2, , Yp 即为原始变量的 p 个主
6、成份。因此，主成分的求解转变为求 X1, X2, , Xp 协方差矩阵 的特征值和特征向量的问题。,10,主成份的性质性质1 Y的协方差矩阵为对角阵，即（13.1.10）性质2 设=(ij)pp是随机变量向量 X 的协方差矩阵，可得即,11,由此可见，主成分分析是把 p 个随机变量的总方差分解为 p 个不相关随机变量的方差之和1 2 P，则总方差中属于第 i 个主成分（被第 i 个主成分所解释）的比例为（13.1.12）称为第 i 个主成分的贡献度。定义（13.1.13）称为前 m 个主成分的累积贡献度，衡量了前 m 个主成份对原始变量的解释程度。,12,性质3 记第k个主成分 Yk 与原始变
7、量 Xi 的相关系数为r(Yk，Xi)，称为因子载荷，或者因子负荷量，则有（13.1.14）,13,3从相关矩阵出发求解主成分在实际应用时，为了消除原始变量量纲的影响，通常将数据标准化。考虑下面的标准化变化，令（13.1.15）其中i，ii 分别表示随机变量 Xi 的期望与方差，则,14,原始变量的相关矩阵就是原始变量标准化后的协方差矩阵，因此，由相关矩阵求主成分的过程与由协方差矩阵求主成分的过程是一致的。如果仍然采用（i ，ei）表示相关矩阵R对应的特征值和标准正交特征向量，根据式（13.1.9）有：（13.1.17）由相关矩阵求得的主成分仍然满足性质13。性质3可以进一步表示为：（13.1
8、.18）,15,13.1.3 样本的主成分 1样本统计量在实际工作中，我们通常无法获得总体的协方差矩阵和相关矩阵R。因此，需要采用样本数据来估计。设从均值向量为，协方差矩阵为 的 p 维总体中得到的 n 个样本，且样本数据矩阵为（13.1.19）,16,则样本协方差矩阵为：（13.1.20） 其中:（13.1.21）样本相关矩阵为：（13.1.22）样本协方差矩阵 S 是总体协方差矩阵 的无偏估计量，样本相关矩阵 是总体相关矩阵 R 的估计量。,17,2样本主成份及其性质由于采用相关矩阵和协方差矩阵求解主成分的过程基本一致，因此本节仅介绍基于样本相关矩阵求解主成分的过程。设样本相关矩阵 的特征
9、值为 ，且与特征值相对应的标准正交特征向量为 ，根据式（13.1.17）第 i 个样本主成分可表示为：（13.1.23） 而且（13.1.24）（13.1.25）,18,且由式（13.1.16）和性质2可得（13.1.26）则第i个样本主成分的贡献度为 ，前m个样本主成份的累计贡献度为 另外（13.1.27）,19,3主成份个数的确定主成分分析的目的之一是减少变量的个数，但是对于应保留多少个主成分没有确切的回答。通常需要综合考虑样本总方差的量、特征值的相对大小以及各成分对现实的阐述。一般所取 m 使得累积贡献率达到85%以上为宜。另一个比较常用的可视的方法是碎石图，首先将特征值 按照从大到小的
10、顺序进行排列，碎石图是特征值与相应序号i的（i， ）图形，其中横轴表示序号，纵轴表示特征值 。为了确定主成分的合适个数，选择碎石图斜率变化较大的拐弯点，通常在此序号之后的特征值取值比较小，则此序号作为主成分的个数。例如，图13.1所示的碎石图在 i=2 处拐弯，则 m 选择2。第三个经验的判断方法是只保留那些方差大于1的主成分。,20,例13.1 宏观经济景气波动的主成分分析,本例从一批对景气变动敏感，有代表的指标中筛选出5个反应宏观经济波动的一致指标组：工业增加值增速（iva）、工业行业产品销售收入增速（sr）、固定资产投资增速（if）、发电量增速（elec）和货币供应量M1增速（m1），样
11、本区间从1998年1月2006年12月，为了消除季节性因素和不规则因素，采用X-12方法进行季节调整。常用的方法是美国商务部采用的计算合成指数CI的方法。特别的，本例利用主成分分析降维的思想，提取主成分（PCA），并与合成指数CI的结果进行比较。,21,13.3.1 EViews软件中主成分分析的计算,本节以例13.1的数据为例，介绍EViews软件中主成分分析的实现过程。首先将所涉及的变量建成一个组(g1)，选择组菜单的View/Principal Components.，出现如图13.6所示的窗口。在窗口中有两个切换钮：第一个钮标着Components，第二个钮标着Calculation，
12、控制着组中各序列离差矩阵的计算和估计。默认的，EViews完成主成分分析使用普通的（Pearson）相关矩阵，也可以在这个菜单下重新设定主成分的计算。,22,1Components选择纽Components按钮用于设定显示主成分和保存方差的特征值和特征向量。在Display对话框中可以以表的形式显示特征值和特征向量，或者按照特征值的大小以线性图的形式显示，或者是载荷、得分的散点图，或者两个都显示（biplot）。选择不同的显示方式，对话框中其余的内容也会发生相应的改变。,23,图13.6 主成分估计对话框(1),24,25,表头描述了观测值的样本区间、计算离差矩阵的方法以及保留成分的个数（在这
13、个例子中显示了所有的5个主成分）。表的第一部分概括了特征值（Value）、相应特征值与后一项的差（Difference）、对总方差的累积解释比例（Cumulative Proportion）等等。由于上述结果的计算采用相关矩阵，所以5个特征值之和等于5。第一个成分占总方差的72.94%，第二个成分占总方差的19.22%。前两个成分占总方差的92.16%。表的第二部分描述了线性组合的系数，第一个主成分（标为“PC1”）大约等于所有5个一致指标的线性组合，它可以解释为一般的经济景气指数。输出的第三部分表示计算的相关矩阵。,26,表13.1 一致指标组的主成分分析结果,27,由表13.1可以看出，第
14、1主成分的贡献率为72.1%，已能较好地反映5个一致指标的总体变动情况，而且根据它们的特征值可以发现第2个特征值开始明显变小(小于1)，碎石图出现明显的拐弯，同时为了讨论方便，仅选择m=1，提取第一个主成分反映经济变动。表13.1中已经给出对应的特征向量，根据式（13.1.23）可以得到对应的主成分序列。,28,图13.7 主成分估计对话框（2）,如果在主对话框的Display部分选择Eigenvalues plots，则显示按顺序排列的特征值的线性图（碎石图）。在对话框的下面将发生改变，可以选择显示特征值（碎石图）、特征值的差、方差累积贡献率其中之一，或是全部。如图13.7所示可以选择任意的
15、复选框。默认的EViews仅显示特征值排序的碎石图。,29,30,图13.8 主成分估计对话框（3）,变量载荷图（Variable loadings plot）给出对应主成分的变量载荷系数，从图中可以看出如何根据原始变量合成新的主成分；成分得分图（Component scores plot）显示对应于样本区间内的观测值成分的得分值；biplot (Biplots (scores & loadings)则表示在一个图中同时显示载荷系数和得分值。,31,32,图13.10 计算得分序列的设置对话框,2. Calculation选择钮在Type下拉菜单中选择使用相关(Correlation)还是协方差(Covariance)矩阵。在Method下拉菜单中选择计算方法：Ordinary, Ordinary (uncentered), Spearman rank-order or Kendalls tau-a, or Kendalls tau-b。在该对话框中，还可以设定计算使用的观测值样本。,33,图13.9 保存得分序列的对话框,3保存得分序列如果想保存主成分得分序列，直接从组（Group）菜单中选择Proc/Make Principal Components.，则出现图13.9所示的对话框。,
