《应用多元分析第7章主成分分析.》由会员分享，可在线阅读，更多相关《应用多元分析第7章主成分分析.（53页珍藏版）》请在金锄头文库上搜索。
1、计划学时：计划学时： 4 4学时学时 教学课型：教学课型： 理论课理论课 教学目的与要求：理解主成分的概念，掌握主成分分析 的基本方法 教学重点：主成分分析的方法 教学难点：主成分分析的方法 教学方法、手段与媒介：根据教材用多媒体课件课堂讲授 教学过程与内容： 主成分概念首先由 Karl Parson在1901年引进 ，当时只对非随机变量来讨论的。1933年 Hotelling将这个概念推广到随机变量。 第七章第七章 主成分分析主成分分析 (Principal component analysis) 7.1 7.1 引引 言言 在多数实际问题中，不同指标之间是有一 定相关性。由于指标较多及指标
2、间有一定的相 关性，势必增加分析问题的复杂性。 主成分分析就是设法将原来指标重新组合成 一组新的互相无关的几个综合指标来代替原来指 标。同时根据实际需要从中可取几个较少的综合 指标尽可能多地反映原来的指标的信息。 v主成分分析是考察多个数值变量间相关性的 一种多元统计方法，它是研究如何通过少数 几个主成分来解释多变量的方差协方差结 构。 v导出几个主成分，使它们尽可能多地保留原 始变量的信息，且彼此间不相关。 一、主成分分析的基本思想 v将原来众多具有一定相关性的指标重新组合 成一组新的相互无关的综合指标来代替原来 指标。 v以两个指标为例，信息总量以总方差表示： Principal comp
3、onent in 2d One-dimensional projection v其中y1、y2分别都是x1、x2的线性组合，并且 信息尽可能地集中在y1上。在以后的分析中 舍去y2，只用主成分y1来分析问题，起到了 降维的作用。 主成分分析就是通过适当的变量替换，使新 变量成为原变量的线性组合，并寻求主成分 来分析事物的一种方法。 二、几何解释 x1 x2 y1 y2 v旋转变换的目的是为了使得n个样本点在 y1轴方向上的离散程度最大，即y1的方差 最大，变量y1代表了原始数据的绝大部分 信息，在研究某经济问题时，即使不考虑 变量y2也损失不多的信息。 n y1与y2除起了浓缩作用外，还具有不
4、相 关性。 n y1称为第一主成分，y2称为第二主成分。 推广开来，对于p维总体 ，寻求正交变 换 ，使得 在所有正交变换中，所选正交矩阵U，使 最大； 与 不 相关；并且在所有与 不相关的变量中 最大； 与 、 不相关，同时在所有与 、 不相关的变量中 最大；依 次类推。 为总体 的主成分， 为第一主成分， 为第 二主成分 三、主成分分析的数学原理 v对原有变量作坐标变换， 要求满足： 如果z1=u1x满足 则称z1为第一主成分. 如果z2=u2x满足 则称z2为第二主成分. 7.2 7.2 总总总总体的主成分体的主成分 设 为一p维随机向量，其二 阶矩存在， 记 为 的 特征值， 为相应的
5、单位特征向量， 且相互正交。 则yi为第i个主成分。 一、主成分的导出 二、主成分的性质 1、主成分的均值与协方差 记 2 2、主成分的总方差、主成分的总方差 3 3、原始变量、原始变量 与主成分与主成分 的相关系数的相关系数 4 4、mm个主成分对原始变量的贡献率个主成分对原始变量的贡献率 的复相关系数的平方称为m个主成分与 其特征值为 相应的特征向量为 0.000 0.855 0.000 0.996 1.000 1.000 -0.925 0.855 0.998 0.996 0.000 0.000 1 2 3 I Proc iml; X=1 -2 0, -2 5 0, 0 0 2; Val=
6、eigval(x); Vec=eigvec(x); D=1:2; B=(val)d,1; c=(vec),d; F1=(sqrt(inv(diag(X)*vec*sqrt(diag(val),d; F2=(f1#f1),1; F=diag(c*diag(b)*t(c)*inv(diag(x)*j(3,1); Print val vec b c f1 f2 f; VAL VEC B C 5.8284271 -0.382683 0 0.9238795 5.8284271 -0.382683 0 2 0.9238795 0 0.3826834 2 0.9238795 0 0.1715729 0 1
7、0 0 1 F1 F2 F -0.92388 0 0.8535534 0.8535534 0.9974842 0 0.9949747 0.9949747 0 1 0 1 vData w(type=cov); vInput x1 x2 x3; vCards; v 1 -2 0 v -2 5 0 v 0 0 2 v; vProc princomp cov; vRun; The PRINCOMP Procedure Observations 10000 Variables 3 Total Variance 8 Eigenvalues of the Covariance Matrix Eigenval
8、ue Difference Proportion Cumulative 1 5.82842712 3.82842712 0.7286 0.7286 2 2.00000000 1.82842712 0.2500 0.9786 3 0.17157288 0.0214 1.0000 Eigenvectors Prin1 Prin2 Prin3 x1 -.382683 0.00000 0.923880 x2 0.923880 0.00000 0.382683 x3 0.000000 1.00000 0.000000 主成分分析在经济指标综合评价中的应用 v核心：通过主成分分析，选择m个主成分y1,y2
9、,ym ，以每个主成分yi的方差贡献率i作为权数，构造综 合评价函数， 其中 为第i个主成分的得分（求出主成分的表达式 后，将标准化后的数据再代入yi中） 当把m个主成分得分代入F函数后，即可得到每 个样本的综合评价函数得分，以得分的大小排序，可 排列出每个样本的经济效益的名次。 5 5、原始变量对主成分的影响、原始变量对主成分的影响 称为第i主成分在第j个原始变量上的载荷 分析：y1主要由x3控制，y2主要由x1控制， y3主要由x2 控制 Y1的贡献率为： 109.793/117=0.938 x1 ,x2 ,x3之间的线性关系 Data w(type=cov); Input x1 x2 x
10、3; Cards; v16 2 30 v 2 1 4 v30 4 100 v; Proc princomp cov; Run; 三、从相关矩阵出发求主成分 性质： 例7.2.3 在例7.2.2中，x的相关矩阵 相应的主成分为 ： 7.3 样本的主成分 设数据矩阵为 样本协方差矩阵为 样本相关矩阵为 例7.3.1 在制定服装标准的过程中，对128名成年男子 的身材进行了测量，每人测得的指标中含有：身高(x1) 、坐高(x2)、胸围(x3)、手臂长(x4)、肋围(x5)和腰围(x6) 。所的样本相关矩阵如下： X1 X2 X3 X4 X5 X6 X1 X2 X3 X4 X5 X6 1.00 0.7
11、9 1.00 0.36 0.31 1.00 0.76 0.55 0.35 1.00 0.25 0.17 0.64 0.16 1.00 0.51 0.35 0.58 0.38 0.63 1.00 表7.3.1 男子身材六项指标的样本相关矩阵 SAS程序 data examp731(type=corr); input x1-x6; cards; 1.00 . . . . . v0.79 1.00 . . . . v0.36 0.31 1.00 . . . v0.76 0.55 0.35 1.00 . . v0.25 0.17 0.64 0.16 1.00 . v0.51 0.35 0.58 0.3
12、8 0.63 1.00 v; vproc princomp ; vRun; The SAS System 08:44 Wednesday, November 24, 2006 1 The PRINCOMP Procedure Observations 10000 Variables 6 Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative 1 3.28720078 1.88096073 0.5479 0.5479 2 1.40624004 0.94714496 0.2344 0.782
13、2 3 0.45909508 0.03275335 0.0765 0.8588 4 0.42634173 0.13154160 0.0711 0.9298 5 0.29480013 0.16847790 0.0491 0.9789 6 0.12632223 0.0211 1.0000 Eigenvectors Prin1 Prin2 Prin3 Prin4 Prin5 Prin6 x1 0.468906 -.364756 0.092208 -.122427 0.079696 -.785645 x2 0.403726 -.396606 0.613011 0.326444 -.027035 0.4
14、43430 x3 0.393570 0.396800 -.278870 0.655713 -.405232 -.125342 x4 0.407640 -.364842 -.704801 -.107829 0.234585 0.370564 x5 0.337472 0.569214 0.164251 -.019297 0.730502 0.033531 x6 0.426822 0.308369 0.119265 -.660671 -.489941 0.178828 特征向量 0.469 -0.365 0.092 0.404 -0.397 0.613 0.394 0.397 -0.297 0.408 -0.365 -0.705 0.337 0.569 0.16
