《主成分分析原理》由会员分享，可在线阅读，更多相关《主成分分析原理（10页珍藏版）》请在金锄头文库上搜索。
1、第七章 主成分分析（一）教学目的通过本章的学习，对主成分分析从总体上有一个清晰地认识，理解主成分分析的基本思 想和数学模型，掌握用主成分分析方法解决实际问题的能力。（二）基本要求 了解主成分分析的基本思想,几何解释，理解主成分分析的数学模型，掌握主成分分析方 法的主要步骤。（三）教学要点1、主成分分析基本思想，数学模型，几何解释2、主成分分析的计算步骤及应用（四）教学时数3 课时（五）教学内容1、主成分分析的原理及模型2、主成分的导出及主成分分析步骤在实际问题中,我们经常会遇到研究多个变量的问题，而且在多数情况下,多个变量之间 常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性,势必
2、增加了分析问题 的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数 信息,又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行 主成分分析。第一节 主成分分析的原理及模型一、主成分分析的基本思想与数学模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使 这些综合变量能尽可能地代表原来变量的信息量,而且彼此之间互不相关。这种将把多个变 量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。主成分分析所要做的就是设法将原来众多具有一定相关性的变量,重新组合为一组新的相互无
3、关的综合变量来代替原来变量.通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？ 如果将选取的第一个线性组合即第一个综合变量记为F，自然希望它尽可能多地反映原来1变量的信息，这里“信息”用方差来测量，即希望Var(F )越大，表示F包含的信息越多。 11因此在所有的线性组合中所选取的F应该是方差最大的，故称F为第一主成分。如果第一主11成分不足以代表原来P个变量的信息，再考虑选取F即第二个线性组合，为了有效地反映 2原来信息， F 已有的信息就不需要再出现在 F 中， 用数学语言表达就是要求12Cov(F , F )二0
4、，称F为第二主成分，依此类推可以构造出第三、四第p个主成分.1 2 2(二)主成分分析的数学模型对于一个样本资料，观测P个变量Xi, X2Xp，n个样品的数据资料阵为:xx1112xx2122xxn1n2X1px2pxnp1j其中: xjx2jj = 1,2,p主成分分析就是将p个观测变量综合成为p个新的变量(综合变量)，即F = ax+ axHF ax11111221 p pF = ax+ axFF ax 九，相应的特征向量为a12pj相对于F1的方差为aiia21a12a22 a1 p a.2 p=r a )1a .2aa aap1p2pppVar (F ) = a XX a 二 a Ra
5、=九1 1 1 1 1 1同样有：Var(F)=九，ii即主成分的方差依次递减。并且协方差为：Cov (a Xa X) = a Rai j i j=a(才九 a a )ai a a a j a=1二才九(aa )(a a )二 0, i 丰 ja i a a ja=1综上所述,根据证明有，主成分分析中的主成分协方差应该是对角矩阵，其对角线上的 元素恰好是原始数据相关矩阵的特征值，而主成分系数矩阵A的元素则是原始数据相关矩 阵特征值相应的特征向量。矩阵A是一个正交矩阵。于是,变量j x2,笃)经过变换后得到新的综合变量F= a x+ax+ - + a x111 112 21p pFax+ax+ - + a x221 122 22p pFax+ax+F a xpp11p 22pp p新的随机变量彼此不相关,且方差依次递减。二、主成分分析的计算步骤样本观测数据矩阵为：rx11x12X=x21x22、x n1xn2x )1 px2px丿np第一步：对原始数据进行标准化处理。工(x - x )2jx 一 xx * = ij/ -ijJvar(x )(i = 1,2,n; j = 1,2,p)其中x = 1 工xj n iji =1var(x )二jn - 1iji=1(j = 1,2,p)第二步:计算样本相关系数矩阵。r r r11121 prr rR =21222 p
