《《应用多元统计分析》第06章主成分分析ppt课件》由会员分享，可在线阅读，更多相关《《应用多元统计分析》第06章主成分分析ppt课件（48页珍藏版）》请在金锄头文库上搜索。
1、l5言墓萱分的几何意义及数学祚H2s焉成分方法应用中应注意问题医沛引j5计算机实现佣多贡-亘疆萱读忙第一节引言口多元统计分析处理的是多变量(多指标问题。由于变量较多,增加了分析问题的复杂性。但在实际问题中,变量之闭可能存在一定的相关性,因此,多变量中可能存在信息的重叠。人们自然希望通过克服相关性、重叟性,用较少的变量来代替原来较多的变量,而这种代替可以反映原来多个变量的大部分信息,这实际上是一种“降维“的思想。E一一主成分分析也称主分量分析,是由Hotelling于1933年首先提出的。由于多个变量之间往往存在着一定程度的相关性。人们自然希望通过线性组合的方式,从这些指标中尽可能快地提取信息。
2、当第一个线性组合不能提取更多的信息时,再考虑用第万个线性组合继续这个快速提取的过程,.,直到所提取的信息与原指标相差不多时为止。这就是主成分分析的怡想。一般说来,在主成分分析适用的场合,用较少的主成分就叫叶愕到姗尸白蚧铲个成分六量,就得个又位维曰】枳阊氩一5辽以降低数据“维数”又保留了原数据的大部分信息。E一亘我们知道,当一个变量只取一个数据时,这个变量数据)提供的信息量是非常有限的,当这个变量取一系列不同数据时,我们可以从中读出最大值、最小值、平均数等信息。变量的变异性越大,说明它对各种场景的“造历性“越强,提供的信息就更加充分,信息量就越大。主成分分析中的信息,就是指标的变异性,用标准差或
3、方差表示它。口丶战分分析的数学根型是“说p个变量忠成财维除机肉野为又一i诊f兄不技。宁7一一一其李8仪朋分量的方差是最大的,第三个分量的方差次之,.,等符为墨保持信息不丢失，Z的各分量方差和白史的吊分量方和相等。E一口主成分分析数学模型中的正交变换,在几何上就是作一个坐标旋转。因此,主成分分析在一维空间中有明显的几何意义。假设共有n个样品,每个样品都测量了两个指标,丿,它们大致分布在一个椭圆内如图6.1所示。事实上,散点的分布总有可能沿着某一个方向略显扩张,这个方向就把它看作椭圆的长钰方向。显然,在坐标系xrOx中,单独看法n个市的分量X和R它们治蒂5方向和5方向郭具有较大的邹川ff|绍言U勺
4、宴喧句L呦别君叠谜畦弄8的方差测定;如果仅者虚心或丽中不任何一不分量那丿包含在劝一分量中的信息将会损失,因此,直接舍弃某个分量不是“降维“的有效办法。爹施愤腓|二如果我们将该坐标系按逆时针方向旋转柏个角度0变成新坐标系O,这里川是榈圆的长轴方向,y是榈圆的短轻方向。旋转公式为髯=x】瞄腰+Xz血艘志史=-Xising+X,cos0我们看到新变量y和y是原变量X】和Xz的线性组合，它的短阵表二应|1目式为:葛=c畲召sin废x_=TX不园-Sing“cos0儿X其中,T为旋转变换矩阵,它是正交矩阵,即有T=T战TTT=TE一于易见m个点在新坐标系下的坐标Z和万儿乎不相关。称它们为原始变量X和X的
5、综合变量,n个点;在轴上的方差达到最大,即在此方向上包含了有关n个样品的最大量信息。因此,锋将三维空间的点投影到树个一维方向上,则选择y轴方向能使信息的损失最小。我们称7为第一主成分,称P为第二主成分。第一主成分的效果与椭圆的形状有很大的关紫梗目扬又朗0历个1仁扑技一办芒芸用仁英大在声轴上的万差咤相冬越小,用秦一主成分仁替所有祥品所造成的信息损失也就越小。蓼苋愤腓宗二二一日考虑两种极端的情形:匹一种是椭圆的长轴与短绅的长度相等,即椭圆变成圆,第一主成分只含有二维空间点的约一十信息,若仅用这一个综合变量,则将捣夫约50%4的信息,这显然是不可取的造成它的原因是,原始变量X和的相关程度儿乎为零,也就是说,它们藿彗含的信息几乎不重迭，因此无法用一个一维的综合变量来又男一矛愣椭圆声平到了极交尸乓y轴士的条维,第一主成分余叶衍|命全人相加仁目颂倩f用泊=乐办任城塔代替原始数据不会有任何的信息损失，此时的主成疙分析典果是非常理想的,其原因是,第二主成分不包含任何信息,舍弃它当然没有信息掩失。
