《建模培训讲座第三讲（主成份分析及sas）ppt课件》由会员分享，可在线阅读，更多相关《建模培训讲座第三讲（主成份分析及sas）ppt课件（94页珍藏版）》请在金锄头文库上搜索。
1、引肉主成分的几何意义及数学推导东不仪仪园河主成分方法应用中应注意的问题实例分析与计算机实现爹刃卞亘琶董词。J日多元统计分析处理的是多变量(多指标)问题。由于变量较多,增加了分析问题的复杂性。但在实际问题中,变量之间可能存在一定的相关性,因此,多变量中可能存在信息的重叠。人们自然希望通过克服相关性、重叟性,用较少的变量来代替原来较多的变量,而这种代替可以反映原来多个变量的大部分信息,这实际上是一种“降维“的思想。爹元琉腓,早主成分分析也称主分量分析,是由Hotelling于1933年首先提出的。由于多个变量之间往往存在着一定程度的相关性。人们自然希望通过线性组合的方式,从这些指标中尽可能快地提取
2、信息。当第一个线性组合不能提取更多的信息时,再考虑用第三个线性组合继续这个快速提取的过程,直到所提取的信息与原指标相差不多时为止。这就是主成分分析的思想。一航说来-不主成分分析话用的场合,用较少的主成分就可人化刹仁乡五仪蛟里-人吊人丶F2分义分量,就得到一个更低维的随机向量;因此,通过主成分既可以降低数据“维数“又保留了原数据的大部分信息。爹元琉腓,旦我们知道,当一个变量只取一个数据时,这个变量数据提供的信息量是非常有限的,当这个变量取一系列不同数据时,我们可以从中读出最大值、最小值、平均数等信息。变量的变异性越大,说明它对各种场景的“遍历性“越强,提供的信息就更加充分,信息量就越大。主成分分
3、析中的信息;就是指标的变异性,用标准差或方差表示它。目主成分分析旷奉学镭吊息一夜z个奕量均成的r绕随机向量为春二(春丶p八。加f人沥n0技中一为正交阵,要求Z的各分量是不相关的,并且Z的第一个分量的方差是最大的,第二个分量的方差次之,.三等等:碧禹霉持信息不丢失Z的各分量方差和与X的各分量方差相等。丶成分的几何意义及数学推导主成分的几何意义主成分的数学推导一、主成分的几何意义旦主成分分析数学模型中的正交变换,在几何上就是作一个坐标旋转。因此,主成分分析在二维空间中有明显的几何意义。假设共有n个样品,每个样品都测量了丽个指标(X,X5),它们大致分布在一个椭圆内如图6.1所示。事实上,散点的分布
4、总有可能沿着某一个方向略显扩张,这个方向就把它看作椭圆的长轴方向。显然,在坐标系rOxo中,单独看这m个店门分t扬F2f仪沥矛fx;亢卞史x7向都其有较大的离散性,其离散的程度可以分别用的一方差和X的方差测定。如果仅考虑X或中的任何一个分量,那么包含在另一分量中的信息将会损失,因此,直接舍弃某个分量不是“降维“的有效办法。Ed办1图6.1主成分的几何意义爹元统腓,亏如果我们将该坐标系按逆时针方向旋转树个角度6变成新坐标系30这里;是棋国的长绅方而,;是椭国的短轻方口旋转公式为y_=x【cos召+xzsi厦(6.l)卯井-Xsin0+弋;cos0我仁看判汁一一“切一尸不口有t绍谷已的矩阵表示形式
5、为:fcose“sin011一f仑二一引5其中,T为旋转变换矩阵,它是正交矩阵,即有T=T或TT=T。爹元琉腓,旨易见,m个点在新坐标系下的坐标Z和习几乎不相关。称它们为原始变量一和一的综合变量,n个点yj在轴上的方差达到最大,即在此方向上包含了有关n个样品的最大量信息。因此,欲将二维空间的点投影到某个一维方向上,则选择y轴方向能使信息的损失最小。我们称Z为第一主成分,称为第三主成允。第一王成分的效果与榈圆的形状有很大的关系,椭圆忘冬胎干,a心志y余上的方巫古柚导越大,在2轴上的方差就相对越小,用第一主成分代替所有样品所造成的信息损失也就越小。多元统订旦考虑两种极端的情形:区一种是榈圆的长轴与短轴的长度相等;即椭圆变成圆,第一主成分只含有二维穸间点的约一半信息,若仅用这一个综合变量,则将损失约50%的信息,这显然是不可取的。造成它的原因是;原始变量心和不的相关程度几乎为零,也就是说,它们所包含的信息儿乎不重迭,因此无法用一个一维的综合变量来代替。巳另一种是恶圆扁平刃了极际,变成v轶上的一条线,第一主成分包含古#(人全首外命人,佘J4改令i辜合变量代替原始数据不会有任何的信息损失,此时的主成分分析效果是非常理想的,其原因是,第一主成分不包含任何信息,舍弃它当然没有信息损失。
