5.1 基于基于K-L变换的多类模式特征提取变换的多类模式特征提取特征提取的目的：对一类模式：维数压缩对多类模式：维数压缩，突出类别的可分性卡洛南-洛伊（Karhunen-Loeve ）变换（K-L变换）：* 一种常用的特征提取方法；* 最小均方误差意义下的最优正交变换；* 适用于任意的概率密度函数；* 在消除模式特征之间的相关性、突出差异性方面有最优的效果分为：连续K-L变换离散K-L变换 1．．K-L展开式展开式设{X}是 n 维随机模式向量 X 的集合，对每一个 X 可以 用确定的完备归一化正交向量系{uj}中的正交向量展开： X ??ajuj?j?1daj：随机系数；???a u用有限项估计X时 ：Xjjj?1T??引起的均方误差：?? E[(X ? X) (X ? X)]1,j ?i??，利用u u ??代入X、X0,j ? i?Tijξ ? E[?a ]2jj?d?1? ξ ? E[?a ]2jj?d?1?由X ??ajuj两边 左乘u得aj? u Xj?1?TjTj?? E[?u XX uj]TjT???u E[XX ]ujT?j?d?1?tjj?d?1?Tjj?d?1uj为确定性向量?u RujR：自相关矩阵。
不同的{uj}对应不同的均方误差，uj的选择应使ξ 最小 利用拉格朗日乘数法求使 ξ 最小的正交系{uj}，令 g(u ) ?u Ru?(u u ?1)??jj?jTjj?d?1Tjjj?d?1??λj：拉格朗日乘数 g(u ) ?u Ru?(u u ?1)??jj?jTjj?d?1Tjjj?d?1??用函数g(uj)对uj求导，并令导数为零，得 (R??)u0jIj?j ? d ?1,? ,?——正是矩阵 R与其特征值和对应特征向量的关系式 说明：当用X的自相关矩阵R的特征值对应的特征向量展开X时，截断误差最小选前d项估计X时引起的均方误差为??u Rutr[u Ru ] ?λ???j?jjTjj?d?1Tjj?d?1j?d?1???λj决定截断的均方误差， λj的值小，那么ξ也小 因此，当用X的正交展开式中前d项估计X时，展开式中的uj应当是前d个较大的特征值对应的特征向量 K-L变换方法：对R的特征值由大到小进行排队：λ ? λ ?? ? λ ? λ??12dd?1均方误差最小的X的近似式：X ??ajuj—— K-L展开式j?1d矩阵形式：TdX ?Ua（5-49）?[a ,a ,? ,a ]，U?[u ,? ,u ,? ,u ]式中，a。
12n?d1jdT[u ,u ,? ,u ]其中：uj?j1j 2jn?u ??T?u2??TU U ???[u1u2?ud] ? I???T??ud??Tt对式(5-49)两边左乘U ：a?U XT1—— K-L变换系数向量a就是变换后的模式向量 2．利用自相关矩阵的．利用自相关矩阵的K-L变换进行特征提取变换进行特征提取设 X 是 n 维模式向量， { X} 是来自 M 个模式类的样本集， 总样本数目为 N将 X 变换为 d 维 (d ? n)向量的方法： 第一步：求样本集{X}的总体自相关矩阵R1TR ? E[XX] ??XjXjNj?1第二步：求 R 的特征值λj， j ?1,2,? ,n对特征值由大到小 TN进行排队，选择前 d 个较大的特征值 第三步：计算 d 个特征值对应的特征向量 uj， j ?1,2,? ,d ， 归一化后构成变换矩阵 U U ?[u ,u ,? ,u ]12d第四步：对 { X} 中的每个 X 进行 K-L 变换，得变换后向量 X ： *TX ?U X*d维向量 X 就是代替 n 维向量 X 进行分类的模式向量 * 利用K-L变换进行特征提取的优点：1）变换在均方误差最小的意义下使新样本集{X *}逼近原样本集{X}的分布，既压缩了维数又保留了类别鉴别信息。
2）变换后的新模式向量各分量相对总体均值的方差等于原样本集总体自相关矩阵的大特征值，表明变换突出了模式类之间的差异性0??1???2*****T??C ? E{( X ? M )(X ? M ) } ???????d??03）C*为对角矩阵说明了变换后样本各分量互不相关，亦即消除了原来特征之间的相关性，便于进一步进行特征的选择 K-L变换的不足之处：1）对两类问题容易得到较满意的结果类别愈多，效果愈差2）需要通过足够多的样本估计样本集的协方差矩阵或其它类型的散布矩阵当样本数不足时，矩阵的估计会变得十分粗略，变换的优越性也就不能充分的地显示出来 例5.3 两个模式类的样本分别为ω1：X1?[2, 2]，X2?[2,3]，X3? [3,3] ω2：X4?[?2, ?2]，X5?[?2, ?3]，X6? [?3, ?3] TTTTTT利用自相关矩阵R作K-L变换，把原样本集压缩成一维样本集解：第一步：计算总体自相关矩阵R65.76.3?1TT?R ? E{ XX } ??X Xjj???6.37.36j?1??第二步：计算R的本征值，并选择较大者由|R??I |? 0得?1?12.85，?2? 0.15 ，选择 λ1。
第三步：根据 Ru1??1u1计算λ1对应的特征向量 u1，归一化后为 1TTu1?[1,1.14]?[0.66, 0.75] 2.3 Tu ?[0.66, 0.75]1?0.66?变换矩阵为 U ?[u1] ?? ??0.75?第四步：利用 U 对样本集中每个样本进行 K-L 变换 ?2?T*X1?U X1?[0.66 0.75]? ?? 2.82 ?2? ……x2 变换结果为： 3 X2 ***X 3 ω1： X1? 2.82， X2? 3.57， X3? 4.23 2 X1 *4*5*6 ω2： X ? ?2.82， X ? ?3.57，X? ?4.23 1 -3 -2 X4 X6 X5 -1 -1 -2 -3 0 1 2 3 x1 X X X***6 5 4 **X1* X2 X3 -5 -4 -3 -2 -1 0 1 2 3 4 5 X* 5.2 主成分分析? 主成分分析PCA– Principle Component Analysis? 通过K-L变换实现主成分分析PCA的变换矩阵是协方差矩阵， K-L变换的变换矩阵可以有很多种（二阶矩阵、协方差矩阵、总类内离散度矩阵等等）。
当 K-L变换矩阵为协方差矩阵时，等同于 PCA ? K-L变换特征提取思想– 用映射（或变换）的方法把原始特征变换为较少的新特征– 降维? 主成分分析(PCA)基本思想– 进行特征降维变换，不能完全地表示原有的对象，能量总会有损失– 希望找到一种能量最为集中的的变换方法使损失最小 内容?一、一、前前 言言?二、二、?三、主成分分析三、主成分分析?1. ?2. ?3. ?4. ?四、四、?五、五、?六、六、问题的提出问题的提出二维数据的例子二维数据的例子PCA的几何意义的几何意义均值和协方差、均值和协方差、 特征值和特征向量特征值和特征向量PCA的性质的性质主成分分析的算法主成分分析的算法具体实例具体实例结论结论七、练习 1. 前前 言言? 假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等 如果让你介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？? 当然不能当然不能? 你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说清楚。
PCA? 多多变变量量问题问题是是经经常会遇到的常会遇到的变变量太多，无疑会增加分析量太多，无疑会增加分析问问题题的的难难度与复度与复杂杂性性. ? 在在许许多多实际问题实际问题中，多个中，多个变变量之量之间间是具有一定的相关关系的是具有一定的相关关系的因此，能否在各个因此，能否在各个变变量之量之间间相关关系研究的基相关关系研究的基础础上，用上，用较较少少的新的新变变量代替原来量代替原来较较多的多的变变量量，而且使，而且使这这些些较较少的新少的新变变量量尽尽可能多地保留原来可能多地保留原来较较多的多的变变量所反映的信息量所反映的信息？事？事实实上，上，这这种种想法是可以想法是可以实现实现的的.? 主成分分析原理主成分分析原理: 是把原来多个是把原来多个变变量化量化为为少数几个少数几个综综合指合指标标的一种的一种统计统计分析方法，从数学角度来看，分析方法，从数学角度来看，这这是一种降是一种降维处维处理理技技术术 主成分分析方法就是主成分分析方法就是综综合合处处理理这这种种问题问题的一种的一种强强有力的方法有力的方法 2. 问题的提出问题的提出在力求数据信息丢失最少的原则下，对高维的变量空间降维，即研究指标体系的少数几个线性组合，并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。
这些综合指标就称为主成分要讨论的问题是：(1) 如何作主成分分析?当分析中所选择的变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析 各个各个变变量之量之间间差异很大差异很大 （2） 如何选择几个主成分主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数关于保留几个主成分，应该权衡主成分个数和保留的信息3）如何解释主成分所包含的几何意义或经济意义或其它 实例实例1: 经济分析经济分析美国的统计学家斯通美国的统计学家斯通 (Stone)(Stone)在在19471947年关于国民年关于国民经济的研究是经济的研究是 一项十分著名的工作一项十分著名的工作 他曾利用美国他曾利用美国19291929一一19381938年各年的数据，得到了年各年的数据，得到了 1717个反映国民收个反映国民收入与支出的变量要素，例如入与支出的变量要素，例如雇主补贴、消费资料和雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息、生产资料、纯公共支出、净增库存、股息、利息、外贸平衡等等外贸平衡等等在进行主成分分析后，竟以 97.4％的精度，用三个新变量就取代了原 17个变量。
根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3更有意思的是，这三个变量其实都是可以直接测量的 主成分分析就是试图在力保数据信息丢主成分分析就是试图在力保数据信息丢失最少的原则下，对这种多变量的数据表进失最少的原则下，对这种多变量的数据表进行最佳综合简化，也就是说，行最佳综合简化，也就是说， 对高维变量空对高维变量空间进行降维处理间进行降维处理很显然，识辨系统在一个低维空间要比很显然，识辨系统在一个低维空间要比在一个高维空间容易得多在一个高维空间容易得多 实例实例2: 成绩数据成绩数据? 100个学生的数学、物理、化学、语文、历个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）史、英语的成绩如下表（部分） 从本例可能提出的问题从本例可能提出的问题? 目前的问题是，能不能把这个数据的6个变量用一两个综合变量来表示 呢？? 这一两个综合变量包含有多少原来的信息呢？? 能不能利用找到的综合变量来对学生排序呢？这一类数据所涉及的问题可以推广到对企业，对学校进行分析、排序、判别和分类等问题 3.1 PCA: 二维数据分析二维数据分析? 例中的的数据点是六维的；也就是说，每个观测值是6维空间中的一个点。
我们希望把6维空间用低维空间表示 ?先假定数据只有二维，即只有两个变量，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐标轴的两个坐标值；?如果这些数据形成一个 椭圆形状 的点阵（这在变量的二维正态的假定下是可能的）. 3.2 PCA: 进一步解释进一步解释椭圆有一个长轴和一个短轴在短轴方向上，数据变化很少；在极端的情况，短轴如果退化成一点，那只有在长轴的方向才能够解释这些点的变化了；这样，由二维到一维的降维就自然完成了4-2024?4-4-202 ? 当坐标轴和椭圆的长短轴平行，那么代表长轴当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化的变量就描述了数据的次要变化 但是，但是， 坐标轴通常并不和椭圆的长短轴平行坐标轴通常并不和椭圆的长短轴平行因此，需要寻找椭圆的长短轴，并进行变换，因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行使得新变量和椭圆的长短轴平行 如果长轴变量代表了数据包含的大部分信息，如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。
一维），降维就完成了 椭圆（球）的长短轴相差得越大，降维也越有椭圆（球）的长短轴相差得越大，降维也越有道理 进一步解释进一步解释PCA(续续)? 对于多维变量的情况和二维类似，也对于多维变量的情况和二维类似，也有高维的椭球，只不过无法直观地看有高维的椭球，只不过无法直观地看见罢了 首先把高维椭球的主轴找出来，再用首先把高维椭球的主轴找出来，再用代表大多数数据信息的最长的几个轴代表大多数数据信息的最长的几个轴作为新变量；这样，主成分分析就基作为新变量；这样，主成分分析就基本完成了本完成了 注意，和二维情况类似，高维椭球的注意，和二维情况类似，高维椭球的主轴也是互相垂直的这些互相正交主轴也是互相垂直的这些互相正交的新变量是原先变量的线性组合，叫的新变量是原先变量的线性组合，叫做主成分做主成分(principal component) ? 正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变量，就有几个主成分 选择越少的主成分，降维就越好什么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴长度总和的大部分有些文献建议，所选的主轴总长度占所有主轴长度之和的大约85%即可，其实，这只是一个大体的说法；具体选几个，要看实际情况而定。
3.3. 均值和协方差均值和协方差特征值和特征向量特征值和特征向量设有n个样本，每个样本观测 p个指标（变量）：X1，X2，…，Xn, 得到原始数据矩阵：?x11?x21?X ???x??p1?X1x12x22xp2?X2xpn??xpn???xpn??p?n?Xn 1. 样本均值24M-4-20241M ?(XXX ).1+2++nn-4显然,样本均值是数据散列图的中心.XXk=k-M于是 p*n 矩阵的列B具有零样本均值,称为平均偏差形式??B ? XX ,2,,X1n??-20 ???中心中心????????中心中心??? ???? ? ?2. 样本协方差1TS?BBn?1协方差的大小在一定程度上反映了多变量之间的关系，但它还受变量自身度量单位的影响. 3.3特征值与特征向量定义Ａ为ｎ阶方阵，λ为数，X为ｎ维非零向量，若AX ??X则λ称为Ａ的特征值，X称为Ａ的特征向量．注 ①特征向量X ? 0，特征值问题只针对与方阵；②?,X并不一定唯一；③ｎ阶方阵Ａ的特征值，就是使齐次线性方程组有非零解的λ值，即满足?I ? A ?0?I ? A x ?0??的λ都是方阵Ａ的特征值．定义称以λ为未知数的一元ｎ次方程?I ? A ? 0为Ａ的特征方程． ? 例1:从一个总体中随机抽取4个样本作三次测量,每一个样本的观测向量为:178? ??4?? ?? ?? ?? ?? ?? ?X2,X ?2 ,X ? 8,X ? 41?234? ?? ?? ?? ?? ?? ?? ?? ?11315? ?? ?? ?? ?计算样本均值M和协方差矩阵S以及S的特征值和特征向量.n11TSX ??XM ??XiS?BBni?1n?1 pcacov 功能：运用协方差矩阵进行主成分分析Syntax C = cov(X) AlgorithmThe algorithm for cov is[n,p] = size(X);X = X - ones(n,1) * mean(X);Y = X'*X/(n-1);See Also corrcoef, mean, std,var §§3.4 PCA3.4 PCA的性质的性质一、两个线性代数的结论一、两个线性代数的结论1、若A是p阶实对称阵，则一定可以找到正交阵U，使???0?10?U?1AU ??0?2?0??????????00???p?p? p其中?i,i ?1.2.? p是A A的特征根。
2、若上述矩阵的特征根所对应的单位特征向量,? ,u为 u1pu?u1112?u1p??uu?u?21222p??令U ? (u ,? ,u ) ?1p???????up1up2?upp??则实对称阵 A 属于不同特征根所对应的特征向??量是正交的，即有UU ? UU ?I §3.4 PCA 的性质(续)3 3、均值、均值E(U x) ? U MTT4 4、方差为所有特征根之和、方差为所有特征根之和?Var(Fi) ?i?1p?????????????12p21222p说明主成分分析把说明主成分分析把 P P个随机变量的总方差分解成为个随机变量的总方差分解成为P P个不相关的随机变量的方差之和个不相关的随机变量的方差之和协方差矩阵协方差矩阵 ?的对角线上的元素之和等于特征根的对角线上的元素之和等于特征根之和 3.43.4、精度分析、精度分析1）贡献率：第i个主成分的方差在全部方差中所占比重?i的信息，有多大的综合能力 2）累积贡献率：前k个主成分共有多大的综合能力，i?1??ip，称为贡献率 ，反映了原来P个指标多大用这k个主成分的方差和在全部方差中所占比重i?1??i??ii?1kp来描述，称为累积贡献率。
PCA常用统计量：λi ? １.特征根? ２.各成分贡献率??i?i? ３.前各成分累计贡献率? ４.特征向量 各成分表达式中标准化原始变量的系数向量，就是各成分的特征向量 我们进行主成分分析的目的之一是希望用我们进行主成分分析的目的之一是希望用尽可能少的尽可能少的主成分主成分F F1 1，，F F2 2，，……，，F Fk k（（k≤pk≤p）代替）代替原来的原来的P P个指标个指标到底应该选择多少个主成分，到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够在实际工作中，主成分个数的多少取决于能够反映原来变量反映原来变量80%80%以上的信息量为依据，即当累以上的信息量为依据，即当累积贡献率积贡献率≥≥80%80%时的主成分的个数就足够了最时的主成分的个数就足够了最常见的情况是主成分为常见的情况是主成分为2 2到到3 3个 例例设x ,x12,x3的协方差矩阵为?1?20???? ? ?250??02???0??0.175.83?2.003?解得特征根为?，，1?2?，，?0.383???U1? ?0.924????0.000??U2?0?? ?? 0? ???1???0.924?U3? 0.383???0.000?????第一个主成分的贡献率为5.83/（5.83+2.00+0.17 ）=72.875% ，尽管第一个主成分的贡献率并不小，但应该取两个主成分。
97.88% §§4 4 主成分分析的步骤主成分分析的步骤一、基于协方差矩阵Xl??x1l，x2l， ? ，xpl??(l ?1 ， 2， ? ，n)???1x???n?1l?n?1(xil? xi)(x?jl? xj)??p?p第一步：由 X的协方差阵Σx，求出其特征根，即解方Σ ??I ? 0，可得特征根?1??2?? ??p? 0程 第二步：求出分别所对应的特征向量 U1，U2，…，Up，Uu ，u ， ，u?i?1i2ipi?TiT第三步：计算累积贡献率，给出恰当的主成分个数F ? UX，i ?1， 2， ，k(k ? p)i第四步：计算所选出的 k个主成分的得分将原始数据的中心化值:X ? X ?X ? x ? x，x ? x， ，x ? x??i1i12i2pip*iT代入前k个主成分的表达式，分别计算出各单位k个主成分的得分，并按得分值的大小排队 §§5 PCA的应用的应用例例应收账款是指企业因对外销售产品、材料、提供劳务及其它原因，应向购货单位或接受劳务的单位收取的款项，包括应企业不得不以赊销或其它优惠的方式招揽顾客，由于销售和收款的时间差，于是产生了应收款项应收款赊销的效果的好坏，不仅依赖于企业的信用政策，还依赖于顾客的信用程度。
由此，评百战不殆百战不殆”，对加强企业的应收账款管理大有帮助，对加强企业的应收账款管理大有帮助某企业为了了解其客户的信用程度，采用西方银行信用评估常用的5C方法，收销货款、其它应收款和应收票据等出于扩大销售的竞争需要，价顾客的信用等级，了解顾客的综合信用程度，做到价顾客的信用等级，了解顾客的综合信用程度，做到“知己知彼，知己知彼，5C的目的是说明顾客违约的可能性 1、、品格（用品格（用 X1表示），表示）， 指顾客的信誉，履行偿还义指顾客的信誉，履行偿还义务的可能性企业可以通过过去的付款记录得到此务的可能性企业可以通过过去的付款记录得到此项2、、能力（用能力（用 X2表示），表示）， 指顾客的偿还能力即其流指顾客的偿还能力即其流动资产的数量和质量以及流动负载的比率顾客的动资产的数量和质量以及流动负载的比率顾客的流动资产越多，其转化为现金支付款项的能力越强流动资产越多，其转化为现金支付款项的能力越强同时，还应注意顾客流动资产的质量，看其是否会同时，还应注意顾客流动资产的质量，看其是否会出现存货过多过时质量下降，影响其变现能力和支出现存货过多过时质量下降，影响其变现能力和支付能力3、、资本（用资本（用 X3表示），表示）， 指顾客的财务势力和财务状指顾客的财务势力和财务状况，表明顾客可能偿还债务的背景。
况，表明顾客可能偿还债务的背景4、、附带的担保品（用附带的担保品（用 X4表示），表示）， 指借款人以容易出指借款人以容易出售的资产做抵押售的资产做抵押5 5、、环境条件（用环境条件（用X5表示），表示），指企业的外部因素，即指企业的外部因素，即指非企业本身能控制或操纵的因素指非企业本身能控制或操纵的因素 首先并抽取了10家具有可比性的同类企业作为样本，又请8位专家分别给10个企业的5个指标打分，然后分别计算企业5个指标的平均值，如表76.570.690.777.581.57387.373.67667.69170.975.868.181.569.871.778.58074.8859484.657.779.29466.960.480.387.568.857.484.489.564.860.876.59266.46585.668.57062.276.57069.271.764.968.9 ；； Eigenvalues of the Covariance MatrixEigenvalue Difference Proportion CumulativePRIN1 410.506 367.242 0.845854 0.84585PRIN2 43.264 22.594 0.089146 0.93500PRIN3 20.670 12.599 0.042591 0.97759PRIN4 8.071 5.266 0.016630 0.99422PRIN5 2.805 0. 0 0.005779 1.00000EigenvectorsPRIN1 PRIN2 PRIN3 PRIN4 PRIN5X1 0.468814 -.830612 0.021406 0.254654 -.158081X2 0.484876 0.329916 0.014801 -.287720 -.757000X3 0.472744 -.021174 -.412719 -.588582 0.509213X4 0.461747 0.430904 -.240845 0.706283 0.210403X5 0.329259 0.122930 0.878054 -.084286 0.313677 第 一 主 成份 的 贡 献率 为 84.6% ， 第 一 主成 份Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5的各项系数大致相等，且均为正数，说明第一主成份是对所有指标的一个综合测度，可以作为综合的信用等级指标。
可以用来排序将原始数据的值中心化后，代入第一主成份 Z1的表示式，计算各企业的得分，并按分值大小排序 :8 8序号序号1 12 23 34 45 56 67 79 91010得分得分3.163.1613.613.6-9.01-9.0135.935.925.125.1-10.3-10.3- -4.364.365 5-33.8-33.8- -6.416.416 6-13.8-13.8排序排序4 43 37 71 12 28 810109 9在正确评估了顾客的信用等级后，就能正确制定出对在正确评估了顾客的信用等级后，就能正确制定出对其的信用期、收帐政策等，这对于加强应收帐款的管理其的信用期、收帐政策等，这对于加强应收帐款的管理大有帮助大有帮助 §§6 6主成分分析结论主成分分析结论根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用概括起来说，主成分分析主要有以下几方面的应用1．主成分分析能降低所研究的数据空间的维数即用研究m维的Y空间代替p维的X空间(m＜p)，而低维的Y空间代替 高维的x空间所损失的信息很少即：使只有一个主成分 Yl(即 m＝1)时，这个Yl仍是使用全部X变量(p个)得到的。
例如要计算 Yl的均值也得使用全部x的均值在所选的前 m个主成分中，如果某个Xi的系数全部近似于零的话，就可以把这个Xi删除，这也是一种删除多余变量的方法 2. 多维数据的一种图形表示方法我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量要把研究的问题用图形表示出来是不可能的然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布况，由图形可直观地看出各样本在主分量中的地位 3．由主成分分析法构造回归模型即把各主4．用主成分分析筛选回归变量回归变量的选择有着重的实际意义，为了使模型本身易于成分作为新自变量代替原来自变量x做回归分析做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。