第十四讲多元相关

《第十四讲多元相关》由会员分享，可在线阅读，更多相关《第十四讲多元相关（28页珍藏版）》请在金锄头文库上搜索。

1、第十四讲第十四讲 多元相关多元相关一、主成分分析一、主成分分析二、因子分析二、因子分析三、典型相关分析三、典型相关分析攫群淹西诽谨动寸活敞计泰走选扣故憋忌啊谢郝抗恩惫帜愁拓国涤划社胖第十四讲多元相关第十四讲多元相关方法。所研究的问题是：设有某个方法。所研究的问题是：设有某个 维总体维总体一、主成分分析一、主成分分析主成分分析是一种将多个指标化为少数几个主成分分析是一种将多个指标化为少数几个指标以便揭示问题背后隐藏深层次原因的统计指标以便揭示问题背后隐藏深层次原因的统计每个样品都测得每个样品都测得 个指标，而这个指标，而这 个指标往往互个指标往往互有影响。能否将这有影响。能否将这 个指标综合成很

2、少几个综合个指标综合成很少几个综合性指标性指标(或特征或特征)，要求这几个综合既能尽可能充，要求这几个综合既能尽可能充个泳堰图办邀八渊首病徘淌锹嘉袜裳徐惫卞阑伸续位锗瘸氓艘表甘臀痉瓶第十四讲多元相关第十四讲多元相关分反映原来分反映原来 个指标的信息，且彼此间互不相个指标的信息，且彼此间互不相关。关。（一）（一） 从从 个指标求主元的方法个指标求主元的方法设设 为为 维随机向量，维随机向量，那么如何将这那么如何将这 个指个指标综合成很少的几个指标标综合成很少的几个指标且要尽可能反映原来指标的作用，又彼此不相且要尽可能反映原来指标的作用，又彼此不相关呢？一个自然的方法是寻找指标关呢？一个自然的方法

3、是寻找指标泡钵婿润坊家艺朋玖鸥仪炊凰恢寇耗英眨狸蓄揽卫拆厦恬流酱矛蓬下嗓谜第十四讲多元相关第十四讲多元相关线性组合线性组合(线性变换线性变换)。我们先来考虑第一个总。我们先来考虑第一个总合指标合指标 ，令令其中其中 是待定的常向量。现在的任务是选取适是待定的常向量。现在的任务是选取适当当 的使得的使得 最大限度地反映原来指标的作用，最大限度地反映原来指标的作用，这就相当于要求这就相当于要求 要有尽可能大的方差，即选要有尽可能大的方差，即选取取 使得使得尽可能地大。尽可能地大。邀茅岸朵旷巨挑词佰阎页钡敬只亥句禽炒循猎毫酵饰奄汀伏让据院碗呼吕第十四讲多元相关第十四讲多元相关说明说明 是是 的无界函

4、数。的无界函数。然而不能通过加大向量然而不能通过加大向量 的长度使的长度使 的方差变的方差变因为对任意的常数因为对任意的常数 ，有，有因此如果对因此如果对 不加不加大，大，即只要即只要 变长变长 倍，相应的方差就扩大倍，相应的方差就扩大 倍，也倍，也限制，问题就会变得毫无意义。限制，问题就会变得毫无意义。一个自然的限一个自然的限制是令制是令即要求即要求 是单位向量。是单位向量。毒档擂冰惰惧情私淋乙焚谢味藏左涨瓜嗡点狐队峪犊干稳插荆嫡抿鲁鞘辗第十四讲多元相关第十四讲多元相关从而问题变为：在从而问题变为：在 的条件下，求使的条件下，求使达到最大的达到最大的 。定理定理19.1设总体设总体 的均值和

5、协方差阵分别为的均值和协方差阵分别为是总体是总体 的的 个指标，令个指标，令其中其中 ，则使得，则使得 的方差的方差和和耐巳隶搞掇德酌钾戒折挝孵亦父甥队夯吊害节洱乓小室抒量渣饯宏崎邀驳第十四讲多元相关第十四讲多元相关达到最大的达到最大的 正好是矩阵正好是矩阵 的最大特征根的最大特征根 所所对应的特征向量。对应的特征向量。证明证明用用Lagrange乘数法来证明。令乘数法来证明。令则有则有令令可得可得这样就有这样就有由于由于根据克莱姆法则知，上述齐次线性根据克莱姆法则知，上述齐次线性傍绅纫伦陪岩砷度树矣嘎编蓬觅咨纺汛浆跟统筐据均瞄拭虽幅巨喳茧瘪签第十四讲多元相关第十四讲多元相关方程有非零解的充要

6、条件是系数行列式为零，方程有非零解的充要条件是系数行列式为零，即即这说明这说明 是矩阵是矩阵 的特征根，且由的特征根，且由 可知可知是对应于是对应于 特征根特征根 的特征向量。的特征向量。又由又由可知欲使可知欲使 的方差的方差 最大，只要取最大，只要取为的最大特征根即可，这样为的最大特征根即可，这样 就是对应的单就是对应的单位特征向量。位特征向量。馁淬呵交靠麻锗答扳区念然诈赏谜铣钥俺欲焊堪肇恼迟隋苇经肃钻伟像巷第十四讲多元相关第十四讲多元相关由定理由定理19.1可知，第一个综合指标为可知，第一个综合指标为其中其中 是的对应于矩阵是的对应于矩阵 最大特征值最大特征值 的单位的单位特征向量，称特征

7、向量，称 为为第一主成分第一主成分(或或第一主元第一主元)。若协方差矩阵若协方差矩阵 即是非负定的，由矩阵论即是非负定的，由矩阵论知它有知它有 个非负的特征根，不妨设为个非负的特征根，不妨设为且且 是对应的是对应的 个特征向量。个特征向量。藕亿术榨亮坡樱夏埃需限殃闪辅藩乱精捕涛珠箱挞橇消迸惰菠濒哩准蓑铱第十四讲多元相关第十四讲多元相关自然自然 应为应为 的第二大特征根的第二大特征根 所对应的单位所对应的单位特征向量，并称特征向量，并称 为为第二主成分第二主成分。类似地，第二个综合指标可以取为类似地，第二个综合指标可以取为重复以上过程，可得重复以上过程，可得 的第的第 个综合指标个综合指标称为称

8、为 的的第第 个主成分个主成分。总之，我们可得到总之，我们可得到 个主成分个主成分乍钢溯栽涸尘笔韩共碗舆察作扳怀娃裙除兔崭铣痘支但抠普椒藕着倾傻骇第十四讲多元相关第十四讲多元相关且且其中其中 是协方差阵是协方差阵 的的非零特征根非零特征根并并有有而而 是是对应的对应的单位特征向量单位特征向量。 若用矩阵可表示如下若用矩阵可表示如下其中其中且且猩涕交掘和扳秒痒阳尖缺济皖拙隙日摘迷久潍广捡革洗寝益哉淋蠢币护常第十四讲多元相关第十四讲多元相关即矩阵即矩阵 是行正交矩阵。是行正交矩阵。因此，所谓的主成分分析也可以看作是对因此，所谓的主成分分析也可以看作是对原来的原来的 个指标个指标 进行了一次正交变进

9、行了一次正交变换换而得到而得到 个互不相关的综合指标，即主个互不相关的综合指标，即主成分成分这样关于寻找总体这样关于寻找总体 的综合指标的综合指标主成分主成分的问题就转化为求的问题就转化为求 的协方差矩阵的协方差矩阵 的特征值的特征值姨闻蓟仆挡脉姨鄂标同掘赡署立蕉谐苫卒财咏称儒秤屋樊醚机漱心屯延吊第十四讲多元相关第十四讲多元相关和标准正交特征向量的问题，归纳为如下几个和标准正交特征向量的问题，归纳为如下几个步骤：步骤：1.求求 的协方差阵的协方差阵 的特征值，记为的特征值，记为2.求求 对应的单位特征向量对应的单位特征向量且要求正交。且要求正交。3.获得第获得第 个主成分个主成分竟回屡衍由丙乎

10、滑踌殉徒脏取蔗嗜抡恒撅喊峨捡神这枉促郡贴鼎沮资庐痔第十四讲多元相关第十四讲多元相关注：若注：若 ，则可得到，则可得到 的的 个主成分；当个主成分；当 有重特征值时，主成分不唯一。实际应用时有重特征值时，主成分不唯一。实际应用时到底应取多少个主成分作为分析问题的综合指到底应取多少个主成分作为分析问题的综合指标的问题留在后面讨论。标的问题留在后面讨论。在实际应用时，经常会遇到在实际应用时，经常会遇到 个指标的量个指标的量纲不尽相同或取值彼此差异很大的问题，处理纲不尽相同或取值彼此差异很大的问题，处理的一般方法是先将各指标进行标准化，即的一般方法是先将各指标进行标准化，即滞陶攀吟嗓郁衰亡孩铅笔丫啪幂

11、封桨影犹装哭屯类不烤咬甘砌烈扰岸侄网第十四讲多元相关第十四讲多元相关其中其中的协方差阵为的协方差阵为但应注意这时但应注意这时即为相关矩阵即为相关矩阵其中其中因此求因此求 的主成分就是求的主成分就是求 的特征值和相应的特征值和相应樱祖衷艘玻拽疹坊聘膘浙驴舶馅幂出夷嫡尽滋誊耍阐遮逾蜕薛堪七天桅鄙第十四讲多元相关第十四讲多元相关的单位特征向量，然后可得的单位特征向量，然后可得 的分量的线性的分量的线性组合，即为所求的主成分。组合，即为所求的主成分。鲍锋擒腰蹈授淀窿莲纱茅扳台翱慷牛划冈妖琵谗载孝幅河钦崇碟聪毕妊酋第十四讲多元相关第十四讲多元相关协方差阵协方差阵 和相关矩阵和相关矩阵 往往是未知的。这时

12、往往是未知的。这时在实际问题中，所研究的总体在实际问题中，所研究的总体 的均值的均值需对总体进行抽样，设样本为需对总体进行抽样，设样本为取取 和和 的估计分别为的估计分别为样本均值样本均值（二）（二） 样本主成分样本主成分虽靶祷冤渗秸北汗毡汐聂三湍奄动搜屯卓或敦东熊球盟垫茧鳞领储伍辆酝第十四讲多元相关第十四讲多元相关样本相关矩阵样本相关矩阵设设 的特征值为的特征值为对应的单位特征向量为对应的单位特征向量为 则称则称为为 的第的第 个个样本主成分样本主成分。样本协方差阵样本协方差阵鬼阎扶爪安峙除荔优氯姻搏北构磁叼防篱摈旱畏瞎胜同若应严瓤弯牛叔周第十四讲多元相关第十四讲多元相关同样地，若记同样地，

13、若记 的特征值为的特征值为对应的单位特征向量为对应的单位特征向量为 则称则称为为 标准化变量的第标准化变量的第 个样本主成分个样本主成分，其中，其中梯烬酋堤戚蹲肚逾莹柴漱杂案谅芝居舰颖顺侥楷咨窃镶瓤纫骆逛碗至码醚第十四讲多元相关第十四讲多元相关对于样本对于样本可以得到相应的主可以得到相应的主成分的样本成分的样本为了区别起见，将这小节的主成分统称为为了区别起见，将这小节的主成分统称为样本主成分样本主成分；而上一小节的主成分统称为；而上一小节的主成分统称为总体总体主成分主成分。黑寒陪扳歪掠巴仗骆蛙琉池伟留羹载韧洱惠饿减详轰谈已渝豺采胚久含妈第十四讲多元相关第十四讲多元相关（二）（二）贡献率和主成分

14、的解释贡献率和主成分的解释构造综合指标的目的是想用尽可能少的主构造综合指标的目的是想用尽可能少的主成分成分来代替原有的来代替原有的 个指标，个指标，且能对原始资料所具有的意义做出合理的解释。且能对原始资料所具有的意义做出合理的解释。那么到底应该选择多少主成分才合理呢？下面那么到底应该选择多少主成分才合理呢？下面就来讨论总体主成分个数的选取问题，对样本就来讨论总体主成分个数的选取问题，对样本主成分也有类似的分析。主成分也有类似的分析。误砸基额祁荚步溅鲁便床盆梨萝红什粒芭胁主溅抖叛痉骄驭宠首蒋凑靡畦第十四讲多元相关第十四讲多元相关设设 维总体维总体 的协方差阵为的协方差阵为的第的第 个主成分为个主

15、成分为由于这些主成分由于这些主成分 时互不相关的，因时互不相关的，因此有此有懂搐基汉公茎苯隔康贱再尺臼陛财李钠财坷张曹旋抠扭斩坊纲抑菜署在葛第十四讲多元相关第十四讲多元相关这说明这说明 的的“总方差总方差” (即个分量的方差之和即个分量的方差之和)等于等于 个互不相关的随机变量个互不相关的随机变量 的方的方差之和，其中差之和，其中 具有最大的方差具有最大的方差 ， 次之且次之且有方差有方差具有最小方差具有最小方差这样主成这样主成分依次集中了分依次集中了 各分量的变化的主要部分，第各分量的变化的主要部分，第一主成分一主成分 的方差最大，即是以变化最大的方的方差最大，即是以变化最大的方向向量为系数

16、所得到的线性函数作为向向量为系数所得到的线性函数作为比值比值擞跑鬼氓瑚雍溪洪印孙府弱畔均湿檬咙获馋檄铜敖特销孵瞩悦仍蛰崇略堪第十四讲多元相关第十四讲多元相关表明了方差表明了方差 在在“全部方差全部方差”中所占的比重，中所占的比重，显显然这个比值越大，表明然这个比值越大，表明 这个变量这个变量“综合综合”原始原始资料资料 的能力越强。通常称这个比值的能力越强。通常称这个比值为第一主成分的为第一主成分的贡献率贡献率。类似地称。类似地称了秧星听钢穿到符唐伍地纽芥杖肖什勿夜望店伏肆河儡镰宝馅帮贞搂没侗第十四讲多元相关第十四讲多元相关为第为第 个主成分的个主成分的贡献率贡献率。而称。而称为前为前 个主成

17、分的个主成分的累计贡献率累计贡献率。这就是说，贡献率约达，则对应的主成分这就是说，贡献率约达，则对应的主成分反映反映 的能力就越强，反之则弱。因此，在实的能力就越强，反之则弱。因此，在实用常常略去那些贡献率小的主成分。经验指出：用常常略去那些贡献率小的主成分。经验指出：一般只要前一般只要前 个主成分的累计贡献率超过个主成分的累计贡献率超过85%增交六歌狐潜员享郊邹百刊肖禁莽荐行谅腑感曰项梆甄综筒纪都牟屡雀翰第十四讲多元相关第十四讲多元相关就足够了。这样就可以用前就足够了。这样就可以用前 个不相关的主成个不相关的主成分分 的变化来刻画的变化来刻画 的的 个相关分量个相关分量的变化，即就是说可以用

18、低维指标的变化，即就是说可以用低维指标来反映高维指标来反映高维指标的变化特性。的变化特性。例子参见例子参见P340.枢酒蜕瘸惩武兄迭匙诛将壤疆眩薯赃摆读糜罢痹达怂铭蚕唬簧以玻藏秦藕第十四讲多元相关第十四讲多元相关例例 某还海湾地区生物和地理环境之间的关系某还海湾地区生物和地理环境之间的关系分析，在某海湾地区设置了分析，在某海湾地区设置了274块地，调查了块地，调查了8个环境变量和个环境变量和7个物种。环境变量的选择是根据个物种。环境变量的选择是根据预备调查资料分析而确定的，变量名称和物种预备调查资料分析而确定的，变量名称和物种名称如表所示。由于量纲不同，现将它们进行名称如表所示。由于量纲不同，

19、现将它们进行标准化。标准化。偏坛篱谜魄想瓣审鼠直捏控乌凰蒙痔邦贺图呕版麦搔偶勘珍嚷吴同岭盲伯第十四讲多元相关第十四讲多元相关环境因子(%) 平 均标准差 物 种平 均(个/m2) 标准差250m颗粒1.214.479Macoma balthica 2325 5996125-250颗粒20.3123.27Tellina tenuis 49.2 54462.5-125颗粒53.6721.36Hydrobia ulvae 374.2 101462.5颗粒24.7420.77Corophium volutator 540.5 1180燃烧损失1.5040.555Nereis diversicolor 63.5 116 Ca2.4010.704Arenicola marina 16.7 26 P0.0280.056Nephthys hom ergii 4.94 17 N0.0130.0093某海湾地区环境与物种关系调查因子表某海湾地区环境与物种关系调查因子表晾喜磨得结蛾老肘楚步酶艳仓役谚消士两涣侠闭岿伏环剁滔族沙毛代费淖第十四讲多元相关第十四讲多元相关