《多元统计分析重点》由会员分享,可在线阅读,更多相关《多元统计分析重点(11页珍藏版)》请在金锄头文库上搜索。
1、多元统计分析重点宿舍版第一讲:多元统计方法及应用;多元统计方法分类(按变量、模型、因变量等)多元统计分析应用选择题:数据或结构性简化运用的方法有:多元回归分析,聚类分析,主成分分析,因子分析分类和组合运用的方法有:判别分析,聚类分析,主成分分析 变量之间的相关关系运用的方法有:多元回归,主成分分析,因子分析, 预测与决策运用的方法有:多元回归,判别分析,聚类分析横贯数据:因果模型(因变量数):多元回归,判别分析横贯数据:相依模型(变量测度):因子分析,聚类分析多元统计分析方法选择题:多元统计方法的分类:1)按测量数据的来源分为:横贯数据(同一时间不同案例的观测数据),纵观数据(同样案例在不同时
2、间的多次观测数据)2)按变量的测度等级(数据类型)分为:类别(非测量型)变量,数值型(测量型)变量3)按分析模型的属性分为:因果模型,相依模型4)按模型中因变量的数量分为:单因变量模型,多因变量模型,多层因果模型第二讲:计算均值、协差阵、相关阵;相互独立性第三讲:主成分定义、应用及基本思想,主成分性质,主成分分析步骤主成分定义:何谓主成分分析就是将原来的多个指标(变量)线性组合成几个新的相互无关的综合指标(主成分),并使新的综合指标尽可能多地反映原来的指标信息。主成分分析的应用:(1)数据的压缩、结构的简化;(2)样品的综合评价,排序主成分分析概述思想:(1)把给定的一组变量X1,X2,.XB
3、通过线性变换,转换为一组不相关的变量Y1,Y2,.YP。(2)在这种变换中,保持变量的总方差(XI,X2,.Xp的方差之和)不变,同时,使Y1具有最大方差,称为第一主成分;Y2具有次大方差,称为第二主成分。依次类推,原来有P个变量,就可以转换出P个主成分(3)在实际应用中,为了简化问题,通常找能够反映原来P个变量的绝大部分方差的q(q*0,相应的特征向量为T*,T*,T*;由累积方差贡献率确1p12p定主成分的个数(m),并写出主成分为Y=(T*),X*,i=1,2,m第四讲:因子分析定义,因子载荷统计意义,因子分析模型及假设,因子旋转因子分析定义:因子分析就是通过对多个变量的相关系数矩阵的研
4、究,找出同时影响或支配所有变量的共性因子的多元统计方法。因子载荷统计意义:a1.因子载荷j的统计意义aF+,F)对于因子模型X=aF+aF+X我们可以得到,=与丿的协方差为:Cov(X,F)=Cov(ijii11i22Cov(迟)+Cov(,F)ikkjijk=1a=ijXXF如果对i作了标准化处理,i的标准差为1,且j的标准差为1,因此rXi,FjijCov(X,F)ij=Cov(X,F)=aijij7.6)aF那么,从上面的分析,我们知道对于标准化后的入,j是入,与j的相关系数,它XF一方面表示=对j的依赖程度,绝对值越大,密切程度越高;另一方面也反映了XF变量i对公共因子j的相对重要性。
5、了解这一点对我们理解抽象的因子含义有非常重要的作用。2变量共同度佇的统计意义设因子载荷矩阵为A,称第i行元素的平方和,即h2=艺a2i=1,2,ijj=1(7.7)X为变量Xi的共同度。由因子模型,知D(X)=a2D(F)+a2D(F)+1i22ii1+a2D(F)+D(,)immia2+a2+i1i2+a2+D(,)imi(7.8)h2+2ii这里应该注意,(7.8)式说明变量乂的方差由两部分组成:第一部分为共同度佇,XX它描述了全部公共因子对变量Xi的总方差所作的贡献,反映了公共因子对变量Xi,X的影响程度。第二部分为特殊因子3对变量的方差的贡献,通常称为个性方差。X如果对Xi作了标准化处
6、理,有7.9)1h2+2iiFg23、公因子j的方差贡献gj的统计意义设因子载荷矩阵为A,称第j列元素的平方和,即g2a2j1,2,mjji=1Fg2F为公共因子j对X的贡献,即j表示同一公共因子j对各变量所提供的方差贡献之总和,它是衡量每一个公共因子相对重要性的一个尺度。因子分析模型及假设数学模型:每一个变量都可以表示成公共因子的线性函数与特殊因子之和,即:Xi=ai1*F1+a12*F2+.+aim*Fm+i(i=1,2,.,P)式中的F1,F2,.Fm称为公共因子,i称为Xi的特殊因子。该模型可用矩阵表示为:x=af+,且满足:(1)mp(2)Cov(F,)=0,即公共因子与特殊因子是不
7、相关的;(3)DF=D(F)=1,0,0.00,1,0.06,o,o.o1O,6,o.o20,0,0.1=Im,即各个公共因子不相关且方差为1;(4)D=D()=0,0,0.6p即各个特殊因子不相关,方差不要求相等。因子旋转因子旋转的目的:初始因子的综合性太强,难以找出因子的实际意义,因此需要通过坐标旋转,使因子负荷两极分化,要么接近于0,要么接近于+1,从而降低因子的综合性,使其实际意义凸现出来,以便于解释因子。因子旋转的基本方法:一类是正交旋转(保持因子间的正交性,3种,常用最大方差旋转),一类是斜交旋转(因子间不一定正交)公共因子提取个数:(1)选特征值大于等于1的因子(主成分)作为初始
8、因子,通过求响应的标准化正交特征向量来计算因子载荷(2)碎石图:删去特征值变平缓的那些因子(3)累计方差贡献率大于85%第五讲:聚类类型,系统聚类、K-均值聚类思想及步骤,系统聚类方法,相似性测度方法聚类类型:根据分类的对象可将聚类分析分为:系统Q型与R型(即样品聚类与变量聚类)系统聚类、K-均值聚类思想及步骤:系统聚类的基本思想:距离相近的样本(或变量)先聚成类,距离相远的后聚成类,过程一直进行下去,每个样品(或变量)总能聚到合适的类中。 聚类过程及步骤:假设总共有n个样品(或变量),第一步将每个样品(或变量)独自聚成一类,共有n类;第二步根据所确定的样品(或变量)“距离”公式,把距离较近的
9、两个样品(或变量)聚合为一类,其它的样品(或变量)仍各自聚为一类,共聚成n-1类;第三步将“距离”最近的两个类进一步聚成一类,共聚成n-2类;,以上步骤一直进行下去,最后将所有的样品(或变量)全聚成一类。最后可以画谱系图分析。 快速聚类的基本思想,步骤:(也称为K-均值法,逐步聚类,迭代聚类),基本思想是将每一个样品分配给最近中心(均值)的类中,具体的算法步骤如下:(1)将所有的样品分成K个初始类;(2)通过欧氏距离将某个样品划入离中心最近的类中,并对获得样品与失去样品的类,重新计算重心坐标。(3)重复步骤2,直到所有的样品都不能再分配时为止。系统聚类方法:最短距离法(单连接),最长距离法(完
10、全连接),中间距离法,类平均法(组间平均连接法),可变类平均法,重心法,可变法,离差平方和法相似性测度方法:不同样本相似性度量:距离测度里包括:明氏,马氏,和兰式不同变量相似度的度量:包括:夹角余弦,相关系数。第六讲:判别分析及各判别方法思想,判别分析假设条件,距离判别与贝叶斯判别关系判别分析定义:一种进行统计判别和分组的技术手段。它可以就一定数量案例的一个分组变量和相应的其他多元变量的已知信息,确定分组与其他多元变量之间的数量关系,建立判别函数(discriminantFunction)。然后便可以利用这一数量关系对其他已知多元变量信息、但未知分组类型所属的案例进行判别分组。各判别方法思想:
11、距离判别:求新样品X到G的距离与到G?的距离之差,如果其值为正,X属于G?;否则X属于G1 Bayes判别:由于k个总体24出现的先验概率分别为S%忍,则用规则R来进行判别所造成的总平均损失为g(R)=qr(i,R)=qC(jIi)P(jIi,R)iii=1i=1j=1(4.12)R,R,R所谓Bayes判别法则,就是要选择12k,使得(4.12)式表示的总平均损失g(R)达到极小。 Fisher判别的基本思想和步骤:从K个总体中抽取具有p个指标的样品观测数据,借助方差分析的思想构造一个线性判别函数:U(X)=,1X1+,2X2+,pXp=,X,其中系数,=(,1,卩2,P)确定的原则是使得总
12、体之间区别最大,而使每个总体内部的离差最小。有了线性判别函数后,对于一个新的样品,将它的p个指标值代入线性判别函数式中求出U(X)值,然后根据判别一定的规则,就可以判别新的样品属于哪个总体。判别分析假设条件:判别分析的假设之一,是每一个判别变量(解释变量)不能是其他判别变量的线性组合。即不存在多重共线性问题。判别分析的假设之二,是各组变量的协方差矩阵相等。判别分析最简单和最常用的形式是采用线性判别函数,它们是判别变量的简单线性组合。在各组协方差矩阵相等的假设条件下,可以使用很简单的公式来计算判别函数和进行显著性检验。判别分析的假设之三,是各判别变量之间具有多元正态分布,即每个变量对于所有其他变
13、量的固定值有正态分布。在这种条件下可以精确计算显著性检验值和分组归属的概率。当违背该假设时,计算的概率将非常不准确。距离判别与贝叶斯判别关系:距离判别中两个总体的距离判别规则为:如果W(X)0如果W(X)0而贝xG,当V(x)d叶斯判别规则为:f比、丿,二者唯一差别仅在于阀值点,从某种xG,当V(x)d2意义上讲,距离判别是贝叶斯判别的特殊情形。题型及分数:一、判断对错并改正(4题,8分)二、不定项选择(10题,20分)三、简答题(4题,32分)(六选四)主成分基本思想,系统聚类,K-均值聚类基本思想及过程,判别分析及费希尔基本思想,比较聚类与回归、判别,因子分析及因子旋转聚类与回归、判别:判
14、别与回归:联系:都是根据已有数据判别未来趋势。区别:多元回归的因变量是数值型变量,且自变量可是0-1变量;判别分析的因变量是类别型变量,而自变量不是0-1变量判别与聚类:聚类分析:类别未知,利用样本确定分组数及所属类别;判别分析:类别数及意义已知,还能“预测”新样本所属类别;聚类中加进一个变量需要对类进行更新,重新计算与其他类的距离,而判别对新样本进行判别后,不更新所属的类。四、计算题(1题,10分)计算样本均值、协差阵、相关阵五、分析题(2题,30分)(四选二)1)主成分分析的SPSS实例分析(主成分个数确定,主成分表达式,主成分分析步骤)2)因子分析的SPSS实例分析(因子分析模型,公因子的解释命名分析)(二选一)3)聚类分析的SPSS实例分析(分类数确定,聚类结果命名分析,优缺点及改进策略)分类数确定 树状图,确定原则是组内距离小,组间距离大。 聚合系数图:在曲线开始变得平缓的点选择合适的分类树任何类都必须在邻近各类中是突出的,即各类重心间的距离必须大各类所包含的元素都不要过分地多 分类数目应符合使用的目的 若采用几种不同的聚类法,则在各自的聚类图上应发现