《多元统计分析复习》由会员分享，可在线阅读，更多相关《多元统计分析复习（15页珍藏版）》请在金锄头文库上搜索。
1、聚类分析就是分析如何对样品(或变量)进行量化分类的问题。通常聚类分析分 为Q型聚类和R型聚类。Q型聚类是对样品进行分类处理，R型聚类是对变量进行分 类处理。系统聚类法基本思想：假设n个样品它们各自为一类，并将样品间的距离和类与 类之间的距离做出规定。首先计算样品间的距离，将距离最小的类并为一类，即 将那些最相似的对象首先分组，计算并类后的新类与其他类之间的距离，即将距 离最小的两类并为一类，这样每次减少一类，最后随着相似性的不断下降(类间 的距离不断加大)，所有的组渐渐融合为一个聚类，由于类与类之间的距离定义 方法不同，因而产生不同的系统聚类方法，如最短距离法，最长距离法，中间距 离法，类平均
2、法离差平方和法。系统聚类的基本步骤1. 构造n个类，每个类包含且只包含一个样品。2. 计算n个样品两两间的距离，构成距离矩阵，记作D0。3. 合并距离最近的两类为一新类。04. 计算新类与当前各类的距离。若类的个数等于1，转到步骤(5)，否则回到 步骤(3)。5. 画聚类图。6. 决定类的个数，及各类包含的样品数，并对类作出解释。最短距离法D = min dpqzeD ,jeDijpq35D (2) = d = 379递推公式：D = min drkiwGijmin dijieGj&ka = minD , D pk qk最长距离法G 二 G U GrpqG = G U G712G = G U
3、G856Dpq递推公式；DmaxieD ,jwDpq丨=maxrkdcpkD qkUG34G 二 G U G D(3)二 D 二 910897 10中间距离法若 G = G U G ,则 D 2 = 1 D 2 +1D 2 -1 D 2rpqrk 2 pk 2qk4pqr iG = G UG169G7 = G1UG2D2(0) =362548 5 66449164G = GUG9 4 3重心法设G含n个样品，ppD2 二(x x )(xpq重心为xG 含 n 个样品， qq重心为xqpqpG二G UG的重心xrpq(n x + n x )n + n p p q q pqD2rk=(x -x )
4、(x -x )r k r k=(n x + n x ) - x(n x +nx ) 一 x n p p q q krnn=T (x x - 2 x x + x x ) + y (x x - 2 x x + xx ) n p p p k k k n q q q k k k rrn n-p q (x x - 2 x x + x x )n2p p p q q qrrnn n=pD 2 + q D 2 D 2n pk n qk n2 pqr r r类平均法D2pq n npq工工d 2ij/eG jeGppG = G UGrpqD2rknnrk工工d 2ij ieGr jeGk(E+ E )工nnrk
5、ieGieGjeGpq knd 2 = P D 2 ij n pk rn+ yD2 ； n qkr可变类平均法对类平均法的修正nnD 2 =r (1 -p ) D 2 + (1 -p )D2 +阻20 p 1rk n pk n qk pq rr可变法对中间法的修正D2 = (1 -p) (D2 + D2 ) +pD2 rk 2 pk qk pq离差平方和(ward) 基本思想来源于方差分析。 它认为，如果分类正确，则同类间的离差平方和应当较小，而类与类间的离差平 方和应当较大。具体做法是，先将n个样品各自成一类，然后每次缩小一类，每 缩小一类离差平方和要增大，选择使离差平方和增加最小的两类合并
6、,直到所有 的样品归为一类。D2= S 一S -Spqp+qpqn + nn+nnD2一 kpD 2+亠qD 2kD 2rkn + npkn+nqkn +npqrkrkrk类Gl、G2合并为新类G3的类内离差平方和分别为VS = V (x 一 x )(x 一 x )1 i 1i 1S = V (x -x2)(x -x2)2 i 2i2ieG2、 S = v (x -x3)(x -x3)3 i 3 i 3ieG1 G 2它们反映了各自类内样品的分散程度，如果G1和G2两类相距较近，则合并后所 增加的离差平方和S-S-S应较小，否则，应较大。于是定义G1与G2之间的3l2距离D 2 = S S S
7、12312n n=x. 一 x2)(xx 一 x2)n 1 2 1 2n = n + n12对系统聚类法有如下结论:类平均法(或中间距离法)比最短距离法扩张,比最长距离法浓缩.类平均法比重 心法扩张,比离差平方和法浓缩.太浓缩的方法不够灵敏,太扩张的方法当样品容 量大时容易失真.类平均法比较适中,而且具有单调性,因而是一种应用广泛、聚 类效果好的方法。类平均法与中间距离法相比没有统一结论。(1)单调性:令D是系统聚类分析中第i次并类时的距离，若一种系统聚类法能满 足D1WD2 W 1)3 W，则称它具有单调性这种单调性符合系统聚类法的基本思想,先合并较相似的类,后合并较疏远的类.可证最短距离法
8、、最长距离法、可 变法、类平均法和离差平方和都具有单调性，但中间距离法和重心法不具有单调 性。(2)空间的浓缩与扩张：设有两个同阶矩阵D(A)和D(B),如果D(A)的每个 元素都不小于D(B)相对应的元素，则称D(A)三D(B) 若有两个系统聚类法A和B, 在第k步距离阵记为D(A)和 D(B), 若 D(A)三D(B ),则称A比B使空间扩张或B kkkk比A使空间浓缩.判别分析(discriminant analysis)就是根据判别对象若干个指标的观测结果， 判定其应属于哪一类的统计学方法。判别组数：两组判别和多组判别 数学模型：线性判别和非线性判别所处理变量：逐步判别和序贯判别判别准
9、则：马氏距离准则、Fisher准则、平均损失最小准则、最小平方准则、最 大似然准则、最大概率准则等不同方法：距离判别法、Fisher判别法、Bayes判别法、逐步判别法等 距离判别基本思想：首先根据已知分类的数据，分别计算各类的重心，即分组的 举止判别准则是对任给的一次观测，若它与第i类的重心距离最近就认为它来自 第i类。聚类分析和判别分析之间的区别和联系 判别分析与聚类分析都是研究分类问题的多元统计分析方法，但前者是在已知分 为若干个类的前提下，判定观察对象的归属，而后者是在不知道应分多少类合适 的情况下，试图借助数理统计的方法用已收集到的资料找出研究对象的适当归类 方法。聚类分析可以对样本
10、进行分类，也可以对指标进行分类；而判别分析只能对样本 进行分类；聚类分析事先不知道事物的类别，也不知道应分几类；而判别分析必 须事先知道事物的类别，也知道应分几类；聚类分析不需要分类的历史资料，能 直接对样本进行分类；而判别分析需要分类历史资料去建立判别函数，然后才能 对样本进行分类。联系先采用聚类分析获得各个个体的类别(classifiedtion )；然后采用判 别分析建立判别函数，对新个体进行类型识别(identification ) 它是进行统计判别和分组的一种手段.距离判别马氏(Mahalanobis)距离1 1d2(V 2x , V 2y)二(x - y)V-i(x - y)证明
11、注意到D2(x, y)具有非奇异线性变换不变性：对任何 P, PI 丰 0, u 二 Px, v = Py, D(Px) = PVPD2(u,v) = P(x - y)PVP-i(P(x - y)=(x - y) P P iV-iP-iP(x - y)=D 2( x, y)i取P =V-2，即有1 1D2(V-2x, V一2y) = D2(u, v) = (u - v)I(u - v) = d2(u, v) d(x, y)满足公理 D(x,y)亦然 两个总体的判别设总体GJA, % ),G2(A2, V2),为待判样品判别规则：D(x,G ) 0 n x e G1W(x)0 nxeG2注5当
12、Vj(i=i,2)未知时，可先从总体Gi, G2中取出样本:x (i), x ，,x (i); inix (2), x (2),x (2)i 2n 2来估计R #=1,2)：入i y2 厶 ini j 2i若 v1= v2=v，贝 yx (i ) ,j0 2- 2i n -iii y (x(i) - x(i)(x(i) - x(i) n - i jjij 2i多总体的判别i(S + S )- 2 i 22定理53对于k个总体G (“ ,V), i 2 i,2,k的判别方案为：i i ix e D n x e G ,i = i,2,k，否则待判ii其中 D x: D 2( x, ) 0, j丰i n x e G，否则待判iji其中 W (x) 2 (x - )V-i( - ), 2 !( + )。ijiji jij 2 i j判别分析步骤：计算两样本均值和协差阵，求线性判别函数，对已知类别的样品判别分 类，对判别效果做检验，写出待判样品
