《区别与联系判别分析与聚类分析的》由会员分享，可在线阅读，更多相关《区别与联系判别分析与聚类分析的（34页珍藏版）》请在金锄头文库上搜索。
1、判别分析(DiscriminantAnalysis)一、概述：判别问题又称识别问题，或者归类问题。判别分析是由于年提出，年由首先提出根据不同类别所提取的特征变量来定量的建立待判样品归属于哪一个已知类别的数学模型。根据对训练样本的观测值建立判别函数，借助判别函数式判断未知类别的个体。所谓训练样本由已知明确类别的个体组成，并且都完整准确地测量个体的有关的判别变量。训练样本的要求：类别明确，测量指标完整准确。一般样本含量不宜过小，但不能为追求样本含量而牺牲类别的准确，如果类别不可靠、测量值不准确，即使样本含量再大，任何统计方法语法弥补这一缺陷。判别分析的类别很多，常用的有：适用于定性指标或计数资料的
2、有最大似然法、训练迭代法；适用于定量指标或计量资料的有：Fisher二类判别、Bayers多类判别以及逐步判别。半定量指标界于二者之间，可根据不同情况分别采用以上方法。类别（有的称之为总体，但应与的区别）的含义一一具有相同属性或者特征指标的个体（有的人称之为样品）的集合。如何来表征相同属性、相同的特征指标呢？同一类别的个体之间距离小，不同总体的样本之间距离大。距离是一个原则性的定义，只要满足对称性、非负性和三角不等式的函数就可以称为距绝对距离马氏距离：（Manhattandistance）设有两个个体（点）X与Y（假定为一维数据，即在数轴上）是来自均数为，协方差阵为E的总体（类别）A的两个个体
3、（点），则个体X与Y的马氏距离为D（X,Y）=（X，Y）tE-i（X，Y），类似地可以定义个体X与总体（类别）A的距离为D（X，A）=（X，i（X，）明考斯基距离（Minkowskidistanee）:明科夫斯基距离欧几里德距离（欧氏距离）、Fisher两类判别、训练样本的测量值A类训练样本编号x1x2xm1xxxA11A12A1m2xxxA21A22A2mnAxAn1AxAn2AxAnAm均数xxxA1A2AmB类训练样本编号x1x2xm1xxxB11B12B1m2xxxB21B22B2mnBxBn1BxBn2BxBnBm均数xxxB1B2Bm二、建立判另U函数(DiscriminantAn
4、alysisFunction)为：YCX+CX+CX1122mm其中：C、C和C为判别系数()12m可解如下方程组得判另系数。wC+wC+wCx(A)x(B)1111221mm11wC+wC+wCx(A)x(B)2112222mm22wC+wC+wCx(A)x(B)m11m22mmmmm各类的离差阵分别以L(A)、L(B)表示L(A)L(A)11L(A)21L(A)12L(A)22L(A)1mL(A)2mL(A)m1L(A)m2L(A),mmL(B)L(B)11L(B)21L(B)12L(B)22L(B)1mL(B)2mL(B)m1L(B)m2L(B),mm类内离差阵W为L(A)、L(B)之和
5、Ww11w21w12w221mw2mWL(A)+L(B)wwwm1m2mm、Y值的判别界值将X(A)、X(A)、12、X(A)代入判别函数，得到相应的Y(A),m将X(B)、X(B)、12、X(B)代入判别函数，得到相应的Y(B),m两类的判别界值为：YY(A)+Y(B)c一2当两类的样本含量相差较多时应加权，用下式计算判别界值“nY(A)+nY(B)YTBcn+nAB将每个个体的x、x、X代入判别函数计算Y,根据判别界值Y判别归12mc类。四、对判别函数检验T为训练样本中两类和在一起的离差阵(注意与W的区别)计算Wilks统计量Utt1112ttT=2122ttm1m2t)1mt2mt丿mm
6、v=m,v=nm112五、回代观察判别函数的判别效果举例设要建立一个判别函数来判别医院的工作情况，公认的A类医院11所,B类医院9所。X1：床位使用率X2：治愈率X3：诊断指数判别指标如下两表：A类医院编号XXX3Y198.8285.4993.187.9839285.3779.1099.657.9879386.6480.6496.947.9391473.0886.8298.708.1008578.7380.4497.617.88366103.4480.4093.757.8807791.9980.7793.937.8161887.5082.5094.107.3665981.8288.4597.9
7、08.18021073.1682.9492.127.65921186.1983.5593.307.8919均数89.337382.827394.70737.8781B类医院编号XXXY172.4878.1282.387.0300258.8186.2073.466.7616372.4884.8774.096.8505490.5682.0777.157.0413573.7366.6393.987.2244672.7987.5977.157.0550774.2793.9185.546.7346893.6285.8979.807.3152978.6977.0186.797.2522均数76.38117
8、9.143381.14897.0331合计均数81.85781.17088.6061计算各类中的变量值均数2计算各类的离差阵及两类的离差阵之和921.956085.6700104.7177、L(A)89.78906.1099、187.6898丿867.113745.535261.9823、L(B)602.2566390.0085、360.0057丿WL(A)+L(B)1789.069740.134842.7354,692.0456383.8986547.6955丿3x(A)X(B)=86.3376-76.3811=9.956211X(A)X(B)=82.8273-79.1433=3.68402
9、2X(A)X(B)=94.7073-81.1489=13.5584334wCwCwC=x(A)x(B)11112213311wCwCwC=x(A)x(B)21122223322wCwCwC=x(A)x(B)311322333331789.0697C40.1348C42.7354C=9.9562123，40.1348C692.0456C383.8986C=3.6840123，42.7354C383.8986C547.6955C=13.5584123解此方程组得C=0.0074401C=0.0324122C=0.0480553判别函数为Y=0.007440x0.032412x0.048055x12
10、35求YcY (A)=7.8781Y (B)=7.0331=Y(A)Y(B)=7.4556nY(A)nY(B)=tb=7.4978nnA6检验2279.7392141.4208625.4625、759.2241-136.6546、1457.6529丿UW4109787692130041753=0.192944厂1-UN一m一1F，=22.3085Umv二Nm1二162|w|、it为相应矩阵的行列式的值7.回代(internalvalidation)判别效果原分类一判别函数的判别归类ABA101B00A正确率=90.9%B正确率=100%总正确率（符合率）=91%A误判率=B误判率=总误判率=5
11、%符合率的高低取决于所选判别指标的特异性以及训练样本中各个体分类的可靠性。组内回代组外回代剔除回代Bayes多类判别设有g个总体，记为A,A，,A.提取了m个特征变量，12g记为x,x,x.对各个总体分别做了n,n,n次试验，得12m12g到的观测数据记为X(x)kijk1,2,g；i1,2,n;j=1,2,mkx代表第k个总体的第i个样本的第j个特征变量的观测值。kij注意总体、样品的概念Bayes多类判别是要建立g个判别函数Y(A)C(A)+C(A)X+C(A)X+C(A)X1 01111212m1mY(A)C(A)+C(A)X+C(A)X+C(A)X2 02121222m2mY(A)C(
12、A)+C(A)X+C(A)X+C(A)Xg0g1g12g2mgm将每个个体代入每个函数式求得Y(A)、Y(A)Y(A)，对于具体某个个体,12g哪个Y值最大，就将其判为哪类。Cj为判别系数过程Bayes多类判别分析的过程1计算判别系数(1)计算各组每个各变量的均数xk1,2,G,kjj1,2m计算各组的离差阵厶()和类内离差阵W=L(A)+L(A)+L(A)Gw)1mw2mW1,w11w21w12w22Wm1wm2w丿mm(3)求W的逆矩阵W-1A1类的判别系数计算:W1(W11w21w12w22wm2、Wimw2mmm(C(A),11C(A)21=(N-G)W11W21w12w22Wlmw2m(x(A),j11x(A)22jC(仙m1jwm1wm2wmm丿jx(A力mmC(A)-迟C(A)x(A)012j1j1j=1其余各类的判别系数以同样的方法求得，并可对每个个体的所属类判定求出后验概率(或称事后概率posteriorprobability,与之对应的是先验概率或事前概率priorprobab
