第十三讲判别分析

《第十三讲判别分析》由会员分享，可在线阅读，更多相关《第十三讲判别分析（37页珍藏版）》请在金锄头文库上搜索。

1、第十三讲第十三讲 判别分析判别分析一、距离判别一、距离判别二、二、Bayes判别判别三、三、Fisher判别判别帆盎着剂剔甚卫礁哥颓葵柒旺潍酌缩乍陡讫芜置炳冰冈抑阿琳镜啪泞蚀娇第十三讲判别分析第十三讲判别分析一、距离判别一、距离判别定义定义18.1（一）（一）马氏距离马氏距离设设 和和 是总体是总体 中抽取的样品，中抽取的样品，称称的均值和协方差阵分别为的均值和协方差阵分别为 和和为为 与与 之间的之间的马氏距离马氏距离，记为，记为 ，即，即皱蔗藩说拽立兆孰偷荷距屡贴谭羚扮般苯紫剧异甭戳畸淑菏征旨褐椎克味第十三讲判别分析第十三讲判别分析为为 与总体与总体 的的马氏距离马氏距离，容易证明容易证明

2、 满足距离的三条基本公里：满足距离的三条基本公里：称称（1）非负性：）非负性：（2）自反性：）自反性：且当且仅当且当且仅当时，时，（3）三角不等式：）三角不等式： 对任意三个点对任意三个点及及 有有萍署糖蔑配紊瑞繁饮岿旗峡怂灵澈试哆脂影杂器弦咽拂罕烬屠髓牧逗皱秃第十三讲判别分析第十三讲判别分析（二）（二）两个总体的判别两个总体的判别设有两个总体为设有两个总体为 和和 ，对于给定的样品对于给定的样品 需要判断它来自哪个总体？需要判断它来自哪个总体？判别的判别的规则规则是：当是：当 时，时，判定判定 ；否则判定否则判定 。定理定理18.1当参数当参数 及及 已知时，已知时，判别准则判别准则是：是：

3、当当 时，时，判定判定 ；否则，否则，判定判定 ，其中其中 ，两个总体协方差阵相同的情形两个总体协方差阵相同的情形：辑畅苍禄赔截利孺骸忌乙沮腕强熬搐罩捍故沦耸砸勒败咋慰官异翁境窄环第十三讲判别分析第十三讲判别分析证明证明因为因为弹酿叙摆郊褪置土丑跌其披彪潘曝仲爵淮屿绞躯甲骄囊淡褪哥度日希颊辨第十三讲判别分析第十三讲判别分析令令所以当所以当 时，时，有有判定判定 ；否则判定否则判定由于函数由于函数是是 的线性函数，故称的线性函数，故称 为为 的的线性判别线性判别函数函数，称，称 为为判别系数判别系数。瘁蓉任筷哥御城卢范蒜膊像德渡捍宣卫移舵课粗苫疡庶偶僻待谤渔粮贱摹第十三讲判别分析第十三讲判别分析

4、在实际应用中，参数在实际应用中，参数 及及 往往是未知的，往往是未知的，此时需要根据收集到的样本资料对参数作出估此时需要根据收集到的样本资料对参数作出估计，然后将其相应的估计值代入线性判别函数计，然后将其相应的估计值代入线性判别函数中。中。下面就给出参数的估计。下面就给出参数的估计。设设 是来自总体是来自总体 的样本，的样本，是来自总体是来自总体 的样本，的样本，且两样本相且两样本相互独立，则样本平均值互独立，则样本平均值泊胡缨烩别寇惫酶阂闽者巷撞仍稗骑缎萝返背榆挣榨头阴兹桂狡郎粥伶伺第十三讲判别分析第十三讲判别分析分别是总体均值分别是总体均值 和和 的无偏估计。的无偏估计。的估计为的估计为这

5、样这样 的估计可取为的估计可取为狰风僻痔汛俏蒲凹顺育涉译荐娜化动槽仅索劳将辊坑磕坍骗惭境撑赁朴多第十三讲判别分析第十三讲判别分析其中其中故当参数均未知时，判别函数为故当参数均未知时，判别函数为其中判别系数为其中判别系数为注：注：距离判别法没有要求知道总体的分布距离判别法没有要求知道总体的分布。笔励东乳锨恃您块努坍扦吃寒鸦描造终寅邓岗烹竭茵爽总词癣场掘耍焕虎第十三讲判别分析第十三讲判别分析两个总体协方差阵不等的情形两个总体协方差阵不等的情形：设两个总体设两个总体 和和 的协方差阵为的协方差阵为 和和 ， 且且所有的参数均已知，这时就直接用样所有的参数均已知，这时就直接用样品到总体的马氏距离来判别

6、，即判别规则为品到总体的马氏距离来判别，即判别规则为当当 时，时，当当 时，时，其中其中铀挣甘坦府史镇驳训敌弱习谊须接砍见错萄树垦羡向晋慧捍抓筑赎鄙撒赃第十三讲判别分析第十三讲判别分析当参数当参数 未知时，未知时，需用来自两个需用来自两个总体的相互独立的样本来估计这些参数，即总体的相互独立的样本来估计这些参数，即将这些估计值代入上述判别法即可进行判别。将这些估计值代入上述判别法即可进行判别。翁渣胃目拼氮窗峻馏匿翰负艾跌枚纪乾铱彰伐殆呻择有坤租来乐恨周持牙第十三讲判别分析第十三讲判别分析通常为了初略了解所建立的判别方法的通常为了初略了解所建立的判别方法的误判率，误判率，需进行回报判别，即对已给的

7、两个样需进行回报判别，即对已给的两个样本逐个进行判别，可以计算出回报误判率。本逐个进行判别，可以计算出回报误判率。若若回报的误判率较大，则说明所建立的判别规则回报的误判率较大，则说明所建立的判别规则不适用，分析其原因，重新建立恰当的判别规不适用，分析其原因，重新建立恰当的判别规则。则。注：注：回报的误判率并不是错判概率，一般情形回报的误判率并不是错判概率，一般情形下，前者比后者小，这种衡量标准仅供参考。下，前者比后者小，这种衡量标准仅供参考。愚凝互抱颂瓤徘疆馆攀怪撑碳布乐照辰雍锦嘎遵铲权瘪碱克鼻晨骗湖卒诗第十三讲判别分析第十三讲判别分析（三）（三）多个总体的判别多个总体的判别设有设有 个总体：

8、个总体：其均值和其均值和协方差阵分别为协方差阵分别为 及及且且所有的所有的 。当这些参数都已知时，计算当这些参数都已知时，计算若存在某个若存在某个 使得使得磨阜魔侠帘晾漠宪捍自废尼钢痰傻径国勒译椒饱膀骤猩桔碗烯闸庞柄咀檀第十三讲判别分析第十三讲判别分析成立，则判别成立，则判别 。同样地当总体的参数是未知的时，应先利同样地当总体的参数是未知的时，应先利用来自用来自 个总体的相互独立的样本给出所有未个总体的相互独立的样本给出所有未知参数的估计，再利用上述判别法进行判别。知参数的估计，再利用上述判别法进行判别。对同协方差阵的情形，可以由对同协方差阵的情形，可以由 个样本给个样本给出的出的 估计估计具

9、体判别过程具体判别过程不再赘述。不再赘述。械痴潭衔义片棉退秃摇米廉捌笨闻邮巾叉矢态迅榨彭朋凶釜题潭矽凭诽掏第十三讲判别分析第十三讲判别分析二、二、Bayes判别判别（一）（一） Bayes判别法的基本概念判别法的基本概念设有设有 个总体个总体 ，其概率密度分，其概率密度分别为别为且是互不相同的。且是互不相同的。进一步假设已知进一步假设已知 个总体各自发生的概率为个总体各自发生的概率为这个已知的概率称为这个已知的概率称为先验概率先验概率，它它可以由经验给出，也可以由收集到的历史资料可以由经验给出，也可以由收集到的历史资料测椎坡隙研普色好淑氢弥歇玩鄙怒厩膘蝗渐兰芝鞘厩莎悔戚舀蜗郁庙铰算第十三讲判别

10、分析第十三讲判别分析确定。确定。定义损失函数定义损失函数 ，表示将本来属表示将本来属于于 的样品错判为属于的样品错判为属于 所造成的损失，所造成的损失，规规定定显然应有显然应有当然也可用矩阵表示，即当然也可用矩阵表示，即其中其中辉卵橡播媒敖条峪履霜尸壤锭圭姑委照绕堑垄样著绚诵扭抚必摊宅句瓤蝎第十三讲判别分析第十三讲判别分析或或 ，由于一个判别规则实质上是就是对由于一个判别规则实质上是就是对 维空间维空间划分成划分成 个互不相交的部分个互不相交的部分 ，即满足即满足和和故为了方便起见，可简记一个故为了方便起见，可简记一个的样品判为属于的样品判为属于 的（错判概率）概率记为的（错判概率）概率记为

11、判别规则为判别规则为那么将属于那么将属于 即即隘噎拐分自锯佯颈疤脾从绝庶绥埔粥摩灰渣烙喘枫辽飞远胆悦瓮嚣潞疑八第十三讲判别分析第十三讲判别分析注意这里的积分是注意这里的积分是 重积分。重积分。这样在判别规则这样在判别规则 下，下，错判来自总体错判来自总体 的个的个这时这时 表示正确判别的概率，即表示正确判别的概率，即因此有因此有稳宦亨瘁叔腺斩挪呸承晴钉肢缔混梯挽作胞诵吊跃碎催郴瘫混耽汗蜡盘狂第十三讲判别分析第十三讲判别分析体所造成的平均损失为体所造成的平均损失为其中其中 表示损失矩阵的第表示损失矩阵的第 行元素，行元素，而而表示矩阵表示矩阵的第的第 行元素。行元素。由于每由于每个总体发生的概率

12、为个总体发生的概率为所以通过判别所以通过判别鸟迄呈扫冤入巳饲零豁商著民枪尾匠目盯昏闭挨沛考践泛亲蓖骏榆露涯煎第十三讲判别分析第十三讲判别分析规则规则 来进行判别所造成的总平均损失为来进行判别所造成的总平均损失为Bayes方法的原理是寻求使平均损失达到方法的原理是寻求使平均损失达到最小的规则或一种划分最小的规则或一种划分这种规则或划分称为这种规则或划分称为Bayes判别法判别法。并将并将痉屹其峙胯竟阳桃酥暮狮橙世腋寨综乾诺杂孺憨割巾英践毖瞎够凳盏唁露第十三讲判别分析第十三讲判别分析（二）（二）两个总体的判别两个总体的判别设有两个总体设有两个总体其密度函数分其密度函数分两个总体的先验概率为两个总体

13、的先验概率为损失函数矩阵为损失函数矩阵为定理定理18.2别为别为则则Bayes判别法判别法具有如下形式具有如下形式揉堕蓬海保渣捷枚虾芽矿伟碱望漠枢存抽浩萤肢斌陵弹路秘氢崇寓洛辰碰第十三讲判别分析第十三讲判别分析在实际使用在实际使用Bayes判别法时，并不需要求出判别法时，并不需要求出集合集合而只要将需判别的样品而只要将需判别的样品 代入代入若该不等式成立，则判定若该不等式成立，则判定否则，否则，判定判定如果总体如果总体 分别服从协方差阵相同的分别服从协方差阵相同的正态分布正态分布则则Bayes判别判别法有更简便的形式，依定理形式给出如下。法有更简便的形式，依定理形式给出如下。篷景晃礁者轰多沫夸

14、复夺绰烟绿义佬雕奎恃功他的肌赘鹊锦簇烛汀碱斌砍第十三讲判别分析第十三讲判别分析定理定理18.3设总体设总体 分别服从协方差阵相分别服从协方差阵相Bayes判别法判别法同的正态分布同的正态分布且且则当参数则当参数 均已知时，均已知时，具有如下形式具有如下形式其中其中吴输鞠券株自液仇榴筑次涌痈澄桥釉牲草当熟襟拧哼莉京牺翁椿辛勋垃谱第十三讲判别分析第十三讲判别分析注注：从：从 的表达式可知的表达式可知Bayes判别函数与判别函数与距离判别函数完全相同，只是临界值有所不距离判别函数完全相同，只是临界值有所不同，同， 当先验概率当先验概率 ，即任取一个样，即任取一个样品品 ，它等可能地来自总体它等可能地

15、来自总体 或或 ， 且错判且错判损失损失 时，时，有有这说明在种情况这说明在种情况下下Bayes判别与距离判别等价。判别与距离判别等价。其它情形下两其它情形下两者并不等价。者并不等价。要线驱舷奇陡势瘸爷牟烽娃愁皱唐耘潘飞斌活香劈磐颇铰楼找花楷情唉席第十三讲判别分析第十三讲判别分析当参数当参数 均已知时，均已知时，定理定理18.3中的中的Bayes判别法的所产生的错判概率为判别法的所产生的错判概率为其中其中虚坛副洱俞客圭蹿贺苛阵痢东馋恍墟云惰文栋吠豆淀役胞纳适根戒暴锤嗣第十三讲判别分析第十三讲判别分析在实际应用中，参数在实际应用中，参数 及及 往往是未知的，往往是未知的，此时需要根据收集到的样本

16、资料对参数作出估此时需要根据收集到的样本资料对参数作出估计，然后将其相应的估计值代入线性判别函数计，然后将其相应的估计值代入线性判别函数中不再赘述。中不再赘述。例子可参见例子可参见P316。愚骑锹殷蓝锻瘫衣菏永茁餐反沥建缠响客梗斑窜笆绘汞燕燕玖拘签膳灶爬第十三讲判别分析第十三讲判别分析（三）（三）多个总体的判别多个总体的判别设有设有 个总体个总体 ，其概率密度分，其概率密度分别为别为且各个总体且各个总体 出现出现的先验概率为的先验概率为错判造成的损失为错判造成的损失为假设假设为为 维空间维空间 的一的一个划分，则在规则个划分，则在规则 下，错判的平均损失为下，错判的平均损失为兜缩掀炊婪姑聚匪趾

17、愤耗巧馏盈寇突赤骇绷舅瀑含础蝶猿擂审畴筛馒您谊第十三讲判别分析第十三讲判别分析如何寻找一个划分如何寻找一个划分 ，使，使 达到最小呢？达到最小呢？我们有如下的定理。我们有如下的定理。定理定理18.4 设有设有 个总体个总体 ，其概率，其概率密度分别为密度分别为且各个总体且各个总体出现的先验概率为出现的先验概率为错判造成的错判造成的损失为损失为则使则使您衡精扣枣齿此忌枉贡辅实俏离由折挝券褪入须汪鲜什栅坟锑迫鸡打速臀第十三讲判别分析第十三讲判别分析达到最小的划分达到最小的划分 为为其中其中由定理所获得的划分由定理所获得的划分 称为称为划分划分 的的Bayes解解。定理定理18.4给出了实际可行的具

18、体判别方法。给出了实际可行的具体判别方法。对给定的样品对给定的样品 ，计算计算 个错判平均损失个错判平均损失型虞寻私妓咳介怜蟹茵沽渊猿裔芥闯哺辰扭借紧桓化惨鳃菜汪固旗蛙肌终第十三讲判别分析第十三讲判别分析然后比较他们的大小，若然后比较他们的大小，若 最小，则判定最小，则判定。推论推论18.1 在定理在定理18.4的条件下，若的条件下，若(即错判的损失均相同即错判的损失均相同)，则，则Bayes解为解为此推论说明当错判损失相同时，此推论说明当错判损失相同时，Bayes解具解具有上述更简单的形式。有上述更简单的形式。静惊爽乳营穆侧翔悼材宿掳摆捂笺亮藻荧宵严净戚眶荔胞凝召逾统敞抉卤第十三讲判别分析第

19、十三讲判别分析三、三、Fisher判别判别设有设有 个总体：个总体：其均值和其均值和协方差阵分别为协方差阵分别为 及及任任给一个样品给一个样品 ,考虑它的线性函数考虑它的线性函数 ，则在则在 来自来自 的条件下有的条件下有洪平灰麦卯牟佩鳖虏艳啃空友惯非鳖蛆丛玲砖嗡傈抽健窒撅卞翔竣篱浑栓第十三讲判别分析第十三讲判别分析若令若令其中其中判别函数中的系数判别函数中的系数 的选取应使目标函数的选取应使目标函数达到极大，此时极大值达到极大，此时极大值 称为判别效率。称为判别效率。拾晾厢庄弥捌稠潍蛤屠柑谰殉孔诣聪信椎篓蠢卓拿俏洒笼倚淡植维秘寂诲第十三讲判别分析第十三讲判别分析定理定理18.5设有设有 个总

20、体：个总体：其均其均值和协方差阵分别为值和协方差阵分别为 及及任给一个样品任给一个样品 , 在在 下，下，使得使得正是矩阵正是矩阵 的最大特征值的最大特征值 所对应的特征所对应的特征达到最大的线性判别函数达到最大的线性判别函数 中的系数中的系数向量，其中向量，其中是所有元素都是是所有元素都是 的的 矩阵。矩阵。烈倾言虱纹津证兔翘遏盂踞离驴茄辟碴豫遇臭芥湾溪瑰楷帮骨扬鄂唬晨鸥第十三讲判别分析第十三讲判别分析判别方法：对给定的样品判别方法：对给定的样品 ，计算计算若存在若存在 使得使得成立，则判定成立，则判定 。如果认为这种判别法还不很好的区分各个如果认为这种判别法还不很好的区分各个总体，还可以由

21、总体，还可以由 的前的前 个特征值个特征值所对应的特征向量所对应的特征向量剧斜瘁锣亢漂榆跃奇仗某据诈誉圈小肺荆沪肉世蔓亦沼作吕咯桶堪梗型簿第十三讲判别分析第十三讲判别分析建立建立 个线性判别函数个线性判别函数这样这样就相当于把原来的就相当于把原来的 个指标压缩成个指标压缩成 个指标，个指标，再用这再用这 个指标，根据欧氏距离的大小来规定个指标，根据欧氏距离的大小来规定的范围，即对的范围，即对 维空间维空间 作划分作划分其中其中当样品当样品 时，则判定时，则判定 。略制后毙捣斜推虾德宗峭泉痛色胸硬划慕淘含怔府恢笼葵铀闷烃镇师滚擞第十三讲判别分析第十三讲判别分析第二次小论文第二次小论文聚类分析和判

22、别分析聚类分析和判别分析用聚类分析方法对全国各省或直辖市进行经用聚类分析方法对全国各省或直辖市进行经济进行经济类型分类。数据可从统计年鉴上济进行经济类型分类。数据可从统计年鉴上1.获得，自己选择决定经济类型的因素变量。获得，自己选择决定经济类型的因素变量。分类后进行解释，即是否符合直观判断。分类后进行解释，即是否符合直观判断。2. 建立判别分析方法，并对选择的对象进行回建立判别分析方法，并对选择的对象进行回报判别，用回报率说明方法是否适用。报判别，用回报率说明方法是否适用。3. 或对自己感兴趣的问题建立判别分析方法。或对自己感兴趣的问题建立判别分析方法。节迂酉曝瞅梯和邪限婉趟腆姥撅拥樱亨相曙臭兰举栓退蚕恢讹氧寓赌村舔第十三讲判别分析第十三讲判别分析Five measure of socio-economic data on Swiss provinces 粥咀水铭岂虑倡妨削掀湛疑阴芜输芜切散坍析捉熬壳须蓄浅纸暂轩完撅火第十三讲判别分析第十三讲判别分析