《判别分析》由会员分享，可在线阅读，更多相关《判别分析（16页珍藏版）》请在金锄头文库上搜索。
1、 鉴别分析鉴别分析问题：在自然科学与社会科学的众多领域中,研究对象往往用某种方式已经分为若干类型，当得到一种新的样品，要拟定该样品属于已知的类型中的那一类,此类问题属于鉴别分析。鉴别分析模型：从记录数据分析的角度，鉴别分析的模型如下:设有个总体,它们都是维总体,其数量指标在各个总体下具有不同的分布特性。对某一种新的样品数据,要根据各总体的特性按一定的准则判断该样品应归属那一种总体。一.距离鉴别.马氏（Mahaobi)距离设维总体,其数量指标的均值向量为，协方差矩阵为，其中(1)设和是来自总体的两个样品（即样本值)，则与的马氏距离定义为而称为与的马氏平方距离。（2）样品与总体的马氏距离定义为而称
2、为与总体的马氏平方距离。上述定义的马氏距离满足距离的三条基本性质：设，是来自总体的三个样品，则(1) ,当且仅当时；（2）;（3). 两个总体的鉴别 设为两个不同的维已知总体,其均值向量分别为和,协方差矩阵分别为和，设为一种待判样品,要鉴别属于哪个总体。鉴别准则: (1.1）等价于准则: （1.)若令则上述鉴别准则有等价于 （.3）其中称为鉴别函数。鉴别准则(1.3)实质上是运用鉴别函数可以得到空间的一种划分：,则准则(1.）又等价于 (1)下面分别就两总体的协方差矩阵相等和不等分别讨论（1)若,此时，由于记 (1.）则或者从另一种角度看，有 （1.5)记，其中 , （) 则这样,距离鉴别准则
3、(1.3）化为 (1.7）其中,如（1.5）式所示。或者 (1.）其中如（1)式所示。上述鉴别函数,及都是线性函数，因此(1.7）和（1.8）也称为线性鉴别准则。在实际中,，,一般是未知的，我们所具有的资料只是从两个总体各抽取了容量为和的样本,和，称为训练样本,这时可用训练样本对，做估计。，的估计分别取各训练样本的样本均值,即又个训练样本的样本协方差阵为当时,的估计取为当训练样本是简朴随机样本时,，,分别是，的无偏估计。这样,线性鉴别函数，及的估计可取为 (19)这样两个总体的距离鉴别准则为 （1.0）或 （.11）其中，及如(.9）式所示。（2）若,此时,鉴别函数是二次函数。在实际中,，,未
4、知时，可用个总体的训练样本对它们做估计二次鉴别函数的估计可取为 (1.）鉴别准则为 (113）其中如（.12)式所示。3.多种总体的距离鉴别设有个维总体，其均值向量分别为,协方差矩阵分别为,为一种待判样品,要鉴别属于这个总体的哪个。类似于两个总体状况，计算样品到个总体的马斯距离,比较着个距离，判属于其距离最短的总体。下面就各相等和不等讨论(1）若此时,可令鉴别函数为 (.4）是线性函数,则到的距离最小等价于对所有，有,从而鉴别准则为， （.15）若令， (1.16)则是的一种划分。准则（1.15）实质上等价于， ， （11）当，未知时，设是来自总体的训练样本（)令鉴别函数的估计为鉴别准则为,
5、（2)若不全相似取鉴别函数为 （1.1)是二次函数。由得的一种划分， (.12）其中鉴别规则为：, ， (1.)如果使得，则判属于的任何一种，即在边界上的点可判断为相邻区域的任何一种。当，未知时，设是来自总体的训练样本(），令二. Bay鉴别1. Ba鉴别的基本思想设有个维总体: 其元概率密度分别为: 其浮现的先验概率分布为: () (2.)用表达将实际属于的样品判为所导致的损失度量(一般为非负）,（即没有损失)。 对一种鉴别准则,以表达在鉴别准则之下，将实际来自于的样品判为来自的概率，则, (22)在给定误判所导致的损失()下,则对固定的而言，在给定的鉴别准则下将来自的样品错判为其他总体的平
6、均损失（即盼望损失）为(注：) (2.3)由于各总体浮现的先验概率为(），故在鉴别准则下,总平均损失(即总盼望损失)为 (2.)所谓Bayes鉴别准则就是要选择鉴别准则使达到最小。2 aye鉴别准则 令,Bayes鉴别准则为：,若， (5）当(常数）()时，此时可设 (2.6）在这种状况下，令 (2.）,Bayes鉴别准则为：，若， （2.8)三例子例1: 费希尔(Fishr）于1936年刊登了有关鸢尾花（ri)的数据。数据是对3种不同的鸢尾花：刚毛鸢尾花（第1组）、变色鸢尾花(第2组)和费吉尼亚鸢尾花(第3组)各抽取一种容量为的样本，测量其花萼长x1,花萼宽x2，花瓣长3，花瓣宽x4,单位为
7、mm，数据如下表所示,假定三个品种的个指标均服从4维正态分布,且先验概率相等,试就协方差阵相等和不等建立Bayes鉴别准则编号 品种x1 x2 x3 x4 编号 品种1 x2 x x编号 品种 x1 x2 3 1 1 50 3 142 46 34 14 1 46 3610 24 1 51 337 5 1 55 5 3 6 1 48 31 16 27 1 52 34 28 1 36 4 19 1 44 32 13 210 1 50 35 611 4 30 13 212 1 47 3 16 21 1 48 30 4 1 51 38 16 21 1 4 1 16 0 30 6 217 50 2 12
8、 218 43 3 11 5840 2 220 51 38 19 42 4 0 4 222 1 1 35 1 2231 50 316 4 1 46 32 4 2251 57 44 5 426 1 0 36 4 27 54 3 5 428 1 5 4 15 9 5 4 14 23 4315 3 1 4 39 1 43 1 5 34 15 233 1 44 2914 234 432 13 23 46 1 36 1 514 1 27 50 3 13 38 49 31 15 139 1 54 37 15 0 54 39 13 441 1 35 14 342 18 34 16 243 1 80 14 1
9、44 1 4523 3 35 1 7 8 17 34 1 5 38 15 47 54 34 17 24 1 1 3 1 49 52 35 5 250 1 53 37 5 251 2 5 284 552 62 22 45 153 59 32 48 18 54 61 3 4 455 2 60 27 5 16 2 56 5 39 17 5 2 4 158 2 6 3 47 1659 2 70 2 4 1460 2 4 32 45 151 61 8 4013622 55 243 13 2 54 3 5 154 2 58 6 40 125 526 4 166 2 23 33 1067 2 67 31 44 468 2 56 30 4 159 2 58 27 41 10 2 5 57 2 7 26 35 172 57 19 42 13 2 49 2 33 104 2 6 7 2 137 2 5 30 42 276 2 66 2 4 13 2 52 27 3 147 2 60 3 5 1679 2 0 20 35 1080 5 4 37 10 2 5
