《马氏距离判别法》由会员分享，可在线阅读，更多相关《马氏距离判别法（37页珍藏版）》请在金锄头文库上搜索。
1、第十三讲 判别分析一、距离判别二、Bayes判别三、Fisher判别一、距离判别定义18.1（一）马氏距离设 和 是总体 中抽取的样品，称的均值和协方差阵分别为 和为 与 之间的马氏距离，记为 ，即为 与总体 的马氏距离，容易证明 满足距离的三条基本公里：称（1）非负性：（2）自反性：且当且仅当时，（3）三角不等式： 对任意三个点及 有（二）两个总体的判别设有两个总体为 和 ，对于给定的样品 需要判断它来自哪个总体？判别的规则是：当 时， 判定 ；否则判定 。定理18.1当参数 及 已知时，判别准则是：当 时，判定 ；否则，判定 ，其中 ，两个总体协方差阵相同的情形：证明因为令所以当 时，有判
2、定 ；否则判定由于函数是 的线性函数，故称 为 的线性判别函数，称 为判别系数。在实际应用中，参数 及 往往是未知的，此时需要根据收集到的样本资料对参数作出估计，然后将其相应的估计值代入线性判别函数中。下面就给出参数的估计。设 是来自总体 的样本，是来自总体 的样本，且两样本相互独立，则样本平均值分别是总体均值 和 的无偏估计。的估计为这样 的估计可取为其中故当参数均未知时，判别函数为其中判别系数为注：距离判别法没有要求知道总体的分布。两个总体协方差阵不等的情形：设两个总体 和 的协方差阵为 和 ， 且所有的参数均已知，这时就直接用样品到总体的马氏距离来判别，即判别规则为当 时，当 时，其中当
3、参数 未知时，需用来自两个总体的相互独立的样本来估计这些参数，即将这些估计值代入上述判别法即可进行判别。通常为了初略了解所建立的判别方法的误判率，需进行回报判别，即对已给的两个样本逐个进行判别，可以计算出回报误判率。若回报的误判率较大，则说明所建立的判别规则不适用，分析其原因，重新建立恰当的判别规则。注：回报的误判率并不是错判概率，一般情形下，前者比后者小，这种衡量标准仅供参考。（三）多个总体的判别设有 个总体：其均值和协方差阵分别为 及且所有的 。当这些参数都已知时，计算若存在某个 使得成立，则判别 。同样地当总体的参数是未知的时，应先利用来自 个总体的相互独立的样本给出所有未知参数的估计，
4、再利用上述判别法进行判别。对同协方差阵的情形，可以由 个样本给出的 估计具体判别过程不再赘述。二、Bayes判别（一） Bayes判别法的基本概念设有 个总体 ，其概率密度分别为且是互不相同的。进一步假设已知 个总体各自发生的概率为这个已知的概率称为先验概率，它可以由经验给出，也可以由收集到的历史资料确定。定义损失函数 ，表示将本来属于 的样品错判为属于 所造成的损失，规定显然应有当然也可用矩阵表示，即其中或 ，由于一个判别规则实质上是就是对 维空间划分成 个互不相交的部分 ，即满足和故为了方便起见，可简记一个的样品判为属于 的（错判概率）概率记为 判别规则为那么将属于 即注意这里的积分是 重
5、积分。这样在判别规则 下，错判来自总体 的个这时 表示正确判别的概率，即因此有体所造成的平均损失为其中 表示损失矩阵的第 行元素，而表示矩阵的第 行元素。由于每 个总体发生的概率为所以通过判别规则 来进行判别所造成的总平均损失为Bayes方法的原理是寻求使平均损失达到最小的规则或一种划分这种规则或划分称为Bayes判别法。并将（二）两个总体的判别设有两个总体其密度函数分两个总体的先验概率为损失函数矩阵为定理18.2别为则Bayes判别法具有如下形式在实际使用Bayes判别法时，并不需要求出集合而只要将需判别的样品 代入若该不等式成立，则判定否则，判定如果总体 分别服从协方差阵相同的正态分布则B
6、ayes判别法有更简便的形式，依定理形式给出如下。定理18.3设总体 分别服从协方差阵相Bayes判别法同的正态分布且则当参数 均已知时，具有如下形式其中注：从 的表达式可知Bayes判别函数与距离判别函数完全相同，只是临界值有所不同， 当先验概率 ，即任取一个样品 ，它等可能地来自总体 或 ， 且错判损失 时，有这说明在种情况下Bayes判别与距离判别等价。其它情形下两者并不等价。当参数 均已知时，定理18.3中的Bayes判别法的所产生的错判概率为其中在实际应用中，参数 及 往往是未知的，此时需要根据收集到的样本资料对参数作出估计，然后将其相应的估计值代入线性判别函数中不再赘述。例子可参见
7、P316。（三）多个总体的判别设有 个总体 ，其概率密度分别为且各个总体 出现的先验概率为错判造成的损失为假设为 维空间 的一个划分，则在规则 下，错判的平均损失为如何寻找一个划分 ，使 达到最小呢？我们有如下的定理。定理18.4 设有 个总体 ，其概率密度分别为且各个总体出现的先验概率为错判造成的损失为则使达到最小的划分 为其中由定理所获得的划分 称为划分 的Bayes解。定理18.4给出了实际可行的具体判别方法。对给定的样品 ，计算 个错判平均损失然后比较他们的大小，若 最小，则判定。 推论18.1 在定理18.4的条件下，若(即错判的损失均相同)，则Bayes解为此推论说明当错判损失相同
8、时，Bayes解具 有上述更简单的形式。三、Fisher判别设有 个总体：其均值和协方差阵分别为 及任给一个样品 ,考虑它的线性函数 ，则在 来自 的条件下有若令其中判别函数中的系数 的选取应使目标函数达到极大，此时极大值 称为判别效率。定理18.5设有 个总体：其均 值和协方差阵分别为 及 任给一个样品 ,在 下，使得正是矩阵 的最大特征值 所对应的特征达到最大的线性判别函数 中的系数向量，其中是所有元素都是 的 矩阵。判别方法：对给定的样品 ，计算若存在 使得成立，则判定 。如果认为这种判别法还不很好的区分各个总体，还可以由 的前 个特征值 所对应的特征向量建立 个线性判别函数这样就相当于把原来的 个指标压缩成 个指标，再用这 个指标，根据欧氏距离的大小来规定的范围，即对 维空间 作划分其中当样品 时，则判定 。第二次小论文 聚类分析和判别分析用聚类分析方法对全国各省或直辖市进行经 济进行经济类型分类。数据可从统计年鉴上1.获得，自己选择决定经济类型的因素变量。 分类后进行解释，即是否符合直观判断。2. 建立判别分析方法，并对选择的对象进行回报判别，用回报率说明方法是否适用。3. 或对自己感兴趣的问题建立判别分析方法。Five measure of socio-economic data on Swiss provinces
