《{行业分析报告}应用概率统计之判别分析》由会员分享，可在线阅读，更多相关《{行业分析报告}应用概率统计之判别分析（46页珍藏版）》请在金锄头文库上搜索。
1、本资料来源,第八章 判别分析,判别分析的含义： 根据给定的若干总体的观测资料，构造出一个判别函数，并由此函数对于某一样品属于哪个总体做出判断。 判别分析的主要方法： 距离判别（Distance Discrimination)； Bayes 判别；Fisher判别等。,1 距离判别,判别思想： 根据样品到各个总体的距离的比较，判别其归属。 这里样品到总体的距离指的是样品到总体均值的距离。,欧式距离的缺陷： 欧式距离是一种绝对距离，无法反映出概率上的差异。 当分量的性质不同时，距离的大小与单位有关。,A,一、马氏（Mahalanobis）距离 设 x、y 是均值向量为、协方差矩阵为V 的总体G 中
2、抽取的两个样品，定义 x、y 之间的马氏距离为：,定义 x 和总体 G 之间的马氏距离为：,马氏距离满足距离的三条公理。 当V=I 时，马氏距离即为通常的欧式距离。,若变量之间是相互无关的，则协方差矩阵为对角矩阵,二、两个总体的判别分析,1. 两个总体有相同的协方差阵：,直观的判别准则：,或等价地描述成：,判别函数： 令 ，则有,W(x) 即为距离判别函数。,若 已知，令 ，则 W(x) 为,称W (x) 为线性判别函数，a 为判别系数， 为判别常数。,几何解释：总体G1、G2 的支撑之间存在重叠部分。判别就是经判别函数W(x) 建立一个法则，样本空间通过W(x) 划分为两个无公共部分的区域
3、R1、R2 。,G1,G2,R1,R2,x1,x2,错判问题,实践中的判别方法：将上述各公式中的总体均值向量和协方差矩阵，用各自的样本估值来替代。,2. 两个总体的方差不相等,判别法则： 判别函数：,判别规则：,实践中分别用样本参数估计 替代总体中的参数,距离判别的计算步骤： 列出样本观测阵 计算样本均值和离差矩阵： 计算协方差阵的无偏估计： 或,计算样本协方差阵的逆矩阵 计算回报的误判率：对原来的部分或全部样品，分别计算到两个总体的马氏距离，并比较大小，作出归类结论，记下错判的样品个数。 对新样品进行判别。,例 在企业的考核中，可以根据企业的生产经营情况把企业分为优秀企业和一般企业。考核企业
4、经营状况的指标有： 资金利润率=利润总额/资金占用总额 劳动生产率=总产值/职工平均人数 产品净值率=净产值/总产值 三个指标的均值向量和协方差矩阵如下。现有二个企业，观测值分别为 （7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？,V=68.39 40.24 21.41, 40.24 54.58 11.67, 21.41 11.67 7.90; mu1=13.5, 40.7, 10.7; mu2=5.4, 29.8, 6.2; mu=(mu1+mu2)/2; arfa=inv(V)*(mu1-mu2); c=t(arfa)*mu; print arfa
5、c;,线性判别函数：,三、多总体的判别,判别思想：将样本空间划分成互不相交的m 个部分，每一部分对应于一个总体的“势力范围” Ri 。其中,假设有m 个总体: ，它们的均值向量和协方差矩阵分别是,四、距离判别的优缺点,优点：计算简单，结论明确，很实用。 缺点：没有考虑两个总体各自出现的概率； 没有考虑错判以后造成的损失。,2 Bayes 判别,Bayes 判别的基本概念 两个总体的判别 三群以上的判别,有三个箱子，分别编号为1,2,3，1号箱装有1个红球4个白球，2号箱装有2红球3白球，3号箱装有3红球. 某人从三箱中任取一箱，从中任意摸出一球，发现是红球,求该球是取自1号箱的概率 .,1,1
6、红4白,该公式于1763年由贝叶斯 (Bayes) 给出. 它是在观察到事件B已发生的条件下，寻找导致B发生的每个原因的概率。建立在Bayes公式基础之上的判别方法称为Bayes判别。,一、Bayes 判别的基本概念,假设有 m 个总体为 G1, ,Gm ，对应的概率密度 各不相同。 假设m 个总体出现的先验概率分别为： 假设将属于Gi 的样品错判给 Gj 的损失记为C(j|i)。 显然有 C(i|i)=0 ，C(j|i)0 。 假设判别规则为： R=(R1, ,Rm )。则根据此规则 的错判概率为：,判别法则R把来自总体Gi 的个体错判给其它总体的 平均损失：,用规则R进行判别的总平均损失：
7、,Bayes 法则：选择R，使总平均损失g(R) 达到最小。,二、两个总体的判别,规则的导出,g(R) 最小当且仅当R2只包含全部满足下面条件的点x。,Bayes 判别准则：R=(R1, R2),G1, G2 为两个正态总体时的Bayes 判别 假设,则有,其中,距离判别与Bayes判别的比较,q1=q2=1/2, c(2|1)=c(1|2）时， Bayes判别准则即 为距离判别准则； 距离判别不要求两个总体是正态总体，也不要 求两个总体具有相同的方差阵。,误判概率的计算,W(x) 的条件分布,其中,证明：,误判概率,实际应用问题,判别函数： 先验概率及损失：在无先验信息的情况下，常取：,三、
8、m 个总体的判别,Bayes 判别的基本定理：假设有 m 个总体为G1, ,Gm ，对应的概率密度分别为 损失是 c(j|i), 则划分R=(R1, ,Rm ) 的Bayes 解为,其中,将x判给Rj的风险密度,证明：,推论：若c(j|i)=1, c(i|i)=0, 则划分R=(R1, ,Rm ) 的Bayes 解为,2. 多个正态总体的判别,当各总体的协方差阵相同时,3 Fisher判别,基本思想：Fisher借助方差分析的思想来导出线性判别函数。其思想是：找一个方向，在这个方向上要使各总体内部尽可能“密集”；而各总体之间尽可能“分开”。然后将观测值向这个方向投影，根据投影值的大小来进行判别
9、。,两个总体的费歇（Fisher）判别法,u： 能使总体尽可能分开的方向,x：不能使总体尽可能分开的方向,旋转坐标轴至总体单位尽可能分开的方向，此时分类变量被简化为一个,一、Fisher 线性判别函数 假设有m 个总体G1, ,Gm ，xi 表示来自总体Gi 的样品。对任一给定的方向u， xi 在该方向上的投影为,记,在u 方向各总体之间的分离程度组间离差,在u方向各总体内部的聚集程度组内离差,Fisher判别的思想：选择u，B(u)/E(u) 达到最大。,定义：设p 维向量u0 满足,则对于任意观测值x ， 称为Fisher线性判别函数,二、 Fisher线性判别函数的建立u 的得出,目标函数：,约束条件（保证u的唯一性）：,由Lagrange乘数法得到：,进一步推出：,定理： Fisher线性判别函数中的u0 是E-1B 的最大特征根所对应的特征向量。,三、Fisher判别的计算步骤： 列出样本观测阵（共m 个） 计算样本均值 计算 计算各总体的离差阵Si 及 和,
