统计决策方法讲义

《统计决策方法讲义》由会员分享，可在线阅读，更多相关《统计决策方法讲义（73页珍藏版）》请在金锄头文库上搜索。

1、第四章 统计决策方法4.1 引言引言4.2 最小错误率贝叶斯决策最小错误率贝叶斯决策4.3 最小风险贝叶斯决策最小风险贝叶斯决策4.4 正态分布模式的贝叶斯决策正态分布模式的贝叶斯决策4.5 聂曼聂曼皮尔逊判别皮尔逊判别4.6 按后验概率密度分类的势函数方法按后验概率密度分类的势函数方法第四章第四章 统计决策方法统计决策方法一、复习一、复习统计模式识别聚类分析法（第二章）判决函数法线性判决函数法（第三章）统计决策方法（第四章）其他书的分法几何分类法研究确定性事件的分类概率分类法研究随机事件分法4.1 引言引言获取模式的观察值时，有二种情况：（1）确定性事件：事物间有确定的因果关系。前两章内容。

2、（2）随机事件：事物间没有确定的因果关系，观察到的特征具有统计特性，是一个随机向量。只能利用模式集的统计特性来分类，以使分类器发生分类错误的概率最小。二、两类研究对象二、两类研究对象三、概率知识三、概率知识1、概率、概率 定义：设是随机试验的基本空间（所有可能的实验结果或基本事件的全体构成的集合，也称样本空间），A为随机事件，P(A)为定义在所有随机事件组成的集合上的实函数，若P(A)满足：c) 对于两两互斥的事件 有a) 对任一事件A有：0P(A)1。 b) P()=1， 事件的全体a) 不可能事件V的概率为零，即P(V)=0。则称函数P(A)为事件A的概率。 概率的性质： 定义：设A、B是

3、两个随机事件，且P(B)0，则称为事件B发生的条件下事件A发生的条件概率。2、条件概率、条件概率 （5.1-1）联合概率P(AB)：A、B同时发生的概率 a) 概率乘法公式：如果P(B)0，则联合概率 P(AB)= P(B) P(A|B) = P(A) P(B|A) =P(BA) （5.1-2）c) 贝叶斯公式：在全概率公式的条件下，若P(B)0，则将 （5.1-2）、（5.1-3）式代入（5.1-1）式中，有：（5.1-4） 条件概率的三个重要公式：则对任一事件B有： （5.1-3）b) 全概率公式：设事件A1 ， A2 ， ，An两两互斥，且设样本的特征向量X是随机向量，则相关概率有三种：

4、 后验概率P(i|X) ：相对于先验概率而言。指收到数据X （一批样本点）后，根据这批样本提供的信息统计出的i 类出现的概率（即：X 属于i类的概率）。3、模式识别中的三个概率、模式识别中的三个概率 先验概率P(i ) ：根据以前的知识和经验得出的i类样本 出现的概率，与现在无关。 条件概率P(X |i) ：已知的属于i类的样本，发生事件X 的概率。例对一批得病患者进行一项化验，结果为阳性的 概率为95%，1代表得病人群， 则： 今后的分类中用到类概率密度密度p(X |i) ：i类的条件概率密度函数，通常也称为i的似然函数。 P(2| X) 表示试验呈阳性的人中(显示可能有病)， 实际没有病的

5、人的概率。 这两个值可以通过大量的统计得到。若用某种方法检测是否得有某病，假设 X 表示“试验反应呈阳性”。则：例如：一个2类问题，1诊断为患有某病，2诊断为无病，则： P(2)表示诊断为正常的概率，P(1)表示某地区的人被诊断出患上此病的概率，P(X |2) 表示最终确诊为无病的人群中，做该试验时反应呈阳性(显示可能有病)的概率。值低 / 高值低 / 高P(X |1) 表示最终确诊为有病的人群中，做该试验时反应也呈阳性(显示可能有病)的概率。P(1| X) 表示试验呈阳性的人中(显示可能有病)， 实际确实有病的人的概率。？ 三者关系：根据(5.1-4)贝叶斯公式有： （5.1-5）(5.1-

6、4)全概率密度公式： 分类规则：有M类模式， (5.2-1)4.2 最小错误率贝叶斯决策最小错误率贝叶斯决策 分析：讨论模式集的分类，目的是确定X属于那一类，所以 要看X来自哪类的概率大。在下列三种概率中： 先验概率P(i) 类(条件)概率密度p(X |i) 后验概率P(i| X) 采用哪种概率进行分类最合理？一一 、决策规则、决策规则后验概率P(i| X) 虽然后验概率P(i| X)可以提供有效的分类信息，但先验概率P(i)和类概率密度函数p(X |i)从统计资料中容易获得，故用Bayes公式，将后验概率转化为类概率密度函数和先验概率的表示。由：可知，分母与i无关，即与分类无关，故分类规则又

7、可表示为： (5.2-2)(5.2-1)、(5.2-2)均称为“最小错误率Bayes规则”。 (5.2-1)例子癌症普查：n n 1 1癌症患者癌症患者：1126811268n n 2 2正常者正常者： 2242282 2242282n n总人数：总人数：n=2253550n=2253550n n对每一类的概率做一个估计（先验概率对每一类的概率做一个估计（先验概率）n n对人们测量细胞的特征向量对人们测量细胞的特征向量n n 代表的某个人属于第代表的某个人属于第i i类的后验概率：类的后验概率：n n决策规律：决策规律：例子例子癌症普查（续癌症普查（续1 1）：）：n n若已知两类特征向量分布

8、的类条件概率密若已知两类特征向量分布的类条件概率密度函数度函数n n贝叶斯公式、全概率公式贝叶斯公式、全概率公式例子例子癌症普查（续癌症普查（续2 2）：）：将将P P( ( i i|x)|x)代入判别式，判别规则可表示为代入判别式，判别规则可表示为或改写为或改写为l l1212称为似然比（称为似然比（likelihood ratiolikelihood ratio），）， 1212称为似然比的判决阀值。称为似然比的判决阀值。例子例子癌症普查（续癌症普查（续3）：）：概念和符号n n -总概率总概率n n - -后验概率后验概率n n - -类概密，表示在类类概密，表示在类 i i条件下条件下

9、的概率密度，即类的概率密度，即类 i i模式模式x x的概率分布密度的概率分布密度n n - -先验概率，表示类先验概率，表示类 i i出现的先验出现的先验概率，简称类概率，简称类 i i的概率的概率例：例：对一批人进行癌症普查，对一批人进行癌症普查， 1 1 : :患癌症者患癌症者; ; 2 2 : :正常人。正常人。 模式特征模式特征x=x=x x( (化验结果化验结果),),x x=1=1：阳性；：阳性；x x=0=0：阴性。：阴性。已知：（统计结果）已知：（统计结果）先验概率：先验概率：P P( ( 1 1)=0.005 )=0.005 P P( ( 2 2)=1-)=1-P P( (

10、 1 1)=0.995)=0.995条件概率：条件概率：p p( (x x= =阳阳| | 1 1)=0.95)=0.95 p p( (x x= =阴阴| | 1 1)=0.05)=0.05 p p( (x x= =阳阳| | 2 2)=0.01)=0.01求：呈阳性反映的人是否患癌症求：呈阳性反映的人是否患癌症？解：解：利用利用BayesBayes公式公式因为，因为，P P( ( 2 2| |x x= =阳阳)= 1-)= 1-P P( ( 1 1| |x x= =阳阳)=1- )=1- 0.323=0.6770.323=0.677 P P( ( 1 1| |x x= =阳阳)P P( (

11、2 2| |x x= =阳阳) )故判决：故判决： ( (x x= =阳阳) ) 2 2 ，即正常，即正常。写成似然比形式写成似然比形式现有一待诊人员，血液观察值为X 。从类条件概率密度发布曲线得：，例：假定某地区乙肝患者和健康人的先验概率分别为试对X进行分类。解：例1解：利用贝叶斯公式，分别计算出的后验概率二、错误率分析二、错误率分析 两类问题判别决规则：用后验概率密度表示为 用先验概率和类概率密度函数表示为或错误率定义为：其中表示n重积分，即整个n维模式空间上的积分。判别界面为：对两类问题，上式中的P(e|X)为：即分类中可能会发生两种错误。假设R1为1类的判决区， R2为2类的判决区，则

12、两种错误为： 将来自1类的模式错分到R2中去。 将来自2类的模式错分到R1中去。总的错误为两种错误之和：1、两类问题错误率、两类问题错误率样本被划入第2类一维模式情况图示：在最小错误Bayes规则中，判决界面为两曲线的交点处，即：或 可以看出这个误差是所有误差中最小的（图中三角形的面积减小到0），但总错误概率不可能为零。 最小风险贝叶斯决策基本思想： 以各种错误分类所造成的平均风险最小为规则，进行分类决策。4.3 最小风险贝叶斯决策最小风险贝叶斯决策一、一、“风险风险”概念概念 （1）自动灭火系统： （2）疾病诊断： 不同的错判造成的损失不同。损失又称为风险。 考虑到对于某一类的错误判决要比对

13、于另一类的更为关键，据此把最小错误率的贝叶斯判决做一些修改，提出了“条件平均风险” rj(X)的概念。 对M类问题，如果观察样本被判定属于j类，则条件平均风险指：将某一X判为属于j类时造成的平均损失，也称条件平均损失。二、条件平均风险与平均风险二、条件平均风险与平均风险其中或i 样本实际中可能属于的类别号j 分类判决后指定的判决号Lij将i类模式错判为j类的“是非代价”，或称“损失”。自然属性为i类的样本，被划分到j类中，在j类中产生一错误分类，风险增加。L L2c2c( ( 2 2/ / c c) )L L2121( ( 2 2/ / 1 1) ) 2 2 L L1212( ( 1 1/ /

14、 2 2) ) L L1111( ( 1 1/ / 1 1) ) 1 1 2 2 1 1 类型类型 风险风险判别判别二.风险矩阵为L1j(1/j)L1c(1/c)i a Li1(i/I)La1(a/I) La2(a/2)Laj(a/j)jcLac(a/c)Li2(i/2)Lic(i/c)Lij(i/j)L22(2/2)L2j(2/j)用先验概率和条件概率的形式： p(X)对所有类别一样，故不提供分类信息，判别规则常用形式： 决策规则：对于某个X：如果对每个X 都按条件平均风险最小决策，则平均风险也最小。总的条件平均风险通常称为“平均风险”或“平均损失”。条件平均风险与平均风险的区别平均风险：对

15、模式总体而言。条件平均风险：对某类样本而言。1、多类情况：、多类情况：设有M 类对于任一X 对应 M个条件平均风险ri(X) ，i =1,2, M，基本判决规则：三、最小平均风险贝叶斯决策三、最小平均风险贝叶斯决策2、两类情况、两类情况：对样本 X当X 被判为1类时：当X 被判为2类时： 由式：令：，称似然比；，为阈值。 计算 。 计算 。 定义损失函数Lij。判别步骤：类概率密度函数p(X |i) 也称i的似然函数例 在例1的基础上利用决策表（下列），按最小风险进行分类 决策表 类型类型 风险风险判别判别 1 1 2 2 1 1 0 0 6 6 2 2 1 1 0 0解：计算 和 得：例：某

16、地乙肝患者与健康人的先验概率分别为某患者的观察结果用模式向量 X 表示。由类概率密度曲线查得损失函数分别为L11=0，L12=10， L22=0，L21=1。按最小风险贝叶斯决策分类。即被诊断为乙肝患者。损失函数为特殊情况：三、三、(0-1)损失最小风险贝叶斯决策损失最小风险贝叶斯决策1、多类情况、多类情况(0-1)情况下，对X 被判为 时：一般形式：可改写成：判决规则：定义判决函数等价形式：则判决规则等价形式为： 是“最小错误Bayes决策” 书43页(4-3)式 2、两类情况、两类情况： 书43页(4-3)式 或从式导出似然比形式：其中：判决规则： 4.4 正态分布模式的贝叶斯决策正态分布

17、模式的贝叶斯决策一、预备知识复习一、预备知识复习1、二次型、二次型设一向量，矩阵则称为二次型。二次型中的矩阵A是一个对称矩阵，即 。含义：是一个二次齐次多项式，2、正定二次型、正定二次型 对于 （即X分量不全为零），总有 ，则称此二些型是正定的，而其对应的矩阵称为正定矩阵。3、单变量（一维）的正态随机向量、单变量（一维）的正态随机向量密度函数表示为：曲线如图示：= -1，=0.5 ； = 0，=1 ； = 1，=2 .4、一维正态曲线的性质、一维正态曲线的性质（2）曲线关于直线 x =对称。（3）当 x =时，曲线位于最高点。（4）当x时，曲线上升；当x时，曲线下降.并且当曲线向左、右两边无限

18、延伸时，以x轴为渐近线，向它无限靠近。（1）曲线在 x 轴的上方，与x轴不相交。（5）一定时，曲线的形状由确定。越大，曲线越“矮胖”，表示总体的分布越分散；越小。曲线越“瘦高”。表示总体的分布越集中。 （6）“3”规则即：绝大部分样本都落在了均值附近3的范围内，因此正态密度曲线完全可由均值和方差来确定，常简记为：p(x) 左图为某大学男大学生的身高数据，红线是拟合的密度曲线。可见，其身高应服从正态分布。 总之，正态分布（高斯分布）广泛存在于自然、生产及科学技术的许多领域之中，对许多实际情况都是一种合适的模型，并且具有良好的特征，所以受到很大重视。5、多变量（、多变量（n维）正态随机向量维）正态

19、随机向量密度函数与单变量类似，表示为：式中|C|：协方差矩阵C的行列式， 多维正态密度函数完全由它的均值 M 和协方差矩阵C所确定，简记为：p(X)N( M , C )为对称正定矩阵。以二维正态密度函数作图(a)、(b)所示：等高线（等密度线）投影到x1ox2面上为椭圆，从原点O到点M 的向量为均值M，圆心为M。椭圆的形状由协方差矩阵C决定。 对许多实际的数据集，正态分布通常是合理的近似。正态分布概率模型特点： 1. 物理上的合理性。 2. 数学上的简单性。 前面介绍的Bayes方法事先必须求出p(X|i) 、 p(i) 。而当 p(X|i)呈正态分布时，只需要知道 M 和 C 矩阵即可。二、

20、正态分布模式的二、正态分布模式的Bayes决策决策1、多类情况、多类情况具有M 种模式类别的多变量正态密度函数为： (5.4-1)式中，每一类模式的分布密度都完全被其均值向量Mi和协方差矩阵Ci所规定，其定义为：协方差矩阵Ci是对称的正定矩阵，它决定样本分布的形状，中心由均值向量M决定。 在最小错误率Bayes决策中，类别i的判别函数可写为：对正态密度函数，为了方便，取对数后有： (5.4-2)对数是单调递增函数，故取对数后仍有相对应的分类性能。去掉与i无关的项，不影响分类，简化为：这就是正态分布的最小错误率Bayes决策的判别函数。 (5.4-3) (5.4-1) (5.4-2)将(5.4-

21、1)代入(5.4-2)式： di(X)为超二次曲面。可见对正态分布模式的Bayes分类器，两类模式之间用一个二次判别界面分开，就可以求得最优的分类效果。 (5.4-3)判决规则同前：2、两类问题、两类问题 当C1C2时：对应判别函数判别界面 是X的二次型方程决定的超曲面，如图(a)所示。 当： 图(a) 当C1=C2=C时：由(5.4-3)式，由此导出判别界面为：为X的线性函数，是一超平面。当为二维时，判别界面为一直线，如图(b)所示。 (5.4-4) (5.4-3)两类相同，抵消展开相同，合并 当时：判别界面如图(c)示。图(c)图(b) (5.4-4)例：设在三维特征空间里，分别在两个类型

22、中获得4个样本，位于一个单位立方体的顶点上：设两类为正态分布，其均值向量和协方差矩阵可用下式估计： (5.4-5) (5.4-5)式中， Ni为类别i中模式的数目，xij代表在第i类中的第j个模式。两类的先验概率 。试确定两类之间的判别界面。解：经计算有因协方差矩阵相等，故(5.4-4)为其判别式。由于 (5.4-4)将代入：图中画出判别平面的一部分。三、分类器的错误概率三、分类器的错误概率 评价一种判别规则的性能，需要计算错分的概率。两类问题中，可能会发生两种错误：（1）将来自1类的模式错分到R2中去；（2）将来自2 类的模式错分到R1中去。总的错误定义为这两种错误的先验概率加权和，即：总错

23、误概率：一维模式下的情况如下图示： 只有符合贝叶斯判别准则，即判别阈值满足的条件，分类错误概率才能最小，但总错误概率不可能为零。 考虑总错误概率是必要的，只使一个样品的错误概率最小是没有意义的，因为这时另一类的错误概率可能很大。4.5 聂曼聂曼-皮尔逊皮尔逊(Neyman-Person)判别判别1、Neyman-Person判决思想判决思想适用于p(i)难以确定时。基本思想：限制一个错误概率，追求另一个最小(二类问题)。二类问题的最小错误率Bayes决策中的总错误：P1(e)：1类模式被错分到2类区域时，引起的错误概率。P2(e)：2类模式被错分到1类区域时，引起的错误概率。 Neyman-P

24、erson准则出发点：在取P2(e)等于常数的条件下，使P1(e)为最小，以此来确定阀值。在“信号检测”中：P2(e)代表虚警概率；P1(e)代表漏报概率=1-PD（检测概率） 此时准则含义：在虚警概率P2(e)是一个可以承受的常数值的条件下，使漏报概率为最小。X为一维情况的概率密度曲线使总错误率最小：最小错误率Bayes决策 使风险（错误引起的损失）最小： 最小平均风险Bayes决策 (0-1)损失最小风险Bayes决策 限制一个错误概率，追求另一个最小： Neyman-Person判别分析：研究算法的三种思路解：(1)(2)(3)例4.4 一两类问题，模式分布为二维正态，其分布参数 协方差

25、矩阵为C1=C2=I，设P2(e)=0.046，求聂曼-皮尔逊决策规则的似然比阈值和判别界面。i=1，2解：(1) 求类概率密度函数 正态分布的类概率密度函数为已知 ， ，又计算得：(2) 求似然比 若，则(3) 求判别式决策规则： 两边取自然对数，有 得判别式 若，则（4-62） (4) 求似然比阈值由 与 的关系有分离积分，向正态分布表的标准形式变换，有令 有：写成N（0，1）查正态分布数值表，要求P2(e)=0.046。 在表上查 。当 时， 。对应=？对应=1.69，即有计算得由（4-62）式得判别界面： 若，则（4-62） 图4.12 聂曼-皮尔逊决策结果总结分析：研究算法的三种思路 使风险（错误引起的损失）最小： 最小平均风险Bayes决策 (0-1)损失最小风险Bayes决策 使总错误率最小：最小错误率Bayes决策 限制一个错误概率，追求另一个最小： Neyman-Person决策