《模式识别 第2章 贝叶斯决策理论课件》由会员分享，可在线阅读，更多相关《模式识别 第2章 贝叶斯决策理论课件（50页珍藏版）》请在金锄头文库上搜索。
1、,武汉大学电子信息学院,IPL,第二章 贝叶斯决策理论,模式识别与神经网络Pattern Recognition and Neural Network,内容目录,IPL,第二章 贝叶斯决策理论,2.1 引言,2,1,3,4,2.2 基于判别函数的分类器设计,2.3 基于最小错误率的Bayes决策,2.4 基于最小风险的Bayes决策,2.5 正态分布的最小错误率Bayes决策,2.6 讨论,5,6,第二章 Bayes决策理论,3,2.1 引言,数据获取,预处理,特征提取与选择,分类决策,分类器设计,信号空间,特征空间,第二章 Bayes决策理论,4,基本概念,模式分类：根据识别对象的观测值确定
2、其类别 样本与样本空间：,类别与类别空间：c个类别（类别数已知）,第二章 Bayes决策理论,5,决策,把x分到哪一类最合理？理论基础之一是统计决策理论 决策：是从样本空间S，到决策空间的一个映射，表示为 D: S - ,引言,第二章 Bayes决策理论,6,决策准则,引言,评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则,第二章 Bayes决策理论,7,2.2 基于判别函数的分类器设计,判别函数 (discriminant funct
3、ion)：相应于每一类定义一个函数，得到一组判别函数gi(x), i = 1, 2, , c 决策区域与决策面(decision region/surface)：,第二章 Bayes决策理论,9,决策规则(decision rule),规则表达1,规则表达2,第二章 Bayes决策理论,10,分类器设计,分类器是某种由硬件或软件组成的“机器”： 计算c个判别函数gi(x) 最大值选择,判别函数,多类识别问题的Bayes最小错误率决策：gi(x) = P (i |x),第二章 Bayes决策理论,11,2.3 Bayes最小错误率决策,以两类分类问题为例：已知先验分布P(i)和观测值的类条件分布
4、p(x|i)，i=1,2问题：对某个样本x，x 1? x 2？,即选择P(1|x)，P(2|x)中最大值对应的类作为决策结果 该决策使得在观测值x下的条件错误率P(e|x)最小。 Bayes决策理论是最优的,以后验概率为判决函数： 决策规则：,第二章 Bayes决策理论,12,后验概率P (i| x)的计算,Bayes公式： 假设已知先验概率P(i)和观测值的类条件分布p(x|i)，i=1,2,最小错误率决策,第二章 Bayes决策理论,13,公式简化,比较大小不需要计算p(x)：,最小错误率决策,第二章 Bayes决策理论,14,公式简化,对数域中计算，变乘为加：,最小错误率决策,判别函数中
5、与类别i无关的项，对于类别的决策没有影响，可以忽略,第二章 Bayes决策理论,15,Bayes最小错误率决策例解,两类细胞识别问题：正常(1)和异常(2) 根据已有知识和经验，两类的先验概率为： 正常(1)： P(1)=0.9 异常(2)： P(2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|1)=0.2， p(x|2)=0.4 如何对细胞x进行分类？,最小错误率决策,第二章 Bayes决策理论,16,Bayes最小错误率决策例解（2）,利用贝叶斯公式计算两类的后验概率：,最小错误率决策,决策结果,第二章 Bayes决策理论,17,图解,最小错误率决策,p(1|x),p(2|
6、x),类条件概率密度函数,后验概率,第二章 Bayes决策理论,18,决策的错误率,条件错误率：,最小错误率决策,（平均）错误率是条件错误率的数学期望,（平均）错误率：,第二章 Bayes决策理论,19,决策的错误率（2）,最小错误率决策,条件错误率P(e|x)的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定 x1 ，或者x2。 条件错误率为：,第二章 Bayes决策理论,20,决策的错误率（3）,Bayes最小错误率决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率最小。 Bayes决策是一致最优决策。,最小错误率决策,第二章 Bayes决策理论,21,决策的错误率（
7、4）,设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点。两个决策区域:R1(-，t)和R2(t，+),最小错误率决策,第二章 Bayes决策理论,23,2.4 基于最小风险的Bayes决策,决策的风险： 做决策要考虑决策可能引起的损失。 以医生根据白细胞浓度判断一个人是否患血液病为例： 没病(1)被判为有病(2) ，还可以做进一步检查，损失不大； 有病(2)被判为无病(1) ，损失严重。,第二章 Bayes决策理论,24,损失矩阵,损失的定义：(N类问题)做出决策D (x)=i，但实际上 x j，受到的损失定义为：,损失矩阵或决策表：,最小风险决策,第二章 Bayes决策理论,25
8、,期望条件风险与期望风险,期望条件风险：获得观测值x后，决策D(x)造成的损失对x实际所属类别的各种可能的平均，称为条件风险R(D(x)|x),最小风险决策,期望风险：条件风险对观测值x的数学期望,第二章 Bayes决策理论,26,基于最小风险的Bayes决策,基于最小风险的Bayes决策：决策带来的损失的（平均）风险最小 Bayes最小风险决策通过保证每个观测值下的条件风险最小，使得它的期望风险最小，是一致最优决策。,最小风险决策,决策规则：,第二章 Bayes决策理论,27,最小风险决策的计算,给定损失矩阵，算出每个决策的条件风险，取最小的。 某些特殊问题，存在简单的解析表达式。,最小风险
9、决策,第二章 Bayes决策理论,28,两类问题最小风险Bayes决策,最小风险决策,用Bayes公式展开，最小风险Bayes决策得到：,第二章 Bayes决策理论,29,Bayes最小风险决策例解,两类细胞识别问题：正常(1)和异常(2) 根据已有知识和经验，两类的先验概率为： 正常(1)： P(1)=0.9 异常(2)： P(2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|1)=0.2， p(x|2)=0.4 11=0， 12=6， 21=1， 22=0， 按最小风险决策如何对细胞x进行分类？,最小风险决策,第二章 Bayes决策理论,30,Bayes最小风险决策例解（2）
10、,后验概率： P(1|x) =0.818， P(2|x) =0.182,决策结果,最小风险决策,第二章 Bayes决策理论,31,最小风险决策的一般性,基于最小错误率的Bayes决策可作为最小风险Bayes决策的一种特殊情形。 只需要定义损失为：,最小风险决策,决策正确时，损失为0决策错误时，损失为1,第二章 Bayes决策理论,32,2.5 正态分布的最小错误率Bayes决策,Bayes决策中，类条件概率密度的选择要求： 模型合理性 计算可行性 常用概率密度模型：正态分布 观测值通常是很多种因素共同作用的结果，根据中心极限定理，服从正态分布。 计算、分析最为简单的模型。,第二章 Bayes决
11、策理论,33,一元正态分布,正态分布Bayes决策,一元正态分布及其两个重要参数： 均值（中心） 方差（分散度）,第二章 Bayes决策理论,34,多元正态分布,观测向量：实际应用中，可以同时观测多个值，用向量表示。多元正态分布：,正态分布Bayes决策,第二章 Bayes决策理论,35,多元正态分布的性质,参数和完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性,正态分布Bayes决策,第二章 Bayes决策理论,36,参数和完全决定分布,正态分布,协方差矩阵是对称矩阵 多元正态分布由n+n(n+1)/2个参数所完全决
12、定,第二章 Bayes决策理论,37,等概率密度轨迹为超椭球面,正态分布,等概率密度轨迹为超椭球面 Mahalanobis距离,第二章 Bayes决策理论,38,不相关性等价于独立性,正态分布,多元正态分布的任意两个分量互不相关，则它们一定独立,第二章 Bayes决策理论,39,线性变换的正态性,正态分布,多元正态随机向量x,对x进行线性变换得到多元正态随机向量y,第二章 Bayes决策理论,40,正态分布的最小错误率Bayes决策,观测向量的类条件分布服从正态分布：,判别函数的计算：,正态分布Bayes决策,判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略,第二章 Bayes决策
13、理论,41,最小距离分类器与线性分类器,第一种特例：,判别函数的简化计算：,正态分布Bayes决策,最小距离分类器,线性分类器,第二章 Bayes决策理论,42,最小距离分类器与线性分类器,第二种特例：,判别函数的简化计算：,正态分布Bayes决策,Mahalanobis距离,线性分类器,第二章 Bayes决策理论,43,正态模型的Bayes决策面,两类问题正态模型的决策面： 决策面方程：g1(x)=g2(x) 两类的协方差矩阵相等，决策面是超平面。 两类的协方差矩阵不等，决策面是超二次曲面。,正态分布Bayes决策,第二章 Bayes决策理论,44,正态模型的Bayes决策面,正态分布Bay
14、es决策,正态分布下的几种决策面的形式,正态分布Bayes决策,第二章 Bayes决策理论,46,正态分布的Bayes决策例解,两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 根据医学知识和以往的经验，医生知道： 患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布； 一般人群中，患病的人数比例为0.5%。 一个人的白细胞浓度是3100，医生应该做出怎样的判断？,正态分布Bayes决策,第二章 Bayes决策理论,47,数学表示：用表示“类别”这一随机变量，1表示患病， 2表示不患病；x表示“
15、白细胞浓度”这个随机变量。 例子中，医生掌握的知识非常充分，他知道： 1) 类别的先验分布：P(1) = 0.5%P(2) = 99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布,正态分布Bayes决策,正态分布的Bayes决策例解,第二章 Bayes决策理论,48,2) 观测数据白细胞浓度分别在两种情况下的类条件分布： P(x|1) N(2000,1000) P(x|2) N(7000,3000) P(3100|1) = 2.1785e-004P(3100|2) = 5.7123e-005P(1|3100)=1.9%P(2|3100)=98.1% 医生的判断：正常,正态分布Bayes决策,正态分布的Bayes决策例解,第二章 Bayes决策理论,49,2.6 讨论,基于Bayes决策的最优分类器,Bayes决策的三个前提： 类别数确定 各类的先验概率P(i)已知 各类的条件概率密度函数p(x|i)已知 问题的转换： 基于样本估计概率密度 基于样本直接确定判别函数,第二章 Bayes决策理论,50,习题,试简述先验概率，类条件概率密度函数和后验概率等概念间的关系： 试写出利用先验概率和分布密度函数计算后验概率的公式 EX2.5 EX2.15 EX2.17 EX2.23,
