《ch2贝叶斯分类13》由会员分享，可在线阅读，更多相关《ch2贝叶斯分类13（50页珍藏版）》请在金锄头文库上搜索。
1、理学院理学院武汉理工大学武汉理工大学第二章第二章 贝叶斯决策理论贝叶斯决策理论Pattern Recognition理学院理学院武汉理工大学武汉理工大学 第二章第二章 贝叶斯决策理论贝叶斯决策理论n2.1 引言引言123n2.2 基于最小错误率的基于最小错误率的Bayes决策决策n2.3 基于最小风险的基于最小风险的Bayes决策决策n2.4 正态分布的最小错误率正态分布的最小错误率Bayes决策决策4理学院理学院武汉理工大学武汉理工大学 n以两类分类问题为例：已知先验分布以两类分类问题为例：已知先验分布P(i)和观测和观测值的类条件概率分布值的类条件概率分布 p(x|i)，i=1,2问题：问
2、题：对某个样本对某个样本 x，x1 or x2？n以后验概率为判决函数以后验概率为判决函数：n决策规则：决策规则：2.1 引例引例若若 P (1 / x) P (2 / x) 则则 x 1若若 P (2 / x) P (1 / x) 则则 x 2理学院理学院武汉理工大学武汉理工大学 nBayes公式公式：假设已知先验概率假设已知先验概率P ( i)和观测值的和观测值的类条件分布类条件分布 p(x|i )，i =1, 2例：后验概率例：后验概率 P(i| x)的计算的计算理学院理学院武汉理工大学武汉理工大学 n两类细胞识别问题：正常(1)和异常(2)n根据已有知识和经验，两类的先验概率为：正常(
3、1)： P(1)=0.9异常(2)： P(2)=0.1对某一样本观察值x，通过计算或查表得到： p(x|1)=0.2， p(x|2)=0.4n如何对细胞x进行分类？例：后验概率例：后验概率 P(i| x)的计算的计算理学院理学院武汉理工大学武汉理工大学 n利用贝叶斯公式计算利用贝叶斯公式计算两类的后验概率：两类的后验概率：决策结果决策结果决策结果决策结果例：后验概率例：后验概率 P(i| x)的计算的计算理学院理学院武汉理工大学武汉理工大学 等价的判别规则 x x * * * * = = = = argmax argmax P P ( ( i i i i / x) / x) i i i i x
4、 x * * * * = = = = argmax P P (x / (x / i i i i) ) P P ( ( i i i i ) ) i i i i l l ( (x x) = ) = P P (x / (x / 1 1 1 1) )P P (x / (x / 2 2 2 2) )P P ( ( 2 2 2 2) )P P ( ( 1 1 1 1) ) x x 1 1 x x 2 2 h h(x) = (x) = - - - - ln ln l l ( x( x ) = ) = - - - -ln ln P P (x/ (x/ 1 1 1 1) + ln ) + ln P P (x/
5、(x/ 2 2 2 2) ) P P ( ( 1 1 1 1) )P P ( ( 2 2 2 2) )lnlnx x 1 1 x x 2 2 理学院理学院武汉理工大学武汉理工大学 p(x|1)p(x|2)p(1|x)p(2|x)类条件概率密度函数类条件概率密度函数后验概率后验概率2.2 Bayes最小错误率决策最小错误率决策t理学院理学院武汉理工大学武汉理工大学 决策的错误率最小错误率最小错误率决策决策n条件错误率条件错误率P(e|x)的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定 x1 ，或者x2。n条件错误率为：理学院理学院武汉理工大学武汉理工大学 决策的错误率n设t为两类
6、的分界面，则在特征向量x是一维时，t为x轴上的一点。两个决策区域:R1(-，t)和R2(t，+)最小错误率最小错误率决策决策理学院理学院武汉理工大学武汉理工大学 决策的错误率t理学院理学院武汉理工大学武汉理工大学 决策的错误率nBayesBayes最小错误率决策最小错误率决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率最小。nBayesBayes决策决策是一致最优决策。最小错误率最小错误率决策决策理学院理学院武汉理工大学武汉理工大学 多类决策过程决策规则如果 ，则错误率特种空间分割成 个区域，平均错误率由c(c-1)项组成。理学院理学院武汉理工大学武汉理工大学 多类决策过程决策规则
7、如果 ，则错误率特种空间分割成 个区域，平均错误率由c(c-1)项组成。此时，可以计算平均正确分类概率 p(c), 则p(e) =1- p(c)理学院理学院武汉理工大学武汉理工大学 n决策的风险：做决策要考虑决策可能引起的损失。以医生根据白细胞浓度判断一个人是否患血液病为例：没病(1)被判为有病(2) ，还可以做进一步检查，损失不大；有病(2)被判为无病(1) ，损失严重。2.3 最小风险的最小风险的Bayes决策决策理学院理学院武汉理工大学武汉理工大学 损失矩阵最小风险最小风险决策决策n损失的定义：(N类问题)做出决策 D(x) = ，但实际上 xj，受到的损失定义为：理学院理学院武汉理工大
8、学武汉理工大学 决策规则：2.3 最小风险的最小风险的Bayes决策决策风险R（期望损失）：对x采取一个判决行动所付出的代价。理学院理学院武汉理工大学武汉理工大学 两类问题最小风险Bayes决策决策规则为 若 R(1 | x) (12- 22) p(x|2) p(2) ，则选择 1 理学院理学院武汉理工大学武汉理工大学 Bayes最小风险决策例解n两类细胞识别问题：正常(1)和异常(2)n根据已有知识和经验，两类的先验概率为：正常(1)： P(1)=0.9异常(2)： P(2)=0.1对某一样本观察值x，通过计算或查表得到： p(x|1)=0.2， p(x|2)=0.411=0， 12=6，
9、21=1， 22=0，n按最小风险决策如何对细胞x进行分类？最小风险最小风险决策决策理学院理学院武汉理工大学武汉理工大学 Bayes最小风险决策例解（2）n后验概率： P(1|x) =0.818， P(2|x) =0.182决策结果决策结果最小风险最小风险决策决策理学院理学院武汉理工大学武汉理工大学 两类判别法的联系n基于基于最小错误率最小错误率的的Bayes决策可作为决策可作为最小风险最小风险Bayes决策的一种特殊情形。决策的一种特殊情形。n只需要定义损失为：最小风险最小风险决策决策决策正确时，损失为0决策错误时，损失为1理学院理学院武汉理工大学武汉理工大学 分类器设计判别判别函数函数n多
10、类识别问题的多类识别问题的Bayes最小错误率决策：最小错误率决策：gi(x) = P (i |x)n分类器是某种由硬件或软件组成的分类器是某种由硬件或软件组成的“机器机器”：计算计算c个判别函数个判别函数最大值选择最大值选择MAXMAXg g1 1g g2 2g gc cx1x2xna(x)理学院理学院武汉理工大学武汉理工大学 一个一维的两分问题，如果一个一维的两分问题，如果 两类的概率密度分别两类的概率密度分别（1）求最小错误率的贝叶斯分类的阈值；）求最小错误率的贝叶斯分类的阈值；（2）设损失矩阵为）设损失矩阵为 ，求最小风险的，求最小风险的 贝叶斯分类的阈值贝叶斯分类的阈值例例理学院理学
11、院武汉理工大学武汉理工大学 2.4 正态分布的最小错误率正态分布的最小错误率Bayes决策决策nBayes决策中，类条件概率密度的选择要求：模型合理性计算可行性n常用概率密度模型：正态分布观测值通常是很多种因素共同作用的结果，根据中心极限定理，服从正态分布。计算、分析最为简单的模型。理学院理学院武汉理工大学武汉理工大学 一元正态分布正态分布正态分布BayesBayes决策决策n一元正态分布及其两个重要参数：均值（中心）方差（分散度）理学院理学院武汉理工大学武汉理工大学 多元正态分布n观测向量：实际应用中，可以同时观测多个值，用向量表示。多元正态分布：正态分布正态分布BayesBayes决策决策
12、理学院理学院武汉理工大学武汉理工大学 多元正态分布的性质n参数和完全决定分布n不相关性等价于独立性n边缘分布和条件分布的正态性正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 多元正态分布的性质正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 多元正态分布的性质正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 n观测向量的类条件分布服从正态分布：n判别函数的计算：2.4 正态分布的最小错误率正态分布的最小错误率Bayes决策决策理学院理学院武汉理工大学武汉理工大学 2.4 正态分布的最小错误率正态分
13、布的最小错误率Bayes决策决策n对于d=2的情况，决策曲线决策曲线 是二次曲线是二次曲线 如如 椭圆、抛物线、双曲线、一对直线椭圆、抛物线、双曲线、一对直线理学院理学院武汉理工大学武汉理工大学 2.4 正态分布的最小错误率正态分布的最小错误率Bayes决策决策n对于d=2的情况，决策曲线 是二次曲线： 如 椭圆、抛物线、双曲线、一对直线椭圆、抛物线、双曲线、一对直线理学院理学院武汉理工大学武汉理工大学 2.4 正态分布的最小错误率正态分布的最小错误率Bayes决策决策理学院理学院武汉理工大学武汉理工大学 2.4 正态分布的最小错误率正态分布的最小错误率Bayes决策决策理学院理学院武汉理工大
14、学武汉理工大学 最小距离分类器与线性分类器n判别函数的简化计算：判别函数的简化计算：正态分布正态分布BayesBayes决策决策最小距离分类器最小距离分类器最小距离分类器最小距离分类器线性分类器线性分类器线性分类器线性分类器n第一种特例：协方差矩阵相等且具有相同的方差协方差矩阵相等且具有相同的方差理学院理学院武汉理工大学武汉理工大学 最小距离分类器与线性分类器n第一种特例：正态分布正态分布BayesBayes决策决策协方差矩阵相等且具有相同的方差协方差矩阵相等且具有相同的方差理学院理学院武汉理工大学武汉理工大学 最小距离分类器与线性分类器n第二种特例：n判别函数的简化计算：判别函数的简化计算：
15、正态分布正态分布BayesBayes决策决策MahalanobisMahalanobis距离距离距离距离线性分类器线性分类器线性分类器线性分类器协方差阵相等，非对角线矩阵协方差阵相等，非对角线矩阵理学院理学院武汉理工大学武汉理工大学 最小距离分类器与线性分类器n第二种特例：正态分布正态分布BayesBayes决策决策协方差阵相等，非对角线矩阵协方差阵相等，非对角线矩阵理学院理学院武汉理工大学武汉理工大学 各类协方差阵不相等正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 理学院理学院武汉理工大学武汉理工大学 理学院理学院武汉理工大学武汉理工大学 正态分布的Bay
16、es决策例解n两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。n根据医学知识和以往的经验，医生知道：患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；一般人群中，患病的人数比例为0.5%。一个人的白细胞浓度是3100，医生应该做出怎样的判断？正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 n数学表示：用表示“类别”这一随机变量，1表示患病， 2表示不患病；x表示“白细胞浓度”这个随机变量。n例子中，医生掌握的知识非常充分，他知道：1) 类别的先验分布：P(1
17、) = 0.5%P(2) = 99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布正态分布正态分布BayesBayes决策决策正态分布的Bayes决策例解理学院理学院武汉理工大学武汉理工大学 2) 观测数据白细胞浓度分别在两种情况下的类条件分布： P(x|1) N(2000,1000) P(x|2) N(7000,3000)P(3100|1) = 2.1785e-4P(3100|2) = 5.7123e-5P(1|3100)=1.9%P(2|3100)=98.1%n医生的判断：正常医生的判断：正常正态分布正态分布BayesBayes决策决策正态分布的Bayes决策例解理学院理学
18、院武汉理工大学武汉理工大学 n1.输入类数输入类数M；特征数；特征数n，待分样本数，待分样本数m.n2.输入训练样本数输入训练样本数N和训练集资料矩阵和训练集资料矩阵X(Nn)。并计。并计算有关参数。算有关参数。n3.计算矩阵计算矩阵y中各类的后验概率。中各类的后验概率。n4.若按最小错误率原则分类，则可根据若按最小错误率原则分类，则可根据 3 的结果判定的结果判定y中各类样本的类别。中各类样本的类别。n5.若按最小风险原则分类，则输入各值，并计算若按最小风险原则分类，则输入各值，并计算y中各中各样本属于各类时的风险并判定各样本类别。样本属于各类时的风险并判定各样本类别。Bayes分类的算法分
19、类的算法（假定各类样本服从正态分布）理学院理学院武汉理工大学武汉理工大学 v例例1、有训练集资料矩阵如下表所示，现已知，有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2、M=2，试问，试问，X=(0,0)T应属于哪一类？应属于哪一类？训练样本号训练样本号k1 2 3 4 5 1 2 3 4 特征特征 x1特征特征 x21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2类别类别1 2解解1、假定二类协方差矩阵不等（、假定二类协方差矩阵不等（12） 则均值则均值:理学院理学院武汉理工大学武汉理工大学 -1-1-2x2分类线分类线待测样本待测样本
20、x1理学院理学院武汉理工大学武汉理工大学 v解解2、假定两类协方差矩阵相等、假定两类协方差矩阵相等=1+2-1-1-2x2分类线分类线待测样本待测样本x1理学院理学院武汉理工大学武汉理工大学 作业n1. 设以下模式类别具有正态概率密度函数：设以下模式类别具有正态概率密度函数： 1：(0 0)T, (2 0)T, (2 2)T, (0 2)T 2：(4 4)T, (6 4)T, (6 6)T, (4 6)T （1）设）设P(1)= P(2)=1/2，求这两类模式之间，求这两类模式之间的贝叶斯判别界面的方程式。的贝叶斯判别界面的方程式。 （2）绘出判别界面。）绘出判别界面。n编写两类正态分布模式的贝叶斯分类程序。编写两类正态分布模式的贝叶斯分类程序。（可选例题或上述作业题为分类模式）（可选例题或上述作业题为分类模式）理学院理学院武汉理工大学武汉理工大学 作业n2. 一个两类三维分类问题，每类的特征向量一个两类三维分类问题，每类的特征向量是正态分布，协方差矩阵为是正态分布，协方差矩阵为 均值向量分别为均值向量分别为 写出相应的线性判别函数及决策面的方程写出相应的线性判别函数及决策面的方程.
