《ch2贝叶斯分类》由会员分享，可在线阅读，更多相关《ch2贝叶斯分类（72页珍藏版）》请在金锄头文库上搜索。
1、理学院理学院武汉理工大学武汉理工大学n第第二二章章 贝叶斯贝叶斯决策理决策理论论Pattern R2010.3理学院理学院武汉理工大学武汉理工大学 第二章第二章 贝叶斯决策理论贝叶斯决策理论n2.1 引言引言123n2.2 基于最小错误率的基于最小错误率的Bayes决策决策n2.3 基于最小风险的基于最小风险的Bayes决策决策n2.4 正态分布的最小错误率正态分布的最小错误率Bayes决策决策n2.5 Neuman-Pearson 决策决策 45n2.6 最小最大决策最小最大决策 6理学院理学院武汉理工大学武汉理工大学 数据获取数据获取数据获取数据获取预处理预处理预处理预处理特征提取特征提取
2、特征提取特征提取与选择与选择与选择与选择分类决策分类决策分类决策分类决策分类器分类器分类器分类器设计设计设计设计2.1 引言引言理学院理学院武汉理工大学武汉理工大学 n统计决策理论根据每一类总体的概率分布决定决策边界。nBayes决策理论是统计决策理论的基本方法每一类出现的先验概率类条件概率密度2.1 引言引言理学院理学院武汉理工大学武汉理工大学 例：例：医生要根据病人血液中白细胞的浓度来判断病人医生要根据病人血液中白细胞的浓度来判断病人 是否患血液病。（两类的识别问题。）是否患血液病。（两类的识别问题。）n根据医学知识和以往的经验医生知道：根据医学知识和以往的经验医生知道： 患病的人，白细胞
3、的浓度服从均值患病的人，白细胞的浓度服从均值2000，方差，方差1000的正态的正态分布；未患病的人，白细胞的浓度服从均值分布；未患病的人，白细胞的浓度服从均值7000，方差，方差3000的正态分布；的正态分布；n一般人群中，患病的人数比例为一般人群中，患病的人数比例为0.5%。n一个人的白细胞浓度是一个人的白细胞浓度是3100，医生应该做出怎样的判断？，医生应该做出怎样的判断？2.1 引言引言理学院理学院武汉理工大学武汉理工大学 医生掌握的知识非常充分，他知道医生掌握的知识非常充分，他知道类别的先验分布：类别的先验分布：先验分布：先验分布：没有获得观测数据（病人白细胞浓度）之没有获得观测数据
4、（病人白细胞浓度）之前类别的分布。前类别的分布。2.1 引言引言n数学表示：用数学表示：用 表示表示“类别类别”这一随机变量，这一随机变量， 表示患病，表示患病， 表示不患病；表示不患病；X 表示表示“白细胞浓度白细胞浓度”这个随机变量，这个随机变量，x 表示浓度值。表示浓度值。理学院理学院武汉理工大学武汉理工大学 医生掌握的知识非常充分，他知道医生掌握的知识非常充分，他知道观测数据白细胞浓度分别在两种情况下的类条件分布：观测数据白细胞浓度分别在两种情况下的类条件分布：2.1 引言引言p(x|1)p(x|2)类条件概率密度函数类条件概率密度函数理学院理学院武汉理工大学武汉理工大学 n评价决策有
5、多种标准，对于同一个问题，采用不同评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下的标准会得到不同意义下“最优最优”的决策。的决策。nBayes 决策是所有识别方法的一个基准。决策是所有识别方法的一个基准。nBayes 决策常用的准则：决策常用的准则：最小错误率；最小错误率；最小风险；最小风险；n在限定一类错误率条件下使另一类错误率为最小的在限定一类错误率条件下使另一类错误率为最小的准则（准则（N-P准则）；准则）；n最小最大决策准则。最小最大决策准则。2.1 引言引言理学院理学院武汉理工大学武汉理工大学 n以两类分类问题为例：已知先验分布以两类分类问题为例：已知先验分布P
6、P( (i i) )和观测和观测值的类条件分布值的类条件分布 p(x|i)，i=1,2问题：问题：对某个样本对某个样本 x，x1 or x2？n以以后验概率后验概率为判决函数：为判决函数：n决策规则：决策规则：2.2 Bayes最小错误率决策最小错误率决策若 P (1 1 / x) P (2 2 / x) 则判则判 x 1 1 若 P (2 2 / x) P (1 1 / x) 则判则判 x 2 2理学院理学院武汉理工大学武汉理工大学 后验概率 P(i| x)的计算nBayesBayes公式公式：假设已知先验概率假设已知先验概率P P( (i i) )和观测值的和观测值的类条件分布类条件分布
7、p p(x(x| |i i) )，i i=1,2=1,2理学院理学院武汉理工大学武汉理工大学 n两类细胞识别问题：正常(1)和异常(2)n根据已有知识和经验，两类的先验概率为：正常(1)： P(1)=0.9异常(2)： P(2)=0.1对某一样本观察值x，通过计算或查表得到： p(x|1)=0.2， p(x|2)=0.4n如何对细胞x进行分类？后验概率 P(i| x)的计算理学院理学院武汉理工大学武汉理工大学 n利用贝叶斯公式计算利用贝叶斯公式计算两类的后验概率：两类的后验概率：决策结果决策结果决策结果决策结果后验概率 P(i| x)的计算理学院理学院武汉理工大学武汉理工大学 p(x|1)p(
8、x|2)p(1|x)p(2|x)类条件概率密度函数类条件概率密度函数后验概率后验概率2.2 Bayes最小错误率决策最小错误率决策理学院理学院武汉理工大学武汉理工大学 等价的判别规则 x x * * * * = = = = argmaxargmax P P ( (i i i i / x) / x) i i i i x x * * * * = = = = argmax P P (x / (x /i i i i) ) P P ( (i i i i ) )i i i i l l ( (x x) = ) = P P (x / (x / 1 1 1 1) )P P (x / (x / 2 2 2 2)
9、)P P ( (2 2 2 2) )P P ( (1 1 1 1) ) h h( (x x) = ) = - - - - lnln l l ( ( x x ) = ) = - - - -lnln P P (x/ (x/ 1 1 1 1) ) + + lnln P P (x/ (x/ 2 2 2 2) ) P P ( (1 1 1 1) )P P ( (2 2 2 2) )lnlnx x 1 1 x x 2 2 最小错误率最小错误率决策决策x x 1 1 x x 2 2 理学院理学院武汉理工大学武汉理工大学 2.2 Bayes最小错误率决策最小错误率决策n决策域决策域: 对于对于m m类分类问题
10、，按照判别规则可以把类分类问题，按照判别规则可以把特征向量空间特征向量空间( (或称模式空间或称模式空间) )分成分成m m个互不相交的个互不相交的区域区域R Ri i , ,i=1,2,mi=1,2,mn决策边界决策边界: 划分决策域的边界，在数学上用解析形划分决策域的边界，在数学上用解析形式可以表示成决策边界方程。式可以表示成决策边界方程。n判别函数判别函数: 用于表达决策规则的某些函数。判别函用于表达决策规则的某些函数。判别函数与决策边界方程是密切相关的，而且它们都由相数与决策边界方程是密切相关的，而且它们都由相应的判别规则所确定。应的判别规则所确定。理学院理学院武汉理工大学武汉理工大学
11、 g g i i( (x x) = ) = P P ( (i i i i / / x x) ) i i = 1,2,= 1,2,mm g g i i( (x x) = ) = P P ( (x x/ /i i i i) ) P P ( (i i i i ) ) i i = 1,2,= 1,2,mm g g i i( (x x) = ) = lnln P P ( (x x/ /i i i i) ) + + lnln P P ( (i i i i) ) i i = 1,2,= 1,2,mm若若若若 k k = = = = argmaxargmax g g i i ( (x x), ), i i =
12、 1,2,= 1,2,mm 则则则则 x x k k, ,称称g g i i ( (x x) ) 为第为第为第为第 i i 类的判别函数类的判别函数类的判别函数类的判别函数. .对每一类别对每一类别对每一类别对每一类别, , 定义一个函数定义一个函数定义一个函数定义一个函数g g i i( (x x) ) i i = 1,2,= 1,2,m, m, 且满足且满足且满足且满足下述下述下述下述g g i i( (x x) )均均均均为为为为最小错误率判别规则最小错误率判别规则最小错误率判别规则最小错误率判别规则判别函数判别函数判别函数判别函数. .理学院理学院武汉理工大学武汉理工大学 n不同的判别
13、方法有不同的判别函数。确定了判别不同的判别方法有不同的判别函数。确定了判别函数，决策边界也就确定下来了函数，决策边界也就确定下来了, ,相邻的两个决策相邻的两个决策域在决策边界上其判别函数值是相等的域在决策边界上其判别函数值是相等的。n如果决策如果决策域域 R i与与 Rj 是相邻的是相邻的,则分则分割这两个决策割这两个决策域的决策边界方程应满足：域的决策边界方程应满足： 一般地说，一般地说，模式模式 x x 为为二维时，决策边界为一曲线；二维时，决策边界为一曲线；三维时，决策边界为一曲面；三维时，决策边界为一曲面；d维维(d3)时，决策边界为一超曲面。时，决策边界为一超曲面。一维时，决策边界
14、为一分界点；一维时，决策边界为一分界点； 理学院理学院武汉理工大学武汉理工大学 分类器设计n分类器是某种由硬件或软件组成的分类器是某种由硬件或软件组成的“机器机器”：计算计算c个判别函数个判别函数gi i(x)最大值选择最大值选择MAXMAXg g1 1.g g2 2g gc c.x1x2xna(x)判别判别函数函数n多类识别问题的多类识别问题的Bayes最小错误率决策：最小错误率决策：gi(x) = P (i |x)理学院理学院武汉理工大学武汉理工大学 决策的错误率n 条件错误率：条件错误率：最小错误率最小错误率决策决策（平均）错误率是条件错误率的数学期望（平均）错误率是条件错误率的数学期望
15、n（平均）错误率：（平均）错误率：理学院理学院武汉理工大学武汉理工大学 决策的错误率最小错误率最小错误率决策决策n条件错误率条件错误率P(e|x)的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定 x1 ，或者x2。n条件错误率为：理学院理学院武汉理工大学武汉理工大学 决策的错误率n设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点。两个决策区域:R1(-，t)和R2(t，+)最小错误率最小错误率决策决策理学院理学院武汉理工大学武汉理工大学 决策的错误率t理学院理学院武汉理工大学武汉理工大学 决策的错误率nBayesBayes最小错误率决策最小错误率决策使得每个观测值下的
16、条件错误率最小因而保证了（平均）错误率最小。nBayesBayes决策决策是一致最优决策。最小错误率最小错误率决策决策理学院理学院武汉理工大学武汉理工大学 多类决策过程决策规则如果 ，则错误率特种空间分割成 个区域，平均错误率由c(c-1)项组成。理学院理学院武汉理工大学武汉理工大学 多类决策过程决策规则如果 ，则错误率特种空间分割成 个区域，平均错误率由c(c-1)项组成。此时，可以计算平均正确分类概率 p(c), 则p(e) =1- p(c)理学院理学院武汉理工大学武汉理工大学 n决策的风险：做决策要考虑决策可能引起的损失。以医生根据白细胞浓度判断一个人是否患血液病为例：没病(1)被判为有
17、病(2) ，还可以做进一步检查，损失不大；有病(2)被判为无病(1) ，损失严重。2.3 基于最小风险的基于最小风险的Bayes决策决策理学院理学院武汉理工大学武汉理工大学 损失矩阵最小风险最小风险决策决策n损失的定义：(N类问题)做出决策 D(x) = ，但实际上 xj，受到的损失定义为：理学院理学院武汉理工大学武汉理工大学 决策规则：2.3 基于最小风险的基于最小风险的Bayes决策决策风险R（期望损失）：对x采取一个判决行动所付出的代价。条件风险（也叫条件期望损失）：理学院理学院武汉理工大学武汉理工大学 n基于最小风险的Bayes决策：决策带来的损失的（平均）风险最小。nBayes最小风
18、险决策通过保证每个观测值下的条件风险最小，使得它的期望风险最小，是一致最优决策。2.3 基于最小风险的基于最小风险的Bayes决策决策理学院理学院武汉理工大学武汉理工大学 两类问题最小风险Bayes决策决策规则为 若 R(1 | x) (12- 22) p(x|2) p(2) ，则选择 1 理学院理学院武汉理工大学武汉理工大学 Bayes最小风险决策例解n两类细胞识别问题：正常(1)和异常(2)n根据已有知识和经验，两类的先验概率为：正常(1)： P(1)=0.9异常(2)： P(2)=0.1对某一样本观察值x，通过计算或查表得到： p(x|1)=0.2， p(x|2)=0.411=0， 12
19、=6， 21=1， 22=0，n按最小风险决策如何对细胞x进行分类？最小风险最小风险决策决策理学院理学院武汉理工大学武汉理工大学 Bayes最小风险决策例解（2）n后验概率： P(1|x) =0.818， P(2|x) =0.182决策结果决策结果最小风险最小风险决策决策理学院理学院武汉理工大学武汉理工大学 两类判别法的联系n基于基于最小错误率最小错误率的的Bayes决策可作为决策可作为最小风险最小风险Bayes决策的一种特殊情形。决策的一种特殊情形。n只需要定义损失为：最小风险最小风险决策决策决策正确时，损失为0决策错误时，损失为1理学院理学院武汉理工大学武汉理工大学 2.4 正态分布的最小
20、错误率正态分布的最小错误率Bayes决策决策nBayes决策中，类条件概率密度的选择要求：模型合理性计算可行性n常用概率密度模型：正态分布观测值通常是很多种因素共同作用的结果，根据中心极限定理，服从正态分布。计算、分析最为简单的模型。理学院理学院武汉理工大学武汉理工大学 一元正态分布正态分布正态分布BayesBayes决策决策n一元正态分布及其两个重要参数：均值（中心）方差（分散度）理学院理学院武汉理工大学武汉理工大学 多元正态分布n观测向量：实际应用中，可以同时观测多个值，用向量表示。多元正态分布：正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 多元正态分布
21、的性质n参数和完全决定分布n不相关性等价于独立性n边缘分布和条件分布的正态性n线性变换的正态性:线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。n线性组合的正态性正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 n观测向量的类条件分布服从正态分布：n判别函数的计算：判别函数中与类别判别函数中与类别i无关的项，对于无关的项，对于类别的决策没有影响，可以忽略。类别的决策没有影响，可以忽略。2.4 正态分布的最小错误率正态分布的最小错误率Bayes决策决策理学院理学院武汉理工大学武汉理工大学 2.5 正态分布的最小错误率正态分布的最小错误
22、率Bayes决策决策n决策面理学院理学院武汉理工大学武汉理工大学 最小距离分类器与线性分类器n判别函数的简化计算：判别函数的简化计算：正态分布正态分布BayesBayes决策决策最小距离分类器最小距离分类器最小距离分类器最小距离分类器线性分类器线性分类器线性分类器线性分类器n第一种特例：协方差相等且具有相同的方差协方差相等且具有相同的方差理学院理学院武汉理工大学武汉理工大学 最小距离分类器与线性分类器正态分布正态分布BayesBayes决策决策n第一种特例：协方差相等且具有相同的方差协方差相等且具有相同的方差理学院理学院武汉理工大学武汉理工大学 最小距离分类器与线性分类器n第一种特例：正态分布
23、正态分布BayesBayes决策决策协方差相等且具有相同的方差协方差相等且具有相同的方差理学院理学院武汉理工大学武汉理工大学 最小距离分类器与线性分类器n第二种特例：正态分布正态分布BayesBayes决策决策协方差阵相等协方差阵相等理学院理学院武汉理工大学武汉理工大学 最小距离分类器与线性分类器n第二种特例：n判别函数的简化计算：判别函数的简化计算：正态分布正态分布BayesBayes决策决策MahalanobisMahalanobis距离距离距离距离线性分类器线性分类器线性分类器线性分类器协方差阵相等协方差阵相等理学院理学院武汉理工大学武汉理工大学 正态模型的Bayes决策面n两类问题正态
24、模型的决策面：决策面方程：g1(x)=g2(x)两类的协方差矩阵相等，决策面是超平面。两类的协方差矩阵不等，决策面是超二次曲面。正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 正态分布下的几种决策面的形式正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 理学院理学院武汉理工大学武汉理工大学 理学院理学院武汉理工大学武汉理工大学 正态分布的Bayes决策例解n两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。n根据医学知识和以往的经验，医生知道：患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；
25、未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；一般人群中，患病的人数比例为0.5%。一个人的白细胞浓度是3100，医生应该做出怎样的判断？正态分布正态分布BayesBayes决策决策理学院理学院武汉理工大学武汉理工大学 n数学表示：用表示“类别”这一随机变量，1表示患病， 2表示不患病；x表示“白细胞浓度”这个随机变量。n例子中，医生掌握的知识非常充分，他知道：1) 类别的先验分布：P(1) = 0.5%P(2) = 99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布正态分布正态分布BayesBayes决策决策正态分布的Bayes决策例解理学院理学院武汉理
26、工大学武汉理工大学 2) 观测数据白细胞浓度分别在两种情况下的类条件分布： P(x|1) N(2000,1000) P(x|2) N(7000,3000)P(3100|1) = 2.1785e-4P(3100|2) = 5.7123e-5P(1|3100)=1.9%P(2|3100)=98.1%n医生的判断：正常医生的判断：正常正态分布正态分布BayesBayes决策决策正态分布的Bayes决策例解理学院理学院武汉理工大学武汉理工大学 n1.输入类数输入类数M；特征数；特征数n，待分样本数，待分样本数m.n2.输入训练样本数输入训练样本数N和训练集资料矩阵和训练集资料矩阵X(Nn)。并计并计算
27、有关参数。算有关参数。n3.计算矩阵计算矩阵y中各类的后验概率。中各类的后验概率。n4.若按最小错误率原则分类，则可根据若按最小错误率原则分类，则可根据 3 的结果判定的结果判定y中各类样本的类别。中各类样本的类别。n5.若按最小风险原则分类，则输入各值，并计算若按最小风险原则分类，则输入各值，并计算y中各中各样本属于各类时的风险并判定各样本类别。样本属于各类时的风险并判定各样本类别。Bayes分类的算法分类的算法（假定各类样本服从正态分布）理学院理学院武汉理工大学武汉理工大学 v例例1、有训练集资料矩阵如下表所示，现已知，有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2
28、、M=2，试问，试问，X=(0,0)T应属于哪一类？应属于哪一类？训练样本号训练样本号k1 2 3 4 5 1 2 3 4 特征特征 x1特征特征 x21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2类别类别1 2解解1、假定二类协方差矩阵不等（、假定二类协方差矩阵不等（12） 则均值则均值:理学院理学院武汉理工大学武汉理工大学 理学院理学院武汉理工大学武汉理工大学 -1-1-2x2分类线分类线待测样本待测样本x1理学院理学院武汉理工大学武汉理工大学 v解解2、假定两类协方差矩阵相等、假定两类协方差矩阵相等=1+2-1-1-2x2分类线分类线待测样本待测样本x
29、1理学院理学院武汉理工大学武汉理工大学 n 采用最小错误率贝叶斯决策需要知道先验概率采用最小错误率贝叶斯决策需要知道先验概率.n P ( i ) ，但有时，但有时P (i ) 难以确定。采用最小风险贝叶斯决难以确定。采用最小风险贝叶斯决策需要确定恰当的损失值，这也并非易事策需要确定恰当的损失值，这也并非易事.n在两类问题决策中，有时要求在两类问题决策中，有时要求 P2 ( e ) 不得大于某个常数，不得大于某个常数，即取即取 P2 ( e ) ， 是一个很小的常数，在这个条件下再是一个很小的常数，在这个条件下再要求要求 P1( e )尽可能小尽可能小. 在这种情况下在这种情况下, 奈曼奈曼-皮
30、尔逊决策为此皮尔逊决策为此提供了一种决策方案提供了一种决策方案.2.5 Neyman-Pearson 决策决策 理学院理学院武汉理工大学武汉理工大学 2.5 Neyman-Pearson 决策决策 n 这种决策可看成是在这种决策可看成是在 条件下，求条件下，求 的条件极小值问题的条件极小值问题. 可采用拉格朗日乘数法求解可采用拉格朗日乘数法求解.F F = = P1 ( e ) +(+(P2 ( e ) - -0 ) )理学院理学院武汉理工大学武汉理工大学 2.5 Neyman-Pearson 决策决策 n 这种决策可看成是在这种决策可看成是在 条件下，求条件下，求 的条件极小值问题的条件极小
31、值问题. 可采用拉格朗日乘数法求解可采用拉格朗日乘数法求解.理学院理学院武汉理工大学武汉理工大学 2.5 Neyman-Pearson 决策决策 n 这种决策可看成是在这种决策可看成是在 条件下，求条件下，求 的条件极小值问题的条件极小值问题. 可采用拉格朗日乘数法求解可采用拉格朗日乘数法求解.同理同理同理同理P P ( (x x/ /1 1 1 1) )P P ( (x x/ /2 2 2 2) ) P P ( (x x/ /1 1 1 1) )P P ( (x x/ /2 2 2 2) ) x x 1 1 x x 2 2 由此得判别规则为由此得判别规则为由此得判别规则为由此得判别规则为理学
32、院理学院武汉理工大学武汉理工大学 2.5 Neyman-Pearson 决策决策 n 这种决策可看成是在这种决策可看成是在 条件下，求条件下，求 的条件极小值问题的条件极小值问题. 可采用拉格朗日乘数法求解可采用拉格朗日乘数法求解.同理同理同理同理的求法的求法:利用约束条件利用约束条件理学院理学院武汉理工大学武汉理工大学 例：两类的模式分布为二维正态例：两类的模式分布为二维正态 协方差矩阵为单位矩阵协方差矩阵为单位矩阵1=2=I，设，设20.09 求求 N-P 准则准则 .2.5 Neyman-Pearson 决策决策 解：解：理学院理学院武汉理工大学武汉理工大学 2.5 Neyman-Pea
33、rson 决策决策 理学院理学院武汉理工大学武汉理工大学 2.5 Neyman-Pearson 决策决策 n于是得于是得与与2的关系表如下：的关系表如下： 4 2 1 20.04 0.09 0.16 0.25 0.38 P P ( ( x x /2 2 2 2 ) ) d xd x P P 2 2 ( ( e e ) = ) =由已知由已知,可计算得在可计算得在 22中中 x 1 N( 1, 1 ), 进一步可得进一步可得理学院理学院武汉理工大学武汉理工大学 2.5 Neyman-Pearson 决策决策 n所以此时所以此时N-P分类器的分界线为：分类器的分界线为：理学院理学院武汉理工大学武汉
34、理工大学 2.6 最小最大决策最小最大决策 n从最小错误率和最小风险的贝叶斯决策中可以看出从最小错误率和最小风险的贝叶斯决策中可以看出,其决策其决策都是与先验概率都是与先验概率P(i)有关的有关的,当先验概率已知时当先验概率已知时,按照贝叶斯按照贝叶斯决策规则决策规则,可以使错误率或风险最小可以使错误率或风险最小,如果如果P(i)是可变的或事是可变的或事先对先验概率毫无所知先对先验概率毫无所知,就无法用贝叶斯决策就无法用贝叶斯决策.n本节介绍一种最小化最大风险的决策方法本节介绍一种最小化最大风险的决策方法,也就是在最差的也就是在最差的条件下条件下,争取最好的结果争取最好的结果,我们将此方法简称
35、我们将此方法简称最小最大决策最小最大决策.理学院理学院武汉理工大学武汉理工大学 2.6 最小最大决策最小最大决策 理学院理学院武汉理工大学武汉理工大学 2.6 最小最大决策最小最大决策 理学院理学院武汉理工大学武汉理工大学 2.6 最小最大决策最小最大决策 n这样，就得出最小风险与先验概率的关系曲线，如图所示：这样，就得出最小风险与先验概率的关系曲线，如图所示：n讨论：讨论：理学院理学院武汉理工大学武汉理工大学 2.6 最小最大决策最小最大决策 n这样，就得出最小风险与先验概率的关系曲线，如图所示：这样，就得出最小风险与先验概率的关系曲线，如图所示：n讨论：讨论：理学院理学院武汉理工大学武汉理工大学 2.6 最小最大决策最小最大决策 n 上式证明，所选的判别边界，使两类的概率相等：上式证明，所选的判别边界，使两类的概率相等：n 这时可使最大可能的风险为最小，这时先验概率变化，这时可使最大可能的风险为最小，这时先验概率变化， 其风险不变。其风险不变。理学院理学院武汉理工大学武汉理工大学 2.7 讨论n基于Bayes决策的最优分类器nBayes决策的三个前提：类别数确定各类的先验概率P(i)已知各类的条件概率密度函数p(x|i)已知n问题的转换：基于样本估计概率密度基于样本直接确定判别函数
