《贝叶斯决策理论ppt课件》由会员分享，可在线阅读，更多相关《贝叶斯决策理论ppt课件（91页珍藏版）》请在金锄头文库上搜索。
1、贝叶斯决策理论Bayesian Decision Theory,贝叶斯决策理论,引言 贝叶斯决策常用的准则 分类器，判别函数，决策面 正态分布的判别函数,引言,机器自动识别分类，能不能避免错分类，做到百分之百正确？怎样才能减少错误？ 错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，那么有没有可能对危害大的错误严格控制？ 什么是先验概率、类概率密度函数和后验概率？它们的定义和相互关系如何?贝叶斯公式正是体现三者关系的式子。,引言,贝叶斯决策理论 贝叶斯统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器（Classifier）的设计起指导作用。 贝叶斯决策的两个要求 各个
2、类别的总体概率分布 (先验概率和类条件概率密度) 是已知的 要决策分类的类别数是一定的,引言,在连续情况下，假设对要识别的物理对象有d种特征观察量x1,x2,xd，这些特征的所有可能的取值范围构成了d维特征空间。 称向量 假设要研究的分类问题有c个类别，类型空间表示为：,为d维特征向量。,引言,评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 贝叶斯决策常用的准则： 最小错误率准则 最小风险准则 Neyman-Pearson准则 最小最大决策准则,贝叶斯决策理论,引言 贝叶斯决策常用的准则 分类器，判别函数，决策面 正态分布的判别函数 Bayesian置信网,
3、Bayes决策准则,最小错误率准则 最小风险准则 Neyman-Pearson准则 最小最大决策准则,假设你昨晚目击了一起夜间出租车肇事逃逸事件，你记得看到的肇事出租车是蓝色的，而且你还知道下面2条信息，那么你会认为肇事出租车是什么颜色的？ (1) 西安所有的出租车都是绿色或蓝色的； (2) 大量实验表明，在昏暗的灯光条件下，人眼对于蓝色和绿色的区分的可靠度是75%； 假设随后你又了解到第3条信息：（3）西安的出租车10辆中有9辆是绿色的，此时你又会得出怎样的结论？,Some about Bayes(1),用B表示事件“肇事车是蓝色的”，用LB表示“肇事车看起来是蓝色的”， 则对颜色区分准确程
4、度的概率可以表示为 P(LB|B)=0.75 P(LB|B)=0.75 对当肇事车看起来是蓝色的情况下，确实是蓝色的概率为 P(B|LB)P(LB|B)P(B)0.75P(B) P(B|LB)P(LB|B)P(B)0.25(1-P(B) 而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于是有 P(B|LB)0.750.1=0.075 P(B|LB)0.25(1-P(B)=0.250.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。,Some about Bay
5、es(2),一所学校里面有 60% 的男生，40% 的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。假设你走在校园中，迎面走来一个穿长裤的学生（很不幸的是你高度近似，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别），你能够推断出他（她）是女生的概率是多大吗？,算出学校里面有多少穿长裤的，然后在这些人里面再算出有多少女生？即要求的就是P(Girl|Pants)。 假设校园内总人数为U，计算的结果是 U * P(Girl) * P(Pants|Girl) / U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl) 。容易发现这里
6、校园内人的总数是无关的，可以消去。于是得到 P(Girl|Pants) = P(Girl) * P(Pants|Girl) / P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl) 注意，如果把上式收缩起来，分母其实就是 P(Pants) ，分子其实就是 P(Pants, Girl) 。而这个比例很自然地就读作：在穿长裤的人（ P(Pants) ）里面有多少（穿长裤）的女孩（ P(Pants, Girl) ）。 上式中的 Pants 和 Boy/Girl 可以指代一切东西，所以其一般形式就是： P(B|A) = P(A|B) * P(B) / P(A|
7、B) * P(B) + P(A|B) * P(B) ,最小错误率准则,黑色：第一类,粉色：第二类,绿色：哪一类？,统计决策理论就是根据每一类总体的概率分布决定未知类别的样本属于哪一类！,最小错误率准则,先验概率： 类条件概率： 后验概率： 贝叶斯公式,未获得观测数据之前类别的分布,观测数据在各类别种情况下的分布,X属于哪一类的概率,其中：,最小错误率准则,例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 两类识别问题：患病，未患病 根据医学知识和以往的经验，医生知道： 患病的人，白细胞的浓度服从均值2000方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差300
8、0的正态分布；（类条件概率） 一般人群中，患病的人数比例为0.5%；（先验概率） 一个人的白细胞浓度时3100，医生应该做出怎样的判断？（后验概率？）,最小错误率准则,数学表示： ：表示类别这一随机变量 1：表示患病 2：表示不患病 X：表示白细胞浓度这一随机变量 x： 表示白细胞浓度值,最小错误率准则,医生根据已经掌握的知识知道类别的先验分布：,先验概率分布：未获得观测数据（病人白细胞浓度）之前类别的分布。,最小错误率准则,观测数据白细胞浓度分别在两种情况下的类条件概率分布：,已知先验分布和观测值的类条件概率分布，就可以用贝叶斯理论求得x属于哪一类的后验概率： 和,最小错误率准则,最小错误率
9、准则 以先验概率、类条件概率密度、特征值（向量）为输入 以后验概率作为类别判断的依据 贝叶斯公式保证了错误率最小,最小错误率准则,最小错误率的贝叶斯决策规则为： 如果 大于 ，则把x归于患病状态，反之则归于未患病状态。（最大后验概率决策）,x1=x2 ?,最小错误率准则,最小错误率准则的平均错误率：,最小错误率准则,最小错误率准则的平均错误率： 记平均错误率为P(e)，令 t = x2=x3，则,最小错误率准则,平均错误率是否最小？,最小错误率准则,似然比公式,则：,等价于：,似然比公式,最小错误率准则,特例1：,最小错误率准则,特例2：,最小错误率准则,形式逻辑（经典确定性推理） 以鲈鱼和鲑
10、鱼分类为例： 假言：如果鱼的长度 大于45cm，则该鱼为 鲈鱼 ，否则该鱼为鲑鱼 前提：现在某条鱼 结论：该鱼为鲑鱼 概率推理（不确定性推理）,最小错误率准则,例子： 给定 ，类条件概率密度如图。 现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？,故判决：,Bayes决策准则,最小错误率准则 最小风险准则 Neyman-Pearson准则 最小最大决策准则,最小风险准则,最小风险贝叶斯决策：考虑各种错误造成损失不同而提出的一种决策规则。 条件风险：,最小风险准则,期望风险：对于x的不同观察值，采取决策i时，其条件风险大小是不同的。所以究竟采取哪一种决策将随x的取值而定。这样
11、，决策可以看成随机向量x的函数，记为(x)。可以定义期望风险Rexp为： 期望风险反映对整个空间上所有x的取值采取相应的决策(x)所带来的平均风险。,最小风险准则,两分类问题的例子：,似然比公式,最小风险准则,最小风险贝叶斯决策的步骤： 1）根据先验概率和类条件概率计算出后验概率； 2）利用后验概率和损失矩阵计算采取每种决策的条件风险； 3）比较各个条件风险的值，条件风险最小的决策即为最小风险贝叶斯决策,最小风险准则,最小风险准则,对于贝叶斯最小风险决策，如果损失函数为“0-1损失”，即取如下的形式： 那么，条件风险为： 此时，贝叶斯最小风险决策与最小错误率决策等价。,Bayes决策准则,最小
12、错误率准则 最小风险准则 Neyman-Pearson准则 最小最大决策准则,Neyman-Pearson准则,最小错误率准则: 后验概率最大化，理论上错误率最小 最小风险准则： 风险函数最小化，理论上总风险最小 在先验概率和损失未知的情况下如何决策？,Neyman-Pearson准则,问题：先验概率和损失未知 通常情况下，无法确定损失。 先验概率未知，是一个确定的值 某一种错误较另一种错误更为重要。 基本思想： 要求一类错误率控制在很小，在满足此条件的前提下再使另一类错误率尽可能小。 用lagrange乘子法求条件极值,Neyman-Pearson准则,对两分类问题，错误率可以写为： 由于P
13、(1) 和P(2)对具体问题往往是确定的（但是未知），一般称P1(e)和P2(e)为两类错误率。 P1(e)和P2(e)的值决定了P(e)的值。,Neyman-Pearson准则,Neyman-Pearson准则,为了求L的极值点，将 L 分别对 t 和求偏导：,注意：这里分析的是两类错误率，与先验概率无关！ 决策准则 ？,Neyman-Pearson准则,最小错误率准则的等价形式,Neyman-Pearson准则,两者都以似然比为基础，在未知先验概率时使用Neyman-Pearson准则。,Bayes决策准则,最小错误率准则 最小风险准则 Neyman-Pearson准则 最小最大决策准则,
14、最小最大决策准则,Neyman-Pearson准则假定先验概率是一个确定的值，此时判定结果会受到先验概率的影响。 实际中，类先验概率 P(i) 往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在 P(i) 不确知或变动的情况下使期望风险变大的问题。 最小最大决策准则：在最差的条件下争取最好的结果，使最大风险最小！,最小最大决策准则,分析期望风险 R 与先验概率 P(1) 的关系：,对于两类问题，设一种分类识别决策将特征空间R划分为两个子空间 R1 和 R2 ，记ij为将属于 i 类的模式判为j 类的损失函数，各种判决的期望风险为：,最小最大决策准则,将,和,
15、带入上式：,最小最大决策准则,期望风险可写成：,一旦 R1 和 R2 确定，a和b为常数 一旦 R1 和 R2 确定， R 与 P(1) 成线性关系 选择使 b=0 的R1 和 R2 ，期望风险与P(1) 无关！,最小最大决策准则,最小最大决策准则,求 b=0 时的 p(1) 等价于在R随着p(1)的变化曲线上求：,时的p(1)。,在 b=0 时的 决策条件下，期望风险与p(1) 无关，值为a，此时，R的最大值最小。这种决策准则称为最小最大决策准则。,最小最大决策准则,由于： 当采用0-1损失函数时，b=0可推导出：,此时，最小最大损失判决所导出的最佳分界面应使两类错误概率相等！,贝叶斯决策理
16、论,引言 贝叶斯决策常用的准则 分类器，判别函数，决策面 正态分布的判别函数 Bayesian置信网,分类器，判别函数，决策面,分类器最常用的表述方式为判别函数： 基于判别函数的判决,每个类别对应一个判别函数。,分类器，判别函数，决策面,判别函数 Discriminant functions,分类器，判别函数，决策面,基于最小误差概率的贝叶斯分类器,分类器，判别函数，决策面,特殊的，对于两分类问题，也可以只用一个判别函数 令： 判决规则 例如：,如果：,则模式为,否则为,分类器，判别函数，决策面,判决区域: 判决区域 Ri 是特征空间中的一个子空间，判决规则将所有落入 Ri 的样本x分类为类别i。 决策面（Decision Surface）： 判决边界是特征空间中划分判决区域的（超）平面 在判决边界上，通常有两类或多类的判别函数值相等,分类器，判别函数，决策面,判别函数和决策面：,分类器，判别函数，决策面,分类器设计就是设计判别函数，求出判定面方程g
