{决策管理}第2章Bayes决策理论

《{决策管理}第2章Bayes决策理论》由会员分享，可在线阅读，更多相关《{决策管理}第2章Bayes决策理论（67页珍藏版）》请在金锄头文库上搜索。

1、第2章 Bayes决策理论,2.1 最小错误概率的Bayes决策 2.2最小风险的Bayes决策 2.3Neyman-Pearson决策 2.4 最小最大决策 2.5Bayes分类器和判别函数 2.6 正态分布时的Bayes决策法则 2.7离散情况的Bayes决策,实际上因为试验的样本是从总体中随机抽取的，不能保证用过去的抽取的样本训练得到的分类边界对新的模式样本也能较好地分类。因此，考虑样本不确定性的模式识别方法是非常重要 的。另外，还有特征选择不完善所引起的不确定性，模式数据采集和预处理和特征抽取过程中干扰和噪声引起的不确定性。综上，我们引出统计决策的方法。,返回本章首页,对模式 识别的主

2、要统计方法是Bayes决策理论，它是用概率论的方法研究决策问题，要求 （1）各类别先验概率以及条件概率密度均为已知 ，即各类别总体的概率分布是已知的； （2） 要决策分类的类别是一定的；,返回本章首页,2.1 最小错误概率的Bayes决策,在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。 假设某工厂生产两种大小，外形都相同的螺丝钉，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论： （1）先验概率已知； （2）先验概率和条件概率密度函数均已知。,返回本章首页,先验概率已知 铁螺丝出现的概率

3、铜螺丝出现的概率 它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。 合理的决策规则： 决策错误的概率：,返回本章首页,先验概率和条件概率密度函数均已知 铁螺丝出现的概率 铜螺丝出现的概率 铁螺丝出现的概率 铜螺丝出现的概率 螺丝背光源照射后反射光的亮度特征 求取后验概率：,返回本章首页,对待分类模式的特征我们得到一个观察值 ， 合理的决策规则： 决策错误的条件概率（随机变量 的函数）： 模式特征 是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征 ，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对

4、它们作出决策的平均错误概率 应是 的数学期望。,返回本章首页,平均错误概率 从式可知，如果对每次观察到的特征值 ， 是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。,返回本章首页,返回本章首页,返回本章首页,结 束放映,3.2 最小风险的Bayes决策,在上一节我们介绍了最小错误率的Bayes决策，并且证明了应用这种决策法则时，平均错误概率是最小的。但实际上有时需要考虑一个比错误率更为广泛的概念风险，举例说明。毋庸置疑，任何风险都会带来一定损失。看一个一般的决策表。,返回本章首页,返回本章首页,返回本章首页,观察或测量

5、到的 d 维模式特征向量；,状态或模式类空间,决策空间,损失函数，表示真实状态为 而所采取的决策为 时所带来的某种损失。 根据Bayes公式，后验概率为：,返回本章首页,对于刚才的决策表考虑如下的一个条件期望损失，即给定 ，我们采取决策 情况下的条件期望损失（条件风险） ： 采取那种决策呢？ 最小风险Bayes决策规则：,返回本章首页,综上，可知该规则的进行步骤为： （1）根据已知，计算出后验概率； （2）利用计算出的后验概率及决策表（专家根据经验确定），计算条件风险 （3）最小风险决策,返回本章首页,这样按最小风险的Bayes决策规则，采取的决策将随 的取值而定，引入函数 ，表示对 的决策。

6、对整个特征空间上所有 的取值采取相应的决策 所带来的平均风险 显然，我们对连续的随机模式向量按最小风险Bayes决策规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达到最小的Bayes决策规则，下面分析一下两种决策规则的关系。,返回本章首页,两类情况下的最小风险Bayes决策,返回本章首页,在两类问题中，若有 ，决策规则变为 这时最小风险的Bayes决策和最小错误率的Bayes决策规则是一致的。,返回本章首页,一般的多类问题中，设损失函数为0-1损失函数,返回本章首页,3.3 NeymanPearson决策,NeymanPearson决策即限定一类错

7、误率条件下使另一类错误率为最小的两类别决策。,返回本章首页,返回本章首页,用Lagrange乘子法建立其数学模型,返回本章首页,返回本章首页,返回本章首页,取得极小值的边界条件,与最小错误率的Bayes决策的比较,3.4 最小最大决策,有时我们必须设计在整个先验概率范围上都能很好的进行操作的分类器。比如，在我们的有些分类问题中可能设想尽管模式的有些物理属性恒定不变，然而先验概率可能变化范围很大，并且以一种不确定的 方式出现。或者，我们希望在先验概率不知道的情况下使用此分类器，那么一种合理的设计分类器的方法就是使先验概率取任何一种值时所引起的总风险的最坏的情况尽可能小，也就是说，最小化最大可能的

8、总风险。以二类模式识别问题为例，进行讨论。,返回本章首页,返回本章首页,以两类情况下的最小风险Bayes决策为例进行讨论,总风险公式,返回本章首页,假定决策域已经确定，我们以 表示分类器判为 时的特征空间中的区域，同样有 和 ，于是总风险用条件风险的形式表示为,返回本章首页,返回本章首页,一旦 和 确定，风险 就是先验概率 的线性函数，可表示为,决策阀值,返回本章首页,一旦 和 确定，风险 就是先验概率 的线性函数，可表示为,决策阀值,返回本章首页,返回本章首页,返回本章首页,综上所述，可以得出：在作最小风险Bayes决策时，若考虑 有可能改变或对先验概率毫无所知，则应选择使最小Bayes风险

9、 为最大值时的 来设计分类器，它相对于其它的 为最大，但能保证在不管 如何变化时，使最大风险将为最小，我们称其为最小最大决策。其任务就是寻找使Bayes风险为最大时的决策域 和 ，它对应于下式 然后确定,3.5 Bayes分类器和判别函数,返回本章首页,前面我们介绍了四种决策规则，这里结合第二章中介绍的判别函数和决策面的概念来设计分类器。 对于n 维空间中的 c 个模式类别各给出一个由 n 个特征组成的单值函数，这叫做判别函数。在 c 类的情况下，我们共有 c个判别函数，记为 判别函数的性质 假如一个模式 X 属于第 i 类，则有 而如果这个模式在第 i 类和第 j 类的分界面上，则有,返回本

10、章首页,1 多类情况 最小错误率的Bayes决策规则： 可设判别函数为：,返回本章首页,最小风险的Bayes决策规则， 可设判别函数为 决策面方程 分类器框图,返回本章首页,返回本章首页,返回本章首页,2 两类情况 可设判别函数为：,可将其任意分类，或拒绝,3.6 正态分布时的Bayes决策法则,返回本章首页,在前面我们提到设计Bayes分类器的两个先决已知条件： （1）先验概率 ； （2）条件概率密度函数 。 先验概率的估计并不困难，关键是条件概率密度函数。 这里我们以正态分布概率密度函数为主进行讨论，因为 在实际问题中，大量的随机变量都服从或近似地服从正态分布； 即使统计总体不服从正态分布

11、，但是它的许多重要的样本特征可能是渐进正态分布的； 正态分布分析起来比较方便。,返回本章首页,正态分布概率密度函数的定义及性质 （1）单变量正态分布 单变量正态分布概率密度函数 ，有两个参数 和 完全决定，常简记为 。,期望,方差,返回本章首页,（2）多维变量正态分布,均值向量,协方差矩阵,返回本章首页,多维变量正态分布密度函数的性质 （1）多维变量正态分布密度函数由均值向量 和协方差矩阵 完全确定，包含的参数个数为 。 （2）等密度点的轨迹为一超椭球面，且它的主轴方向由 阵的特征向量所确定，主轴的长度与相应的协方差矩阵 的本征值成正比。,返回本章首页,返回本章首页,设 在超椭球上， 到超椭球

12、中心的距离为 ，求主轴长度即是求其条件极值，构造Lagrange函数,返回本章首页,所以，第 i 个主轴的长度与 的第 i 个特征值的平方根成正比，如图所示。定义 为向量 到均值向量 的马氏距离。 等概率密度点的轨迹是一个到均值向量 的马氏距离为常数的超球体。 （3） 不相关性等价于独立性。 （4）边缘分布和条件分布的正态性。 （5）线性变换的正态性。 （6）线性组合的正态性。,返回本章首页,多维变量正态概率型下的最小错误率Bayes判别函数和决策面,返回本章首页,下面根据上式对以下三种情况进行讨论。,决策面方程,返回本章首页,（1） ，即每类的协方差矩阵都相等，而且类内各特征间相互独立，具有

13、相等的方差, 如果先验概率不等，那么平方距离（欧氏距离）必须通过方差进行归一化，并通过增加 进行修正。,返回本章首页, 如果先验概率相等 称其为最小距离分类器。对以上两类情况进行化简,返回本章首页,下面来看线性分类器的决策面方程,返回本章首页,对其，我们用一个二维二类模式例子，设先验概率相等，从几何上表示其关系（不相等的情况请参照教材P32）,返回本章首页,（2） ，即各类的协方差矩阵都相等,如果先验概率相等， 只要计算 到各类的均值点 的马氏距离平方，然后把 归于 距离平方最小的类别。,返回本章首页,对以上两类情况进行化简,返回本章首页,决策面方程,返回本章首页,对其，我们用一个二维二类模式

14、例子，设先验概率相等，从几何上表示其关系,返回本章首页,（2）各类的协方差矩阵不相等,返回本章首页,3.7 离散情况的Bayes决策,返回本章首页,前面我们我们介绍都是连续情况的Bayes决策理论，这里我们看一下的离散情况。设 是离散型随机变量，从而Bayes决策法则就是： 这时Bayes决策规则仍然不变，最小错误概率的Bayes决策法则仍为：,返回本章首页,最小风险的Bayes决策法则仍为： 这里着重讨论最小错误率的Bayes决策法则。等价的判别函数有以下几种形式： 对二类模式的分类问题，判别函数可采用以下的形式：,返回本章首页,设模式特征向量为 且各特征相互独立。并令：,返回本章首页,从而

15、似然比： 将其改写为线性判别函数的形式：,返回本章首页,式中：,可将其任意分类，或拒绝,课后习题（一）,返回本章首页,设五维空间的线性方程为 试求出其权向量与样本向量点积的表达式 中的 ， 以及增广权向量与增广样本向量形式 中的 与 。 上式是一个五维空间的超平面，求该平面到坐标原点的法向距 离。 2 论述以下概念并分析其解决问题的思想方法 （1）基于最小错误率的Bayes决策； （2）最小最大决策； （3）Fisher线性判别； （4）最小平方误差准则函数； （5）最小最大化准则。,返回本章首页,试从模式类与模式概念分析以下词之间的关系： 王老头，王 老太，王明（安徽工业大学本科生），周强（年轻教师），老年 人，老头，老太，年青人。,THANK YOU VERY MUCH ！,本章到此结束 下一章“概率密度函数的估计”,返回本章首页,结 束放映,