贝叶斯决策理论分析

《贝叶斯决策理论分析》由会员分享，可在线阅读，更多相关《贝叶斯决策理论分析（55页珍藏版）》请在金锄头文库上搜索。

1、第第2章章贝叶斯决策理论贝叶斯决策理论Chapter 2: Bayesian decision theory 本章主要内容本章主要内容2.1 基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策 2.3 正态分布时的贝叶斯统计决策正态分布时的贝叶斯统计决策 2.2 基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策 2.4 分类器的错误率问题分类器的错误率问题 (重点)(重点)(了解)(熟悉)2.1 基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策 2.1.1 预备知识预备知识 用向量来表示模式用向量来表示模式12345转化成列向量0101000123353433010011“1”模式： 一

2、些供比对用的、“标准”的样本。特征提取35模式“1”的图片高维积分高维积分已知模式（样本）：一维积分：高维积分：二重积分：若推广2.1.1 预备知识（续）预备知识（续） 贝叶斯公式贝叶斯公式贝叶斯公式的另一种形式：2.1.1 预备知识（续）预备知识（续） q 由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等诸多理论体系，进而形成一个贝叶斯学派；贝叶斯公式：（1763年提出）q 贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数学公式之一 ；q 贝叶斯公式的两个创新点：（1）用概率表示所有形式的不确定性； （2）例如天气预报时，“今天下雨的概率是85%”比直接预测“今天下雨”要更科学

3、 ； 引入了“先验”与“后验”的概念；先验与后验先验与后验2.1.1 预备知识（续）预备知识（续） 贝叶斯公式：例：例：利用贝叶斯公式求 的最大值：先验后验q 先验概率：是指根据历史资料或主观判断所确定的事件发生的概率，该类概率没有经过实验证实，属检验前的概率。（争议点） q 后验概率：进行实验后，事件发生的概率。q 贝叶斯公式在推理中融入了先验，即融入了对事物既有的一些认识：2.1.1 预备知识（续）预备知识（续） 条件概率密度条件概率密度若有两个随机变量X和Y，它们的联合概率密度为 ， 变量X和Y各自的边缘概率密度为 和 ，则在条件Y=y下，X的条件概率密度为2.1.1 预备知识（续）预备

4、知识（续） 分类错误率分类错误率分类错误率 = 被错分的样本数 / 样本总数分类方案一分类方案二在分类中，希望分类错误率尽可能地小。2.1.2 最小错误率贝叶斯决策的前提最小错误率贝叶斯决策的前提 （1）要决策分类的类别数是一定的；前提：（2）每一类出现的“先验概率”已知；类类即已知（3）每一类的“类条件概率密度”已知；即已知待解决的分类问题：与类类待解决的分类问题：2.1.3 最小错误率贝叶斯决策规则最小错误率贝叶斯决策规则决策规则（样本只有两类时）：如果如果则则先验概率已知类条件概率密度已知可能属于 类也可能属于 类。2.1.4 最小错误率贝叶斯决策规则应用实例最小错误率贝叶斯决策规则应用

5、实例例：例：细胞识别细胞识别 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概率分别为 正常状态： P ( ) =0.9; 异常状态： P ( ) =0.1.现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上查得 P(x | )=0.2, P(x | )=0.4.试对该细胞x进行分类。解：解：利用贝叶斯公式，分别计算出 及 的后验概率。 P( | x)= P( |x)=1- P( |x)=0.182类类2.1.4 最小错误率贝叶斯决策规则应用实例（续）最小错误率贝叶斯决策规则应用实例（续）类条件概率密度（已知）类条件概率密度（已知）后验概率密度（待求）后验概率密度（

6、待求）类类根据上图决策2.1.4 最小错误率贝叶斯决策规则应用实例（续）最小错误率贝叶斯决策规则应用实例（续）为什么类条件概率密度是已知的为什么类条件概率密度是已知的 “类条件概率密度”是指系统位于某种类型条件下，模式样本的概率密度函数。一般而言，同一类事物的某个属性都有一定的变化范围，在这个变化范围内的分布密度可用一种函数形式表示。类类 例如对于细胞识别而言，假设 是血红素浓度，则 表示正常血细胞的血红素浓度的分布情况。该分布可以事先测定，因此是已知的。正常血细胞异常血细胞2.1.4 最小错误率贝叶斯决策规则应用实例（续）最小错误率贝叶斯决策规则应用实例（续）为什么先验概率是已知的为什么先验

7、概率是已知的例如在某个局部地区（比如一个县）细胞识别中，要根据血红素浓度的测量值 判定其为正常血细胞或者是异常血细胞（例如白血病血细胞）。类类正常血细胞异常血细胞该县正常人的比例；该县白血病患者的比例；q上述比例关系可根据往年病历资料统计大致得到，因此可以看作是已知的。q上述比例关系尽管可能是近似的，但对决策准确程度的影响并不是直接的，这也是贝叶斯决策的一个优点。2.1.5 决策规则使错误率最小的理论证明决策规则使错误率最小的理论证明q 前面给出了最小错误率贝叶斯决策规则，但尚未证明按这种决策规则进行分类确实能使分类错误概率最小。下面以一维情况完成证明，其结果不难推广到多维。平均错误率：（是

8、的期望） 的概率密度对 进行分类（决策）时的错误决策规则（两类时）：如果如果则则(2-6)2.1.5 决策规则确实使错误率最小的理论证明（续）决策规则确实使错误率最小的理论证明（续）决策错误率 在每个x值处都取小者，因而平均错误率P(e)也必然达到最小。2.1.6 最小错误率贝叶斯决策规则向多类的推广最小错误率贝叶斯决策规则向多类的推广决策规则（样本只有两类时）：如果如果则则决策规则（样本有多类时）：类类类类类如果对于一切 成立，则2.2 基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策 2.2.1 为什么要引入基于风险的决策为什么要引入基于风险的决策基于最小错误率的贝叶斯决策错误率如果如果则

9、则误判为：误判为：错误率：错误率：q 基于最小错误率的贝叶斯决策只关注错误率，并不关注因误判而带来的风险。但在实际应用中考虑风险是很重要的。例：例：细胞识别细胞识别类类正常血细胞异常血细胞把正常血细胞误判为异常血细胞会给人带来不必要的痛苦；但若将异常血细胞误判为正常血细胞，则会使病人因失去及早治疗的机会而遭受极大的损失。“风险”的适用范围比错误率更广泛，它引入了“损失”的概念。即考虑了因误判而带来的损失。2.2.1 为什么要引入基于风险的决策（续）为什么要引入基于风险的决策（续）基于最小风险的贝叶斯决策风险本来误判为：误判为：错误率：错误率：本来造成的损失：造成的损失：把模式 判决为 类的一次

10、决策；模式 属于 类，现却将之判决为 类而带来的损失；2.2.2 一般决策表与条件风险一般决策表与条件风险 状态损 失决 策1212把模式 判决为 类的一次决策；模式 属于 类，现却将之判决为 类而带来的损失；状态空间：决策空间：一般决策表2.2.2 一般决策表与条件风险（续）一般决策表与条件风险（续）条件风险：模式 属于 类，现却将之判决为 类而带来的损失；模式 属于 类的概率（可能性）；例：例：计算条件风险计算条件风险 状态损 失决 策12120061（正常类）（异常类）（正常）（异常）已知所以这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以宁肯将之判别为异常类血细胞。（2-1

11、5）2.2.3 基于最小风险的贝叶斯决策应用实例基于最小风险的贝叶斯决策应用实例例：例：细胞识别细胞识别 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概率分别为 正常状态： P ( ) =0.9; 异常状态： P ( ) =0.1.现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上查得 P(x | )=0.2, P(x | )=0.4.且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。解：解： （1）利用贝叶斯公式，分别计算出 及 的后验概率。 P( | x)= P( |x)=1- P( |x)=0.182类类若贝叶斯决策2.2.3 基于最小风险的贝叶斯决

12、策应用实例（续）基于最小风险的贝叶斯决策应用实例（续） 状态损 失决 策12120061（正常类）（异常类）（正常）（异常）（2）计算条件风险（3）基于最小风险进行决策（将 判决为第 类的风险）（将 判决为第 类的风险）模式 属于 类的概率（可能性）；所以q 两类决策结果正好相反，这是因为影响决策结果的因素又多了一个“损失”。由于两类错误决策所造成的损失相差很悬殊，因此“损失”在这里起了主导作用。2.2.4 基于最小风险的贝叶斯决策规则与决策步骤基于最小风险的贝叶斯决策规则与决策步骤决策步骤：决策步骤：决策规则：决策规则：（根据贝叶斯公式计算）（计算条件风险）（决策）在实践中如何给出决策表：在

13、实践中如何给出决策表：2.2.4 基于最小风险的贝叶斯决策规则与决策步骤（续）基于最小风险的贝叶斯决策规则与决策步骤（续） 状态损 失决 策12120061（正常类）（异常类）（正常）（异常） 状态损 失决 策1212 在实践中要列出合适的决策表很不容易，往往要根据所研究的具体问题，分析错误决策造成损失的严重程度，与有关专家共同商讨来确定。（教材P15）（即需要具体问题具体分析）2.2.5 最小错误率与最小风险贝叶斯决策的联系最小错误率与最小风险贝叶斯决策的联系 状态损 失决 策12120011（正常类）（异常类）（正常）（异常）若采用0-1损失函数：例：例：两类样本的分类两类样本的分类根据条

14、件风险公式：则两类决策的风险为因此两种决策规则等价 （理论推导见教材P16）（将 判决为第 类的风险）（将 判决为第 类的错误率）2.3 正态分布时的贝叶斯统计决策正态分布时的贝叶斯统计决策 2.3.1 预备知识预备知识（1 1）一元正态分布）一元正态分布q 正态分布的样本主要集中分布在其均值附近，其分散程度可用标准差 来衡量，标准差愈大分散程度也越大。从正态分布的总体中抽取样本，约有95%的样本都落在区间 内。2.3.1 预备知识（续）预备知识（续）（2 2）多元正态分布）多元正态分布左图的投影多元正态分布协方差矩阵：均值向量：2.3.1 预备知识（续）预备知识（续）（3 3）多元正态分布的

15、）多元正态分布的协方差矩阵协方差矩阵q 区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是协方差矩阵的特征向量方向；2.3.2 贝叶斯统计决策的决策面与判别函数贝叶斯统计决策的决策面与判别函数例如：最小错误率贝叶斯决策规则（两类情形）如果如果则则类类q 根据决策规则只能确定样本 属于哪一类，而现在欲求决策面（分类面）。若 位于决策面上，应该有决策面方程：判别函数：类类决策面：决策面：如果按某种决策规则将空间分成若干个决策域，则将决策域的边界称为决策面。判别函数：判别函数： 用于表达决策规则的函数。例如：决策面方程：决策面方程： 决策面在数学上的解析表示。例如：g(x)阈值单元判别函数的

16、判别功能示意图2.3.2 贝叶斯统计决策的决策面与判别函数（续）贝叶斯统计决策的决策面与判别函数（续） 为一维时，决策面为一点； 为二维时，决策面为曲线； 为三维时，决策面为曲面； 大于三维时，决策面为超曲面。决策面方程的形态：决策面方程的形态：为二维时为一维时为三维时2.3.2 贝叶斯统计决策的决策面与判别函数（续）贝叶斯统计决策的决策面与判别函数（续）2.3.3 正态概型下的最小错误率贝叶斯决策的判别函数正态概型下的最小错误率贝叶斯决策的判别函数（1 1）“最小错误率贝叶斯决策最小错误率贝叶斯决策”的判别函数与决策面的推广：的判别函数与决策面的推广：（两类情形）取对数前后，所求决策面不变推

17、广至多类2.3.3 正态概型下最小错误率贝叶斯决策的判别函数（续）正态概型下最小错误率贝叶斯决策的判别函数（续）决策面：判别函数：（2）如果类条件概率密度）如果类条件概率密度 服从正态分布：服从正态分布：则判别函数：决策面：（3）为什么假设类条件概率密度）为什么假设类条件概率密度 服从正态分布服从正态分布2.3.3 正态概型下最小错误率贝叶斯决策的判别函数（续）正态概型下最小错误率贝叶斯决策的判别函数（续）数学上简便性：数学上简便性： 除了一些极其简单与不甚实用的统计分布模型外，正态分布可说是数学上最简便的一种。正态分布有许多良好的性质，便于对统计决策方法进行分析。物理上的合理性：物理上的合理

18、性： 在许多实际应用场合，如果同一类样本在特征空间内的确较集中地分布在其类均值的附近，远离均值处分布较少，那么一般情况下以正态分布模型近似往往是比较合理的。人们也往往因数学分析复杂程度考虑而不得不采用这种模型，当然使用时应注意结果是否合理或关注其可接受的程度。2.3.4 正态概型下最小错误率贝叶斯决策的讨论正态概型下最小错误率贝叶斯决策的讨论判别函数：决策面：q 以上决策面表达式很复杂，因此讨论以下两种特殊情形；类条件概率密度：（1）（2）2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续）正态概型下最小错误率贝叶斯决策的讨论（续）第一种情形：第一种情形：判别函数：决策面：判别函数：决策面：

19、2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续）正态概型下最小错误率贝叶斯决策的讨论（续）（1）若判别函数：决策面：决策面：2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续）正态概型下最小错误率贝叶斯决策的讨论（续）（2）若判别函数：决策面：展开并忽略与i无关的项 （具体过程见教材P31）判别函数：决策面：其中2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续）正态概型下最小错误率贝叶斯决策的讨论（续）决策面离开先验概率大的那个类的均值向量而朝先验概率较小的那类方向移动。 判别函数：决策面：其中第二种情形：第二种情形：2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续）正态概型下

20、最小错误率贝叶斯决策的讨论（续）判别函数：决策面：（具体推导过程见教材P33）决策面：其中判别函数：2.3.4 正态概型下最小错误率贝叶斯决策的讨论（续）正态概型下最小错误率贝叶斯决策的讨论（续）决策面：其中判别函数：则决策面过 点，但不与 方向正交。2.4 分类器的错误率问题分类器的错误率问题 2.4.1 对分类错误率的直观认识对分类错误率的直观认识q 分类错误率 = 被错分的样本数 / 样本总数分类方案一分类方案二q 在分类中，希望分类错误率尽可能地小。q 以上是最简单的情形（全体样本已知），但在很多情形下（如只知部分样本，或只知样本的分布），分类错误率并不容易计算。q 分类错误率是衡量分

21、类性能好坏的标尺。2.4.2 分类错误率的三种计算方式分类错误率的三种计算方式（1 1）在一些特殊情形下按理论公式计算）在一些特殊情形下按理论公式计算平均错误率：（是 的期望） 的概率密度对 进行分类（决策）时的错误决策规则（两类时）：如果如果则则(2-6)例：例：基于最小错误率的贝叶斯决策（前面讲过）（2 2）计算分类错误率的上界）计算分类错误率的上界错误率的理论计算一般相当困难，当不能从理论上直接计算时，往往去寻找它的上界。q 教材第38页介绍了Chernoff上界（很复杂）；q 第六章将推导近邻法错误率的上界；2.4.2 分类错误率的三种计算方式（续）分类错误率的三种计算方式（续）（3

22、3）利用样本集进行实验估计）利用样本集进行实验估计 （教材上没有）2.4.2 分类错误率的三种计算方式（续）分类错误率的三种计算方式（续）学习样本集与测试样本集学习样本集与测试样本集分类方案测试样本集学习样本集2.4.2 分类错误率的三种计算方式（续）分类错误率的三种计算方式（续）留一法留一法（leave one outleave one out，LOOLOO） 从N个样本中取1个样本，将剩下的N-1个样本作为学习样本集，设计分类方案。再把原取出的样本放回去，又取出另一个样本，将剩下的N-1个样本作为学习样本集，设计新分类方案。直至重复N次q 交叉验证法（cross validation，CV

23、）是留一法的推广，每次取出多个样本而不是一个样本。 2.4.2 分类错误率的三种计算方式（续）分类错误率的三种计算方式（续）用留一法用留一法估计错误率估计错误率在子集 上训练，然后对样本 进行测试，若测试结果与实际情况相符则 ，否则 。 2.4.2 分类错误率的三种计算方式（续）分类错误率的三种计算方式（续）自助法（自助法（bootstrapbootstrap） 从N个样本中随机取出N-m个样本，将剩下的m个样本作为学习样本集，设计分类方案。再把原取出的样本放回去，又取出另N-m个样本，将剩下样本作为学习样本集，设计新分类方案。直至重复B次q “bootstrap” 单词来自于德国作家Raspe的幻想小说吹牛大王历险记，小说中的主人公能够不依赖于外界的支撑，而是直接通过提起自己的鞋带就能使自己骑上马 。用自助法用自助法估计错误率估计错误率2.4.2 分类错误率的三种计算方式（续）分类错误率的三种计算方式（续）在子集 上训练，然后对整个样本集进行测试所得分类错误率。