《 基于统计决策的概率分类法》由会员分享，可在线阅读，更多相关《 基于统计决策的概率分类法（114页珍藏版）》请在金锄头文库上搜索。
1、第2章 基于统计决策的概率分类法,2.1 研究对象及相关概率 2.2 贝叶斯决策 2.3 贝叶斯分类器的错误率 2.4 聂曼-皮尔逊决策 2.5 概率密度函数的参数估计 2.6 概率密度函数的非参数估计 2.7 后验概率密度分类的势函数方法,第2章 基于统计决策的概率分类法,获取模式的观察值时，有二种情况：* 确定性事件：事物间有确定的因果关系。第三章内容。* 随机事件：事物间没有确定的因果关系，观察到的特征具有统计特性，是一个随机向量。只能利用模式集的统计特性进行分类，使分类器发生分类错误的概率最小。,1. 两类研究对象,2. 相关概率,1）概率的定义,设是随机试验的基本空间（所有可能的实验
2、结果或基本 事件的全体构成的集合，也称样本空间），A为随机事件，P(A)为定义在所有随机事件组成的集合上的实函数，若P(A)满足：,2.1 研究对象及相关概率,（3）对于两两互斥的事件A1，A2，有,（1）对任一事件A有：0P(A)1。,（2）P()=1， 事件的全体,则称函数P(A)为事件A的概率。,设A、B是两个随机事件，且P(B)0，则称,为事件B发生的条件下事件A发生的条件概率。,3）条件概率定义,（1）不可能事件V的概率为零，即P(V)=0。,2）概率的性质,(2-1),（1）概率乘法公式：如果P(B)0，则联合概率P(AB)= P(B) P(A|B) = P(A) P(B|A) =
3、P(BA),（3）贝叶斯公式：在全概率公式的条件下，若P(B)0，则将(2-2)，(2-3)式代入(2-1)式中，有：,(2-4),4）条件概率的三个重要公式：,则对任一事件B有：,（2）全概率公式：设事件A1 ， A2 ， ，An，两两互斥，且,(2-2),(2-3),今后的分类中常用到类概率密度p(X |i) ：i类的条件概 率密度函数，通常也称为i的似然函数。,设随机样本向量X ，相关的三个概率：,（2）后验概率P(i|X) ：相对于先验概率而言。指收到数据X （一批样本）后，根据这批样本提供的信息统计出的i类出现 的概率。表示X 属于i类的概率。,5）模式识别中的三个概率,（1）先验概
4、率P(i ) ：根据以前的知识和经验得出的i类样本出现的概率，与现在无关。,（3）条件概率P(X |i) ：已知属于i类的样本X，发生某种事 件的概率。例对一批得病患者进行一项化验，结果为阳性的概 率为95%，1代表得病人群， 则X化验为阳性的事件可表示为,P(2| X) 表示试验呈阳性的人中，实际没有病的人的概率。,若用某种方法检测是否患有某病，假设 X 表示“试验反 应呈阳性”。则：,例如：一个2类问题，1诊断为患有某病，2诊断为无病，,P(2)表示该地区人无此病的概率。,则： P(1)表示某地区的人患有此病的概率，,P(X |2) 表示无病的人群做该试验时反应呈阳性(显示有病)的概率。,
5、值低 / 高,值低 / 高,P(X |1) 表示患病人群做该试验时反应呈阳性的概率。,P(1| X) 表示试验呈阳性的人中，实际确实有病的人的概率。,？,？,通过统计 资料得到,（4）三者关系：根据(4-4)贝叶斯公式有,（2-5）,M：类别数,2. 决策规则,2.2.1 最小错误率贝叶斯决策,讨论模式集的分类，目的是确定X属于那一类，所以 要看X来自哪类的概率大。在下列三种概率中：先验概率P(i) 类(条件)概率密度p(X |i) 后验概率P(i| X),采用哪种概率进行分类最合理？,1. 问题分析,后验概率P(i| X),2.2 贝叶斯决策,设有M类模式，,(2-6), 最小错误率贝叶斯决
6、策规则,虽然后验概率P(i| X)可以提供有效的分类信息，但先验概 率P(i)和类概率密度函数p(X |i)从统计资料中容易获得，故 用Bayes公式，将后验概率转化为类概率密度函数和先验概率的 表示。由：,可知，分母与i无关，即与分类无关，故分类规则又可表示为：,(2-7),几种等价形式：,对两类问题，(2-7)式相当于,可改写为：,统计学中称l12(X)为似然比， 为似然比阈值。,对(2-9)式取自然对数，有：,(2-7)，(2-8)，(2-9)都是最小错误率贝叶斯决策规则的等价形式。,例2.1 假定在细胞识别中，病变细胞的先验概率和正常细胞的 先验概率分别为 。现有一待识别细胞， 其观察
7、值为X，从类条件概率密度发布曲线上查得：,试对细胞X进行分类。,解：方法1 通过后验概率计算。,方法2：利用先验概率和类概率密度计算。,，是正常细胞。,证明：贝叶斯分类器在最小化分类错误率上是最优的。,2.2.2 最小风险贝叶斯决策,1. 风险的概念* 自动灭火系统：* 疾病诊断：,不同的错判造成的损失不同，因此风险不同，两者紧密相连 。,考虑到对某一类的错判要比对另一类的错判更为关键， 把最小错误率的贝叶斯判决做一些修改，提出了“条件平均 风险” 的概念。,对M类问题，如果观察样本X被判定属于i类，则条件平 均风险ri(X)指将X判为属于i类时造成的平均损失。,2. 决策规则,式中，,i 分
8、类判决后指定的判决号； j 样本实际属于的类别号；,将自然属性是j类的样本决策为i类时的是非代价，即损失函数。,每个X 都按条件平均风险最小决策，则总的条件平均风险也最小。总的条件平均风险称为平均风险。,条件平均风险与 平均风险的区别,1）多类情况,设有M 类，对于任一X 对应 M个条件平均风险：,对每个X有M种可能的类别划分，X被判决为每一类的条件平 均风险分别为r1(X)，r2(X) ， ，rM(X) 。决策规则：,， i=1,2, ,M,由已知，先验概率和类条件概率根据损失函数 ，计算条件风险,个条件风险中，最小的条件风险为，,则,说明： 用先验概率和条件概率的形式：, p(X)对所有类
9、别一样，不提供分类信息。,， i=1,2,M,决策规则为：,2）两类情况：对样本 X,当X 被判为1类时：,当X 被判为2类时：,（2-15）,（2-16）,由（2-15）式：,决策规则：,，为阈值。, 计算 。, 计算 。, 定义损失函数Lij。,判别步骤：,类概率密度函数 p(X |i) 也称i的似然函数,解：计算 和 得：,例4.2 在细胞识别中，病变细胞和正常细胞的先验概率 分别为,现有一待识别细胞，观察值为X， 从类概率密度分布曲线上查得,损失函数分别为L11=0，L21=10， L22=0，L12=1。按最小风险贝 叶斯决策分类。,为病变细胞。,损失函数为特殊情况：,3. (0-1
10、)损失最小风险贝叶斯决策,1) 多类情况,(0-1)情况下， 可改写成：,最小错误率贝叶斯决策,2) 两类情况,决策规则为,或从式(2-20) 导出似然比形式：,式中：,决策规则：,类似地，,Lij(X)的确定：根据错误造成损失的严重程度，及专家经验确定。,2.2.3 正态分布模式的贝叶斯决策,许多实际的数据集： 均值附近分布较多的样本； 距均值点越远，样本分布越少。 此时正态分布（高斯分布）是 一种合理的近似。,正态分布概率模型的优点：* 物理上的合理性。* 数学上的简单性。,图中为某大学男大学生的身高数据，红线是拟合的密度曲 线。可见，其身高应服从正态分布。,1. 相关知识概述,1）二次型
11、,二次型中的矩阵A是一个对称矩阵，即 。,含义：是一个二次齐次多项式，,3）单变量（一维）的正态分布,密度函数定义为：,曲线如图示： = -1，=0.5 ； = 0，=1 ； = 1，=2 .,一维正态曲线的性质：,（2）曲线关于直线 x =对称。,（3）当 x =时，曲线位于最高点。,（4）当x时，曲线上升；当x时，曲线下降.并且当曲 线向左、右两边无限延伸时，以x轴为渐近线，向它无限靠近。,（1）曲线在 x 轴的上方，与x轴不相交。,（5）一定时，曲线 的形状由确定。越 大，曲线越“矮胖”，表 示总体的分布越分散； 越小。曲线越“瘦高”。 表示总体的分布越集中。,4）3规则,即：绝大部分样
12、本都落在了 均值附近3的范围内， 因此正态密度曲线完全可由 均值和方差来确定，常简记 为：,p(x),5）多变量（n维）正态随机向量,密度函数定义为：,式中： ； ；,|C|：协方差矩阵C的行列式。,多维正态密度函数完全由它的均值向量 M 和协方差矩阵C所 确定，简记为：p(X)N( M , C ),为协方差矩阵，是对称正定矩阵， 独立元素有 个；,以二维正态密度函数为例：等高线（等密度线）投影到x1ox2面上为椭圆，从原点O到 点M 的向量为均值M。椭圆的位置：由均值向量M决定；椭圆的形状：由协方差矩阵C决定。,协方差矩阵Ci：反映样本分布区域的形状； 均值向量Mi：表明了区域中心的位置。,
13、2. 正态分布的最小错误率贝叶斯决策规则,1）多类情况,具有M 种模式类别的多变量正态密度函数为：,前面介绍的Bayes方法事先必须求出p(X|i) , P(i) 。而当p(X|i)呈正态分布时，只需要知道 M 和 C 即可。,每一类模式的分布密度都完全被其均值向量Mi和协方差矩 阵Ci所规定，其定义为：,对正态密度函数，为了方便计算，取对数：,对数是单调递增函数，取对数后仍有相对应的分类性能。,最小错误率Bayes决策中，i类的判别函数为 ，,去掉与i无关的项，得判别函数：, 正态分布的最小错误率Bayes决策的判别函数。,(2-25),di(X)为超二次曲面。可见对正态分布模式的Bayes
14、分类器，两类模式之间用一个二次判别界面分开，就可以达到最优的分类效果。,判决规则同前：,2）两类问题,(2) 当C1=C2=C时：由式(2-25) 有,由此导出判别界面为：,为X的线性函数，是一超平面。当为二维时，判别界面为一直 线，如图2.4所示。,(2-28),两类相同，抵消,展开相同，合并,判别界面如图2.5所示。,图2.5 C1=C2=I且先验概率相等,例2.3 设在三维特征空间里，有两类正态分布模式，每类各有4个样本，分别为,其均值向量和协方差矩阵可用下式估计：,(2-30),(2-31),式中， Ni为类别i中模式的数目，Xij代表在第i类中的第j个模式。两类的先验概率 。试确定两
15、类之间的 判别界面。,解：,经计算有,因协方差矩阵相等，故(2-28)为其判别式。由于,图中画出判别平面的一部分。,描点：,2.3 贝叶斯分类器的错误率,2.3.1 错误率的概念,错误率：将应属于某一类的模式错分到其他类中的概率。,是衡量分类器性能优劣的重要参数。,定义为,表示n重积分，即整个n维模式空间上的积分。,式中： ； 是X的条件错误概率；,平均错误率,错误率的计算或估计方法：,按理论公式计算；计算错误率上界；实验估计。,设R1为1类的判决区， R2为2类的判决区，分类中可能 会发生两种错误：, 将来自1类的模式错分到R2中去。, 将来自2类的模式错分到R1中去。,错误率为两种错误之和：,
