《随机模式的分类方法相关资料.ppt》由会员分享，可在线阅读，更多相关《随机模式的分类方法相关资料.ppt（38页珍藏版）》请在金锄头文库上搜索。
1、Made in CV&PRLab of Shandong University,随机模式的分类方法,第2章,该方法基于贝叶斯决策理论，往往以某种概率的形式给出。本章首先介绍贝叶斯分类方法中的一般性的判决规则，并且抽象出随机模式的判决函数和决策面方程，给出2种分类器结构。,目 录,2.1 引言,1,2.2 最小错误率判决规则（最简单的Bayes分类方法）,2,2.3 最小风险判决规则,3,2.4 最大似然比判决规则,4,2.5 Neyman-Pearsen判决规则- 有时不知道先验概率，仅知道类概率密度,5,2.6 最小最大判决规则-先验概率是变化的,6,2.7 分类器设计,6,Made in
2、CV&PRLab of Shandong University,2.1 引言,随机模式 在可以觉察到的客观世界中，存在着大量的物体和事件，他们在基本条件不变时，具有某种不确定性，每一次观测的结果没有重复性，这种模式就是随机模式。 虽然随机模式样本测量值具有不确定性，但同类抽样实验的大量样本的观测值具有某种统计特性，这个统计特性是建立各种分类方法的基本依据。 先看一下确定性模式判决函数的问题。,Made in CV&PRLab of Shandong University,2.1 引言,通过判决函数，特征空间 被区分界面划分成两种类型的区域A和B。由于模式样本的观测值是确定性的，经常被正确分配到
3、类型区域A、B之中。 假如我们用概率的形式来表达，就是：在类型A的条件下观测模式样本x，则x位于区域A的概率为1，而位于区域B的概率为0。 同样，在类型B的条件下观测模式样本x，情况正好相反，x位于区域A的概率为0，而位于区域B的概率为1。这实际上是将概率的方法引入到确定模式，对于大多数实际情况，这是非常理想的概率分布。,Made in CV&PRLab of Shandong University,许多实际情况，即使在类型A的条件下，模式样本x位于区域A的概率也往往小于1，而位于区域B的概率也不为0。对于类型B的条件也一样。这种交错分布的样本使分类发生错误，是模式随机性的一种表现。此时，分类
4、方法就从确定性模式转到随机模式。 “如何使分类错误率尽可能小，是研究各种分类方法的中心议题。”,2.1 引言,Made in CV&PRLab of Shandong University,Bayes决策理论是随机模式分类方法最重要的基础。 其中几个重要的概念： 先验概率 先验概率是预先已知的或者可以估计的模式识别系统位于某种类型的概率。 类（条件）概率密度 它是系统位于某种类型条件下，模式样本x出现的概率密度分布函数 后验概率 后验概率可以根据贝叶斯公式计算出来，可直接用作分类判决的依据。,2.1 引言,Made in CV&PRLab of Shandong University,先验概率
5、 先验概率是预先已知的或者可以估计的模式识别系统位于某种类型的概率。 若仍然用两个类型A和B为例，可用 和 表示各自的先验概率，此时满足 。 推广到一般的c类问题中，用 表示类型，则各自的先验概率用 表示，且满足： 其实，在处理实际问题时，有时不得不以先验概率的大小作为判决的依据。如：有一批木材，其中桦木占70，松木占30，A桦木，B松木，则，如果从中任取一块木材，而又要用先验概率作出判决，那就判为桦木。 先验概率不能作为判决的唯一依据， 但当先验概率相当大时，它也能成为主要因素。,2.1 引言,Made in CV&PRLab of Shandong University,2.1 引言,2类
6、（条件）概率密度 它是系统位于某种类型条件下，模式样本x出现的概率密度分布函数，常用 ，以及 来表示。 先验概率密度在分类方法中起至关重要的作用，它的函数形式及主要参数或者是已知的，或者是可通过大量抽样实验估计出来。 3. 后验概率 它是系统在某个具体的模式样本x条件下，位于某种类型的概率，常以 ，以及 表示。 后验概率可以根据贝叶斯公式计算出来，可直接用作分类判决的依据。 例如：一个2类问题，w1表示诊断为无癌症，w2诊断为有癌症。P(w1) 表示诊断正常的概率，P(w2) 表示某地区的人被诊断出患上癌症的概率，该值可以通过大量的统计得到，x表示“试验反应呈阳性”。那么，P(x|w1)表示诊
7、断为无癌症且试验反应为阳性，P(w1|x)表示试验为阳性，而且没有癌症。同样，可以有w2的类概率密度和后验概率。,Made in CV&PRLab of Shandong University,2.2 最小错误率判决规则 （最简单的Bayes分类方法）,分析一个“两类问题”。 以上一个例子为例，用w1和w2表示两种不同的类型，如w1表示诊断正常，w2表示诊断出患有癌症。 用 和 分别表示先验概率。如： 诊断正常的概率， 表示某地人患癌症的概率，可通过大量的统计得到。 用 和 表示两个类概率密度。 样本x表示“试验反应阳性”，则 诊断为无癌症且试验反应为阳性， 试验为阳性且没有癌症。 根据全概率
8、公式，模式样本x出现的全概率密度为：,（2.21）,根据Bayes公式，在模式样本x出现的条件下，两个类型的后验概率为：,（2.22）,Made in CV&PRLab of Shandong University,此时，样本归属于“后验概率较高”的那种类型。 也就是：,，则偶然决定,，或,（2.23）,，则,，则,根据（2.22）式，上述判决规则等价于：,，则,，则,（2.24）,，则偶然决定,，或,上面只是给出了最小错误率贝叶斯决策规则，但没有证明按这种规则进行分类确实使错误率最小。,2.2 最小错误率判决规则,Made in CV&PRLab of Shandong University
9、,下面用一维情况来证明最小错误率贝叶斯决策规则，其结果不难推广到多维。,如下图所示，在一维特征空间里，判决门限t把空间划分为两个类型区域R1，R2,在R1中，,，则,在R2中，,，则,；,；,阴影区域是两类样本的交错分配区域，阴影面积就是这种分类方法的错误概率。,2.2 最小错误率判决规则,Made in CV&PRLab of Shandong University,总错误率有两种情况：,，而判为,，斜线区域。,，而判为,所以，总错误率：,，纹线区域。,其中，,表示在整个d维特征空间上的积分。,对上述两类问题：当,时，则,显然作出决策w2时，x的条件错误概率为,，反之为,。,。,也就是：,=
10、,2.2 最小错误率判决规则,Made in CV&PRLab of Shandong University,若令t为两类分界面，特征向量x为一维时，t为x轴上的一个点，如上图所示：,也可写为：,2.2 最小错误率判决规则,Made in CV&PRLab of Shandong University,所以要使 最小，判决门限应如上图所示，否则就会有多余的阴影面。 而（2.2-3）、（2.2-4）表达的判决规则，判决门限正好如上图所示，所以称 之为“最小错误概率判决规则”。,2.2 最小错误率判决规则,Made in CV&PRLab of Shandong University,可以把上述两
11、类问题导出的最小错误率判决规则一般化，推广到c类问题中，表达为：,若：,，则,等价于：,，则,2.2 最小错误率判决规则,例1：为了对癌症进行诊断，对一批人进行一次普查，各每个人打试验针， 观察反应，然后进行统计，规律如下： 这一批人中，每1000个人中有5个癌症病人； 这一批人中，每100个正常人中有一个试验呈阳性反应； 这一批人中，每100个癌症病人中有95人试验呈阳性反应。 问：若某人（甲）呈阳性反应，甲是否正常？,Made in CV&PRLab of Shandong University,2.2 最小错误率判决规则,解：假定x表示实验反应为阳性， (1)人分为两类：w1正常人，w2
12、癌症患者， (2)由已知条件计算概率值： 先验概率： 类条件概率密度： (3)决策过程,由最小错误判决规则，可知： 由于 比 大很多， 所以先验概率起了较大作用。,Made in CV&PRLab of Shandong University,2.3 最小风险判决规则,最小风险判决规则也是一种Bayes分类方法。最小错误率判决规则没有考虑 错误判决带来的“风险”，或者说没有考虑某种判决带来的损失。 同一问题中，某种判决总会有一定的损失，特别是错误判决有风险。不同的 错误判决有不同的风险，如上一节的例子中，判断细胞是否为癌细胞，可能有两 种错误判决： 正常细胞错判为癌细胞； 癌细胞错判为正常细胞
13、。 两种错误带来的风险不同。在中，会给健康人带来不必要的精神负担， 在中，会使患者失去进一步检查、治疗的机会，造成严重后果。显然，第种 错误判决的风险大于第种。 判决风险也可以理解为判决损失，即使在正确判决的情况下，一般也会付出 某种代价，也会有损失。正是由于有判决风险的存在，最小错误率判决就不够了， 必须引入最小风险判决规则。,Made in CV&PRLab of Shandong University,假定有c类问题，用,表示类型，用,表示可能作出的判决。实际应用中，判决数a和类型数c可能相等，,也可能不等，即允许除c类的c个决策之外，可以采用其它决策， 如“拒绝”决策，此时,。,；,对
14、于给定的模式样本x，令,表示,而判决为,的风险。若判决,一定，对c个不同类型的,，有c个不同的,。,2.3 最小风险判决规则,Made in CV&PRLab of Shandong University,维风险矩阵。,的c个离散值随类型的性质变化，具有很大的随机性，可看成是随机变量。 另外，由于判决数目有a个，这样对于不同的判决和不同类型就有一个,一般风险矩阵,2.3 最小风险判决规则,Made in CV&PRLab of Shandong University,假定某样本x的后验概率,已经确定，则有：,对于每一种判决,，可求出随机变量,的条件平均风险，也叫“条件平均损失”：,（2.3-1
15、）,最小风险判决规则就是把样本x归属于“条件平均风险最小”的那一种判决。也就是：,若,，则,(2.3-2),2.3 最小风险判决规则,Made in CV&PRLab of Shandong University,实施最小风险判决规则的步骤如下：,(1) 在给定样本x条件下，计算各类后验概率,，,。,(2) 按照(2.3-1)式求各种判决的条件平均风险,，,为此，需要知道风险矩阵。,按照(2.3-2）式，比较各种判决的条件平均风险，把样本x归属于 条件平均风险最小的那一种判决。,2.3 最小风险判决规则,Made in CV&PRLab of Shandong University,2.3 最小风险判决规则,和,。,解：从风险矩阵中得到：,将例1中计算出的后验概率：,代入2.3-1式：,根据最小风险判决规则，,即试验人属于癌症病人，与例1 的 结论相反。,例2：在例1的癌症诊断问题中，所有的化验结果可分为两类。 w1正常，w2癌症。 得到的判决也有两种,Made in CV&PRLab of Shandong University,2.3 最小风险判决规则,注意：实际工作中，列出合适的风险矩阵很不容易，要根据研究的具问题， 分析错误决策造成损失的严重程度，与有关专家共同商讨决定。,上面分析了两种决策规则，下面讨论它们之间的关系：,判
