《第2章随机模式分类方法计划1..docx》由会员分享，可在线阅读，更多相关《第2章随机模式分类方法计划1..docx（9页珍藏版）》请在金锄头文库上搜索。
1、优选文档华中科技大学控制科学与工程系模式鉴别概论备课笔录第2章随机模式的分类方法该方法基于贝叶斯决策理论，经常以某种概率的形式给出。本章第一介绍贝叶斯分类方法中的一般性的判决规则，而且抽象出随机模式的判决函数和决策面方程，给出2种分类器结构。2.1序言随机模式：在能够觉察到的客观世界中，存在着大量的物体和事件，他们在基本条件不变时，拥有某种不确定性，每一次观察的结果没有重复性，这种模式就是随机模式。诚然随机模式样本测量值拥有不确定性，但同类抽样实验的大量样本的观察值拥有某种统计特色，这个统计特色是建立各种分类方法的基本依照。先看一下确定性模式判决函数的问题。以以下图所示：经过判决函数，特色空间
2、被划分界面划分成两各种类的地区A和B。91华中科技大学控制科学与工程系模式鉴别概论备课笔录由于模式样本的观察值是确定性的，经常被正确分配到种类地区A、B之中。若是我们用概率的形式来表达，就是：在种类A的条件下观察模式样本x，则x位于地区A的概率为1，而位于地区B的概率为0。同样，在种类B的条件下观察模式样本x，情况正好相反，x位于区域A的概率为0，而位于地区B的概率为1。这实际上是将概率的方法引入到确定模式，对于大多数实质情况，这是特别理想的概率分布。好多实质情况，即使在种类A的条件下，模式样本x位于地区A的概率也经常小于1，而位于地区B的概率也不为0。对于种类B的条件也同样。这种交叉分布的样
3、本使分类发生错误，是模式随机性的一种表现。此时，分类方法就从确定性模式转到随机模式。Bayes决策理论是随机模式分类方法最重要的基础。下面是几个重要的看法：先验概率先验概率是起初已知的也许能够估计的模式鉴别系统位于某种类型的概率。若依旧用两个种类A和B为例，可用P(A)和P(B)表示各自的先验概率，此时满足P(A)P(B)1。推行到一般的c类问题中，用w1,w2,wc表示种类，则各自的先验概率用P(w1),P(w2),P(wc)表示，且满足：P(w1)P(w2)P(wc)1其实，在办理实责问题时，有时不得不以先验概率的大小作为判决的依照。如：有一批木材，其中桦木占70，松木占30，A桦木，B松
4、木，则P(A)0.7，P(B)0.3，若是从中任取一块木材，而又要用先验概率作出判决，那就判为桦木。2华中科技大学控制科学与工程系模式鉴别概论备课笔录先验概率不能够作为判决的唯一依照，但当先验概率相当大时，它也能成为主要因素。2类（条件）概率密度它是系统位于某各种类条件下，模式样本x出现的概率密度分布函数，常用(x|A),(x|B)，以及(x|wi)(i1,2,c)来表示。先验概率密度在分类方法中起至关重要的作用，它的函数形式及主要参数也许是已知的，也许是可经过大量抽样实验估计出来。后验概率它是某个详尽的模式样本x位于某各种类的概率，常以P(A|x),P(B|x)，以及P(wi|x)(i1,2
5、,c)表示。后验概率能够依照贝叶斯公式计算出来，可直接用作分类判决的依照。比方：一个2类问题，w1表示诊断为无癌症，w2诊断为有癌症。P(w1)表示诊断正常的概率，P(w2)表示某地区的人被诊断出患上癌症的概率，该值能够经过大量的统计获取，x表示“试验反应呈阳性”。那么，P(x|w1)表示诊断为无癌症且试验反应为阳性，P(w1|x)表示试验为阳性，而且没有癌症。同样，能够有w2的类概率密度和后验概率。2.2最小错误率判决规则（最简单的Bayes分类方法）解析一个“两类问题”。3华中科技大学控制科学与工程系模式鉴别概论备课笔录以上一个例子为例，用w1和w2表示两种不同样的种类，如w1表示诊断正常
6、，w2表示诊断出患有癌症。用P(w1)和P(w2)分别表示先验概率。如：P(w1)诊断正常的概率，P(w2)表示某地人患癌症的概率，可经过大量的统计获取。用(x|w1)和(x|w2)表示两个类概率密度。样本x表示“试验反应阳性”，则(x|w1)诊断为无癌症且试验反应为阳性，(w1|)试验为阳性且没有癌症。Px依照全概率公式，模式样本x出现的全概率密度为：(x)(x|w1)P(w1)(x|w2)P(w2)（2.21）依照Bayes公式，在模式样本x出现的条件下，两个种类的后验概率为：P(w1|x)(x|w1)P(w1)，P(w2|x)(x|w2)P(w2)（2.22）(x)(x)此时，样本归属于
7、“后验概率较高”的那各种类。也就是：P(w1|x)P(w2|x)，则xw1P(w2|x)P(w1|x)，则xw2（2.23）P(w1|x)P(w2|x)，则有时决定xw1，或xw2依照（2.22）式，上述判决规则等价于：(x|w1)P(w1)(x|w2)P(w2)，则xw1(x|w2)P(w2)(x|w1)P(w1)，则xw2（2.24）(x|w2)P(w2)(x|w1)P(w1)，则有时决定xw1，或xw2上面可是给出了最小错误率贝叶斯决策规则，但没有证明按这种规则进行分类确实使错误率最小。能够把上述两类问题导出的最小错误率判决规则一般化，推行到4华中科技大学控制科学与工程系模式鉴别概论备课
8、笔录类问题中，表达为：若：P(wi|x)maxP(wj|x)，则xwi，j1,c等价于：(x|wi)P(wi)max(x|wj)P(wj)，则xwj1,ci例1：为了对癌症进行诊断，对一批人进行一次普查，各每个人打试验针，观察反应，尔后进行统计，规律以下：1）这一批人中，每1000个人中有5个癌症病人；2）这一批人中，每100个正常人中有一个试验呈阳性反应；3）这一批人中，每100个癌症病人中有95人试验呈阳性反应。问：若某人（甲）呈阳性反应，甲可否正常？解：假设x表示实验反应为阳性，1）人分为两类：w1正常人，w2癌症患者，P(w1)P(w2)12）由已知条件计算概率值：先验概率：()0.9
9、95，P(w2)0.005Pw1类条件概率密度：(x|w1)0.01，(x|w2)0.95（3）决策过程(w2|x)(x|w2)P(w2)(x|w1)P(w1)(x|w2)P(w2)0.950.0050.010.9950.950.0050.323(x|w1)P(w1)0.00995P(w1|x)1P(w2|x)10.3230.677(x|w2)P(w2)0.00475P(w1|x)P(w2|x)(x|w1)P(w1)(x|w2)P(w2)由最小错误判决规则，可知：甲w15华中科技大学控制科学与工程系模式鉴别概论备课笔录由于P(w1)比P(w2)大好多，所以先验概率起了较大作用。2.3最小风险判
10、决规则最小风险判决规则也是一种Bayes分类方法。最小错误率判决规则没有考虑错误判决带来的“风险”，也许说没有考虑某种判决带来的损失。同一问题中，某种判决总会有必然的损失，特别是错误判决有风险。不同样的错误判决有不同样的风险，如上一节的例子中，判断细胞可否为癌细胞，可能有两种错误判决：正常细胞错判为癌细胞；癌细胞错判为正常细胞。两种错误带来的风险不同样。在中，会给健康人带来不用要的精神负担，在中，会使患者失去进一步检查、治疗的机遇，造成严重结果。显然，第种错误判决的风险大于第种。判决风险也能够理解为判决损失，即使在正确判决的情况下，一般也会付出某种代价，也会有损失。正是由于有判决风险的存在，最
11、小错误率判决就不够了，必定引入最小风险判决规则。假设有c类问题，用wj(j1,2,c)表示种类，用i(i1,2,a)表示可能作出的判决。实质应用中，判决数a和种类数c可能相等，ac；也可能不等，即赞同除c类的c个决策之外，能够采用其他决策，如“拒绝”决策，此时a。c1对于给定的模式样本x，令L(i|wj)表示xwj而判决为i的风险。若判决i必然，对c个不同样种类的wj，有c个不同样的L(i|wj)。L(i|wj)的c个失散值随种类的性质变化，拥有很大的随机性，6华中科技大学控制科学与工程系模式鉴别概论备课笔录可看作是随机变量。别的，由于判决数目有a个，这样对于不同样的判决和不同样种类就有一个a
12、c维风险矩阵。一般风险矩阵种类判决12aw1w2wcL(1|w1)L(1|w2)L(1|wc)L(2|w1)L(2|w2)L(2|wc)L(a|w1)L(2|w1)L(a|wc)假设某样本x的后验概率P(wj|x)已经确定，则有：P(w1|x)P(w2|x)P(wc|x)1，且P(wj|x)0，j1,2,c对于每一种判决i，可求出随机变量L(i|wi)的条件平均风险，也叫“条件平均损失”：c（2.3-1）R(i|x)EL(i|wj)L(i|wj)P(wj|x)i1,2,aj1最小风险判决规则就是把样本x归属于“条件平均风险最小”的那一种判决。也就是：若R(i|x)minR(k|x)，则xwi(2.3-2)k1,2,a推行最小风险判决规则的步骤以下：（1）在给定样本x条件下，计算各种后验概率P(wj|x)，j1,2,c。（2）依照(2.3-1)式求各种判决的条件平均风险R(
