《模式识别课件-贝叶斯方法》由会员分享，可在线阅读，更多相关《模式识别课件-贝叶斯方法（73页珍藏版）》请在金锄头文库上搜索。
1、1,王杰(博士/教授/博导) 郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别 Pattern Recognition Chapter 2,2,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.1 引言,2.1.1 问题表述,3,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决
2、策理论,2.1 引言,2.1.2 全概率公式和贝叶斯准则,4,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.1 引言,2.1.2 全概率公式和贝叶斯准则,5,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.1 引言,2.1.2 全概率公式和贝叶斯准则,6,王杰(博士/教授/博导)郑州大学电气工程学
3、院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,2.2.1 贝叶斯决策的原理,7,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,2.2.1 贝叶斯决策的原理,8,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recogn
4、ition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,2.2.2 最小化分类错误率,可以证明，贝叶斯分类器在分类错误率最小化方面最优：,由贝叶斯规则：,由概率密度函数的定义：,和并以上两式可以得到：,9,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,2.2.2 最小化分类错误率,10,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pat
5、tern Recognition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,2.2.2 最小化分类错误率,Indeed: Moving the threshold the total shaded area INCREASES by the extra “grey” area.,11,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,2.2.3 最小化分类平均风险,分类错误率最小并非总是最好的，某些情况
6、下有些错误会产生更严重的后果，因此用“损失”来衡量错误有时候更符合实际。,(2-10),(2-11),12,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,2.2.3 最小化分类平均风险,(2-12),(2-13),按极小值原理求解(2-11)，必须使积分的每一项最小，因此应选择：,设M=2，则有：,(2-14),13,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别
7、,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,2.2.3 最小化分类平均风险,(2-15),14,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,例2-1,Then the threshold value is:,Threshold for minimum r,15,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273
8、,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.2 贝叶斯决策理论,例2-1,Thus moves to the left of (WHY?),Consider the reverse situation when the moves to the right of ?,16,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.3 判别函数和决策面(Discriminant Functions &
9、Decision Surfaces),(2-16),(2-17),(2-18),17,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.3 判别函数和决策面(Discriminant Functions & Decision Surfaces),In general, discriminant functions(判别函数) can be defined independent of the Bayesian rule. They lead to
10、suboptimal solutions, yet if chosen appropriately, can be computationally more tractable(容易的). Sergios Theodoridis-Pattern Recognition,18,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.4 正态分布的贝叶斯分类(Bayesian Classifier for Normal Distributions),(2-1
11、9),Multivariate Gaussian pdf(Probability Distribution Function-pdf),(随机变量x的均值或期望),(x的协方差矩阵，Covariance Matrix),(x的概率分布),函数ln()是单调的，定义：,19,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.4 正态分布的贝叶斯分类(Bayesian Classifier for Normal Distributions),(2-20
12、),式(2-19)可以写成：,其中，常数Ci为：,20,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.4 正态分布的贝叶斯分类(Bayesian Classifier for Normal Distributions),(2-21),将式(2-20)展开可以写成：,一般地，上式是一个非线性二次型，例如，对于： 的情况，假设：,式(2-21) 又可以表示成：,(2-22),21,王杰(博士/教授/博导)郑州大学电气工程学院 0371-677814
13、11/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.4 正态分布的贝叶斯分类(Bayesian Classifier for Normal Distributions),22,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.4 正态分布的贝叶斯分类(Bayesian Classifier for Normal Distributions),图2-4 二次决策曲线的例子，
14、(a)椭圆；(b)双曲线,23,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.4 正态分布的贝叶斯分类(Bayesian Classifier for Normal Distributions),2.4.1 决策超平面(Decision Hyperplanes),24,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Ba
15、yes决策理论,2.4 正态分布的贝叶斯分类(Bayesian Classifier for Normal Distributions),2.4.1 决策超平面(Decision Hyperplanes),(2-26),(2-27),(2-28),(2-29),25,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.4 正态分布的贝叶斯分类(Bayesian Classifier for Normal Distributions),2.4.1 决策
16、超平面(Decision Hyperplanes),决策平面是一个通过 的超平面，当概率 时， ，超平面经过均值点,26,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模式识别,Pattern Recognition Ch. 2 分类器-基于Bayes决策理论,2.4 正态分布的贝叶斯分类(Bayesian Classifier for Normal Distributions),2.4.1 决策超平面(Decision Hyperplanes),图2-5 两类情况下的决策线和 的正态分布向量,27,王杰(博士/教授/博导)郑州大学电气工程学院 0371-67781411/13837106273 ,模
