《二章贝叶斯决策理论》由会员分享，可在线阅读，更多相关《二章贝叶斯决策理论（26页珍藏版）》请在金锄头文库上搜索。
1、模式识别 贝叶斯分类器第二章第二章 贝叶斯决策理论贝叶斯决策理论模式识别 贝叶斯分类器2.1 最小错误率准则最小错误率准则模式识别 贝叶斯分类器各种概率及其关系各种概率及其关系先验概率：先验概率：后验概率：后验概率：类条件概率：类条件概率：贝叶斯公式：贝叶斯公式：模式识别 贝叶斯分类器两个类别，一维特征两个类别，一维特征模式识别 贝叶斯分类器两类问题的错误率两类问题的错误率观察到特征观察到特征x时作出判别的错误率：时作出判别的错误率：两类问题最小错误率判别准则：两类问题最小错误率判别准则：模式识别 贝叶斯分类器多类问题最小错误率多类问题最小错误率判别判别x属于属于i i的错误率：的错误率：判别
2、准则为：判别准则为：则：则：模式识别 贝叶斯分类器贝叶斯最小错误率准则贝叶斯最小错误率准则Bayes判别准则：判别准则：，则模式识别 贝叶斯分类器贝叶斯分类器的错误率估计贝叶斯分类器的错误率估计模式识别 贝叶斯分类器例例2.1 对一大批人进行癌症普查，设对一大批人进行癌症普查，设1 1类代表患癌症，类代表患癌症，2 2类代表正常人。已知先验概率：类代表正常人。已知先验概率：以一个化验结果作为特征以一个化验结果作为特征x: 阳性，阴性阳性，阴性，患癌症，患癌症的人和正常人化验结果为阳性的概率分别为：的人和正常人化验结果为阳性的概率分别为：现有一人化验结果为阳性，问此人是否患癌症？现有一人化验结果
3、为阳性，问此人是否患癌症？模式识别 贝叶斯分类器2.2 最小平均风险准则贝叶斯分最小平均风险准则贝叶斯分 类器类器问题的提出问题的提出 有有c个类别个类别1, 2 ,. , c, 将将i i类的样本类的样本判别为判别为j j类的代价为类的代价为ij。将未知模式将未知模式x判别为判别为j j类类的平均风险为：的平均风险为：模式识别 贝叶斯分类器最小平均风险判别准则最小平均风险判别准则利用利用Bayes公式，构造判别函数：公式，构造判别函数：模式识别 贝叶斯分类器贝叶斯分类器贝叶斯分类器模式识别 贝叶斯分类器例例2.2 对一大批人进行癌症普查，设对一大批人进行癌症普查，设1类代表患癌症，类代表患癌
4、症，2类代表正常人。已知先验概率：类代表正常人。已知先验概率：以一个化验结果作为特征以一个化验结果作为特征x: 阳性，阴性阳性，阴性，患癌症的，患癌症的人和正常人化验结果为阳性的概率分别为：人和正常人化验结果为阳性的概率分别为：判别代价：判别代价： 11 = 0, 22 = 0, 12 = 100, 21 = 25现有一人化验结果为阳性，问此人是否患癌症？现有一人化验结果为阳性，问此人是否患癌症？模式识别 贝叶斯分类器2.3 贝叶斯分类器的其它版本贝叶斯分类器的其它版本先先验概率概率P(i i)未知：极小化极大准未知：极小化极大准则；约束一定束一定错误率（率（风险）：）：Neyman-Pear
5、son准准则；某些特征缺失的决策：某些特征缺失的决策：连续出出现的模式之的模式之间统计相关的决策：相关的决策：模式识别 贝叶斯分类器2.4 正态分布的贝叶斯分类器正态分布的贝叶斯分类器单变量正态分布密度函数（高斯分布）：单变量正态分布密度函数（高斯分布）： 模式识别 贝叶斯分类器多元正态分布函数多元正态分布函数模式识别 贝叶斯分类器正态分布的判别函数正态分布的判别函数贝叶斯判别函数可以写成对数形式：贝叶斯判别函数可以写成对数形式： 类条件概率密度函数为正态分布时：类条件概率密度函数为正态分布时： 模式识别 贝叶斯分类器情况一情况一：判别函数可以写成：判别函数可以写成： 此分类器称为距离分类器，
6、判别函数可以用此分类器称为距离分类器，判别函数可以用待识模式待识模式x与类别均值与类别均值i i之间的距离表示：之间的距离表示：模式识别 贝叶斯分类器情况二：情况二：判别函数可以写成：判别函数可以写成：可以简化为：可以简化为：称为线性分类器称为线性分类器模式识别 贝叶斯分类器线性分类器线性分类器两类问题，两类问题，1维特征，先验概率相同时：维特征，先验概率相同时：模式识别 贝叶斯分类器线性分类器线性分类器两类问题，高维特征，先验概率相同时：两类问题，高维特征，先验概率相同时：模式识别 贝叶斯分类器线性分类器线性分类器两类问题，两类问题，1维特征，先验概率不同时：维特征，先验概率不同时：模式识别 贝叶斯分类器线性分类器线性分类器两类问题，高维特征，先验概率不同时：两类问题，高维特征，先验概率不同时：模式识别 贝叶斯分类器情况三：情况三： 任意任意判别函数可以写成：判别函数可以写成：分类界面为分类界面为2次曲线（面）次曲线（面）模式识别 贝叶斯分类器二次分类曲线二次分类曲线模式识别 贝叶斯分类器二次分类曲面二次分类曲面
