《第2章贝叶斯决策完整版课件》由会员分享，可在线阅读，更多相关《第2章贝叶斯决策完整版课件（114页珍藏版）》请在金锄头文库上搜索。
1、贝叶斯决策理论贝叶斯决策理论Bayesian Decision Theory刘芳，戚玉涛刘芳，戚玉涛qi_qi_精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用的准则决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数vBayesianBayesian置信网置信网精选引言引言v机器自动识别分类，能不能避免错分类，做到百分机器自动识别分类，能不能避免错分类，做到百分之百正确？怎样才能减少错误？之百正确？怎样才能减少错误？v错分类往往难以避免，因此就要考虑减小因错分类错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，那么有
2、没有可能对危害大的错误造成的危害损失，那么有没有可能对危害大的错误严格控制？严格控制？v什么是先验概率、类概率密度函数和后验概率？它什么是先验概率、类概率密度函数和后验概率？它们的定义和相互关系如何们的定义和相互关系如何?贝叶斯公式正是体现三贝叶斯公式正是体现三者关系的式子。者关系的式子。精选引言v贝叶斯决策理论贝叶斯决策理论贝叶斯统计决策理论是处理模式分类问题的基本理贝叶斯统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器（论之一，对模式分析和分类器（Classifier）的设计）的设计起指导作用。起指导作用。v贝叶斯决策的两个要求贝叶斯决策的两个要求各个类别的总体概率分布各个
3、类别的总体概率分布 (先验概率和类条件概先验概率和类条件概率密度率密度) 是已知的是已知的 要决策分类的类别数是一定的要决策分类的类别数是一定的精选引言vv在在在在连续情况连续情况连续情况连续情况下，假设对要识别的物理对象有下，假设对要识别的物理对象有下，假设对要识别的物理对象有下，假设对要识别的物理对象有d d种特征种特征种特征种特征观察量观察量观察量观察量x1 1, ,x2 2,xd d，这些特征的所有可能的取值范围这些特征的所有可能的取值范围这些特征的所有可能的取值范围这些特征的所有可能的取值范围构成了构成了构成了构成了d d维维维维特征空间特征空间。vv称向量称向量称向量称向量vv假设
4、要研究的分类问题有假设要研究的分类问题有假设要研究的分类问题有假设要研究的分类问题有c c个类别，个类别，个类别，个类别，类型空间类型空间表示表示表示表示为为为为：为为d维维特征向量特征向量。精选引言v评价决策有多种标准，对于同一个问题，采用不同评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下的标准会得到不同意义下“最优最优”的决策。的决策。v贝叶斯贝叶斯决策常用的准则：决策常用的准则： 最小错误率最小错误率准则准则 最小风险最小风险准则准则 Neyman-Pearson准则准则 最小最大决策准则最小最大决策准则精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用
5、的准则决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数vBayesianBayesian置信网置信网精选Bayes决策准则决策准则v最小错误率最小错误率准则准则v最小风险最小风险准则准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则精选最小错误率准则黑色：第一类黑色：第一类黑色：第一类黑色：第一类粉色：第二类粉色：第二类粉色：第二类粉色：第二类绿色：哪一类？绿色：哪一类？绿色：哪一类？绿色：哪一类？统计决策理论就是统计决策理论就是统计决策理论就是统计决策理论就是根据每一类总体的根据每一类总体的根据每一类总体的根据每
6、一类总体的概率分布决定未知概率分布决定未知概率分布决定未知概率分布决定未知类别的样本属于哪类别的样本属于哪类别的样本属于哪类别的样本属于哪一类！一类！一类！一类！精选最小错误率准则v先验概率：先验概率：v类条件概率：类条件概率：v后验概率：后验概率：v贝叶斯公式贝叶斯公式未获得观测数据之前类别的分布未获得观测数据之前类别的分布未获得观测数据之前类别的分布未获得观测数据之前类别的分布观测数据在各类别种情况下的分布观测数据在各类别种情况下的分布观测数据在各类别种情况下的分布观测数据在各类别种情况下的分布X X属于哪一类的概率属于哪一类的概率属于哪一类的概率属于哪一类的概率其中：其中：精选最小错误率
7、准则 例：例：医生要根据病人血液中白细胞的浓度来判断病医生要根据病人血液中白细胞的浓度来判断病医生要根据病人血液中白细胞的浓度来判断病医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。人是否患血液病。人是否患血液病。人是否患血液病。两类识别问题：患病，未患病两类识别问题：患病，未患病两类识别问题：患病，未患病两类识别问题：患病，未患病根据医学知识和以往的经验，医生知道：根据医学知识和以往的经验，医生知道：根据医学知识和以往的经验，医生知道：根据医学知识和以往的经验，医生知道：vv患病的人，白细胞的浓度服从均值患病的人，白细胞的浓度服从均值患病的人，白细胞的浓度服从均值患病的人，白细胞的浓
8、度服从均值20002000方差方差方差方差10001000的正的正的正的正态分布；未患病的人，白细胞的浓度服从均值态分布；未患病的人，白细胞的浓度服从均值态分布；未患病的人，白细胞的浓度服从均值态分布；未患病的人，白细胞的浓度服从均值70007000，方差方差方差方差30003000的正态分布；的正态分布；的正态分布；的正态分布；（类条件概率）（类条件概率）（类条件概率）（类条件概率）vv一般人群中，患病的人数比例为一般人群中，患病的人数比例为一般人群中，患病的人数比例为一般人群中，患病的人数比例为0.5%0.5%；（先验概率）（先验概率）（先验概率）（先验概率）vv一个人的白细胞浓度时一个人
9、的白细胞浓度时一个人的白细胞浓度时一个人的白细胞浓度时31003100，医生应该做出怎样的判，医生应该做出怎样的判，医生应该做出怎样的判，医生应该做出怎样的判断？断？断？断？（后验概率？）（后验概率？）（后验概率？）（后验概率？）精选最小错误率准则v数学表示：数学表示： ：表示表示类别这一随机一随机变量量1：表示患病表示患病2：表示不患病表示不患病 X：表示白表示白细胞胞浓度度这一随机一随机变量量 x： 表示白表示白细胞胞浓度度值精选最小错误率准则vv医生根据已经掌握的知识知道类别的先验医生根据已经掌握的知识知道类别的先验分布：分布：先验概率分布：先验概率分布：未获得观测数据（病人白未获得观测
10、数据（病人白细胞浓度）之前类别的分布。细胞浓度）之前类别的分布。精选最小错误率准则vv观测数据白细胞浓度分别在两种情况下的类观测数据白细胞浓度分别在两种情况下的类条件概率分布：条件概率分布：vv已知先验分布和观测值的类条件概率分布，已知先验分布和观测值的类条件概率分布，就可以用贝叶斯理论求得就可以用贝叶斯理论求得x属于哪一类的后属于哪一类的后验概率：验概率： 和和精选最小错误率最小错误率准则准则v最小错误率最小错误率准则准则以先验概率、类条以先验概率、类条件概率密度、特征件概率密度、特征值（向量）为输入值（向量）为输入以后验概率作为类以后验概率作为类别判断的依据别判断的依据贝叶斯公式保证了贝叶
11、斯公式保证了错误率最小错误率最小精选最小错误率准则v最小错误率最小错误率的贝叶斯决策的贝叶斯决策规则为：规则为： 如果如果 大于大于 ，则把则把x归于患病状态，反之归于患病状态，反之则归于未患病状态。则归于未患病状态。（最（最大后验概率决策）大后验概率决策） x1=x2 ?精选最小错误率准则v最小错误率准则的平均错误率：最小错误率准则的平均错误率：x2=x3x2和和x3 都是都是 p(x, 1)= p(x, 2) 的根的根，因此，因此是两类分界是两类分界精选最小错误率准则v最小错误率准则的平均错误率：最小错误率准则的平均错误率： 记平均错误率为记平均错误率为P(e)，令，令 t = x2=x3
12、，则则 精选最小错误率准则v平均错误率是否最小？平均错误率是否最小？精选最小错误率准则v似然比公式似然比公式则：则：等价于：等价于：似然比公式似然比公式精选最小错误率准则v特例特例1：精选最小错误率准则v特例特例2：精选最小错误率准则v形式逻辑（经典确定性推理）形式逻辑（经典确定性推理）以鲈鱼和鲑鱼分类为例：以鲈鱼和鲑鱼分类为例：假言：如果鱼的长度假言：如果鱼的长度 大于大于45cm，则该鱼为，则该鱼为 鲈鱼鲈鱼 ，否则该鱼为鲑鱼，否则该鱼为鲑鱼前提：现在某条鱼前提：现在某条鱼 结论：该鱼为鲑鱼结论：该鱼为鲑鱼v概率推理（不确定性推理）概率推理（不确定性推理）精选最小错误率准则v例子：例子：给
13、定给定 ，类条件概率密度如图。，类条件概率密度如图。现有一条鱼现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？若采用最小错误率决策，该鱼应该为哪一类？ 故判决：故判决：精选Bayes决策准则决策准则v最小错误率最小错误率准则准则v最小风险最小风险准则准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则精选最小风险准则v最小风险贝叶斯决策：最小风险贝叶斯决策：考虑各种错误造成损失不考虑各种错误造成损失不同而提出的一种决策规则。同而提出的一种决策规则。v条件风险：条件风险：精选最小风险准则v期望风险：期望风险：对于对于x的不同观察值，采取决策的不同观察值
14、，采取决策i时，其条件其条件风险大小是不同的。所以究竟采取哪一种决大小是不同的。所以究竟采取哪一种决策将随策将随x的取的取值而定。而定。这样，决策，决策可以看成随机向可以看成随机向量量x的函数，的函数，记为(x)。可以定。可以定义期望期望风险Rexp为：v期望期望风险反映反映对整个空整个空间上所有上所有x的取的取值采取相采取相应的的决策决策(x)所所带来的来的平均平均风险。精选最小风险准则v两分类问题的例子：两分类问题的例子：精选v似然比公式似然比公式精选最小风险准则v不同的损失函数决定了不同的似然比判决阈不同的损失函数决定了不同的似然比判决阈值值： a：0-1损失损失 b：1221每一类的判
15、决域每一类的判决域可能是不连续的可能是不连续的!精选最小风险准则v最小风险贝叶斯决策的步骤：最小风险贝叶斯决策的步骤：1）根据先验概率和类条件概率计算出后验概率；）根据先验概率和类条件概率计算出后验概率；2）利用后验概率和损失矩阵计算采取每种决策）利用后验概率和损失矩阵计算采取每种决策的条件风险；的条件风险；3）比较各个条件风险的值，条件风险最小的决）比较各个条件风险的值，条件风险最小的决策即为最小风险贝叶斯决策策即为最小风险贝叶斯决策精选最小风险准则精选最小风险准则v对于贝叶斯最小风险决策，如果损失函数为对于贝叶斯最小风险决策，如果损失函数为“0-1损失损失”，即取如下的形式：，即取如下的形
16、式： 那么，条件风险为：那么，条件风险为： 此时，贝叶斯最小风险决策与最小错误率决策等此时，贝叶斯最小风险决策与最小错误率决策等价。价。精选Bayes决策准则决策准则v最小错误率最小错误率准则准则v最小风险最小风险准则准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则精选Neyman-Pearson准则准则v最小错误率最小错误率准则准则: 后验概率最大化，理论上错误率最小后验概率最大化，理论上错误率最小v最小风险最小风险准则：准则： 风险函数最小化，理论上总风险最小风险函数最小化，理论上总风险最小v在先验概率和损失未知的情况下如何决策？在先验概率和损失未知的情况下如何
17、决策？精选Neyman-Pearson准则准则v问题：先验概率和损失未知问题：先验概率和损失未知通常情况下，无法确定损失。通常情况下，无法确定损失。先验概率未知，是一个确定的值先验概率未知，是一个确定的值某一种错误较另一种错误更为重要。某一种错误较另一种错误更为重要。v基本思想：基本思想：要求一类错误率控制在很小，在满足此条件的前要求一类错误率控制在很小，在满足此条件的前提下再使另一类错误率尽可能小。提下再使另一类错误率尽可能小。用用lagrange乘子法求条件极值乘子法求条件极值精选Neyman-Pearson准则准则v对两分类问题，错误率可以写为：对两分类问题，错误率可以写为：v由于由于P
18、(1) 和和P(2)对具体问题往往是确定的对具体问题往往是确定的（但是未知），一般称（但是未知），一般称P1(e)和和P2(e)为两类错为两类错误率。误率。 P1(e)和和P2(e)的的值决定了决定了P(e)的的值。精选Neyman-Pearson准则准则精选Neyman-Pearson准则准则v为了求为了求L的极值点，将的极值点，将 L 分别对分别对 t 和和求偏求偏导导：v注意：这里分析注意：这里分析的是两类错误率，的是两类错误率，与先验概率无关！与先验概率无关！v决策准则决策准则 ？精选精选Neyman-Pearson准则准则v最小错误率准则的等价形式最小错误率准则的等价形式vNeyma
19、n-Pearson准则准则 两者都以似然比为基础，在未知先验概率时使用两者都以似然比为基础，在未知先验概率时使用Neyman-Pearson准则。准则。精选Bayes决策准则决策准则v最小错误率最小错误率准则准则v最小风险最小风险准则准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则精选最小最大决策准则最小最大决策准则vNeyman-Pearson准则准则假定先验概率是一个确定的值假定先验概率是一个确定的值，此时判定结果会受到先验概率的影响。此时判定结果会受到先验概率的影响。v实际中，类先验概率实际中，类先验概率 P P( ( i i) ) 往往不能精确知道或在往往不
20、能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决所以应考虑如何解决在在 P P( ( i i) ) 不确知或变动的情况不确知或变动的情况下使期望风险变大的问题下使期望风险变大的问题。v最小最大决策准则：最小最大决策准则：在最差的条件下争取最好的结在最差的条件下争取最好的结果，果，使最大风险最小！使最大风险最小！精选最小最大决策准则最小最大决策准则v分析期望风险分析期望风险 R 与先验概率与先验概率 P(1) 的关系：的关系： 对于两类问题，设一种分类识别决策将特征对于两类问题，设一种分类识别决策将特征空间空间R划分为两
21、个子空间划分为两个子空间 R1 和和 R2 ，记，记ij为将属于为将属于 i 类的模式类的模式判为判为j 类的损失函数，各种类的损失函数，各种判决判决的期的期望风险为：望风险为：精选最小最大决策准则最小最大决策准则将将)(1)(12-=PP和和带入上式：带入上式：精选最小最大决策准则最小最大决策准则v期望风险期望风险可写成：可写成：v一旦一旦 R1 和和 R2 确定，确定，a和和b为常数为常数v一旦一旦 R1 和和 R2 确定，确定， R 与与 P(1) 成成线性关系性关系v选择使使 b=0 的的R1 和和 R2 ，期望风险与，期望风险与P(1) 无关！无关！精选最小最大决策准则最小最大决策准
22、则PA(1)1 p(1)ACDR*BR*B0DCR1 ,R2不变不变R1 ,R2改变改变PB(1)b=0此时最大此时最大风险最小风险最小,D = ab=0 时的时的p(1)精选最小最大决策准则最小最大决策准则v求 b=0 时的时的 p(1) 等价于在R随着p(1)的变化曲线上求：时的时的p(1)。v在在 b=0 时的时的 决策条件下，决策条件下，期望风险与期望风险与p( 1) 无关，无关，值为值为a，此时，此时，R的最大值最小。这种决策准则称为的最大值最小。这种决策准则称为最小最大决策准则最小最大决策准则。精选最小最大决策准则最小最大决策准则v由于：由于：v当采用当采用0-1损失函数时，损失函
23、数时，b=0可推导出：可推导出：此时，最小最大损失判决所导出的最佳分界面应使此时，最小最大损失判决所导出的最佳分界面应使两类错误概率相等！两类错误概率相等！精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用的准则决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数vBayesianBayesian置信网置信网精选分类器，判别函数，决策面分类器，判别函数，决策面v分类器最常用的表述方式为判别函数：分类器最常用的表述方式为判别函数： v基于判别函数的判决基于判别函数的判决每个类别对应一个判别函数。每个类别对应一个判别函数。如果：如果：
24、则模式为则模式为精选分类器，判别函数，决策面分类器，判别函数，决策面判别函数判别函数Discriminant functions精选分类器，判别函数，决策面分类器，判别函数，决策面v基于最小误差概率的贝叶斯分类器基于最小误差概率的贝叶斯分类器v基于最小总风险的贝叶斯分类器基于最小总风险的贝叶斯分类器精选分类器，判别函数，决策面分类器，判别函数，决策面v表达同样的判决规则可能采用不同的判别函表达同样的判决规则可能采用不同的判别函数，只要满足数，只要满足 如下条件：如下条件： 用用f(gi(x)替换替换gi(x)，其中，其中f(*)为单调递增函数为单调递增函数 例如：例如：v gi(x) k gi
25、(x) , k为正常数为正常数v gi(x) gi(x)+k , k为任意常数为任意常数v gi(x) log (gi(x)精选分类器，判别函数，决策面分类器，判别函数，决策面v特殊的，对于两分类问题，也可以只用一个特殊的，对于两分类问题，也可以只用一个判别函数判别函数 令：令：v判决规则判决规则v例如：例如：如果：如果：则模式为则模式为否则为否则为精选分类器，判别函数，决策面分类器，判别函数，决策面v判决区域判决区域: 判决区域判决区域 Ri 是特征空间中的一个子空间，判决规则是特征空间中的一个子空间，判决规则将所有落入将所有落入 Ri 的样本的样本x分类为类别分类为类别i。v决策面（决策面
26、（Decision Surface）：）：判决边界是特征空间中划分判决区域的（超）平判决边界是特征空间中划分判决区域的（超）平面面在判决边界上，通常有两类或多类的判别函数值在判决边界上，通常有两类或多类的判别函数值相等相等精选分类器，判别函数，决策面分类器，判别函数，决策面v判别函数和决策面：判别函数和决策面：精选分类器，判别函数，决策面分类器，判别函数，决策面分类器分类器设计就设计就是设计是设计判别函判别函数，求数，求出判定出判定面方程面方程g(x)!精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用的准则决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分
27、布的判别函数正态分布的判别函数vBayesianBayesian置信网置信网精选正态分布的统计决策正态分布的统计决策v为什么研究正态分布？为什么研究正态分布？物理上的合理性：较符合很多实际情况，观测值物理上的合理性：较符合很多实际情况，观测值通常是很多种因素共同作用的结果，根据通常是很多种因素共同作用的结果，根据中心中心极限定理极限定理，服从正态分布。，服从正态分布。数学上比较简单：参数个数少数学上比较简单：参数个数少v单变量正态分布单变量正态分布v多元正态分布多元正态分布精选正态分布的统计决策正态分布的统计决策v单变量正态分布密度函数（高斯分布）：单变量正态分布密度函数（高斯分布）：精选正态
28、分布的统计决策正态分布的统计决策v多元正态分布函数多元正态分布函数期望期望(均值向量均值向量)协方差矩阵协方差矩阵(对称非负定对称非负定)精选多元正态分布的性质多元正态分布的性质v参数个数：参数个数：d+d(d+1)/2 均值向量：均值向量：d个参数个参数 协方差矩阵：对称的协方差矩阵：对称的d维矩阵，维矩阵， d(d+1)/2个参数个参数v等密度点的轨迹为一超椭球面等密度点的轨迹为一超椭球面要使密度要使密度p(x)值不变，需指数项为常数，即：值不变，需指数项为常数，即：超椭球面超椭球面精选多元正态分布的性质多元正态分布的性质v马氏距离马氏距离(Mahanlanobis Distance)(M
29、ahanlanobis Distance)：与与 欧式距离：欧式距离：不同，不同，马马氏距离考氏距离考虑虑数据的数据的统计统计分布，在模式分布，在模式识别识别中有广泛的用中有广泛的用处处。精选多元正态分布的性质多元正态分布的性质v正态分布的随机变量，不相关等价于独立正态分布的随机变量，不相关等价于独立v边缘分布仍是正态分布边缘分布仍是正态分布精选多元正态分布的性质多元正态分布的性质v线性变换仍是正态分布线性变换仍是正态分布v线性组合仍是正态分布（线性变换的特例）线性组合仍是正态分布（线性变换的特例）一维正态一维正态随机变量随机变量精选多元正态分布的性质多元正态分布的性质精选正态分布的判别函数正
30、态分布的判别函数v贝叶斯判别函数可以写成对数形式：贝叶斯判别函数可以写成对数形式： v类条件概率密度函数为正态分布时：类条件概率密度函数为正态分布时： 精选正态分布的判别函数正态分布的判别函数v情况一：情况一：各类协方差阵相等，且各特征各类协方差阵相等，且各特征独立独立，方，方差相等差相等v情况二：情况二：各类协方差阵相等各类协方差阵相等v情况三：情况三：各类协方差阵不相等各类协方差阵不相等 任意的任意的精选情况一：情况一：将将代入代入得到决策函数得到决策函数展开决策函数展开决策函数其中，二次项其中，二次项对所有的对所有的 i 是相等的是相等的精选正交正交因此，等价的判决函数为：因此，等价的判
31、决函数为：其中：其中：决策面决策面可以写成：可以写成：其中：其中：过过 与与的超平面的超平面精选当当，但是，如果但是，如果当当，向先验概率小的方向偏移。向先验概率小的方向偏移。位于两中心的中点；位于两中心的中点；相对于平方距离相对于平方距离较小，那么判决边界的位置相较小，那么判决边界的位置相对于确切的先验概率值并不敏感。对于确切的先验概率值并不敏感。在此情况下，最优判决的规则为：在此情况下，最优判决的规则为： 为将某特征向量为将某特征向量x归类，通过测量每一归类，通过测量每一x到到c个均值向量中个均值向量中心的每一个欧氏距离，并将心的每一个欧氏距离，并将x归为离它最近的那一类。这样的归为离它最
32、近的那一类。这样的分类器称为分类器称为“最小距离分类器最小距离分类器”。精选情况一：最小距离分类器情况一：最小距离分类器最小距离分类器最小距离分类器判决边界是判决边界是d-1维超平面，垂直于两类中心的连线维超平面，垂直于两类中心的连线精选情况一：最小距离分类器情况一：最小距离分类器v上述结果表示在二维特征空间里，如下图所示：上述结果表示在二维特征空间里，如下图所示：可以推广到多可以推广到多类类的情况，的情况，注意注意这这种分种分类类方法没有不确定的区方法没有不确定的区域。域。 向先验概率向先验概率两两类类判决面判决面与与垂直，垂直，的中点的中点时时其交点为其交点为为为时时较小类型的均值点偏移。
33、较小类型的均值点偏移。精选各各类类的的协协方差矩方差矩阵阵相等，在几何上，相当于各相等，在几何上，相当于各类样类样本本集中在以集中在以该类该类均均值值为中心的同样大小和形状的超椭为中心的同样大小和形状的超椭球内。球内。情况二：情况二：决策函数决策函数不不变变，与，与 i 无关：无关：精选一个特例：一个特例：当当时时，各，各样样本先本先验验概率相等。概率相等。其中：其中：为为x到均到均值值点点的的“马马氏距离氏距离” （Mahalanobis）的平方。）的平方。对对于于样样本本x 只要只要计计算出算出，把，把x归归于于最小的最小的类别类别。 进一步简化：进一步简化： 精选一般地，决策函数一般地，
34、决策函数展开决策函数展开决策函数对所有的对所有的 i 是相等的，则是相等的，则其中：其中：精选正交正交决策面决策面可以写成：可以写成：其中：其中：过过 与与的超平面的超平面由于由于并非沿着并非沿着方向，方向，因此分界面并非与均值因此分界面并非与均值间的连线垂直正交。间的连线垂直正交。精选当各当各类类先先验验概率不相等概率不相等时时，不在，不在的中的中点上，而是偏向先验概点上，而是偏向先验概率较小的均值点。率较小的均值点。v上述结果表示在二维特征空间里，如下图所示：上述结果表示在二维特征空间里，如下图所示：当各当各类类先先验验概率相等概率相等时时，判决面与的交点判决面与的交点精选时时决策面向先验
35、概决策面向先验概率小的方向偏移率小的方向偏移精选情况三：情况三：任意的任意的去掉与去掉与i无关的无关的项项：可以写可以写为为：其中二次其中二次项项，一次，一次项项系数和常数系数和常数项项分分别为别为：由于：由于：精选对应对应的决策面的决策面为为超二次曲面。超二次曲面。第第 i 类类和第和第 j 类类的决策面的决策面为为：随着随着的不同，超二次曲面可以的不同，超二次曲面可以为：为：超球面、超椭球面、超抛物面、超双曲面，或超平超球面、超椭球面、超抛物面、超双曲面，或超平面等。面等。即：即：精选甚至在方差不相等的一维高斯分布情况下，其判决区甚至在方差不相等的一维高斯分布情况下，其判决区域也可以不连通
36、！域也可以不连通！精选情况三：情况三：各类协方差不同，决策面为为超二次曲面。各类协方差不同，决策面为为超二次曲面。v上述结果表示在二维特征空间里，如下图所示：上述结果表示在二维特征空间里，如下图所示：精选精选正态分布的判别函数正态分布的判别函数v例：两类正态分布样本：例：两类正态分布样本：求决策面方程求决策面方程精选令令精选求决策面方程为：求决策面方程为：和和中点中点偏下偏下精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用的准则决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数vBayesianBayesian置信网置信网精选
37、Bayesian置信网置信网v有些情况下，随机变量的分布无法得到概率密度表有些情况下，随机变量的分布无法得到概率密度表达式，但是知道该随机变量和另外一个随机变量的达式，但是知道该随机变量和另外一个随机变量的关系。关系。vBayesianBayesian置信网（置信网（ Bayesian Belief NetBayesian Belief Net）利用特征之间的相互影响（因果关系）来进行决策利用特征之间的相互影响（因果关系）来进行决策用图的形式（有向无环图）表示表示因果依赖关系用图的形式（有向无环图）表示表示因果依赖关系更适合离散变量更适合离散变量又称为因果网（又称为因果网（causal net
38、work）置信网（）置信网（ Belief Net） 精选Bayesian置信网置信网v实例的属性存在如下关系实例的属性存在如下关系 一些属性之间是一些属性之间是条件独立条件独立的的 一些属性之间存在一些属性之间存在条件依赖条件依赖（因果关系）（因果关系）vBayesianBayesian置信网可以看作是置信网可以看作是一种图关系的学习器一种图关系的学习器一种表达因果关系的联合概率分布一种表达因果关系的联合概率分布精选Bayesian置信网置信网vBayesian Belief Net结构：结构：有向无环图有向无环图顶点：顶点：特征变量特征变量边：边：起点变量对终点变起点变量对终点变量的影响（
39、条件概率）量的影响（条件概率）例子：例子：如右图如右图精选条件独立条件独立v纵向条件独立的定义：纵向条件独立的定义：纵向条件独立（如右图）：给定纵向条件独立（如右图）：给定 b ，变量变量 a 与变量与变量 c 条件独立。条件独立。总结：总结：如果如果 a 到到 c 之间存在通路，给之间存在通路，给定定 a c 上比上比c更近的变量更近的变量 b ，则，则 a 与与 c 在给定在给定 b 条件下独立。条件下独立。与独立有区别与独立有区别精选条件独立条件独立v横向条件独立的定义：横向条件独立的定义：横向条件独立（如右图）：给定横向条件独立（如右图）：给定 a ，变量，变量 b 与变量与变量 c
40、条件独立。条件独立。总结：总结：如果如果 b 到到 c 之间不存在通路，给定之间不存在通路，给定 c 的所有直接变量的所有直接变量 a ，则，则 b 与与 c 在给定在给定 a 条件下独立。条件下独立。与独立有区别与独立有区别精选联合概率的计算联合概率的计算v联合概率的计算：联合概率的计算：精选联合概率的计算联合概率的计算v联合概率的计算：联合概率的计算：精选联合概率的计算联合概率的计算v更复杂的例子更复杂的例子精选联合概率的计算联合概率的计算v原子概率原子概率称为一个称为一个原子概率原子概率精选例子例子求：求：精选例子例子求：求：精选例子例子求：求：精选例子例子求：求：精选条件概率的计算条件
41、概率的计算v条件概率计算：条件概率计算：精选例子例子求：求：精选Bayesian置信网置信网vBayesian置信网的决策置信网的决策确定性证据决策确定性证据决策( 朴素朴素Bayesian BN决策决策)不完整确定性证据决策不完整确定性证据决策不确定性证据决策不确定性证据决策精选Bayesian置信网置信网v确定性证据决策确定性证据决策( 朴素朴素Bayesian BN决策决策)：已知一已知一Bayesian BN包含变量包含变量x=(xg,xb) 和和y。完整确定性证据：完整确定性证据：现给定某样本现给定某样本x0，要求预测，要求预测y最可能的最可能的取值？取值？v求解后验概率：求解后验概
42、率：v采用采用MAP决策：决策：精选继续前面的例子：继续前面的例子：已知已知c=T, s=F, r=F,求最大可能的求最大可能的w?所以：所以：精选Bayesian置信网置信网v不完整确定性证据决策：不完整确定性证据决策：已知一已知一Bayesian BN包含变量包含变量x=(xg,xb) 和和y。不完整确定性证据：不完整确定性证据：现给定某样本现给定某样本x0=(x0g,?)，要求预测，要求预测y最可能的取值？最可能的取值？v求解后验概率：求解后验概率：v采用采用MAP决策：决策：精选继续前面的例子：继续前面的例子：已知已知c=T,求最大可能的求最大可能的w?所以：所以：精选Bayesian
43、置信网置信网v不确定性证据决策：不确定性证据决策： 不确定性证据：不确定性证据： 证据不是确定的值，而是某个概证据不是确定的值，而是某个概率分布等。率分布等。不确定性证据决策：不确定性证据决策： 给定不确定性证据给定不确定性证据e，e包含两个包含两个部分部分ep和和ec，要求对，要求对y做决策做决策父节点父节点P子节点子节点C精选问：问：冬天捕冬天捕到亮度高的到亮度高的鱼，该鱼最鱼，该鱼最有可能是鲈有可能是鲈鱼还是鲑鱼鱼还是鲑鱼？（对（对f的的决策）决策）北：北：北大西洋北大西洋 南：南：南大西洋南大西洋精选北：北：北大西洋北大西洋 南：南：南大西洋南大西洋冬天捕到两种鱼的概率冬天捕到两种鱼的概率精选北：北：北大西洋北大西洋 南：南：南大西洋南大西洋鱼的亮度为亮，长度被遮挡鱼的亮度为亮，长度被遮挡精选所以所以北：北：北大西洋北大西洋 南：南：南大西洋南大西洋精选
