《武汉大学计算机学院模式识别(五)》由会员分享，可在线阅读，更多相关《武汉大学计算机学院模式识别(五)（78页珍藏版）》请在金锄头文库上搜索。
1、模式识别模式识别(Pattern Recognition)武汉大学计算机学院袁志勇武汉大学计算机学院袁志勇Email: 5武汉大学计算机学院本科生课程武汉大学计算机学院本科生课程第3章Bayes决策理论(Cont.)第3章Bayes决策理论(Cont.)3.1 Bayes决策的引入决策的引入 3.2 分类器的描述方法分类器的描述方法 3.3 最小错误率最小错误率Bayes决策决策 3.4 最小风险最小风险Bayes决策决策 3.5 Neyman-Pearson决策决策 3.6 最小最大风险决策最小最大风险决策 3.7 正态分布正态分布Bayes决策决策 3.8 Bayes分类器算法和例题分类器
2、算法和例题 3.9 序惯分类（序惯分类（*:了解）了解） 3.10 Bayes分类器编程举例分类器编程举例3.63.6 最小最大风险最小最大风险决策 (决策 (Minimax CriterionMinimax Criterion) )在实际应用中经常遇到的是各类先验概率不能精确得 知或者在分析过程中发生变动。 这就使得判决结果不能达 到最佳，实际分类器的平均损失要变大，甚至变得很大。 在这种情况下可采用最小最大风险(Minimize the maximum possible overall riskMinimize the maximum possible overall risk)判决准则，
3、它的基本思想是在最 差的(即最大的可能风险)情况下争取最好的结果。最小错误概率Bayes决策 (最大后验概率Bayes判决准则) 是使分类的平均错误概率最小，最小风险Bayes决策是使分 类的平均风险最小，Neyman-Pearson决策是假设在一类错 误率固定的条件下使另一类的错误率最小。( )()( )( )()( )( )()( ) 1212112111122211222|(| ) ( )| (,) (| ) ( )(,) (| ) ( ) (,) (| ) ( )(,) (| ) ( )d jMjRRjRRRRRRxx p x dxRx p x dxRxx p x dxRxx p x
4、pppdppppd =+=+ xxxxxxxxxx前面的三种判决准则讨论的都是假定先验概率不变的 情况，现在讨论在P(i)变化时如何使最大可能风险最小， 先验概率P(i)与期望风险期望风险(总风险总风险/平均风险：平均风险：overall risk)R 间的变化关系如下：条件风险条件风险(Conditional risk)：期望风险R反映对整个特征空间上不同的样本x采取相应决策(x)所 带来的平均风险注：决策可看作是随机向量x的函数，记为(x)。()()() ()1|, ,|,1,2,., .()Miijijj jRxEPxic cM =defp(x)为样本向量x 在Rd空间中的概 率密度()
5、()1221111111122221112222111111122221() ( |)(| )( )() ( |)() ( |)() ( |)() ( |),|1|,:()( |)()( |)(ii iRRRRRRPPPPRPpPpdPpPpdP x xdxRPpdPpdP=+= =+ xxxxxxxxxxxxx对二类问题有2222111122221111211112222222)( |)()( |)()(1( |)()( |)()( |)()(1( |)RRRRRRpdPpdPpdPpdPpdPpd+=+ xxxxxxxxxxxx()()()()() () ()()()()211211112
6、22211111122222122212222111222111112222121()()() ()( |)() ()( |)1=|()RRRRRRPPPpdPpdPRP xP x xdxRRRP=+=+ xxxxp 一旦 ，被确定，风险 就是的线性函数。()()()() ()()()()1211221222211222111112222|RRRRabPaP xdxbP x xdx=+=+=+ 其中：1(|)P x2(|)P x1R2X1X12R这样，就得出最小风险与先验概率的关系曲线，如图所 示：()1PR12,R R 固定*R A12,R R 选择不同)(1*P()1PR*RB)(1*P(
7、)不变变化RP1( )()() ( )() ( )()() ()()()()()()()()2121211121121112221111122222212222111,;2,;3,0,.|0|:RRRR RRPPRR RRPR RbRPP x xdxRaP xdxRPPR=+=+ 当区间固定时， 与关系为直线关系当选择不同时， 与关系为一条曲线如果选择使与无关即这时候最大风险为最小，如图所示 这时直线 与横坐标平行，变化，则 不变，使最大风险a为 。()1PR12,R R 固定*R A12,R R 选择不同)(1*P()1PR*RB)(1*P()不变变化RP1讨论：讨论：()()( )( )
8、211211221221121200| RRRRbP x x eP e= =所以在最大最小判别中，应该使边界 ，满足。若选取损失为，则，两类错误概率相等。?上式表明，所选的判别边界，使两类的错误概率相等：?这时可使最大可能的风险为最小，此时先验概率变化， 其风险不变。一旦R1、R2确定，R就是先验概率P(1)的线性函数：()()()() ()()()()1211221222211222111112222|RRRRabPaP xdxbP x xdx=+=+=+ 其中1 | ( )TRLV=xx2 | ( )TRLV=xxx若则2 11 22.0 :. 0.innI = 即，只有方差(协方差为零)
9、。()()()()()() ()1122 212 2211( )ln2lnln()2221,;ln22 1( )ln()2( )ln(),2T iiiiiiiiiT iiiiiTi iiiiingPnIIIigPgP= += += +=xxxxxxxxxxx和与 无关,对分类无影响,可以省略。其中?判别函数：? 若M类先验概率相等：1222()().()( ),()2MiPPPg=xx则有:欧氏距离? 最小距离分类器：未知x与i相减，找最近的i把x归类。(b)() ()00220012,( ),()11,ln()2 ( )maxTTTTT iiiiiT iiiT iiiiiiTT iiijji
10、j MigwwPgww =+=+= +=+=+xxx x x x xxw xw xw xw xx因为(b)式中二次项与 无关简化可得：线性判别函数其中：判别规则：2111 21112222 22( )( )( )()11()()ln2()TTTgggP P =xxxx x对于二类情况()2020( )( )0, ()0()1()ln2()ijTijiji ij jijggIP P = =+xxwxxwxi决策面方程：在的特殊情况下 该方程可表示为:其中且 wi0称为第称为第i个方 向的个方 向的阈值阈值 (threshold)或或偏 置偏 置(bias)?讨论：21=i二类情况下201212(
11、 ),( )()0()iijaIbWxxHWWWH= 因为协方差为零。所以等概率面是一个圆形。与内积为 ，因此分界面 与垂直又，所以与同相 同方向决策面 垂直于 的联线。1212( )()(),()(),( )cPPHPPHd=如果先验概率相等通过 联线的中点。否则就是离开先验概率大的一类。对多类情况，用各类的均值联线的垂直线作为分界面。112 1x2x H W20x12WH时决策面)()(21PP124334H23H14H12H? 2、第二种情况：、第二种情况：i相等相等，即各类协方差相等。? 最小距离分类器：未知x，把x与各类均值相减，把x归于 最近的一类。12112312.1( )()(
12、)ln()2 ()()().()1( )()()()2MT iiiiiT iiiigPPPPPgr= += =xxxxxx因为(a)式中与 无关若先验概率相等马氏距离1111011 0()()1( )()ln()21ln()2TT iiTT iiiiiT iiiiT iiiiigPwwP=+=+= +xxxxxxw xw把展开；与 无关。（线性函数）其中且0101()0()()ln()()1()2()()Tiji ij j ijT ijijP P =+wxxwx其中且0011 2121111 1122 22( )max( )( )( )()()1()ln2()( )( )0TT iiijjij
13、 MTTTijijgxwwgggP Pgg =+=+=xww xxxxxx xxx决策规则：对于二类情况决策界面：若与相邻,? 讨论：针对1，2二类情况，如图：00010( ),( )()0,()( )();();1( )(),;2iiijijijaIbWxxWxxHxcWWHdxHH=因为所以等概率面是椭圆，长轴由特征值决定因为与内积为 所以与正交，通过 点。因为所以与不同相不垂直于 值联线若各类先验概率相等，则则通过均值联线中点否则 离开先验概率大的一类。1121x2xHW20x? 3、第三种情况、第三种情况(一般情况)： 任意任意，各类协方差矩阵不等， （a)式中二次项xTix与i有关，
14、因此判别函数为二次型。1 011 01:( ),(),2 11()lnln ()22TT iiiiiiT iiiiiiiiigwn nnwP=+=+xx Wxw xWw判别函数其中矩阵维列向量，001( )maxTT iiiiTT jjjij Mgww =+=+xx Wxw xx W xw xx决策规则：2111 111222111222( )( )( )11()()()()22()1lnln2()TTgggP P = xxxxxxxx对于二类情况:1212( )( )0ijg xgxabx xc=决策面方程：下面看看协方差矩阵不等时，二维特征空间二类问题决策面的各种图形。对于二类问题，有如下条件：、二类情况；、为条件独立；、先验概率相等
