《《模式识别》(边肇祺)习题答案》由会员分享，可在线阅读，更多相关《《模式识别》(边肇祺)习题答案（22页珍藏版）》请在金锄头文库上搜索。
1、模式识别(第二版)习题解答目录1绪论22贝叶斯决策理论23概率密度函数的估计84线性判别函数105非线性判别函数166近邻法167经验风险最小化和有序风险最小化方法188特征的选取和提取189基于K-L展开式的特征提取2010 非监督学习方法221模式识别(第二版)习题解答1绪论略2贝叶斯决策理论 2.1 如果只知道各类的先验概率，最小错误率贝叶斯决策规则应如何表示？解：设一个有C类，每一类的先验概率为P(wi)，i = 1,.,C。此时最小错误率贝叶斯 决策规则为：如果i= max iP(wi)，则x wi。 2.2 利用概率论中的乘法定理和全概率公式证明贝叶斯公式（教材中下面的公式有错 误
2、）P(wi|x) =p(x|wi)P(wi) p(x).证明：P(wi|x) =P(wi,x) p(x)=p(x|wi)P(wi) p(x) 2.3 证明：在两类情况下P(wi|x) + P(w2|x) = 1。证明：P(w1|x) + P(w2|x) =P(w1,x) p(x)+P(w2,x) p(x)=P(w1,x) + P(w2,x) p(x)=p(x) p(x) = 1 2.4 分别写出在以下两种情况1. P(x|w1) = P(x|w2)2. P(w1) = P(w2)下的最小错误率贝叶斯决策规则。解： 当P(x|w1) = P(x|w2)时，如果P(w1) P(w2)，则x w1，
3、否则x w2。当P(w1) = P(w2)时，如果P(x|w1) P(x|w2)，则x w1，否则x w2。 2.51. 对c类情况推广最小错误率率贝叶斯决策规则；2. 指出此时使错误率最小等价于后验概率最大，即P(wi|x) P(wj|x) 对一切j = i 成立时，x wi。2模式识别(第二版)习题解答解：对于c类情况，最小错误率贝叶斯决策规则为：如果 P(wi|x) = max j=1,.,cP(wj|x)，则x wi。利用贝叶斯定理可以将其写成先验概率和类条件概率相联系的形式，即如果 p(x|wi)P(wi) = max j=1,.,cp(x|wj)P(wj)，则x wi。 2.6 对
4、两类问题，证明最小风险贝叶斯决策规则可表示为，若p(x|w1) p(x|w2)(12 22)P(w2) (21 11)P(w1),则x w1，反之则属于w2。解：计算条件风险R(1|x) =2j=11jP(wj|x)= 11P(w1|x) + 12P(w2|x)R(2|x) =2j=12jP(wj|x)= 21P(w1|x) + 22P(w2|x)如果R(1|x) (12 22)P(w2|x)(21 11)P(w1)p(x|w1) (12 22)P(w2)p(x|w2) p(x|w1) p(x|w2)(12 22)P(w2) (21 11)P(w1)所以，如果p(x|w1)p(x|w2)(12
5、 22)P(w2) (21 11)P(w1)，则x w1。反之则x w2。 2.7 若11= 22= 0,12= 21，证明此时最小最大决策面是来自两类的错误率相等。解： 最小最大决策时满足(11 22) + (21 11)R2p(x|w1)dx (12 22)R1p(x|w2)dx = 0容易得到R1p(x|w2)dx =R2p(x|w1)dx所以此时最小最大决策面使得P1(e) = P2(e) 2.8 对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出 决策区域是不变的。3模式识别(第二版)习题解答解： 对于同一决策规则（如最小错误率贝叶斯决策规则） ，它的判别函数可
6、以是j= max j=1,.,cP(wj|x)，则x wj。另外一种形式为j=max j=1,.,cp(x|wj)P(wj)，则x wj。考虑两类问题的分类决策面为：P(w1|x) = P(w2|x)，与p(x|w1)P(w1) = p(x|w2)P(w2) 是相同的。 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。 2.10 随机变量l(x)定义为l(x) =p(x|w1) p(x|w2)，l(x)又称为似然比，试证明 (1) Eln(x)|w1 = Eln+1(x)|w2 (2) El(x)|w2 = 1 (3) El(x)|w1 E2l(x)|w2 = varl(x
7、)|w2（教材中题目有问题）证明：对于(1)，Eln(x)|w1 = ln(x)p(x|w1)dx =(p(x|w1)n+1 (p(x|w2)ndx又Eln+1(x)|w2 = ln+1p(x|w2)dx =(p(x|w1)n+1 (p(x|w2)ndx 所以，Eln(x)|w1 = Eln+1(x)|w2对于(2)，El(x)|w2 = l(x)p(x|w2)dx = p(x|w1)dx = 1对于(3)，El(x)|w1 E2l(x)|w2 = El2(x)|w2 E2l(x)|w2 = varl(x)|w2 2.11 xj(j = 1,2,.,n)为n个独立随机变量，有Exj|wi =
8、ij，varxj|wi = i2j22，计 算在11= 22= 0 及12= 21= 1的情况下，由贝叶斯决策引起的错误率。 （中心极限 定理）解： 在0 1损失下，最小风险贝叶斯决策与最小错误率贝叶斯决策等价。 2.12 写出离散形式的贝叶斯公式。解：P(wi|x) =P(x|wi)P(x)c j=1P(x|wi)P(wi) 2.13 把连续情况的最小错误率贝叶斯决策推广到离散情况，并写出其判别函数。 2.14 写出离散情况条件风险R(ai|x)的定义，并指出其决策规则。解：R(ai|x) =cj=1ijP(wj|x)=cj=1ijp(x|wj)P(wj)/omit the same par
9、t p(x)R(ak|x) =min j=1,2,.,NR(aj|x)，则ak就是最小风险贝叶斯决策。 2.15 证明多元正态分布的等密度点轨迹是一个超椭球面，且其主轴方向由的特征向量 决定，轴长度由的特征值决定。证明：多元正态分布的等密度点满足：xT1x = C，C为常数。4模式识别(第二版)习题解答 2.16 证明Mahalanobis距离r符合距离定义三定理，即 (1) r(a,b) = r(b,a) (2) 当且仅当a = b时，r(a,b) = 0 (3) r(a,c) r(a,b) + r(b,c)证明：(1) r(a,b) = (a b)T1(a b) = (b a)T1(b a
10、) = r(b,a)(2) 为半正定矩阵所以r(a,b) = (ab)T1(ab) 0，只有当a = b时，才有r(a,b) = 0。(3) 1可对角化，1= PPT 2.17 若将1矩阵写为：1=h11h12h1d h12h22h2d . h1dh2dhdd，证明Mahalanobis距离平方为2=di=1dj=1hij(xi ui)(xj uj)证明：2= (x u)Th11h12h1d h12h22h2d . h1dh2dhdd(x u)=di=1dj=1hij(xi ui)(xj uj) 2.18 分别对于d = 2,d = 3证明对应与Mahalanobis距离的超椭球体积是V =
11、Vd|1 2d 2.19 假定x和m是两个随机变量，并设在给定m时，x的条件密度为p(x|m) = (2)1 21exp 12(x m)2/2再假设m的边缘分布是正态分布，期望值是m0，方差是2m，证明p(m|x) =(3+ m)1 2(2)1 2mexp122+ 2m 22m( m 2mx + m02 2+ 2m)25模式识别(第二版)习题解答证明：p(m|x) =p(x|m)p(m) p(x)=p(x|m)p(m)p(x|m)p(m)dm=(2)1 21exp12(x m)2/2(2)121mexp12(m m0)2/2m(2)1 21exp12(x m)2/2(2)1 21mexp12(
12、m m0)2/2mdm=(3+ m)1 2(2)1 2mexp122+ 2m 22m( m 2mx + m02 2+ 2m)2 2.20 对i= 2I的特殊情况，证明 (1) 若P(wi) = P(wj)，则超平面靠近先验概率较小的类； (2) 在甚么情况下，先验概率对超平面的位置影响不大。证明： (1)当P(wi) = P(wj)时，超平面经过x0=1 2(ui+uj)，则对于先验概率较小的类属于它的区域会减少，所以超平面经过的点会靠近先验概率较小的类。 （可以这样理 解，具体证明也很简单）(2)？不知道这是什么问题，先验概率不管在什么时候都很重要！ 2.21 对i= 的特殊情况，指出在先验
13、概率不等时，决策面沿ui点与uj点连线向先验 概率小的方向移动。证明： 同上面一题解释一样。 2.24 似然比决策准则为：若 2.23 二维正态分布，u1= (1,0)T,u2= (1,0)T,1= 2= I,P(w1) = P(w2)。试写出 对数似然比决策规则。解：h(x) = lnl(x)= lnp(x|w1) + lnp(x|w2)=1 2(x1 u1)T11(x1 u1) 1 2(x2 u2)T12(x2 u2) +1 2ln|1| |2|=1 2(x u 1)T(x u1) (x u2)T(x u2)而，lnP(w1) P(w2) = 0。所以判别规则为当(xu1)T(xu1) (
14、xu2)T(xu2)则x w1,反之则s w2。即将x判给离它最近的ui的那个类。 2.24 在习题2.23中若1= 2，1=11 21 21 ，2=112121 ，写出负对数似然比决策规则。6模式识别(第二版)习题解答解：h(x) = lnl(x)= lnp(x|w1) + lnp(x|w2)=1 2(x1 u1)T11(x1 u1) 1 2(x2 u2)T12(x2 u2) +1 2ln|1| |2|=1 2xT(1 1 12)x (11ui 12uj)Tx+1 2(uT 11 1u1 uT21 2u2+ ln|1| |2|)= 43x1x2+4 3x1而，lnP(w1) P(w2) = 0。决策面为x1(x2 1) = 0，如图1所示xy1图 1: 分类决策面 2.25 在习题2.24的情况下，若考虑损失函数11= 22= 0,12= 21，画出似然比阈值 与错误率之间的关系。 (1)求出P(e) = 0.05时完成Neyman-Pearson决策时总的错误率； （P(e)应该为P(e1) 或者P(e2)） (2)求出最小最大决策的域值和总的错误率。解：（1）损失函数在0-1损失函数条件下的最小风险贝叶斯决策等价于最小错误率贝叶斯 决策。似然比等于0的情况下错误率最小。当P(e1) = 0.05时，7模式识别(第二版)习题解答（2）最小最大决策时
