《黄庆明模式识别与机器学习第三章作业》由会员分享,可在线阅读,更多相关《黄庆明模式识别与机器学习第三章作业(8页珍藏版)》请在金锄头文库上搜索。
1、在一个10类的模式识别问题中,有3类单独满足多类情况1,其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少?应该是其中加一是分别3类 和 7类一个三类问题,其判别函数如下:d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1(1)设这些函数是在多类情况1条件下确定的,绘出其判别界面和每一个模式类别的区域。(2) 设为多类情况2,并使:d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。(3)设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的,绘出其判别界面和每类的
2、区域。两类模式,每类包括5个3维不同的模式,且良好分布。如果它们是线性可分的,问权向量至少需要几个系数分量?假如要建立二次的多项式判别函数,又至少需要几个系数分量?(设模式的良好分布不因模式变化而改变。)如果线性可分,则4个建立二次的多项式判别函数,则个(1)用感知器算法求下列模式分类的解向量w:1: (0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T2: (0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T将属于2的训练样本乘以(-1),并写成增广向量的形式。x=(0 0 0 1)T, x=(1 0 0 1)T, x=(1 0 1 1)T,
3、x=(1 1 0 1)Tx=(0 0 -1 -1)T, x=(0 -1 -1 -1)T, x=(0 -1 0 -1)T, x=(-1 -1 -1 -1)T第一轮迭代:取C=1,w(1)=(0 0 0 0) T 因w T (1) x =(0 0 0 0)(0 0 0 1) T =0 0,故w(2)=w(1)+ x =(0 0 0 1)因w T(2) x =(0 0 0 1)(1 0 0 1) T =10,故w(3)=w(2)=(0 0 0 1)T因wT(3)x=(0 0 0 1)(1 0 1 1)T=10,故w(4)=w(3) =(0 0 0 1)T因wT(4)x=(0 0 0 1)(1 1 0
4、 1)T=10,故w(5)=w(4)=(0 0 0 1)T因wT(5)x=(0 0 0 1)(0 0 -1 -1)T=-10,故w(6)=w(5)+ x=(0 0 -1 0)T因wT(6)x=(0 0 -1 0)(0 -1 -1 -1)T=10,故w(7)=w(6)=(0 0 -1 0)T因wT(7)x=(0 0 -1 0)(0 -1 0 -1)T=00,故w(8)=w(7)+ x=(0 -1 -1 -1)T因wT(8)x=(0 -1 -1 -1)(-1 -1 -1 -1)T=30,故w(9)=w(8) =(0 -1 -1 -1)T因为只有对全部模式都能正确判别的权向量才是正确的解,因此需进行
5、第二轮迭代。第二轮迭代:因wT(9)x=(0 -1 -1 -1)(0 0 0 1)T=-10,故w(10)=w(9)+ x =(0 -1 -1 0)T因wT(10)x=(0 -1 -1 0)( 1 0 0 1)T=00,故w(11)=w(10)+ x =(1 -1 -1 1)T因wT(11)x=(1 -1 -1 1)( 1 0 1 1)T=10,故w(12)=w(11) =(1 -1 -1 1)T因wT(12)x=(1 -1 -1 1)( 1 1 0 1)T=10,故w(13)=w(12) =(1 -1 -1 1)T因wT(13)x=(1 -1 -1 1)(0 0 -1 -1)T=00,故w(
6、14)=w(13)+ x =(1 -1 -2 0)T因wT(14)x=(1 -1 -2 0)( 0 -1 -1 -1)T=30,故w(15)=w(14) =(1 -1 -2 0)T因wT(15)x=(1 -1 -2 0)( 0 -1 0 -1)T=10,故w(16)=w(15) =(1 -1 -2 0)T因wT(16)x=(1 -1 -2 0)( -1 -1 -1 -1)T=20,故w(17)=w(16) =(1 -1 -2 0)T因为只有对全部模式都能正确判别的权向量才是正确的解,因此需进行第三轮迭代。第三轮迭代:w(25)=(2 -2 -2 0);因为只有对全部模式都能正确判别的权向量才是
7、正确的解,因此需进行第四轮迭代。第四轮迭代:w(33)=(2 -2 -2 1)因为只有对全部模式都能正确判别的权向量才是正确的解,因此需进行第五轮迭代。第五轮迭代:w(41)=(2 -2 -2 1)因为该轮迭代的权向量对全部模式都能正确判别。所以权向量即为(2 -2 -2 1),相应的判别函数为(2)编写求解上述问题的感知器算法程序。见附件用多类感知器算法求下列模式的判别函数:1: (-1 -1)T2: (0 0)T3: (1 1)T将模式样本写成增广形式:x=(-1 -1 1)T, x=(0 0 1)T, x=(1 1 1)T取初始值w1(1)=w2(1)=w3(1)=(0 0 0)T,C=
8、1。第一轮迭代(k=1):以x=(-1 -1 1)T 作为训练样本。d1(1)=x=(0 0 0)(-1 -1 1)T=0d2(1)=x=(0 0 0)(-1 -1 1)T=0d3(1)=x=(0 0 0)(-1 -1 1)T=0因d1(1)d2(1),d1(1)d3(1),故w1(2)=w1(1)+x=(-1 -1 1)Tw2(2)=w2(1)-x=(1 1 -1)Tw3(2)=w3(1)-x=(1 1 -1)T第二轮迭代(k=2):以x=(0 0 1)T作为训练样本d1(2)=x=(-1 -1 1)(0 0 1)T=1d2(2)=x=(1 1 -1)(0 0 1)T=-1d3(2)=x=(
9、1 1 -1)(0 0 1)T=-1因d2(2)d1(2),d2(2)d3(2),故w1(3)=w1(2)-x=(-1 -1 0)Tw2(3)=w2(2)+x=(1 1 0)Tw3(3)=w3(2)-x=(1 1 -2)T第三轮迭代(k=3):以x=(1 1 1)T作为训练样本d1(3)=x=(-1 -1 0)(1 1 1)T=-2d2(3)=x=(1 1 0)(1 1 1)T=2d3(3)=x=(1 1 -2)(1 1 1)T=0因d3(3)d2(3),故w1(4)=w1(3) =(-1 -1 0)Tw2(4)=w2(3)-x=(0 0 -1)Tw3(4)=w3(3)+x=(2 2 -1)T
10、第四轮迭代(k=4):以x=(-1 -1 1)T作为训练样本d1(4)=x=(-1 -1 0)(-1 -1 1)T=2d2(4)=x=(0 0 -1)(-1 -1 1)T=-1d3(4)=x=(2 2 -1)(-1 -1 1)T=-5因d1(4)d2(4),d1(4)d3(4),故w1(5)=w1(4) =(-1 -1 0)Tw2(5)=w2(4) =(0 0 -1)Tw3(5)=w3(4) =(2 2 -1)T第五轮迭代(k=5):以x=(0 0 1)T作为训练样本d1(5)=x=(-1 -1 0)(0 0 1)T=0d2(5)=x=(0 0 -1)(0 0 1)T=-1d3(5)=x=(2
11、 2 -1)(0 0 1)T=-1因d2(5) d1(5),d2(5) d3(5),故w1(6)=w1(5)-x =(-1 -1 -1)w2(6)=w2(5)+x=(0 0 0)w3(6)=w3(5)-x=(2 2 -2)第六轮迭代(k=6):以x=(1 1 1)T作为训练样本d1(6)=x=(-1 -1 -1)(1 1 1)T=-3d2(6)=x=(0 0 0)(1 1 1)T=0d3(6)=x=(2 2 -2)(1 1 1)T=2因d3(6)d1(6),d3(6)d2(6),故w1(7)=w1(6)w2(7)=w2(6)w3(7)=w3(6)第七轮迭代(k=7):以x=(-1 -1 1)T
12、作为训练样本d1(7)=x=(-1 -1 -1)(-1 -1 1)T=1d2(7)=x=(0 0 0)(-1 -1 1)T=0d3(7)=x=(2 2 -2)(-1 -1 1)T=-6因d1(7)d2(7),d1(7)d3(7),分类结果正确,故权向量不变。由于第五、六、七次迭代中x、x、x均已正确分类,所以权向量的解为:w1=(-1 -1 -1)Tw2=(0 0 0)Tw3=(2 2 -2)T三个判别函数:d1(x)=- x1 -x2-1d2(x)=0d3(x)=2x1+2x2-2采用梯度法和准则函数式中实数b0,试导出两类模式的分类算法。其中,当时,则w(k+1) = w(k),此时不对权
13、向量进行修正;当时,则,需对权向量进行校正,初始权向量w(1)的值可任选。即用二次埃尔米特多项式的势函数算法求解以下模式的分类问题1: (0 1)T, (0 -1)T2: (1 0)T, (-1 0)T(1)按第一类势函数定义,得到势函数其中,(2)通过训练样本逐步计算累积位势K(x)给定训练样本:1类为x=(0 1)T, x=(0 -1)T2类为x=(1 0)T, x=(-1 0)T累积位势K(x)的迭代算法如下第一步:取x=(0 1)T1,故第二步:取x=(0 -1)T1,故K1(x)=5因K1(x)0且x1,故K2(x)=K1(x)第三步:取x=(1 0)T2,故K2(x)=9因K2(x
14、)0且x2,故第四步:取x=(-1 0)T2,故K3(x)=4因K3(x)0且x2,将全部训练样本重复迭代一次,得第五步:取x=x=(0 1)T1,K4(x)=270故K5(x)=K4(x)第六步:取x=x=(0 -1)T1,K5(x)=-130故第七步:取x=x=(1 0)T2,K6(x)=-320故K7(x)=K6(x)第八步:取x=x=(-1 0)T2,K7(x)=-320 故K9(x)=K8(x) 第十步:取x=x =(0 -1)T1,K9(x)=320 故K10(x)=K9(x)其中第七步到第十步的迭代过程中对全部训练样本都能正确分类,因此算法收敛于判别函数用下列势函数求解以下模式的分类问题1: (0 1)T, (0 -1)T2: (1 0)T, (-1 0)T取=1,在二维情况下势函数为这里:1类为x=(0 1)T, x=(0 -1)T2类为x=(1 0)T, x=(-1 0)T可以看出,这两类模式是线性不可分的。算法步骤如下:第一