《模式识别试验》由会员分享，可在线阅读，更多相关《模式识别试验（9页珍藏版）》请在金锄头文库上搜索。
1、模式识别实验(三)一、实验名称基于Fisher准则线性分类器设计二、实验目的：本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有 更深刻地认识，理解 Fisher 准则方法确定最佳线性分界面方法的原理，以及 Lagrange 乘子 求解的原理。三、实验原理：线性判别函数的一般形式可表示成g(X) = WTX 十 w其中根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：如=湍(叫-mJ上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种 形式
2、的运算，我们称为线性变换，其中(ml-m2)式一个向量，Sw-1是Sw的逆矩阵，如(ml-m2) 是d维，Sw和Sw-1都是dXd维，得到的呼7也是一个d维的向量。向量甌 就是使Fisher准则函数丁乳卬)达极大值的解，也就是按Fisher准则将d维X 空间投影到一维Y空间的最佳投影方向，该向量呼 的各分量值是对原d维特征向量求加权 和的权值。以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的 d维向量阳 的计算方法，但是判别函数中的另一项w0尚未确定，一般可采用以下几种方 法确定w0如或者或当巩5）与玫巴）已知时可用五 1 +InbdiHpto?2NL + N2
3、 - 2当Wo确定之后，则可按以下规则分类，WTX WTX艾皂叫使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。实验内容：已知有两类数据和二者的概率已知卩（叫）=0.6, 卩血）=0.4。1 2中数据点的坐标对应一一如下：1数据：0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381
4、.16531.26530.8137-0.33990.51520.7226-0.20150.4070-0.1717-1.0573-0.2099y =2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.9449z =2.38012.23732.16141.92352.26040.53380.
5、85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.95482数据点的对应的三维坐标为x2 =1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.2
6、5001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414y2 =2.51.50-5.5-1-0.50.51.52.51.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.9
7、9830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288z2 =0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.369
8、91.1458数据的样本点分布如下图：1.51 -0.5 -302.50.5-2五、实验要求：1. 可以选择二维的数据，或者选择三维的数据作为样本。根据Fisher选择投影 方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分 开，类内样本投影尽可能密集的要求，求出评价投影方向W的函数，并在图 形表示出来。并在实验报告中表示出来，并求使/ （w）取极大值的w*。用Fmat lab完成Fisher线性分类器的设计，程序的语句要求有注释。2. 根据上述的结果并判断（1，1.5）， （1.2，1.0），（2.0，0.9），（1.2，1.5）， （0.23，2.33）或者（1，1.5，0
9、.6）（1.2，1.0，0.55），（2.0，0.9，0.68），（1.2，1.5，0.89），（0.23，2.33，1.43），属于哪个类别，并画出数据分类 相应的结果图，要求画出其在W上的投影。3. 分析一下W的比例因子对于Fisher判别函数没有影响的原因。补充实验：基于感知函数准则的线性分类器设计一、 实验名称线性分类器设计（感知准则函数准则）二、 实验目的本实验旨在让同学理解感知准则函数的原理，通过软件编程模拟线性分类器，理解感知函数准则的的确定过程，掌握梯度下降算法求增广权向量，进一步深刻认识线性分类器。实验原理：感知准则函数是五十年代由 Rosenblatt 提出的一种自学习判别
10、函数生成方法，由于 Rosenblatt 企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的 判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。感知准则函数利用梯度下降算法求增广权向量的做法，可简单叙述为： 任意给定一向al)a(k+l)量初始值 ，第K+l次迭代时的权向量等于第K次的权向量 加上被错分类的所有样本之和与口丘的乘积。可以证明，对于线性可分的样本集，经过有限次修正，一定可2匸以找到一个解向量，即算法能在有限步内收敛。其收敛速度的快慢取决于初始权向量和系数內。、 实验内容已知有两个样本空间wl和w2，这些点对应的横纵坐标的分布情况是:xl=l,2,4,l
11、,5;yl=2,l,-l,-3,-3;x2=-2.5,-2.5,-l.5,-4,-5,-3;y2=l,-l,5,l,-4,0;在二维空间样本分布图形如下所示：(plot(xl,yl,x2,y2)五、实验任务：1、用 matlab 完成感知准则函数确定程序的设计。2、请确定 sample=0,l,-l,-l,0.5,-3,2,0,l,-0.5,0.5;（横坐标点）-3,3,5,1,6,-1,-1,1,1,-0.5,-0.5（纵坐标点）属于哪个样本空 间,根据数据画出分类的结果。o 3 （1）Q3、请分析一下和对于感知函数准则确定的影响，并确定当=1/2/3时，相2应的k的值，以及不同时，k值得变化情况。4、问感知准则函数是否是唯一的？
