《感知器算法实验》由会员分享，可在线阅读，更多相关《感知器算法实验（11页珍藏版）》请在金锄头文库上搜索。
1、感知器算法 & BP算法实验硕633 3106036072 赵杜娟一. 实验目的1. 理解线性分类器的分类原理。2. 掌握感知器算法，利用它对输入的数据进行分类。3. 理解BP算法，使用BP算法对输入数据进行分类。二. 实验原理1 感知器算法感知器算法是通过训练模式的迭代和学习算法，产生线性可分的模式判别函数。感知器算法就是通过对训练模式样本集的“学习”得出判别函数的系数解。在本次实验中,我们主要是采用硬限幅函数进行分类。感知器的训练算法如下：设输入矢量 ， 加权矢量,则神经元的输出可通过下式来计算 （1）这里对于训练结束我们判断的依据是实际输出值与理想预期值之间误差的均方值最小。定义它的均方
2、值记作,令, 则可以推出 （2）可证存在最佳的加权矢量，使达到最小。解得 （3） 式（3）给出了求最佳加权矢量的方法，但是需要做大量的统计计算，并且需要解决高阶矩阵求逆的问题，这些都是非常困难的。于是我们给出一种递推求解的方法：在给定初始权值后，以这种方法可以得到递推公式： （4）用这种方法虽然可以保证求得严格的最佳解，且避开了矩阵求逆的困难，但学习过程中的每一步仍需完成大量的统计计算。 2BP算法由于硬限幅函数是非可微函数,不能实现多层神经网络的一种有效的LMS学习算法。而BP算法中所用到的是Sigmoid型函数，它既具有完成分类所需的非线性特性，又具有实现LMS算法所需的可微特性。采用S型
3、函数的神经元的输入和输出之间的关系为： （5）采用了S型函数就可将用于单神经元的LMS学习算法适当推广，得到一种适用于前向多层神经网络的有效学习算法。我们现在研究一个采用S型函数的前向三层神经网络来说明其原理。对于训练样本p,它的输入是N维矢量X，X=，网络的第一，二，三层分别包括J，K，M个神经元，它的总输出是一个M维矢量，Y=，第i层到第i+1层之间的权重系数用来表示。可设前向三层神经网络输出各个分量的理想值是,i=0,1,M-1，而这些分量的实际值是, i=0,1,M-1，理想值和实际值之间的误差是。各输出误差的平方和可以表示为： （6）现在我们希望改变网络中的各个加权系数，使得尽可能的
4、减小。为此我们可以采取最陡下降算法的公式来调整权重系数。公式如下： 式中的是学习的步幅，它应随学习过程而变化。对于通用神经层，它的各个输出与各个输入之间的关系可以表示为： 如果设，则式中的表示s型函数。我们不难看出上式即为给输入加一个恒等于1的部分，在神经网络中也应相应的加一个节点，而且这个节点的权系数就是这一层网络的阈值。经推倒可得权系数调整的递推公式如下： （7）对输出层：对隐含层：现对于三层神经网络有l=3时（输出层） l=2时（隐含层） l=1时（第一层） 其中： 可见，这一算法的计算过程是先计算第三层（即输出层）的各项“误差分量”，然后用计算第二层（隐含层）的“等效误差分量” ，最后
5、再用计算第一层（隐含层）的“等效误差分量” 。只要算出这些误差分量，系数调整量即可立即求得。所以，这是一种由输出层向输入层逐步反推的学习算法，故称之为“逆推”学习算法，或BP算法。三实验内容1. 感知器算法实验本实验利用感知器算法的原理，随机抽取两类的部分数据，然后，用这两类的其他数据来验证分类是否正确。这里是利用感知器两两分类的原理。实验可得结果如下表。其中r1是输入x1所得的分类正确率，r2是输入x2所得的分类正确率，r3是输入x3所得的分类正确率。训练样本数输入不同组数据后的训练次数和分类正确率x1和x2x1和x3x2和x3m=5r1=100%r2=100%k=35r1=100%r3=1
6、00%k=15r2=98%r3=50%k=135m=15r1=100%r2=100%k=30r1=100%r3=100%k=30r2=86%r3=98%k=120m=25r1=100%r2=100%k=50r1=100%r3=100%k=75r2=94%r3=88%k=174m=35r1=100%r2=100%k=70r1=100%r3=100%k=70r2=82%r3=100%k=210m=45r1=100%r2=100%k=90r1=100%r3=100%k=90r2=70%r3=100%k=270运行程序进行实验，分别可得下图。下面两个图是x1和x2在训练样本选取5和45时所得的分类效果
7、。 下面两个图是x1和x3在训练样本选取5和45时所得的分类效果。 下面两个图是x2和x3在训练样本选取5和45时所得的分类效果。 由实验可以得到，x1和x2、x1和x3之间是线性可分的，其分类正确率基本上可以达到95以上。而x2和x3之间则是无法分开的，分类效果不明显。而且迭代次数也是基本随着所选训练样本数的增加而增加，但无论怎样，对于x1和x2、x1和x3之间，都得到了想要的结果，而x2和x3之间却是用此种办法无法解决的。2BP算法实验（1）异或问题实验利用前向两层神经网络来完成异或分类，输入的样本为x1=0 1 1,x2=1 0 1,x3=0 0 1,x4=1 1 1,将这四个样本分成两
8、类。其中，x1和x2是属于w1类，x3和x4属于w2类。第一层（输入层）采用三个神经元，两个输入神经原和一个恒等于1的神经原，第二层（输出层）设置一个神经元，第二层输出的值若小于0.5就表示为w1类，大于0.5就表示w2类。这里采用惯性系数调整算法。训练指数选为a0.5。在本实验中，我们记录训练次数和做不同次实验的分类正确率。经过实验可以得到如下表格：实验次数p=1p=25p=50训练次数k=3686最后一次k=2970最后一次k=2942正确率lv=100%lv=100%lv=100%由实验可以看出，分别做1次、25次和50次实验，所得到的分类正确率都是100，所以说利用前向两层神经网络来完
9、成异或分类问题可以得到很好的分类效果。（2）BP算法实验采用前向两层神经网络来实现x1、x2和x3两两之间的分类。分别选取不同个数（m）的样本进行训练，得到相应的权系数，然后再将全部数据代入进行分类，记录训练次数和分类正确率。可得如下结果：训练样本数输入不同组数据后的训练次数和分类正确率x1和x2x1和x3x2和x3 正确率迭代系数正确率迭代次数正确率迭代次数m=5r1=100%r2=100%1334r1=100%r3=100%1336r2=92%r3=86%4452m=15r1=100%r2=100%915r1=100%r3=100%1276r2=92%r3=98%2213m=25r1=10
10、0%r2=100%989r1=100%r3=100%1131r2=92%r3=96%1970m=35r1=100%r2=100%961r1=100%r3=100%1044r2=92%r3=98%1410m=45r1=100%r2=100%867r1=100%r3=100%1039r2=90%r3=100%2006x1和x2之间分别选取训练样本为5和45时的分类效果: x1和x3之间分别选取训练样本为5和45时的分类效果: x2和x3之间分别选取训练样本为5和45时的分类效果: 下面是分别进行不同多次实验所得的正确率的统计结果：x1和x3之间实验次数训练样本个数分类正确次数正确率p=20m=5r
11、1=19，r2=2097.5m=15r1=20，r2=20100m=25r1=20，r2=20100m=35r1=19，r2=2097.5m=45r1=20，r2=20100p=50m=5r1=50，r2=50100m=15r1=50，r2=50100m=25r1=49，r2=5099m=35r1=50，r2=50100m=45r1=50，r2=50100p=100m=5r1=98，r2=10099m=15r1=97，r2=10098.5m=25r1=100,r2=100100m=35r1=97，r2=10098.5m=45r1=99，r2=10099.5x1和x2之间实验次数训练样本个数分类
12、正确次数正确率p=20m=5r1=20，r2=20100m=15r1=19，r2=2097.5m=25r1=19，r2=2097.5m=35r1=20，r2=20100m=45r1=20，r2=20100p=50m=5r1=48，r2=5098m=15r1=49，r2=5099m=25r1=49，r2=5099m=35r1=50，r2=50100m=45r1=50，r2=50100p=100m=5r1=95，r2=10097.5m=15r1=99，r2=10099.5m=25r1=97,r2=10098.5m=35r1=99，r2=10099.5m=45r1=98，r2=10099x2和x3之间实验次数训练样本个数分类正确次数正确率p=20m=5r1=4，r2=420m=15r1=0，r2=2050m=25r1=4，r2=1137.5m=35r1=4，r2=2037.5m=45r1=0，r2=1127.5p=50m=5r1=3，r2=25m=15r1=0，r2=4343m=25r1=13，r2=2134m=35r1=1，r2=13
