《R语言与机器学习》由会员分享，可在线阅读，更多相关《R语言与机器学习（7页珍藏版）》请在金锄头文库上搜索。
1、R语言与机器学习分类算法（二）二、线性神经网络尽管当训练样例线性可分时，感知器法则可以成功地找到一个权向 量，但如果样例不是线性可分时它将不能收敛。因此，人们设计了另一 个训练法则来克服这个不足，称为delta法则。如果训练样本不是线性可分的，那么delta法则会收敛到目标概念的 最佳近似。delta法则的关键思想是使用梯度下降来搜索可能权向量的假设空 间，以找到最佳拟合训练样例的权向量。我们将算法描述如下：1、定义变量与参数。x （输入向量），w （权值向量），b （偏置），y （实际输出），d （期望输出），a （学习率参数）（为叙述简便，我们可以将偏置并入权值向量中）2、初始化w=03、
2、输入样本，计算实际输出与误差。e（n）=d-x*w（n）4、调整权值向量 w（n 1）=w（n） a*x*e（n）5、判断是否收敛，收敛结束，否则返回3Hayjin证明，只要学习率av2/maxeign, delta法则按方差收敛。其中 maxeigen为xX勺最大特征值。故我们这里使用1/maxeign作为a的值。我们还是以上面的鸢尾花数据为例来说这个问题。运行代码：01p-rbind(rep(lJ15)Jirisl)02d-c(irep(0J5)j rep(l100)0娈w-rep(0,3)04a-l/max(eigen(t(p)%*%p)$values)05max-1000。6e-rep
3、(0130)07eps-rep0j100S)i-009For(i in 1:max)10v -wop;11y-v;12己v-d-y;13 -epsi 1-sumfeZ)/length(e)Mwo70 如口 wo 匸0=匸鸟2001001:i使用线性分类器:0-00M-0OrocxffE 匸Bda20010050006但是要解释的一点是，收敛并不意味着分类效果更好，要解决线性 不可分问题需要的是添加非线性输入或者增加神经元。我们以Minsky & Papert (1969)提出的异或例子为例说明这一点。使用线性神经网络，代码与上面完全相同，略。第一个神经元输出：权值：,1,2,31,0.750.5-0.5测试:,1,2,3,41,101 1第二个神经元输出：权值:,1,2,31,0.75-0.50.5测试：,1,2,3 ,41, 1 1 0 1求解异或逻辑(相同取0 ,不同取1)有结果：(代码 xor(c(1,0,1,1),c(1,1,0,1)1 FALSE TRUE TRUE FALSE即0, 1, 1, 0,分类正确。最后再说一点，Delta规则只能训练单层网络，但这不会对其功能造 成很大的影响。从理论上说，多层神经网络并不比单层神经网络更强大， 他们具有同样的能力。(未完待续。)
