《神经网络基础ppt课件》由会员分享，可在线阅读，更多相关《神经网络基础ppt课件（52页珍藏版）》请在金锄头文库上搜索。
1、第二章第二章 神经网络根底神经网络根底 本章简单地引见生物神经元、神经元模本章简单地引见生物神经元、神经元模型、人工神经网络模型及其学习算法。型、人工神经网络模型及其学习算法。第二章第二章 神经网络根底神经网络根底2.1 生物神生物神经元模型元模型2.2 人工神人工神经元模型元模型2.3 网网络拓扑构造拓扑构造类型型2.4 人工神人工神经网网络模型模型2.5 神神经网网络的学的学习2.6 小小结2.1 生物神生物神经元模型元模型n神神经经元元是是脑脑组组织织的的根根本本单单元元，是是神神经经系系统统构构造造与与功功能能的的单单元元。据据统统计计大大脑脑大大约约包包含含 个个神神经经元元，每每个
2、个神神经经元元于于大大约约 个个其其他他的的神神经经元元相相衔衔接接，构构成成一一个个极极为为庞庞大大而而复复杂杂的的网网络络，即即生生物物神神经经元元网网络络。生生物物神神经经元元网网络络中中各各神神经经元元之之间间衔衔接接的的强强弱弱，按按照照外外部部的的刺刺激激信信号号做做自自顺顺应应变变化化，而而每每个个神神经经元元又又随随着着所所接接受受的的的的多多个个鼓鼓励励信信号号的的综综合合结结果果呈呈现现出出兴兴奋奋与与抑抑制制形形状状。大大脑脑的的学学习习过过程程就就是是神神经经元元之之间间衔衔接接强强度度随随外外部部刺刺激激信信息息做做自自顺顺应应变变化化的的过过程程，大大脑脑处处置置星
3、星系系的的结结果果有有个个圣圣经经元元形形状状的的整整体体效效果果确确定定。n生物神生物神经元根本构造元根本构造n细胞体胞体Cell bodyn树突突 (Dendrite)n轴突突 Axonn突触突触 Synapse 每一个神每一个神经元都元都经过突触与其他神突触与其他神经元元联络，突触的，突触的“衔接接强度可随系度可随系统遭到遭到训练的的强度而改度而改动。生物神生物神经元构造元构造 n生物神经元功能生物神经元功能n兴奋与抑制兴奋与抑制n 传入神经元的激动经整和后使细胞膜电传入神经元的激动经整和后使细胞膜电位升高，超越动作电位的阈值时即为兴奋位升高，超越动作电位的阈值时即为兴奋形状，产生神经激
4、动，由轴突经神经末梢形状，产生神经激动，由轴突经神经末梢传出。传入神经元的激动经整和后使细胞传出。传入神经元的激动经整和后使细胞膜电位降低，低于阈值时即为抑制形状，膜电位降低，低于阈值时即为抑制形状，不产生神经激动。不产生神经激动。n学习与遗忘学习与遗忘n 由于神经元构造的可塑性，突触的传送由于神经元构造的可塑性，突触的传送作用可加强与减弱，因此神经元具有学习作用可加强与减弱，因此神经元具有学习和遗忘的功能。和遗忘的功能。 前往前往 2.2 人工神人工神经元模型元模型n人工神经网络是在现代神经生物学研讨根底上提人工神经网络是在现代神经生物学研讨根底上提出的模拟生物过程以反响人脑某些特性的计算构
5、出的模拟生物过程以反响人脑某些特性的计算构造。它不是人脑神经系统的真实描写，只是特的造。它不是人脑神经系统的真实描写，只是特的某种笼统、简化和模拟。某种笼统、简化和模拟。n人工神经元是对生物圣经元的一种方式化描画，人工神经元是对生物圣经元的一种方式化描画，他对生物神经元的信息处置过程进展笼统，运用他对生物神经元的信息处置过程进展笼统，运用数序文语予以描画，对生物神经元的构造与功能数序文语予以描画，对生物神经元的构造与功能进展模拟，并用模型图予以表达。进展模拟，并用模型图予以表达。1943年，年，McCulloch-Pitts(麦克洛奇皮兹麦克洛奇皮兹) 根据生物根据生物神经元的动作原理提出了神
6、经元模型，即神经元的动作原理提出了神经元模型，即M-P模型，模型，经过不断改良，构成目前广泛运用的方式神经元模型。经过不断改良，构成目前广泛运用的方式神经元模型。 对于神经元的处置机制，该模型在简化的根底上提出对于神经元的处置机制，该模型在简化的根底上提出以下以下6点点假设进展描画：假设进展描画：1. 每个神经元都是一个多输入单输出的信息处置单元每个神经元都是一个多输入单输出的信息处置单元2. 突触分兴奋性和抑制性两种类型突触分兴奋性和抑制性两种类型3. 神经元具有空间整合特性和阈值特性神经元具有空间整合特性和阈值特性4. 神经元输入与输出间有固定的时滞，主要取决于突神经元输入与输出间有固定的
7、时滞，主要取决于突触的延迟触的延迟5. 忽略时间整协作用和不应期忽略时间整协作用和不应期6. 神经元本身是非时变的，即其突触时延和突触强度神经元本身是非时变的，即其突触时延和突触强度均为常数均为常数n人工神经元是对生物神经元的一种模拟与简化。人工神经元是对生物神经元的一种模拟与简化。它是神经网络的根本处置单元。以下图显示了一它是神经网络的根本处置单元。以下图显示了一种简化的人工神经元构造。它是一个多输入、单种简化的人工神经元构造。它是一个多输入、单输出的非线性元件。输出的非线性元件。人工神经元构造模型人工神经元构造模型n人工神经元输入输出关系可描画为人工神经元输入输出关系可描画为其中其中xj
8、(j = 1,2, n)是从其它神是从其它神经元元传来的来的输入信入信号号 wji表示从神表示从神经元元j到神到神经元元i的的衔接接权值 i 为阈值 f()称称为激激发函数或作用函数函数或作用函数(2-1) 有时为了方便起见，常把有时为了方便起见，常把 看成是恒等于看成是恒等于1的输的输入入x0的权值，这时式的权值，这时式(2-1)的和式可写成的和式可写成n输出激出激发函数函数f()又称又称为变换函数，它决函数，它决议神神经元元(节点点)的的输出。出。该输出出为1或或0，取决于其，取决于其输入之和入之和大于或小于内部大于或小于内部阈值。函数普通具有非。函数普通具有非线性特征。性特征。下面几个下
9、面几个图表示了几种常表示了几种常见的激的激发函数。函数。n (1) 阈值函数阈值函数(见图见图(a),(b) 当当yi取取0或或1时，时，f(x)为图为图(a)所所示的阶跃函数：示的阶跃函数：当当yi取取-1或或1时，时，f(x)为图为图 (b)所示的所示的sgn函数：函数： (2) 饱和型函数饱和型函数(见图见图 (c) (4)双曲函数双曲函数(见图见图(d) (5)S型函数型函数(见图见图(e) 神经元的形状与输入作用之间的关系是在神经元的形状与输入作用之间的关系是在(0, 1)内延续取值的单调可微函数，称为内延续取值的单调可微函数，称为Sigmoid函数，函数，简称简称S型函数。当型函数
10、。当 趋于无穷时，趋于无穷时，S型曲线趋于阶型曲线趋于阶跃函数，通常情况下，跃函数，通常情况下， 取值为取值为1。(6)高斯型函数高斯型函数(见图见图(f) 在径向基函数构成的神经网络中，神经元的构造可在径向基函数构成的神经网络中，神经元的构造可用高斯函数描画如下：用高斯函数描画如下： 前往前往 2.3 网网络拓扑构造拓扑构造类型型n层次型构造层次型构造n互联型构造互联型构造网络的学习算法将在今后的小节中引见。网络的学习算法将在今后的小节中引见。神经网络的衔接方式神经网络的衔接方式n层内衔接层内衔接n 本层内部神经元之间的衔接，可用来加强层内本层内部神经元之间的衔接，可用来加强层内神经元之间的
11、竞争。神经元之间的竞争。n循环衔接循环衔接n 指神经元到本身的衔接。用于不断加强本身的指神经元到本身的衔接。用于不断加强本身的激活值，使本次的输出与上次的输出相关。激活值，使本次的输出与上次的输出相关。n层间衔接层间衔接n 指不同层之间的衔接。这种衔接用来实现信号指不同层之间的衔接。这种衔接用来实现信号传送。可以是前向的也可以是反向的。传送。可以是前向的也可以是反向的。 前往前往 2.4人工神人工神经网网络模型模型n人工神经网络是以工程技术手段来模拟人脑神人工神经网络是以工程技术手段来模拟人脑神经网络的构造与特征的系统。经网络的构造与特征的系统。n利用人工神经元，可以构成各种不同拓扑构造利用人
12、工神经元，可以构成各种不同拓扑构造的神经网络。的神经网络。n就神经网络的主要衔接方式而言，目前已有数就神经网络的主要衔接方式而言，目前已有数十种不同的神经网络模型，其中前馈网络和反响十种不同的神经网络模型，其中前馈网络和反响网络是两种典型的构造模型。网络是两种典型的构造模型。(1)前馈神经网络前馈神经网络前馈神经网络，又称前向网络。如以下图所前馈神经网络，又称前向网络。如以下图所示，神经元分层陈列，有输入层、隐层示，神经元分层陈列，有输入层、隐层(亦称亦称中间层，可有假设干层中间层，可有假设干层)和输出层，每一层的和输出层，每一层的神经元只接受前一层神经元的输入。神经元只接受前一层神经元的输入
13、。目目前前，大大部部分分前前馈馈网网络络都都是是学学习习网网络络，它它们们的的分分类类才才干干和和方方式式识识别别才才干干普普通通都都强强于于反反响响网网络络，典典型型的的前前馈馈网网络络有有感感知知器器网网络络、误误差差反向传播反向传播(BP)网络等。网络等。 (2) (2)反响型神经网络反响型神经网络 反响神经网络的构造如下图。假设总节点神经元数为反响神经网络的构造如下图。假设总节点神经元数为N N，那么每个节，那么每个节点有点有N N个输入和一个输出，即一切节点都是一样的，它们之间都可相互衔接。个输入和一个输出，即一切节点都是一样的，它们之间都可相互衔接。 Hopfield Hopfie
14、ld神经网络是反响网络中最简单且运用广泛的模神经网络是反响网络中最简单且运用广泛的模型，它具有联想记忆的功能，假设将型，它具有联想记忆的功能，假设将LyapunovLyapunov函数定义函数定义为寻优函数，为寻优函数，HopfieldHopfield神经网络还可以用来处理快速寻神经网络还可以用来处理快速寻优问题。优问题。 前往前往 2.5 神神经网网络的学的学习n人工神经网络最有吸引力的特点就是它的学习才人工神经网络最有吸引力的特点就是它的学习才干。学习方法是表达人工神经网络智能特征的主干。学习方法是表达人工神经网络智能特征的主要目的，分开了学习算法，人工神经网络就失去要目的，分开了学习算法
15、，人工神经网络就失去了自顺应、自组织和自学习的才干。了自顺应、自组织和自学习的才干。n人工神经网络的学习过程就是对它的训练过程。人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将由样本向量构成的样本集合所谓训练，就是在将由样本向量构成的样本集合输入到人工神经网路的过程中，按照一定方式去输入到人工神经网路的过程中，按照一定方式去调整神经元之间的衔接权。使网络能将样本集的调整神经元之间的衔接权。使网络能将样本集的内涵以衔接权矩阵的方式存储起来，从而使网络内涵以衔接权矩阵的方式存储起来，从而使网络在数据输入时可以给出适当的输出。在数据输入时可以给出适当的输出。n目前神经网络的学习方法有多种
16、，按有无教师信目前神经网络的学习方法有多种，按有无教师信号来分类，可分为有教师学习、无教师学习和再号来分类，可分为有教师学习、无教师学习和再励学习等几大类。在有教师的学习方式中，网络励学习等几大类。在有教师的学习方式中，网络的输出和期望的输出即教师信号进展比较，的输出和期望的输出即教师信号进展比较，然后根据两者之间的差别调整网络的权值，最终然后根据两者之间的差别调整网络的权值，最终使差别变小。在无教师的学习方式中，输入方式使差别变小。在无教师的学习方式中，输入方式进入网络后，网络按照预先设定的规那么如竞进入网络后，网络按照预先设定的规那么如竞争规那么自动调整权值，使网络最终具有方式争规那么自动
17、调整权值，使网络最终具有方式分类等功能。再励学习是介于上述两者之间的一分类等功能。再励学习是介于上述两者之间的一种学习方式。种学习方式。有教师学习有教师学习 n有教师学习，也称有监视学习，假设教师和神经有教师学习，也称有监视学习，假设教师和神经网络同时要对从周围环境中抽取出来的训练向量网络同时要对从周围环境中抽取出来的训练向量即例子做出判别，教师可以根据本身掌握的即例子做出判别，教师可以根据本身掌握的一些知识为神经网络提供期望呼应。一些知识为神经网络提供期望呼应。 n期望呼应普通都代表着神经网络完成的最优动作。期望呼应普通都代表着神经网络完成的最优动作。神经网络的参数可以在训练向量和误差信号的
18、综神经网络的参数可以在训练向量和误差信号的综合影响下进展调整。误差信号可以定义为神经网合影响下进展调整。误差信号可以定义为神经网络实践呼应与预期呼应之差。这种调整可以逐渐络实践呼应与预期呼应之差。这种调整可以逐渐而又反复地进展，其最终目的就是要让神经网络而又反复地进展，其最终目的就是要让神经网络模拟教师信号。模拟教师信号。 有教师学习有教师学习n利用这种手段，教师对环境掌握的知识就可以经利用这种手段，教师对环境掌握的知识就可以经过训练最大限制的教授给神经网络。当条件成熟过训练最大限制的教授给神经网络。当条件成熟时，就可以将教师信号排除在外，让网络完全自时，就可以将教师信号排除在外，让网络完全自
19、主地应对环境。主地应对环境。 n可以采用训练样本的平方误差作为性能测试规范，可以采用训练样本的平方误差作为性能测试规范，它可以定义为系统的一个带自在参数的函数，该它可以定义为系统的一个带自在参数的函数，该函数可以看作一个多维误差函数可以看作一个多维误差-性能曲面，简称误性能曲面，简称误差曲面。差曲面。n后面将要讨论的后面将要讨论的Delta学习算法属于有教师学习。学习算法属于有教师学习。它是一种闭环反响系统，但未知的环境不包含在它是一种闭环反响系统，但未知的环境不包含在循环中。循环中。 n实践误差曲面是一切能够的输入输出的平均。有实践误差曲面是一切能够的输入输出的平均。有教师学习系统可以处置有
20、用信息，根据系统当前教师学习系统可以处置有用信息，根据系统当前的行为计算出误差曲面的梯度。误差曲面上任何的行为计算出误差曲面的梯度。误差曲面上任何一点的梯度指的是指向最速下降方向的向量。一点的梯度指的是指向最速下降方向的向量。 n给定一个设计好的算法来使代价函数最小，而且给定一个设计好的算法来使代价函数最小，而且有足够的输入有足够的输入-输出数据集，那么有教师学习往往输出数据集，那么有教师学习往往可以很好地完成诸如方式分类、函数逼近等义务。可以很好地完成诸如方式分类、函数逼近等义务。 无教师学习无教师学习 n在无教师学习范例中，没有教师监视学习在无教师学习范例中，没有教师监视学习过程，即神经网
21、络没有任何例子可以学习。过程，即神经网络没有任何例子可以学习。无教师学习又可分为两类：无教师学习又可分为两类：n自组织学习自组织学习n无监视竞争学习无监视竞争学习 无教师学习无教师学习(1) 自组织学习自组织学习n即网即网络的学的学习过程完全是一种自我学程完全是一种自我学习的的过程，程，不存在外部教不存在外部教师的示教，也不存在来自外部的示教，也不存在来自外部环境境的反响指示网的反响指示网络应该输出什么或者能否正确。出什么或者能否正确。n自自组织学学习过程中，网程中，网络根据某种根据某种规那么反复地那么反复地调整整衔接接权以呼以呼应输入方式的鼓励，直到网入方式的鼓励，直到网络最最后构成某种有序
22、形状。也就是后构成某种有序形状。也就是说，自，自组织学学习是是靠神靠神经元本身元本身对输入方式的不断入方式的不断顺应，抽取，抽取输入入信号的信号的规律律(如如统计规律律)。一旦网。一旦网络显现出出输入数入数据的据的统计特征，那么网特征，那么网络就就实现了了对输入特征的入特征的编码，即把，即把输入特征入特征“记忆下来。而且在下来。而且在记忆之之后，当它再出后，当它再出现时，能把它，能把它识别出来。出来。 自组织学习能对网络的学习过程进展度自组织学习能对网络的学习过程进展度量，并优化其中的自在参数。可以以为，量，并优化其中的自在参数。可以以为，这种学习的评价准那么隐含于网络内部。这种学习的评价准那
23、么隐含于网络内部。神经网络的这种自组织特性来源于其构造神经网络的这种自组织特性来源于其构造的可塑性。的可塑性。 (1) 自组织学习自组织学习(2) 无监视竞争学习无监视竞争学习n在无在无监视竞争学争学习系系统中，没有外部的教中，没有外部的教师或那或那么么评价来价来监视学学习的的过程。要求网程。要求网络学学习该度量度量而且自在参数将根据而且自在参数将根据这个度量来逐个度量来逐渐优化。化。 n为了完成无了完成无监视竞争学争学习规那么，神那么，神经网网络包括包括两两层：输入入层和和竞争争层。输入入层接受有用的数据。接受有用的数据。竞争争层由相互由相互竞争的神争的神经元元组成，采用成，采用“胜者全得者
24、全得的的战略，具有最大略，具有最大总输入的神入的神经元的元的输出置出置1，博得博得竞争而被激活，其它神争而被激活，其它神经元置元置0，衔接接权的的调整整仅在在获胜神神经元与元与输入之入之间进展，其他皆不展，其他皆不变。再励学习再励学习 n把学习看作试探评价奖或惩过程，学把学习看作试探评价奖或惩过程，学习机选择一个动作输出作用于环境之习机选择一个动作输出作用于环境之后，使环境的形状改动，并产生一个再励后，使环境的形状改动，并产生一个再励信号奖或惩反响至学习机。学习机根信号奖或惩反响至学习机。学习机根据再励信号与环境当前的形状选择下一动据再励信号与环境当前的形状选择下一动作作用于环境，选择的原那么
25、是使遭到奖作作用于环境，选择的原那么是使遭到奖励的能够性增大。励的能够性增大。 常用学习规那么常用学习规那么nHebb规那么规那么nDelta规那么最小均方差规那么规那么最小均方差规那么n概率式学习规那么概率式学习规那么n竞争式学习规那么竞争式学习规那么n梯度下降规那么梯度下降规那么nKohonen(克豪南克豪南)学习规那么学习规那么n逆误差传播规那么逆误差传播规那么(1) Hebb学习规那么学习规那么nHebb学习规那么是一种联想式学习方法学习规那么是一种联想式学习方法n1949年生物学家年生物学家D.O. Hebbian基于对生物学和心思基于对生物学和心思学的研讨，提出了学习行为的突触联络
26、和神经群实学的研讨，提出了学习行为的突触联络和神经群实际。以为突触前与突触后二者同时兴奋，即两个神际。以为突触前与突触后二者同时兴奋，即两个神经元同时处于激发形状时，它们之间的衔接强度将经元同时处于激发形状时，它们之间的衔接强度将得到加强，这一论述的数学描画被称为得到加强，这一论述的数学描画被称为Hebb学习规学习规那么那么nHebb学习规那么是一种无教师的学习算法，它只根学习规那么是一种无教师的学习算法，它只根据神经元衔接间的激活程度改动权值，因此这种方据神经元衔接间的激活程度改动权值，因此这种方法又称为相关学习或并联学习法又称为相关学习或并联学习Hebb学习规那么学习规那么权向量的调整公式
27、为权向量的调整公式为权值的调整量与输入输出的乘积成正比。经常出现权值的调整量与输入输出的乘积成正比。经常出现的方式对权向量有最大的影响。为此，的方式对权向量有最大的影响。为此，Hebb学习规学习规那么需预先设定权饱和值，以防止输入和输出正负那么需预先设定权饱和值，以防止输入和输出正负始始终一致时出现权值无限制增长。终一致时出现权值无限制增长。学习信号简单的等于神经元的输出学习信号简单的等于神经元的输出Hebb学习过程框图学习过程框图(2) Delta规那么最小均方差规那么规那么最小均方差规那么n由美国由美国Standford大学的大学的Windrow教授于教授于60年代提年代提出出n常用的规那
28、么之一常用的规那么之一n改动单元间的衔接权重来减小系统实践输出与期改动单元间的衔接权重来减小系统实践输出与期望输出之间的误差，也称为最小方差规那么望输出之间的误差，也称为最小方差规那么n适用于自顺应信号处置、非线性系统控制、线性适用于自顺应信号处置、非线性系统控制、线性系统辨识等系统辨识等其中，其中，dp代表期望的输出代表期望的输出(教师信号教师信号) yp=f (WXp) 网络的实践输出网络的实践输出 W是网络的一切权值组成的向量：是网络的一切权值组成的向量：假设误差准那么函数为：假设误差准那么函数为：Xp为输入方式：为输入方式：训练样本数训练样本数如今的问题是如何调整权值如今的问题是如何调
29、整权值W ，使准那么函数最小。，使准那么函数最小。可用梯度下降法来求解，其根本思想是沿着可用梯度下降法来求解，其根本思想是沿着E的负的负梯度方向不断修正梯度方向不断修正W值，直到值，直到E到达最小，这种方到达最小，这种方法的数学表达式为法的数学表达式为其中其中用用 表示表示 , 那么有那么有W的修正规那么为上式称为上式称为 学习规那么，又称误差修正规那么。学习规那么，又称误差修正规那么。定义误差传播函数定义误差传播函数 为为 规那么实现了规那么实现了E E中的梯度下降，因此使误差函数到达最小值。但中的梯度下降，因此使误差函数到达最小值。但 学习学习规那么只适用于线性可分函数，无法用于多层网络。
30、误差反向传播规那么只适用于线性可分函数，无法用于多层网络。误差反向传播(Back (Back Propagation, Propagation, 简写为简写为BP ) BP ) 网络的学习算法称为网络的学习算法称为BPBP算法，是在算法，是在 规那么根规那么根底上开展起来的，可在多层网络上有效地学习。底上开展起来的，可在多层网络上有效地学习。n概率式学习的典型代表是概率式学习的典型代表是Boltzmann机学习规那么。机学习规那么。它是基于模拟退火的统计优化方法，因此又称模它是基于模拟退火的统计优化方法，因此又称模拟退火算法拟退火算法nBoltzmann机模型是一个包括输入、输出和隐层的机模型
31、是一个包括输入、输出和隐层的多层网络，但隐层间存在互联构造且网络层次不多层网络，但隐层间存在互联构造且网络层次不明显明显n由于模拟退火过程要求高温使系统到达平衡形状，由于模拟退火过程要求高温使系统到达平衡形状，而冷却即退火过程又必需缓慢地进展，否那而冷却即退火过程又必需缓慢地进展，否那么容易呵斥部分最小，所以这种学习规律的算法么容易呵斥部分最小，所以这种学习规律的算法收敛速度较慢。收敛速度较慢。(3)概率式学习规那么概率式学习规那么 Boltzmann机的训练过程，就是根据规那么：机的训练过程，就是根据规那么：对神经元对神经元i i，j j 间的衔接权值进展调整的过程。间的衔接权值进展调整的过
32、程。式中，式中， 为学习速率为学习速率 pij pij 表表示示网网络络遭遭到到学学习习样样本本的的约约束束且且系系统统到到达达 平衡形状时第平衡形状时第i i个和第个和第j j个神经元同时为个神经元同时为1 1的的 概率概率 表表示示系系统统为为自自在在运运转转形形状状且且到到达达平衡形状平衡形状 时时第第i i个个和和第第j j个个神神经经元元同同时时为为1 1的概率的概率调整权值的原那么是：当调整权值的原那么是：当 时，那么权值添时，那么权值添加，否那么减少权值。这种权值调整公式称为加，否那么减少权值。这种权值调整公式称为Boltzmann机学习规那么，即机学习规那么，即 当当 小于一定
33、值时，学习终了。小于一定值时，学习终了。n竞争学习属于无教师学习方式。这种学习方式竞争学习属于无教师学习方式。这种学习方式利用不同层间的神经元发生兴奋性联接，以及利用不同层间的神经元发生兴奋性联接，以及同一层内间隔很近的神经元间发生同样的兴奋同一层内间隔很近的神经元间发生同样的兴奋性联接，而间隔较远的神经元产生抑制性联接。性联接，而间隔较远的神经元产生抑制性联接。n在这种联接机制中引入竞争机制的学习方式称在这种联接机制中引入竞争机制的学习方式称为竞争式学习。它的本质在于神经网络中高层为竞争式学习。它的本质在于神经网络中高层次的神经元对低层次神经元的输入方式进展竞次的神经元对低层次神经元的输入方
34、式进展竞争识别。争识别。(4) 竞争式学习规那么竞争式学习规那么n竞争式学习的思想来源于人脑的自组织才干。竞争式学习的思想来源于人脑的自组织才干。大脑可以及时地调整本身构造，自动地向环境大脑可以及时地调整本身构造，自动地向环境学习，完成所需执行的功能而并不需求教师训学习，完成所需执行的功能而并不需求教师训练。竞争式神经网络亦是如此，所以又把这一练。竞争式神经网络亦是如此，所以又把这一类神经网络称为自组织神经网络。类神经网络称为自组织神经网络。(4) 竞争式学习规那么竞争式学习规那么 自组织神经网络要求识别与输入最匹配的节点，定自组织神经网络要求识别与输入最匹配的节点，定义间隔为接近间隔测度，即
35、义间隔为接近间隔测度，即其中，其中，u为为N维输入向量，具有最短间隔的节点选维输入向量，具有最短间隔的节点选作胜者，它的权向量经修正使该节点对输入作胜者，它的权向量经修正使该节点对输入u更敏更敏感。感。定义定义Nc，其半径逐渐减少至接近于零，权值学习规，其半径逐渐减少至接近于零，权值学习规那么为那么为在在这这类类学学习习规规那那么么中中，关关键键不不在在于于实实节节点点的的输输出出怎怎样样与外部的期望输出相一致，而在于调整权向量以反与外部的期望输出相一致，而在于调整权向量以反映察看事件的分布，提供基于检测特性空间的活动映察看事件的分布，提供基于检测特性空间的活动规律的性能描写。规律的性能描写。
36、(5) 梯度下降规那么梯度下降规那么nDelta规那么是梯度下降规那么的一个例子规那么是梯度下降规那么的一个例子n学习过程中坚持误差曲线梯度下降学习过程中坚持误差曲线梯度下降n能够出现部分最小，应尽量防止能够出现部分最小，应尽量防止(6) 其他学习算法其他学习算法nKohonen(克豪南学习规那么克豪南学习规那么)n各单元之间竞争，只需胜者有输出，并调各单元之间竞争，只需胜者有输出，并调整胜者与其相邻的单元的权重整胜者与其相邻的单元的权重n属于无教师学习属于无教师学习n逆误差传播规那么逆误差传播规那么n常用常用BP算法采用的学习方法算法采用的学习方法学习规那么小结学习规那么小结 从上述几种学习
37、规那么不难看出，要使人工神从上述几种学习规那么不难看出，要使人工神经网络具有学习才干，就是使神经网络的知识构造经网络具有学习才干，就是使神经网络的知识构造变化，也就是说，使神经元间的结合方式变化，这变化，也就是说，使神经元间的结合方式变化，这同把衔接权向量用什么方法变化是等价的。因此，同把衔接权向量用什么方法变化是等价的。因此，所谓神经网络的学习，目前主要是指经过一定的学所谓神经网络的学习，目前主要是指经过一定的学习算法实现对突触结合强度权值的调整，使其习算法实现对突触结合强度权值的调整，使其到达具有记忆、识别、分类、信息处置和问题优化到达具有记忆、识别、分类、信息处置和问题优化求解等功能，这是一个正在开展中的研讨课题。求解等功能，这是一个正在开展中的研讨课题。前往前往2.6 小小结n生物神经元的信息处置生物神经元的信息处置n人工神经元模型人工神经元模型n人工神经网络模型人工神经网络模型n人工神经网络学习人工神经网络学习前往前往
