《神经网络的基本理论》由会员分享，可在线阅读，更多相关《神经网络的基本理论（97页珍藏版）》请在金锄头文库上搜索。
1、第四章第四章神经网络的基本理论神经网络的基本理论1 模模糊糊控控制制从从人人的的经经验验出出发发，解解决决了了智智能能控控制制中中人人类类语语言言的的描描述述和和推推理理问问题题，尤尤其其是是一一些些不不确确定定性性语语言言的的描描述述和和推推理理问问题题，从从而而在在机机器器模模拟拟人人脑脑的的感感知知、推推理理等智能行为方面迈出了重大的一步。等智能行为方面迈出了重大的一步。模模糊糊控控制制在在处处理理数数值值数数据据、自自学学习习能能力力等等方方面面还还远远没没有有达达到到人人脑脑的的境境界界。人人工工神神经经网网络络从从另另一一个个角角度度出出发发，即即从从人人脑脑的的生生理理学学和和心
2、心理理学学着着手手，通通过过人人工工模模拟人脑的工作机理来实现机器的部分智能行为。拟人脑的工作机理来实现机器的部分智能行为。引言引言2 人人工工神神经经网网络络（简简称称神神经经网网络络，Neural Network）是是模拟人脑思维方式的数学模型。模拟人脑思维方式的数学模型。 神神经经网网络络是是在在现现代代生生物物学学研研究究人人脑脑组组织织成成果果的的基基础础上上提提出出的的，用用来来模模拟拟人人类类大大脑脑神神经经网网络络的的结结构构和和行行为为。神神经经网网络络反反映映了了人人脑脑功功能能的的基基本本特特征征，如如并并行行信信息息处处理理、学学习习、联联想想、模模式式分类、记忆等。分
3、类、记忆等。20世世纪纪80年年代代以以来来，人人工工神神经经网网络络（ANN，ArtificialNeuralNetwork）研研究究取取得得了了突突破破性性进进展展。神神经经网网络络控控制制是是将将神神经经网网络络与与控控制制理理论论相相结结合合而而发发展展起起来来的的智智能能控控制制方方法法。它它已已成成为为智智能能控控制制的的一一个个新新的的分分支支，为为解解决决复复杂杂的的非非线线性性、不不确确定定、未知系统的控制问题开辟了新途径。未知系统的控制问题开辟了新途径。引言引言3神神经经生生理理学学和和神神经经解解剖剖学学的的研研究究表表明明，人人脑脑极极其其复复杂杂，由由一一千千多多亿亿
4、个个神神经经元元交交织织在在一一起起的的网网状状结结构构构构成成，其其中中大大脑脑皮皮层层约约140亿亿个个神神经经元元，小小脑脑皮皮层层约约1000亿个神经元。亿个神经元。人人脑脑能能完完成成智智能能、思思维维等等高高级级活活动动，为为了了能能利利用用数数学学模模型型来来模模拟拟人人脑脑的的活活动动，导导致致了了神神经经网网络络的的研研究。究。神神经经系系统统的的基基本本构构造造是是神神经经元元(神神经经细细胞胞)，它它是是处处理人体内各部分之间相互信息传递的基本单元。理人体内各部分之间相互信息传递的基本单元。生物神经元生物神经元4单个神经元的解剖图单个神经元的解剖图单个神经元的解剖图单个神
5、经元的解剖图生物神经元生物神经元每个神经元都由一个细胞体，一个连接其他神经元每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支的轴突和一些向外伸出的其它较短分支树突组成。树突组成。5轴轴突突功功能能是是将将本本神神经经元元的的输输出出信信号号(兴兴奋奋)传传递递给给别别的的神神经经元元，其其末末端端的的许许多多神神经经末末梢梢使使得得兴兴奋奋可可以以同同时时传送给多个神经元。传送给多个神经元。生物神经元生物神经元树突的功能是接受来自其它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。神神经经元元细细胞胞体体将将接接收收到到的的所所有有信信号号进进行行简简单单地地
6、处处理理后后，由轴突输出。由轴突输出。神神经经元元的的轴轴突突与与另另外外神神经经元元神神经经末末梢梢相相连连的的部部分分称称为为突触。突触。6神经元的构成：神经元的构成：（1）细细胞胞体体（主主体体部部分分）：包包括括细细胞胞质质、细细胞胞膜膜和和细细胞胞核；核；（2）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息；（3）轴轴突突：为为细细胞胞体体传传出出信信息息，其其末末端端是是轴轴突突末末梢梢，含含传递信息的化学物质；传递信息的化学物质；（4）突突触触：是是神神经经元元之之间间的的接接口口（104105个个/每每个个神神经经元）。元）。通过树突和轴突，神经元之间实现了信息的传递
7、。通过树突和轴突，神经元之间实现了信息的传递。生物神经元生物神经元7神神经经元元之之间间的的联联系系主主要要依依赖赖其其突突触触的的联联接接作作用用。这这种种突突触触的的联联接接是是可可塑塑的的，也也就就是是说说突突触触特特性性的的变变化化是是受受到到外外界界信信息息的的影影响响或或自自身身生生长长过过程程的的影影响响。生生理理学学的的研研究究归归纳纳有有以下几个方面的变化：以下几个方面的变化：(1)突突触触传传递递效效率率的的变变化化。首首先先是是突突触触的的膨膨胀胀以以及及由由此此产产生生的的突突触触后后膜膜表表面面积积扩扩大大，从从而而突突触触所所释释放放出出的的传传递递物物质质增增多多
8、，使使得得突突触触的的传传递递效效率率提提高高。其其次次是是突突触触传传递递物物质质质质量的变化，包括比例成分的变化所引起传递效率的变化。量的变化，包括比例成分的变化所引起传递效率的变化。(2)突突触触接接触触间间隙隙的的变变化化。在在突突触触表表面面有有许许多多形形状状各各异异的的小小凸凸芽芽，调调节节其其形形状状变变化化可可以以改改变变接接触触间间隙隙，并并影影响响传传递递效率。效率。生物神经元生物神经元8(3)突突触触的的发发芽芽。当当某某些些神神经经纤纤维维被被破破坏坏后后，可可能能又又会会长长出出新新芽芽，并并重重新新产产生生附附着着于于神神经经元元上上的的突突触触形形成成新新的的回
9、回路路。由由于于新新的的回回路路的的形形成成，使使得得结结合合模模式式发发生变化，也会引起传递效率的变化。生变化，也会引起传递效率的变化。(4)突突触触数数目目的的增增减减。由由于于种种种种复复杂杂环环境境条条件件的的刺刺激激等等原原因因，或或者者由由于于动动物物本本身身的的生生长长或或衰衰老老，神神经经系系统统的的突突触触数数目目会会发发生生变变化化，并并影影响响神神经经元元之之间间的的传传递递效效率。率。生物神经元生物神经元9神经元对信息的接受和传递都是通过突触来进行的。神经元对信息的接受和传递都是通过突触来进行的。单单个个神神经经元元可可以以从从别别的的细细胞胞接接受受多多个个输输入入。
10、由由于于输输入入分分布布于于不不同同的的部部位位，对对神神经经元元影影响响的的比比例例(权权重重)是是不不相相同同的的。另另外外，各各突突触触输输入入抵抵达达神神经经元元的的先先后后时时间间也也不不一一祥祥。因因此此，一一个个神神经经元元接接受受的的信信息息，在在时时间间和和空空间间上上常常呈呈现现出出一一种种复复杂杂多多变变的的形形式式，需需要要神神经经元元对对它它们们进进行行积积累累和和整整合合加加工工，从从而而决决定定其其输输出出的的时时机机和和强强度度。正正是是神神经经元元这这种种整整合合作作用用，才才使使得得亿亿万万个个神神经经元元在在神神经经系系统统中中有有条条不不紊紊、夜夜以以继
11、继日日地地处处理理各各种种复复杂杂的的信信息息，执执行行着着生生物物中中枢枢神神经经系统的各种信息处理功能。系统的各种信息处理功能。多多个个神神经经元元以以突突触触联联接接形形成成了了一一个个神神经经网网络络。研研究究表表明明，生生物物神神经经网网络络的的功功能能决决不不是是单单个个神神经经元元生生理理和和信信息息处处理理功功能能的的简简单单叠叠加，而是一个有层次的、多单元的动态信息处理系统。加，而是一个有层次的、多单元的动态信息处理系统。它它们们有有其其独独特特的的运运行行方方式式和和控控制制机机制制，以以接接受受生生物物内内外外环环境境的的输输入入信信息息，加加以以综综合合分分折折处处理理
12、，然然后后调调节节控控制制机机体体对对环环境境作作出出适适当的反应。当的反应。生物神经元生物神经元10突触的信息处理突触的信息处理v生物神经元传递信息的过程为多输入生物神经元传递信息的过程为多输入、单输出单输出v神经元各组成部分的功能来看，信息的处理与传神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近递主要发生在突触附近v当神经元细胞体通过轴突传到突触前膜的脉冲幅当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质膜将向突触间隙释放神经传递的化学物质v突触有两种类型，兴奋
13、性突触和抑制性突触。前突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位者产生正突触后电位，后者产生负突触后电位生物神经元生物神经元11神经元具有如下功能：神经元具有如下功能：v(1)兴兴奋奋与与抑抑制制：如如果果传传入入神神经经元元的的冲冲动动经经整整合合后后使使细细胞胞膜膜电电位位升升高高，超超过过动动作作电电位位的的阈阈值值时时即即为为兴兴奋奋状状态态，产产生生神神经经冲冲动动，由由轴轴突突经经神神经经末末梢梢传传出出。如如果果传传入入神神经经元元的的冲冲动动经经整整合合后后使使细细胞胞膜膜电电位位降降低低，低低于于动动作作电电位的阈值时位的阈值时即为抑制
14、状态，即为抑制状态，不产生神经冲动不产生神经冲动。v(2)学学习习与与遗遗忘忘：由由于于神神经经元元结结构构的的可可塑塑性性，突突触触的的传传递递作作用用可可增增强强和和减减弱弱，因因此此神神经经元元具具有有学学习习与与遗遗忘忘的的功能。功能。生物神经元生物神经元12以上是从宏观上分析了人脑信息处理特点。从信息系统研究的观点以上是从宏观上分析了人脑信息处理特点。从信息系统研究的观点出发，对于出发，对于人脑人脑这个智能信息处理系统，有如下一些固有特征：这个智能信息处理系统，有如下一些固有特征：(1)并行分布处理的工作模式。并行分布处理的工作模式。实际上大脑中单个神经元的信息处理速度是很慢的，每次
15、约实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。的处理功能也很有限，估计不会比计算机的一条指令更复杂。但是人脑对某一复杂过程的处理和反应却很快，一般只需几但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需400ms，而在这个处理过程中，与脑神经系统的一些主要功能，而在这个处理过程中，与脑神经系统的一些主要功能，如视
16、觉、记亿、推理等有关。按照上述神经元的处理速度，如果如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大
17、脑信息处有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度。理的并行速度已达到了极高的程度。生物神经元生物神经元13v(2)神经系统的可塑性和自组织性。神经系统的可塑性和自组织性。v神经系统的可塑性和自组织性与人脑的生长发育过神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如，人的幼年时期约在程有关。例如，人的幼年时期约在9岁左右，学习语言的能岁左右，学习语言的能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态好。从生理学的角度看，它体现在突触的
18、可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下接受该信息的神经细胞之间的突触一外界信息反复刺激下接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。约因素，也有可能通过后天的训练和学习而得到加强。神经神经网络的学习机制就是基于这种可塑性现象，并通过修正突触网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。的结合强度来实现的。生物神经元生物神经元14v(
19、3)信息处理与信息存贮合二为一。信息处理与信息存贮合二为一。v大脑中的信息处理与信息存贮是有机结合在一起的，大脑中的信息处理与信息存贮是有机结合在一起的，而不像现行计算机那样存贮地址和存贮内容是彼此分开的。而不像现行计算机那样存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。而且还可以由一部分内容恢复全部内容。v(4)信息处理的系统性信息处理的系统性v大脑是一个复杂的大规
20、模信息处理系统，单个的元大脑是一个复杂的大规模信息处理系统，单个的元件件“神经元神经元”不能体现全体宏观系统的功能。实际上，可以不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。系统联系，可以相互协调各种信息处理功能。生物神经元生物神经元15v(5)能接受和
21、处理模糊的、模拟的、随机的信息。能接受和处理模糊的、模拟的、随机的信息。v(6)求满意解而不是精确解。求满意解而不是精确解。人类处理日常行为时，往往都不是一定要按最优人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。则，即求得满意解就行了。v(7)系统的恰当退化和冗余备份系统的恰当退化和冗余备份(鲁棒性和容错鲁棒性和容错性性)。生物神经元生物神经元16决定神经网络模型性能三大要素为：决定神经网络模型性能三大要素为：v(1)神经元（信息处理单元）的特性；神经元（信息处理单元）的特性；v(2)神经元
22、之间相互连接的形式神经元之间相互连接的形式拓扑结构；拓扑结构；v(3)为适应环境而改善性能的学习规则。为适应环境而改善性能的学习规则。生物神经元生物神经元174.1人工神经网络模型人工神经网络模型人工神经网络的数学模型人工神经网络的数学模型人工神经网络的数学模型人工神经网络的数学模型人工神经网络是在结构和功能上对生物神经网络的某人工神经网络是在结构和功能上对生物神经网络的某种程度的模拟和逼近。种程度的模拟和逼近。v直观理解直观理解 神经网络是一个并行和分布式的信息处理网络结构神经网络是一个并行和分布式的信息处理网络结构它一般由大量神经元组成它一般由大量神经元组成每个神经元只有一个输出，可以连接
23、到很多其每个神经元只有一个输出，可以连接到很多其他的神经元他的神经元每个神经元输入有多个连接通道，每个连接通每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数道对应于一个连接权系数18一、一、MP模型模型MP模模型型属属于于一一种种阈阈值值元元件件模模型型，它它是是由由美美国国McCulloch和和Pitts提提出出的的最最早早神神经经元元模模型型之之一一。MP模模型型是大多数神经网络模型的基础。是大多数神经网络模型的基础。人工神经网络基本模型人工神经网络基本模型4.1人工神经网络模型人工神经网络模型19yx1x2x nw1w2w nq q标准标准MP模型模型4.1人工神经网络模型
24、人工神经网络模型20wij代代表表神神经经元元i与与神神经经元元j之之间间的的连连接接强强度度(模模拟拟生生物物神经元之间突触连接强度神经元之间突触连接强度)，称之为，称之为连接权连接权；ui代表神经元代表神经元i的活跃值，即的活跃值，即神经元状态神经元状态；xj代表神经元代表神经元j的输出，即是神经元的输出，即是神经元i的一个的一个输入输入；i代表神经元代表神经元i的的阈值阈值。函数函数f表达了神经元的输入输出特性。在表达了神经元的输入输出特性。在MP模型中，模型中，f定定义为阶跃函数义为阶跃函数/激发函数：激发函数：4.1人工神经网络模型人工神经网络模型21如果把阈值如果把阈值i看作为一个
25、特殊的权值，则可改写为看作为一个特殊的权值，则可改写为:其中，其中，w0i-i，v01为为用用连连续续型型的的函函数数表表达达神神经经元元的的非非线线性性变变换换能能力力，常常采用采用s型函数型函数:该函数的图像如下图所示该函数的图像如下图所示4.1人工神经网络模型人工神经网络模型224.1人工神经网络模型人工神经网络模型23MP模模型型在在发发表表时时并并没没有有给给出出一一个个学学习习算算法法来来调调整整神神经经元元之之间间的的连连接接权权。但但是是，我我们们可可以以根根据据需需要要，采采用用一一些些常常见见的的算算法法来来调调整整神神经经元元连连接接权权，以以达达到到学学习习目目的的。下
26、下面面介介绍绍的的Hebb学学习习规规则则就就是是一一个个常常见见学学习习算算法。法。Hebb学学习习规规则则神神经经网网络络具具有有学学习习功功能能。对对于于人人工工神神经经网网络络而而言言，这这种种学学习习归归结结为为神神经经元元连连接接权权的的变变化化。调调整整wij的的原原则则为为：若若第第i和和第第j个个神神经经元元同同时时处处于于兴兴奋奋状状态态，则它们之间的连接应当加强，即：则它们之间的连接应当加强，即：wijuivj这这一一规规则则与与“条条件件反反射射”学学说说一一致致，并并已已得得到到神神经经细细胞学说的证实。胞学说的证实。是表示学习速率的比例常数。是表示学习速率的比例常数
27、。4.1人工神经网络模型人工神经网络模型244.2神经网络的定义和特点神经网络的定义和特点神经网络是在现代生物学研究人脑组织成果的基础上提神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来出的，用来模拟人类大脑神经网络的结构和行为模拟人类大脑神经网络的结构和行为，它从，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。如并行信息处理、学习、联想、模式分类、记忆等。n定义定义神经网络系统是由大量
28、的神经元，通过广泛地互相连接神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。而形成的复杂网络系统。25n特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。网络以任意精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。信息处理的要求。（3
29、）并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网储具有等势作用，部分的信息丢失仍可
30、以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。络具有容错性和联想记忆功能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。组合，特别适合于用大规模集成电路实现。4.2神经网络的定义和特点神经网络的定义和特点264.3感知器模型感知器模型感感知知器器是是一一种种早早期期的的神神经经网网络络模模型型，由由美美国国学学者者F.Rosenblatt于于1957年年提提出出.感感知知器器中中第第一一次次引引入入了了学学习习的的概概念念，使使人人脑脑所所具具备备的的学学习习功功
31、能能在在基基于于符符号号处处理理的的数数学学到到了了一一定定程程度度的的模模拟拟，所所以以引引起起了了广广泛泛的的关关注。注。1.简单感知器简单感知器简单感知器模型实际上仍然是简单感知器模型实际上仍然是MP模型模型的结构，的结构，但是它通过采用监督学习来逐步增强模式划分的能但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。力，达到所谓学习的目的。27其结构如下图所示其结构如下图所示感知器处理单元对感知器处理单元对n个输入进行加权和操作个输入进行加权和操作v即：即：其中，其中，Wi为第为第i个输入到处理单元的连接权值个输入到处理单元的连接权值为为阈值。阈值。f取阶跃函数取阶跃函
32、数.yx1x2x nw1w2w nq q4.3感知器模型感知器模型28感知器在形式上与感知器在形式上与MP模型差不多，它们之间的区别模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。变的，这样感知器就被赋予了学习的特性。利用简单利用简单感知器可以实现逻辑代数中的一些运算。感知器可以实现逻辑代数中的一些运算。Y=f(w1x1+w2x2-)(1)“与与”运算。当取运算。当取w1w21，1.5时，上式完成逻时，上式完成逻辑辑“与与”的运算。的运算。4.3感知器模型感知器模型29(2)“或或”
33、运算，运算，当取当取wlw21，0.5时，上式完成逻辑时，上式完成逻辑“或或”的的运运算。算。(3)“非非”运算，运算，当取当取wl=-1，w20，-1时完成逻辑时完成逻辑“非非”的运算。的运算。4.3感知器模型感知器模型30简单感知器引入的学习算法称之为误差学习算法。简单感知器引入的学习算法称之为误差学习算法。该算法是神经网络学习中的一个重要算法，并已被广该算法是神经网络学习中的一个重要算法，并已被广泛应用。现介绍如下：泛应用。现介绍如下：误差型学习规则：误差型学习规则：(1)选择一组初始权值选择一组初始权值wi(0)。(2)计算某一输入模式对应的实际输出与期望输出的计算某一输入模式对应的实
34、际输出与期望输出的误差误差。4.3感知器模型感知器模型31(3)如果如果小于给定值，结束，否则继续。小于给定值，结束，否则继续。(4)更新权值更新权值(阈值可视为输入恒为阈值可视为输入恒为1的一个权值的一个权值)：wi（t+1）wi（t+1）-wi（t）dy(t)xi。式中式中为在区间为在区间(0，1)上的一个常数，称为学习步长，它的上的一个常数，称为学习步长，它的取值与训练速度和取值与训练速度和w收敛的稳定性有关；收敛的稳定性有关；通常通常不能太大，因为太大会影响不能太大，因为太大会影响wi（t）的稳定，）的稳定，也不也不能太小，因为太小会使能太小，因为太小会使wi（t）的收敛速度太慢；）的
35、收敛速度太慢；d、y为神经元的期望输出和实际输出；为神经元的期望输出和实际输出；xi为神经元的第为神经元的第i个个输入。输入。(5)返回返回(2)，重复，直到对所有训练样本模式，网络输出，重复，直到对所有训练样本模式，网络输出均能满足要求。均能满足要求。4.3感知器模型感知器模型322.多层感知器多层感知器如果在输入和输出层间加上一层或多层的神经元如果在输入和输出层间加上一层或多层的神经元(隐隐层层神经元神经元)，就可构成多层前向网络，这里称为多层感知器。，就可构成多层前向网络，这里称为多层感知器。4.3感知器模型感知器模型334.4神经网络的分类神经网络的分类目前神经网络模型的种类相当丰富，
36、已有数十种目前神经网络模型的种类相当丰富，已有数十种神经网络模型。神经网络模型。典型的神经网络有多层前向传播网络典型的神经网络有多层前向传播网络（BP网络网络）、Hopfield网络、网络、CMAC小脑模型小脑模型、ART网络、网络、BAM双向联想记忆网络、双向联想记忆网络、SOM自组织网络、自组织网络、Blotzman机网络和机网络和Madaline网络等网络等344.4神经网络的分类神经网络的分类（1）根据神经网络的连接方式，神经网络可分为前向网络、反馈网络、）根据神经网络的连接方式，神经网络可分为前向网络、反馈网络、自组织网络自组织网络前向网络：前向网络：神经元分层排列，组成输入层、隐含
37、层和输出层。神经元分层排列，组成输入层、隐含层和输出层。神经元分层排列，组成输入层、隐含层和输出层。神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各每一层的神经元只接受前一层神经元的输入。输入模式经过各每一层的神经元只接受前一层神经元的输入。输入模式经过各每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。感知器和误差反向
38、传播网络采用前向网络形式。感知器和误差反向传播网络采用前向网络形式。感知器和误差反向传播网络采用前向网络形式。感知器和误差反向传播网络采用前向网络形式。354.4神经网络的分类神经网络的分类反馈网络：反馈网络： 该网络结构在输出层到输入层存在反馈，即每一个输入节点都该网络结构在输出层到输入层存在反馈，即每一个输入节点都该网络结构在输出层到输入层存在反馈，即每一个输入节点都该网络结构在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网有可能接受来自外部的输入和来自输出神经元的反馈。这种神经
39、网有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。 HopfieldHopfieldHopfieldHopfield神经网络是反馈网络中最简单且应用最广泛的模型，神经网络是反馈网络中最简单且应用最广泛的模型，神经网络是反馈网络中最简单且应用最广泛的模型，神经网络是反馈网络中最简单且应用最广泛的模型，它具有联想记忆的功能，如果将它具有联想记忆的功能，如果将它具有联想
40、记忆的功能，如果将它具有联想记忆的功能，如果将LyapunovLyapunovLyapunovLyapunov函数定义为寻优函数，函数定义为寻优函数，函数定义为寻优函数，函数定义为寻优函数，HopfieldHopfieldHopfieldHopfield神经网络还可以解决寻优问题。神经网络还可以解决寻优问题。神经网络还可以解决寻优问题。神经网络还可以解决寻优问题。364.4神经网络的分类神经网络的分类自组织网络：自组织网络： 当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响应
41、不同性质的信号激励，有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。射是通过无监督的自适应过程完成的，所以也称为自组织特征图。374.4神经网络的分类神经网络的分类（2 2）从网络的学习方式上划分，神经网络可分为有导师学习网络和无导师）从网络的学习方式上划分，神经网络可分为有导师学习网络和无导师学习网络。学习网络。有导师学习神经网络，又称监督学习有导师学习神经网络，又称监督学习(super
42、visedlearning)网络的输出和期望的输出网络的输出和期望的输出(即导师信号）进行比较，然后根据两者之间的即导师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。差异调整网络的权值，最终使差异变小。384.4神经网络的分类神经网络的分类无导师学习神经网络，又称无监督学习（无导师学习神经网络，又称无监督学习（unsupervisedlearning）或自组织学习（或自组织学习（self-organizedlearning）输入模式进入网络后，网络按照一种预先设定的规则（如竞争规则）自输入模式进入网络后，网络按照一种预先设定的规则（如竞争规则）自动调整权值，使网络最终具
43、有模式分类等功能。动调整权值，使网络最终具有模式分类等功能。394.4神神经网网络的分的分类神经网络分类标准不同，方法多样神经网络分类标准不同，方法多样404.5多层前向多层前向BP神经网络神经网络n多层前向神经网络的结构多层前向神经网络的结构一个输入层，一个输出层，多个隐层，信号沿输入，信号沿输入输出的方向逐层传递。输出的方向逐层传递。jpp1xp1x pnt pkt pmOp1O pnOp2隐层wj1wjn输入层输入层隐层隐层输出层输出层信息流pm41v激活函数激活函数必须处处可导必须处处可导一般都使用一般都使用S型函数型函数v使用使用S型激活函数时型激活函数时BP网络输入与输出关系网络输
44、入与输出关系输入输入输出输出4.5多层前向多层前向BP神经网络神经网络42输出的导数根据根据S型激活函数的图形可知型激活函数的图形可知,对神经网络进行训练，应该将对神经网络进行训练，应该将net的值的值尽量控制在收敛比较快的范围内尽量控制在收敛比较快的范围内4.5多层前向多层前向BP神经网络神经网络43v学习的过程：学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连神经网络在外界输入样本的刺激下不断改变网络的连接权值接权值,以使网络的输出不断地接近期望的输出。以使网络的输出不断地接近期望的输出。v学习的本质：学习的本质：对各连接权值的动态调整对各连接权值的动态调整v学习规则：学习规则：
45、权值调整规则，即在学习过程中网络中各神经元的连权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。接权变化所依据的一定的调整规则。4.5多层前向多层前向BP神经网络神经网络44BP网络的标准学习算法网络的标准学习算法-算法思想算法思想v学习的类型：有导师学习学习的类型：有导师学习v核心思想：核心思想：将输出误差将输出误差以某种形式以某种形式通过隐层向输入层逐层反传通过隐层向输入层逐层反传v学习的过程：学习的过程：信号的正向传播信号的正向传播误差的反向传播误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修
46、正各单元权值值45BP网络的标准学习算法网络的标准学习算法-学习过程学习过程v正向传播：正向传播：输入样本输入层各隐层输出层输入样本输入层各隐层输出层v判断是否转入反向传播阶段：判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不若输出层的实际输出与期望的输出（教师信号）不符符v误差反传误差反传误差以某种形式在各层表示修正各层单元误差以某种形式在各层表示修正各层单元的权值的权值v网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止46BP网络的标准学习算法网络的标准学习算法v网络结构网络结构输入层有输入层有n
47、个神经元，隐含层有个神经元，隐含层有p个神经元个神经元,输出层有输出层有q个神经元个神经元v变量定义变量定义输入向量输入向量;隐含层输入向量；隐含层输入向量；隐含层输出向量隐含层输出向量;输出层输入向量输出层输入向量;输出层输出向量输出层输出向量;期望输出向量期望输出向量;47BP网络的标准学习算法网络的标准学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：48BP网络的标准学习算法网络的标准学习算法v第一步，网络初始化第一步，网络初始化给各连接权值分别赋一个区间（给各连接权值分别赋一个区间（-1，1）内的
48、随机数，）内的随机数，设定误差函数设定误差函数e，给定计算精度值，给定计算精度值和最大学习次数和最大学习次数M。v第二步第二步,随机选取第随机选取第k个输入样本及对应期望输个输入样本及对应期望输出出49BP网络的标准学习算法网络的标准学习算法v第三步，计算隐含层各神经元的输入和输出第三步，计算隐含层各神经元的输入和输出50BP网络的标准学习算法网络的标准学习算法v第四步，利用网络期望输出和实际输出，计算第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数误差函数对输出层的各神经元的偏导数。51BP网络的标准学习算法网络的标准学习算法v第五步，利用隐含层到输出层的连接权值、
49、输第五步，利用隐含层到输出层的连接权值、输出层的出层的和隐含层的输出计算误差函数对和隐含层的输出计算误差函数对隐含层各神经元的偏导数隐含层各神经元的偏导数。52BP网络的标准学习算法网络的标准学习算法53BP网络的标准学习算法网络的标准学习算法v第六步，利用输出层各神经元的第六步，利用输出层各神经元的和隐含层各和隐含层各神经元的输出来修正连接权值神经元的输出来修正连接权值。54BP网络的标准学习算法网络的标准学习算法v第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的和输入层各和输入层各神经元的输入修正连接权。神经元的输入修正连接权。55BP网络的标准学习算法网络的标准学习算法v第八步，
50、计算全局误差第八步，计算全局误差v第九步，判断网络误差是否满足要求。当误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学应的期望输出，返回到第三步，进入下一轮学习。习。56BP网络的标准学习算法网络的标准学习算法vBP算法直观解释算法直观解释当误差对权值的偏当误差对权值的偏导数大于零时，权值导数大于零时，权值调整量为负，实际输调整量为负，实际输出大于期望输出，权出大于期望输出，权值向减少方向调整，值
51、向减少方向调整，使得实际输出与期望使得实际输出与期望输出的差减少。输出的差减少。whoe，此时，此时who0who58BP神经网络学习算法的神经网络学习算法的MATLAB实现实现vMATLAB中BP神经网络的重要函数和基本功能函 数 名功 能newff()生成一个前馈BP网络tansig()双曲正切S型(Tan-Sigmoid)传输函数logsig()对数S型(Log-Sigmoid)传输函数traingd()梯度下降BP训练函数59BP神经网络学习算法的神经网络学习算法的MATLAB实现实现vMATLAB中中BP神经网络的重要函数和基本功能神经网络的重要函数和基本功能newff()功能功能建
52、立一个前向建立一个前向BP网络网络格式格式net=newff(PR，S1S2.SN1，TF1TF2.TFN1，BTF，BLF，PF)说明说明net为创建的新为创建的新BP神经网络；神经网络；PR为网络输入为网络输入取向量取值范围的矩阵；取向量取值范围的矩阵；S1S2SNl表示网络表示网络隐含层和输出层神经元的个数；隐含层和输出层神经元的个数；TFlTF2TFN1表示网络隐含层和输出层的传输函数，默认为表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默表示网络的权值学习函数，默认为认为l
53、earngdm；PF表示性能数，默认为表示性能数，默认为mse。60BP神经网络学习算法的神经网络学习算法的MATLAB实现实现vMATLAB中BP神经网络的重要函数和基本功能tansig()功能正切sigmoid激活函数格式a=tansig(n)说明双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。logsig()功能对数Sigmoid激活函数格式a=logsig(N)说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于BP训练的神经元。61BP神经网络学习算法的神经网络学习算法的MAT
54、LAB实现实现v例2-3，下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。月份123456销量205623952600229816341600月份789101112销量18731478190015002046
55、155662BP神经网络学习算法的神经网络学习算法的MATLAB实现实现%以每三个月的销售量经归一化处理后作为输入vP=0.51520.81731.0000;0.81731.00000.7308;1.00000.73080.1390;0.73080.13900.1087;0.13900.10870.3520;0.10870.35200.0000;%以第四个月的销售量归一化处理后作为目标向量vT=0.73080.13900.10870.35200.00000.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansi
56、g，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法vnet=newff(01;01;01,5,1,tansig,logsig,traingd);vnet.trainParam.epochs=15000;vnet.trainParam.goal=0.01;%设置学习速率为0.1vLP.lr=0.1;vnet=train(net,P,T);63BP神经网络学习算法的神经网络学习算法的MATLAB实现实现vBP网络应用于药品预测对比图v由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小64BP神经网络的
57、特点神经网络的特点v非线性映射能力非线性映射能力能学习和存贮大量输入能学习和存贮大量输入-输出模式映射关系，而无需事输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到维输入空间到m维输出空间的非线性映射。维输出空间的非线性映射。v泛化能力泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称能完成由输入空间向输出空间的正确
58、映射。这种能力称为泛化能力。为泛化能力。v容错能力容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小输出规律影响很小.65BPBP算法的基本流程算法的基本流程 初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值 改变训练样板训练样终止？迭代终止？NoNoyy4.6多层前向多层前向BP神经网络神经网络664.6多层前向多层前向BP神经网络神经网络n前向网络进一步需研究的问题前向网络进一步需研究的问题目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；学习算法收敛速度慢，学习算法
59、收敛速度慢，Sigmaid函数本身存在无穷函数本身存在无穷多闪导数，而多闪导数，而BP算法只用了一次导数，致使收敛算法只用了一次导数，致使收敛速度慢。速度慢。网络隐层节点个数和初始权值的选取，尚无理论指网络隐层节点个数和初始权值的选取，尚无理论指导。导。674.7Hopfield神经网络神经网络HopfieldHopfield神经网络神经网络神经网络神经网络霍普菲尔德网络是单层对称全反馈网络，根据其激活根据其激活函数的选取不同函数的选取不同，可分为离散型的霍普菲尔德网络(DiscreteHopfieldNeuralNetwork，简称DHNN)和连续型的霍普菲尔德网络(ContinuousHo
60、pfieldNeuralNetwork，简称CHNN)。DHNN的激活函数为二值型激活函数为二值型的，其输入、输出为0，1的反馈网络，主要用于联想记忆。CHNN的激活函数的输入与输出之间的关系为连续可微连续可微的单调上升函数的单调上升函数,可以取0到1之间的任一实数值,主要用于优化计算。68在反馈网络中如果其激活函数在反馈网络中如果其激活函数f()是一个二值型的硬函数，如图是一个二值型的硬函数，如图1所所示，即示，即aisgn(ni)，il,2,r，则称此网络为离散型反馈网络；，则称此网络为离散型反馈网络；如果如果ai=f(ni)中的中的f()为一个连续单调上升的有界函数，这类网络被为一个连续
61、单调上升的有界函数，这类网络被称为连续型反馈网络称为连续型反馈网络。图图2中所示为一个具有饱和线性激活函数，中所示为一个具有饱和线性激活函数，它满足连续单调上升的有界函数的条件，常作为连续型的激活函数。它满足连续单调上升的有界函数的条件，常作为连续型的激活函数。图1 DHNN中的激活函数 图2 CHNN中的激活函数 4.7Hopfield神经网络神经网络69基基本本的的Hopfield神神经经网网络络是是一一个个由由非非线线性性元元件件构构成成的的全全连连接接型型单单层层反反馈馈系系统统，Hopfield网网络络中中的的每每一一个个神神经经元元都都将将自自己己的的输输出出通通过过连连接接权权传
62、传送送给给所所有有其其它它神神经经元元，同同时时又又都接收所有其它神经元传递过来的信息。都接收所有其它神经元传递过来的信息。Hopfield神神经经网网络络是是一一个个反反馈馈型型神神经经网网络络，网网络络中中的的神神经经元元在在t t时时刻刻的的输输出出状状态态实实际际上上间间接接地地与与自自己己t-1t-1时时刻刻的的输输出状态有关。出状态有关。4.7Hopfield神经网络神经网络70 反反馈馈型型网网络络的的一一个个重重要要特特点点就就是是它它具具有有稳稳定定状状态态，当当网网络络达达到到稳稳定定状状态态的的时时候候，也也就就是是它它的的能能量量函函数数达达到到最小的时候。最小的时候。
63、 HopfieldHopfield神神经经网网络络的的能能量量函函数数表表征征网网络络状状态态的的变变化化趋趋势势，并并可可以以依依据据HopfieldHopfield工工作作运运行行规规则则不不断断进进行行状状态态变变化化，最最终终能能够够达达到到的的某某个个极极小小值值的的目目标标函函数数。网网络络收收敛就是指能量函数达到极小值。敛就是指能量函数达到极小值。4.7Hopfield神经网络神经网络71 HopfieldHopfield网络的稳定性可用能量函数进行分析。网络的稳定性可用能量函数进行分析。目前，人工神经网络常利用渐进稳定点来解决某些问目前，人工神经网络常利用渐进稳定点来解决某些问
64、题。例如，如果把系统的稳定点视为一个记忆的话，那么题。例如，如果把系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找记忆的过程。初从初态朝这个稳定点的演变过程就是寻找记忆的过程。初态可以认为是给定的有关记忆的部分信息。态可以认为是给定的有关记忆的部分信息。如果把系统的如果把系统的稳定点视为一个能量函数的极小点，把能量函数视为一个稳定点视为一个能量函数的极小点，把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求该优化问题的过程。程就是一个求该优化问题的过程。这样的优点在于它的解这样的优点在于它的解
65、并不需要真的去计算，而只要构成这种反馈网络，适当的并不需要真的去计算，而只要构成这种反馈网络，适当的设计其连接值和输入就可达到目的。设计其连接值和输入就可达到目的。4.7Hopfield神经网络神经网络724.7Hopfield神经网络神经网络v(1)离散型离散型Hopfield网络网络离散型离散型Hopfield网络的输出为二值型，网络采用网络的输出为二值型，网络采用全连接结全连接结构构。令。令为各神经元的输出，为各神经元的输出，为各为各神经元与第神经元与第个神经元的连接权值，个神经元的连接权值，为第为第神经元的阈神经元的阈值，则有值，则有734.7Hopfield神经网络神经网络当网络经过
66、适当训练后，可以认为网络处于等待状态。而对网络给定初始输入x时，网络就处于特定的初始状态。由此初始状态开始运行，可得到网络输出（即网络的下一状态）。然后这个输出状态通过反馈连接回送到网络的输入端，作为网络下一级运行的输入信号，而该输入信号可能与初始输入信号x不同。由这个新的输入又可得到下一步的输出，该输出也可能与上一步的输出不同。如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络是稳定的，那么随着多次反馈运行，网络状态的变化逐渐减少，最后不再变化，达到稳态。这时由输出端可得到网络的稳定输出。74 能量函数定义为则其变化量为也就是说，能量函数总是随神经元状态的变化而下降的。4.7Hop
67、field神经网络神经网络754.7Hopfield神经网络神经网络(2)连续型连续型连续型连续型HopfieldHopfield网网网网络络络络用模拟电路模仿生物神经网络的特性用模拟电路模仿生物神经网络的特性764.7Hopfield神经网络神经网络连续型连续型Hopfield网络网络连续型Hopfield网络的动态方程ui为第为第i个神经元的状态输入个神经元的状态输入Vi为第为第i个神经元的状态输出个神经元的状态输出ij为第为第i个神经元到第个神经元到第j神经元的连接权神经元的连接权g()为具有连续且单调增性质的神经元激励函数为具有连续且单调增性质的神经元激励函数Ii为施加到第为施加到第i
68、个神经元的偏置个神经元的偏置774.7Hopfield神经网络神经网络定义能量函数定义能量函数则其变化量784.7Hopfield神经网络神经网络其中，于是，当ij=ji时，79且当 时 。因此，随时间的增长，神经网络在状态空间中的轨迹总是向能量函数减小的方向变化，且网络的稳定点就是能量函数的极小点。连续型Hopfield网络广泛用于联想记忆和优化计算问题。4.7Hopfield神经网络神经网络如果把一个最优化问题的目标函数转换成网络的能量函如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么数，把问题的变量对应于网络的状态，那么Hopfield神神经网络就能
69、够用于解决优化组合问题。经网络就能够用于解决优化组合问题。80v关于连续关于连续Hopfield网络有如下结论：网络有如下结论：1.具有良好的收敛性。即从任意非平衡轨迹出发，网络将最具有良好的收敛性。即从任意非平衡轨迹出发，网络将最终收敛于某个平衡状态；终收敛于某个平衡状态；2.具有有限个平衡点；具有有限个平衡点；3.如果平衡点是稳定的，那么它也一定是渐进稳定的；如果平衡点是稳定的，那么它也一定是渐进稳定的；4.渐进稳定平衡点为其能量函数的极小点；渐进稳定平衡点为其能量函数的极小点；5.通过适当的学习，该网络能将任意一组正交矢量存储起来通过适当的学习，该网络能将任意一组正交矢量存储起来作为渐进
70、稳定平衡点；作为渐进稳定平衡点；6.连续连续Hopfield网络的信息存储表现为神经元之间互联的分网络的信息存储表现为神经元之间互联的分布式动态存储；布式动态存储；7.连续连续Hopfield网络以大规模非线性连续时间并行方式处理网络以大规模非线性连续时间并行方式处理信息，其计算时间就是系统趋于平衡点的时间。信息，其计算时间就是系统趋于平衡点的时间。4.7Hopfield神经网络神经网络81vHopfield网络的应用：网络的应用：Hopfield网络已成功地用于多个领网络已成功地用于多个领域，应用方式主要有两种：域，应用方式主要有两种：联想存取和优化计算联想存取和优化计算。不同应。不同应用的
71、基本思想可以归纳如下：用的基本思想可以归纳如下：1.对于特定的问题，选择一种合适的表示方法，使得神经网对于特定的问题，选择一种合适的表示方法，使得神经网络得输出与问题的解对应起来络得输出与问题的解对应起来;2.构造神经网络的能量函数，使其最小值对应于问题的最佳构造神经网络的能量函数，使其最小值对应于问题的最佳解解;3.由能量函数反推出神经网络的结构由能量函数反推出神经网络的结构;4.由网络结构构造网络，让其运行，则稳定状态在一定条件由网络结构构造网络，让其运行，则稳定状态在一定条件下就是问题的解下就是问题的解.4.7Hopfield神经网络神经网络824.8Hopfield网络在组合优化中的应
72、用网络在组合优化中的应用v组合优化问题，就是在给定约束条件下，求出组合优化问题，就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题使目标函数极小（或极大）的变量组合问题。v将将Hopfield网络应用于求解组合优化问题，就网络应用于求解组合优化问题，就是是把目标函数转化为网络的能量函数把目标函数转化为网络的能量函数，把问题，把问题的变量对应于网络的状态。这样的变量对应于网络的状态。这样当网络的能量当网络的能量函数收敛于极小值时，问题的最优解也随之求函数收敛于极小值时，问题的最优解也随之求出。出。83uTSP问题问题所谓所谓TSP(Traveling Salesman Proble
73、m)TSP(Traveling Salesman Problem)问题，即问题，即“旅行商问题旅行商问题”是是一个十分有名的难以求解的优化问题，其要求很简单：在一个十分有名的难以求解的优化问题，其要求很简单：在n n个城市的个城市的集合中，集合中，从某一城市出发，访问各城市一次且仅一次后再回到原出从某一城市出发，访问各城市一次且仅一次后再回到原出发城市。要求找出一条最短的巡回路线。发城市。要求找出一条最短的巡回路线。如果已知城市如果已知城市A A，B B，C C，D D，之间的距离为之间的距离为d dABAB，d dBCBC，d dCDCD；那么那么总的距离总的距离d dd dABAB+d+d
74、BCBC+d+dCDCD+，对于这种动态规化问题，要去求其对于这种动态规化问题，要去求其min(dmin(d) )的解。的解。因为对于因为对于n n个城市的全排列共有个城市的全排列共有n!n!种，而种，而TSPTSP并没有限定路径的方并没有限定路径的方向，即为全组合，所以对于固定的城市数向，即为全组合，所以对于固定的城市数n n的条件下，其路径总数的条件下，其路径总数S Sn n为为S Sn nn!n!2n (n4) 2n (n4) 4.8Hopfield网络在组合优化中的应用网络在组合优化中的应用84n4时的TSP路径图 城市数和对应的旅行方案数 4.8Hopfield网络在组合优化中的应用
75、网络在组合优化中的应用85采用连续时间的霍普菲尔德网络模型来求解采用连续时间的霍普菲尔德网络模型来求解TSP，开辟了一条解，开辟了一条解决这一问题的新途径。决这一问题的新途径。其基本思想是把其基本思想是把TSP映射到映射到CHNN上，通上，通过网络状态的动态演化逐步趋向稳态而自动地搜索出优化解。过网络状态的动态演化逐步趋向稳态而自动地搜索出优化解。TSP的解是若干城市的有序排列，任何一个城市在最终路径上的的解是若干城市的有序排列，任何一个城市在最终路径上的位置可用一个位置可用一个n维的维的0、1矢量表示，对于所有矢量表示，对于所有n个城市，则需要一个城市，则需要一个个nn维矩阵，例如以维矩阵，
76、例如以5个城市为例，一种可能的排列矩阵为：个城市为例，一种可能的排列矩阵为：该矩阵唯一地确定了一条有效的行程路径：该矩阵唯一地确定了一条有效的行程路径：CADBE CADBE 4.8Hopfield网络在组合优化中的应用网络在组合优化中的应用86约束条件和最优条件约束条件和最优条件问题的约束条件和最优条件如下：问题的约束条件和最优条件如下：（1)一一个个城城市市只只能能被被访访问问一一次次=换换位位矩矩阵阵每每行行只只有有一一个个“1”。（2）一一次次只只能能访访问问一一个个城城市市=换换拉拉矩矩阵阵每每列列只只有有一一个个“1”。（3）总共有）总共有N个城市个城市=换位矩阵元素之和为换位矩阵
77、元素之和为N。(4）求巡回路径最短）求巡回路径最短=网络能量函数的最小值对应于网络能量函数的最小值对应于TSP的最短路径。的最短路径。4.8Hopfield网络在组合优化中的应用网络在组合优化中的应用87TSPTSP的最优解是求长度的最优解是求长度d dxyxy为最短的一条有效的路径。为最短的一条有效的路径。 (2)(2)目标函数目标函数f(V) f(V) (1)约束条件约束条件g(V)约束条件要保证关联矩阵的每一行每一列中只有一约束条件要保证关联矩阵的每一行每一列中只有一个值为个值为1 1，其他值均为零，用三项表示为：，其他值均为零，用三项表示为： 4.8Hopfield网络在组合优化中的应
78、用网络在组合优化中的应用88(3)(3)总的能量函数总的能量函数E E4.8Hopfield网络在组合优化中的应用网络在组合优化中的应用第一项表示当且仅当每一城市行只包含一个第一项表示当且仅当每一城市行只包含一个“1”1”元素时取极小值元素时取极小值0 0；第二项表示当且仅当每一旅行位置只包含一个第二项表示当且仅当每一旅行位置只包含一个“1”1”元素时取极小值元素时取极小值0 0；第三项表示当且仅当置换矩阵中第三项表示当且仅当置换矩阵中“1”1”元素个数之和为元素个数之和为N N时取极小值时取极小值0 0；第一项表示当且仅当每一城市行只包含一个第一项表示当且仅当每一城市行只包含一个“1”1”元
79、素时取极小值元素时取极小值0 0第四项表示路径长度信息，它随着路径长度的较小而减小。第四项表示路径长度信息，它随着路径长度的较小而减小。前三项保证了所有路径的有效性，当收敛到有效解时，前三项均为前三项保证了所有路径的有效性，当收敛到有效解时，前三项均为“0”0”。最后一项对应经过的路径长度就是一个最优解或者至少是次。最后一项对应经过的路径长度就是一个最优解或者至少是次优解。优解。 89考虑考虑CHNNCHNN模型的能量函数式，这样能量函数中的积分模型的能量函数式，这样能量函数中的积分项可以忽略不计，求解得网络的联接权值为：项可以忽略不计，求解得网络的联接权值为： 式中：外部输入偏置电流为： 4
80、.8Hopfield网络在组合优化中的应用网络在组合优化中的应用该连接权值中，系数该连接权值中，系数S S只影响同一行各神经元之间的连接只影响同一行各神经元之间的连接系数，系数系数，系数Q Q只影响同一列各神经元之间的连接系数，系只影响同一列各神经元之间的连接系数，系数数T T与所有的权系数都相关，系数与所有的权系数都相关，系数P P只涉及路径顺序相邻只涉及路径顺序相邻项。项。 90求解求解TSPTSP的连接神经网络模型的运动方程可表示为：的连接神经网络模型的运动方程可表示为： 霍普菲尔德和泰克霍普菲尔德和泰克(Tank)经过实验，认为取初始值为：经过实验，认为取初始值为：SQP500，T20
81、0，RC1，U00.02时，其求解时，其求解10个城市的个城市的TSP得到良好的效果。得到良好的效果。人们后来发现，用连续霍普菲尔德网络求解像人们后来发现，用连续霍普菲尔德网络求解像TSP这样约束优化问题时，这样约束优化问题时，系统系统S、Q、P、T的取值对求解过程有很大影响。的取值对求解过程有很大影响。4.8Hopfield网络在组合优化中的应用网络在组合优化中的应用914.9小脑神经网络小脑神经网络BP神经网络是一种静态非线性映射，通过简单非线性处神经网络是一种静态非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力。理单元的复合映射可获得复杂的非线性处理能力。Hopfi
82、eld网络是一种动态神经网络模型，实质是其节点方网络是一种动态神经网络模型，实质是其节点方程用微分方程或差分方程来表示而不是简单的非线性代数程用微分方程或差分方程来表示而不是简单的非线性代数方程来表示。方程来表示。u在以上结构中，各神经元之间的连接关系是全连接的，学习过程也表在以上结构中，各神经元之间的连接关系是全连接的，学习过程也表现为在得到每一个样本后，所有的连接系数都将更新一次。因此这种结现为在得到每一个样本后，所有的连接系数都将更新一次。因此这种结构属于多输入多输出非线性系统的全局逼近。构属于多输入多输出非线性系统的全局逼近。u这种权系数全局更新的方式使得系统本身一些局部结构变得模糊不
83、清这种权系数全局更新的方式使得系统本身一些局部结构变得模糊不清且学习速率较慢，更严重的是全局逼近的网络结构，其逼近精度对于训且学习速率较慢，更严重的是全局逼近的网络结构，其逼近精度对于训练样本数据过于敏感。练样本数据过于敏感。924.9小脑神经网络小脑神经网络小脑模型关节控制器（小脑模型关节控制器（CMAC）是由）是由Albus最初于最初于1975年基于神经生理学提出的，它是一种基于局部逼年基于神经生理学提出的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性近的简单快速的神经网络，能够学习任意多维非线性映射映射,迄今已广泛用于许多领域。迄今已广泛用于许多领域。针对输入空间的某
84、一点只有一小部分权系数能被激活。针对输入空间的某一点只有一小部分权系数能被激活。CMAC的缺点：的缺点：每一权系数只对局部的输出误差的有效部分负责每一权系数只对局部的输出误差的有效部分负责934.9小脑神经网络小脑神经网络CMAC的优点：的优点：n是基于局部学习的神经网络，它把信息存储在局部是基于局部学习的神经网络，它把信息存储在局部结构上，使每次修正的权很少，在保证函数非线性结构上，使每次修正的权很少，在保证函数非线性逼近性能的前提下，学习速度快，适合于实时控制；逼近性能的前提下，学习速度快，适合于实时控制；n只要再训练的样本空间数据域原有的样本空间数据只要再训练的样本空间数据域原有的样本空
85、间数据相距较远，则相距较远，则CMAC网络可以很方便的继续进行训网络可以很方便的继续进行训练而又不会影响原有网络已经训练好的输入输出对练而又不会影响原有网络已经训练好的输入输出对应关系。应关系。n作为非线性逼近器，它对学习数据出现的次序不敏作为非线性逼近器，它对学习数据出现的次序不敏感。感。94 CMAC CMAC CMAC CMAC神经网络结构神经网络结构神经网络结构神经网络结构 4.9小脑神经网络小脑神经网络实现两个映射实现两个映射概念映射概念映射:U AC实际映射实际映射: AC AP954.9小脑神经网络小脑神经网络概念映射概念映射（conceptualmapping)从输入空间从输入空间U到概念存储器到概念存储器AC的一个映射。的一个映射。实际映射实际映射 实际映射是由概念存储器实际映射是由概念存储器ACAC中的中的c c个单元，用杂散编个单元，用杂散编码技术映射至实际存储器码技术映射至实际存储器APAP的的c c个单元，个单元，c c个单元中个单元中存放着相应权值。网络的输出为存放着相应权值。网络的输出为APAP中中c c个单元的权值个单元的权值的和。的和。9697
