《神经网络专题ppt课件》由会员分享，可在线阅读，更多相关《神经网络专题ppt课件（69页珍藏版）》请在金锄头文库上搜索。
1、1第第3讲人工神经网络讲人工神经网络文志强文志强计算机与通信学院计算机与通信学院2主要内容主要内容n人工神经网络的发展n神经元与网络结构n感知器（Perceptron）n反向传播网络(BP)n应用实例 33.1人工神经网络的发展1. 1940以前 代表人物有von Hemholtz, Mach, Pavlov等q 学习、训练的一般理论学习、训练的一般理论q 没有具体神经元的数学模型没有具体神经元的数学模型2. 20世纪40年代 代表人物有McCulloch and Pitts, Hebb等q 生物神经元的学习机制生物神经元的学习机制q 神经网络可以计算任何算术函数神经网络可以计算任何算术函数4
2、 当当其其处处于于兴兴奋奋状状态态时时，输输出出侧侧的的轴轴突突就就会会发发出出脉脉冲冲信信号号，每每个个神神经经元元的的树树状状突突起起与与来来自自其其它它神神经经元元轴轴突突的的互互相相结结合合部部(称称为为突突触触)接接收收由由轴轴突突传来的信号。传来的信号。 如如果果神神经经元元所所接接收收到到的的信信号号的的总总和和超超过过了了它它本本身身的的“阈阈值值”，则则该该神神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。 1943年年，WSMcCulloch提提出出神神经经元元模模型型，称称为为MP模模型型：当当神神经经
3、元元处处于于兴兴奋奋状状态态时时，其其输输出出为为1；处处于于非非兴兴奋奋状状态时，输出为态时，输出为0。 1949年年，赫赫伯伯(Hebb Donala) 提提出出了了神神经经元元的的学学习习法法Hebb法法则则（目前仍在使用）。（目前仍在使用）。53. 20世纪世纪50年代年代代表人物有代表人物有Rosenblatt, Widrow and Hoff等等q 快速实用的神经网络和学习规则快速实用的神经网络和学习规则 50年代末，年代末，FRosenblatt提出提出感知机模型感知机模型。 1962年年Block用用解解析析法法证证明明了了感感知知机机的的学学习习收收敛敛定定理理，引引发发了了
4、60年年代代以以感感知知机机为为代代表表的的第第一一次次神神经经网网络络研研究究发发展展的的高潮。高潮。 4. 20世纪世纪60年代年代代表人物有代表人物有Minskey and Papertq 说明了神经网络的局限性，新的学习算法很少提出，有说明了神经网络的局限性，新的学习算法很少提出，有些研究被取消。些研究被取消。在在Minskey关于感知机的悲观研究结果发表后，特别是在关于感知机的悲观研究结果发表后，特别是在美国，神经网络信息处理的研究被蒙上了阴影，大多数人美国，神经网络信息处理的研究被蒙上了阴影，大多数人都转向符号推理人工智能技术的研究。都转向符号推理人工智能技术的研究。65. 20世
5、纪世纪70年代年代代表人物有代表人物有Amari, Anderson, Fukushima, Grossberg, Kohonenq经过一段时间的沉寂后，研究继续进行经过一段时间的沉寂后，研究继续进行 1972年年，芬芬兰兰的的TKohonen提提出出了了一一个个与与感感知知机机等等神神经经网络不同的网络不同的自组织映射理论自组织映射理论(SOM)(SOM)。 1975年，福岛提出了一个年，福岛提出了一个自组织识别神经网络模型自组织识别神经网络模型。 1976年年CVMalsburg et al发发表表了了“地地形形图图”的的自自形形成成模型模型。76. 20世纪世纪80年代年代 20世纪世纪
6、80年代：年代： Grossberg, Hopfield, Kohonen, Rumelhartq随着随着PC机和工作站计算能力的急剧增强机和工作站计算能力的急剧增强q神经网络得到广泛应用神经网络得到广泛应用q新的概念不断引入新的概念不断引入q克服了摆在神经网络研究面前的障碍克服了摆在神经网络研究面前的障碍q人们对神经网络的研究热情空前高涨人们对神经网络的研究热情空前高涨1982年，年，Hopfield提出了所谓提出了所谓Hopfield神经网络模型神经网络模型。以以RumelhartRumelhart为为首首的的PDP(Parallel PDP(Parallel Distributed Di
7、stributed Processing)Processing)并并行行分分布布处处理理研研究究集集团团对对联联结结机机制制(connectionist)(connectionist)进进行行了了研研究。究。19861986年由年由RumelhartRumelhart和和HintonHinton提出提出误差反向传播神经网络误差反向传播神经网络BPBP8关于神经网络的主要国际性杂志有：关于神经网络的主要国际性杂志有：(1)Neural Networks(国际神经网络协会会刊国际神经网络协会会刊)(2)IEEE Transactions on Neural Networks(3)IEEE Tran
8、sactions on Parallel Distributed System(4)Connections Science(5)Neurocomputing(6)Neural Computation(7)International Journal of Neural Systems关于神关于神经经网网络络的国的国际际交流交流n第一届第一届神经网络国际会议于神经网络国际会议于1987年年6月月21至至24日在美国加州圣地亚日在美国加州圣地亚哥召开，标志着神经网络研究在世界范围内已形成了新的热点。哥召开，标志着神经网络研究在世界范围内已形成了新的热点。n 19881988年，我国在北京召开了神经网
9、络的国际研究工作会议，并出年，我国在北京召开了神经网络的国际研究工作会议，并出版了论文集。版了论文集。n19891989年年1010月在北京又召开了神经网络及其应用讨论会。月在北京又召开了神经网络及其应用讨论会。n19901990年年1212月在北京召开了我国月在北京召开了我国首届神经网络学术大会首届神经网络学术大会，并决定以后，并决定以后每年召开一次年会。每年召开一次年会。n19911991年冬在南京召开的年冬在南京召开的第二届中国神经网络学术大会第二届中国神经网络学术大会上，宣布成立上，宣布成立中国神经网络学会中国神经网络学会。 深圳桑拿深圳桑拿 S9神经元是大脑处理信息的基本单元，它的结
10、构如图所示。它是以细胞神经元是大脑处理信息的基本单元，它的结构如图所示。它是以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由其形状很像一棵枯树的枝干。它主要由细胞体细胞体、树突树突、轴突轴突和和突触突触(Synapse(Synapse，又称神经键，又称神经键) )组成。组成。3.2 神经元与网络结构人脑大约由人脑大约由1012个神经元组成，而其中的每个神经元又与约个神经元组成，而其中的每个神经元又与约102104个其他神经元相连接，如此构成一个庞大而复杂的神经元网络。个其他神经元相连
11、接，如此构成一个庞大而复杂的神经元网络。输入输入处理处理输出输出10神经网络是一个并行和分布式的信息处理神经网络是一个并行和分布式的信息处理网络结构，一般由网络结构，一般由许多个神经元许多个神经元组成。组成。 x1x2xnw1w2wnyyy 生物神经网络的模型化人工神经网络 11神经元结构 xi(i1，2，n)为输入端为输入端(突触突触)上的输入信号；上的输入信号；i为相应的突触连接权系数，它是模拟突触传递强度为相应的突触连接权系数，它是模拟突触传递强度的一个比例系数，的一个比例系数，表示突触后信号的空间累加；表示突触后信号的空间累加；表表示神经元的阈值，示神经元的阈值，表示神经元的响应函数。
12、该模型表示神经元的响应函数。该模型的数学表达式为：的数学表达式为： 12如果：如果：x1=1 x2=2神经元计算：神经元计算： s = 1(1) + 2 0 0.1 = 1.1计算最后输出：计算最后输出： y =0 ( s= 1.1 0 )0.1x1x2-10ys13响应函数阈值单元 线性单元 非线性单元S型(Sigmoid)函数 响应函数的基本作用：控制输入对输出的激活作用；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。 根据响应函数的不同，人工神经元有以下几种类型：141.前向网络 网网络络的的结结构构如如左左图图所所示示，网网络络中中的的神神经经元元是是分分层
13、层排排列列的的，每每个个神神经经元元只只与与前前一一层层的的神神经经元元相相连连接接。最最上上一一层层为为输输出出层层，隐隐含含层层的的层层数数可可以以是是一一层层或或多多层层。前前向向网网络络在在神神经经网络中应用很广泛。网络中应用很广泛。 例如，感知器就属于这种类型。例如，感知器就属于这种类型。 人工神经网络的构成 152.从输出到输入有反馈的前向网络 网网络络的的结结构构如如左左图图所所示示。网网络络的的本本身身是是前前向向型型的的，与与前前一一种种不不同的是从输出到输入有反馈回路。同的是从输出到输入有反馈回路。 例例如如，FukushimaFukushima网网络络就就属属于于这种类型
14、。这种类型。163.层内互连前向网络 n 可可以以实实现现同同一一层层神神经经元元之之间间横横向向抑抑制制或或兴兴奋奋的的机机制制，从从而而限限制制层内能同时动作的神经数层内能同时动作的神经数n 可可把把层层内内神神经经元元分分为为若若干干组组，让每组作为一个整体来动作。让每组作为一个整体来动作。n 一一些些自自组组织织竞竞争争型型神神经经网网络络就就属于这种类型。属于这种类型。 174.互连网络 n 互互连连网网络络有有局局部部互互连连和和全全互互连两种。连两种。n 全全互互连连网网络络中中的的每每个个神神经经元元都与其他神经元相连。都与其他神经元相连。n 局局部部互互连连是是指指互互连连只
15、只是是局局部部的的，有有些些神神经经元元之之间间没没有有连连接接关关系。系。n HopfieldHopfield网网络络和和BoltzmannBoltzmann机机属于互连网络的类型。属于互连网络的类型。18人工神经网络的学习 n 学习方法就是网络连接权的调整方法。学习方法就是网络连接权的调整方法。n 人工神经网络连接权的确定通常有两种方法：人工神经网络连接权的确定通常有两种方法：n根根据据具具体体要要求求：直直接接计计算算出出来来，如如HopfieldHopfield网网络络做做优化计算；优化计算；n通通过过学学习习得得到到的的，大大多多数数人人工工神神经经网网络络都都用用这这种种方方法。法
16、。n 学学习习方方法法是是多多种种多多样样的的。一一些些基基本本的的、通通用用的的学学习规则：习规则：19一些基本的、通用的学习规则1Hebb学习规则 是Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则。2学习规则 用已知样本作为教师对网络进行学习，又称误差校正规则。3相近学习规则 203.3 感知器（Perceptron）n 感感知知器器是是由由美美国国计计算算机机科科学学家家罗罗森森布布拉拉特特（F.RoseblattF.Roseblatt）于于19571957年提出的。感知器可谓是最早的人工神经网络。年提出的。感知器可谓是最早的人工神经网络。n
17、单单层层感感知知器器是是一一个个具具有有一一层层神神经经元元、采采用用阈阈值值激激活活函函数数的的前向网络。前向网络。n 通通过过对对网网络络权权值值的的训训练练，可可以以使使感感知知器器对对一一组组输输入入矢矢量量的的响应达到元素为响应达到元素为0 0或或1 1的目标输出。的目标输出。 21如果：如果：x1=1 x2=2神经元计算：神经元计算： s = 1(1) + 2 0 0.1 = 1.1计算最后输出：计算最后输出： y =0 ( s= 1.1 0 )0.1x1x2-10ys22其其中中，每每一一个个输输入入分分量量p pj j(j(j1 1，2 2，r)r)通通过过一一个个权权值值分分
18、量量w wj j，进进行行加加权权求求和和，并并作作为为阈阈值值函函数数的的输输入入。偏偏差差b b的的加加入入使使得得网网络络多多了了一一个个可可调调参参数数，为为使使网网络络输输出出达达到到期望的目标矢量提供了方便。期望的目标矢量提供了方便。n 感知器特别适合解决简单的模式分类问题。感知器特别适合解决简单的模式分类问题。n F.RoseblattF.Roseblatt已已经经证证明明，如如果果两两类类模模式式是是线线性性可可分分的的（指存在一个超平面将它们分开），则算法一定收敛。（指存在一个超平面将它们分开），则算法一定收敛。 23感知器的网络结构 n 感感知知器器的的网网络络是是由由单单
19、层层的的s个个感感知知神神经经元元，通通过过一一组组权权值值ij(i1，2s；jl，2r)与与r个个输输入入相相连连组组成成。对对于于具具有有输输入入矢矢量量Pr和和目目标标矢矢量量Ts的的感感知知器器网网络络的的简简化化结构结构，如图所示。如图所示。 感知器简化结构图感知器简化结构图 24人工神经网络的构成 根根据据网网络络结结构构，可可以以写写出出第第i个个输输出出神神经经元元(i1，2，s)的加权输入和的加权输入和ni及其输出及其输出ai为：为： 感知器的输出值是通过测试加权输入和值落在阈感知器的输出值是通过测试加权输入和值落在阈值函数的左右来进行分类的，即有：值函数的左右来进行分类的，
20、即有： 25感知器的图形解释 为为了了简简单单起起见见，以以下下取取s1，即即输输出出为为一一个个节节点点的的网网络络情情况况来来进进行行作作图图解解释。释。n 以输入矢量以输入矢量r2为例，对于选定的权值为例，对于选定的权值w1、w2和和b，可以，可以在以在以p1和和p2分别作为横、纵坐标的输入平面内画出分别作为横、纵坐标的输入平面内画出W*P+bw1 p1+w2 p2+b0的轨迹，它是一条直线的轨迹，它是一条直线n 直线上的及其线以上部分的所有直线上的及其线以上部分的所有p1、p2值均使值均使w1 p1+w2 p2+b0，这些点若通过由，这些点若通过由w1、w2和和b构成的感知器则使其构成
21、的感知器则使其输出为输出为1；该直线以下部分的点则使感知器的输出为；该直线以下部分的点则使感知器的输出为0。26感知器学习规则 对对于于输输入入矢矢量量P P，输输出出矢矢量量A A，目目标标矢矢量量为为T T的的感感知知器器网网络络，感感知知器器的的学学习习规规则则是是根根据据以以下下输输出出矢矢量量可可能能出出现现的的几几种种情情况况来进行参数调整的。来进行参数调整的。如如果果第第i i个个神神经经元元的的输输出出是是正正确确的的，即即有有：a ai it ti i，那那么么与与第第i i个神经元联接的权值个神经元联接的权值w wijij和偏差值和偏差值b bi i保持不变；保持不变；如如
22、果果第第i i个个神神经经元元的的输输出出是是0 0，但但期期望望输输出出为为1 1，即即有有a ai i0 0，而而t ti i1 1，此此时时权权值值修修正正算算法法为为：新新的的权权值值w wijij为为旧旧的的权权值值w wijij加上输入矢量加上输入矢量p pj j；类似的，新的偏差；类似的，新的偏差b bi i为旧偏差为旧偏差b bi i加上加上1 1；如如果果第第i i个个神神经经元元的的输输出出为为1 1，但但期期望望输输出出为为0 0，即即有有a ai i1 1，而而t ti i0 0，此此时时权权值值修修正正算算法法为为：新新的的权权值值w wijij等等于于旧旧的的权权值
23、值w wijij减去输入矢量减去输入矢量p pj j；类似的，新的偏差；类似的，新的偏差b bi i为旧偏差为旧偏差b bi i减去减去1 1。 27感知器学习规则n 感知器学习规则的实质为：权值的变化量等于正负输入矢量。具体算法总结如下。 n 对于所有的i和j，il，2，s；j1，2，r，感知器修正权值公式为： 用矢量矩阵来表示为： 此处，E为误差矢量，有ETA。 感知器的学习规则属于梯度下降法，该法则已被证明：如果解存在，则算法在有限次的循环迭代后可以收敛到正确的目标矢量。 (3.1)28网络的训练 n 人工神经网络权值通过网络的自身训练来完成的。人工神经网络权值通过网络的自身训练来完成的
24、。n 在在输输入入矢矢量量P P的的作作用用下下，计计算算网网络络的的实实际际输输出出A A，并并与与相相应应的的目目标标矢矢量量T T进进行行比比较较，检检查查A A是是否否等等于于T T，然然后后用用比比较较后后的的误误差差量量，根根据据学学习习规规则则进进行行权权值值和和偏偏差差的的调调整整；重重新新计计算算网网络络在在新新权权值值作作用用下下的的输输入入，重重复复权权值值调调整整过过程程，直直到到网网络络的的输输出出A A等等于于目目标标矢矢量量T T或或训训练练次次数达到事先设置的最大值时训练结束。数达到事先设置的最大值时训练结束。 注意：注意：n 若若网网络络训训练练成成功功，那那
25、么么训训练练后后的的网网络络在在网网络络权权值值的的作作用用下下，对对于于被训练的每一组输入矢量都能够产生一组对应的期望输出；被训练的每一组输入矢量都能够产生一组对应的期望输出；n 若若在在设设置置的的最最大大训训练练次次数数内内，网网络络未未能能够够完完成成在在给给定定的的输输入入矢矢量量P P的的作作用用下下，使使A AT T的的目目标标，则则可可以以通通过过改改用用新新的的初初始始权权值值与与偏偏差差，并采用更长训练次数进行训练。并采用更长训练次数进行训练。 29感知器设计训练的步骤1) 1) 对对于于所所要要解解决决的的问问题题，确确定定输输入入矢矢量量P P，目目标标矢矢量量T T，
26、并并由由此此确确定定各各矢矢量量的的维维数数以以及及确确定定网网络络结结构构大大小小的的神神经经元元数目：数目：r r，s s和和q q；2) 2) 参数初始化：参数初始化： a)a)赋给权矢量赋给权矢量w w在在( (-l l, 1)1)的随机非零初始值；的随机非零初始值； b)b)给出最大训练循环次数给出最大训练循环次数max_epochmax_epoch；3) 3) 网网络络表表达达式式：根根据据输输入入矢矢量量P P以以及及最最新新权权矢矢量量W W，计计算算网络输出矢量网络输出矢量A A；4) 4) 检检查查：检检查查输输出出矢矢量量A A与与目目标标矢矢量量T T是是否否相相同同，
27、如如果果是是，或已达最大循环次数训练结束，否则转入或已达最大循环次数训练结束，否则转入5)5)；5) 5) 学学习习：根根据据(3.1)(3.1)式式感感知知器器的的学学习习规规则则调调整整权权矢矢量量，并并返回返回3)3)。 30感知器神经网络应用的局限性 n 感知器的输出只能取0或1。n 单层感知器只能对线性可分的向量集合进行分类。 31感知器神经网络设计实例 下下面面给给出出例例题题来来进进一一步步了了解解感感知知器器解解决决问问题题的的方方式式，掌掌握设计训练感知器的过程。握设计训练感知器的过程。 例例 考虑一个简单的分类问题。考虑一个简单的分类问题。设计一个感知器，将二维的四组输入矢
28、量分成两类。设计一个感知器，将二维的四组输入矢量分成两类。输入矢量为：输入矢量为：P P-0.5 -0.5 0.3 0 -0.5 -0.5 0.3 0 ； -0.5 0.5 -0.5 1 -0.5 0.5 -0.5 1 ；目标矢量为：目标矢量为：T T1.0 l.0 0 0 1.0 l.0 0 0 32方程求解 通通过过前前面面对对感感知知器器图图解解的的分分析析可可知知，感感知知器器对对输输入入矢矢量量的的分分类类实实质质是是在在输输入入矢矢量量空空间间用用W*P+bW*P+b0 0的的分分割割界界对对输输入矢量进行切割而达到分类的目的。入矢量进行切割而达到分类的目的。 输入矢量为：输入矢量
29、为：P-0.5 -0.5 0.3 0 ； -0.5 0.5 -0.5 1 ；目标矢量为：目标矢量为：T1.0 l.0 0 033感知器求解n 采用具有阈值激活函数的神经网络：采用具有阈值激活函数的神经网络：n设计网络的模型结构；设计网络的模型结构；n训练网络权值训练网络权值W Www1111,w,w1212 和和b b；n根据学习算法和训练过程进行程序编程；根据学习算法和训练过程进行程序编程；n运运行行程程序序，让让网网络络自自行行训训练练其其权权矢矢量量，直直至至达达到不等式组的要求。到不等式组的要求。n 所所需需实实现现的的输输入入节节点点r r，以以及及输输出出节节点点数数，已已被问题所
30、确定而不能任意设置。被问题所确定而不能任意设置。 34感知器求解n 根据题意，网络结构图如图所示。根据题意，网络结构图如图所示。 n 设设置置最最大大循循环环次次数数和和赋赋予予权权值值初初始值后始值后n 利利用用程程序序设设计计语语言言，根根据据题题意意以以及及感感知知器器的的学学习习、训训练练过过程程来来编编写写自自己的程序。己的程序。 353.4 反向传播网络n 前前面面讲讲到到的的感感知知器器神神经经网网络络为为单单层层网网络络结结构构，其其传传递递函数都十分简单，感知器为单边符号函数。函数都十分简单，感知器为单边符号函数。n 推推广广到到多多层层网网络络，并并且且将将传传递递函函数数
31、变变为为非非线线性性可可微微分分函数，这就是函数，这就是BPBP网络网络。n 反反向向传传播播网网络络(Back (Back Propagation Propagation NetworkNetwork，简简称称BPBP网网络络) )是对非线性可微分函数进行权值训练的多层网络。是对非线性可微分函数进行权值训练的多层网络。 36BP网络n 由由于于感感知知器器神神经经网网络络中中神神经经元元的的变变换换函函数数采采用用符符号号函函数数，其输出为二值量，因此它主要用于模式分类。其输出为二值量，因此它主要用于模式分类。n BPBP网网络络是是一一种种多多层层前前向向反反馈馈神神经经网网络络，其其神神
32、经经元元的的变变换换函函数数是是S S型型函函数数，因因此此输输出出量量为为0 0到到1 1之之间间的的连连续续量量，它它可可以以实现从输入到输出的任意的非线性映射。实现从输入到输出的任意的非线性映射。n 由由于于其其权权值值的的调调整整采采用用反反向向传传播播（Back Back propagationpropagation）的学习算法，因此被称为的学习算法，因此被称为BPBP网络。网络。 37BP神经网络的主要应用 BP网络主要用于：网络主要用于：1)函函数数逼逼近近：用用输输入入矢矢量量和和相相应应的的输输出出矢矢量量训训练练一一个个网网络络逼近一个函数；逼近一个函数；2)模模式式识识别
33、别：用用一一个个特特定定的的输输出出矢矢量量将将它它与与输输入入矢矢量量联联系系起来；起来；3)分类：把输入矢量以所定义的合适方式进行分类；分类：把输入矢量以所定义的合适方式进行分类；4)数据压缩：减少输出矢量维数以便于传输或存储。数据压缩：减少输出矢量维数以便于传输或存储。在在人人工工神神经经网网络络的的实实际际应应用用中中，8090的的人人工工神神经经网网络络模模型型是是采采用用BP网网络络或或它它的的变变化化形形式式，是是前前向向网网络络的的核核心心部分，体现了人工神经网络最精华的部分。部分，体现了人工神经网络最精华的部分。 38BP网络模型与结构 n神经网络通常由输入层、输神经网络通常
34、由输入层、输出层和隐藏层组成，输入层出层和隐藏层组成，输入层的神经元个数等于样本的特的神经元个数等于样本的特征数，征数，n输出层就是分类判决层，它输出层就是分类判决层，它的神经元个数等于样本的类的神经元个数等于样本的类别数。别数。n特点：对噪声数据具有较高特点：对噪声数据具有较高的承受能力，但训练需要花的承受能力，但训练需要花费较长的时间。费较长的时间。39BP网络的激活函数 BP网络S型激活函数 感感知知器器的的激激活活函函数数是是二二值值型型的的， BPBP网网络络的的激激活活函函数数必必须须是是处处处处可可微微的的，所所以以它它就就不不能能采采用用二二值值型型的的阀阀值值函函数数00，1
35、1或或符符号号函函数数-1-1，11，BPBP网网络络经经常常使使用用的的是是S S型型的的对对数或正切激活函数和线性函数。数或正切激活函数和线性函数。 40BP算法 n BP BP算法通过迭代地处理一组训练样本，将算法通过迭代地处理一组训练样本，将每个样本的网络预测与实际知道的类标号比每个样本的网络预测与实际知道的类标号比较，进行学习。较，进行学习。n 对于每个训练样本，修改连接权值，使得对于每个训练样本，修改连接权值，使得网络预测与实际类之间的均方误差最小。网络预测与实际类之间的均方误差最小。n 这种修改这种修改“后向后向”地进行地进行, ,即由输出层，经即由输出层，经由每个隐藏层，到第一
36、个隐藏层。由每个隐藏层，到第一个隐藏层。41BP算法修改权值方法的推导n 研研究究处处于于某某一一层层的的第第j个个计计算算单单元元，脚脚标标i代代表表其其前前层层第第i个个单单元元，脚脚标标k代代表表后后层层第第k个个单单元元，Oj代代表表本本层层输输出出，wij是前层到本层的权值，如图所示。是前层到本层的权值，如图所示。n 当当输输入入某某个个样样本本时时，从从前前到到后后对对每每层层各各单单元元作作如如下下计计算算（正向计算）（正向计算）42BP算法修改权值方法的推导 对于输出层而言， 是实际输出值， 是理想输出值，此样本下的误差为：为使式子简化，定义局部梯度考虑权值 对误差的影响，可得
37、权值修正应使误差最快地减少，修正量为如果节点j是输出单元，则43BP算法修改权值方法的推导如果节点j不是输出单元，由图可知，Oj对后层的全部节点都有影响。因此，对于Sigmoid函数有或者当时有44BP算法修改权值方法的推导n 在在实实际际计计算算时时，为为了了加加快快收收敛敛速速度度，往往往往在在权权值值修修正正量量中中加加上前一次的权值修正量，一般称之为惯性项，即上前一次的权值修正量，一般称之为惯性项，即 45BP算法步骤 一个小的随机数46BP算法步骤n以以上上算算法法是是对对每每个个样样本本作作权权值值修修正正，也也可可以以对对各各样本计算后求和，按总误差修正权值。样本计算后求和，按总
38、误差修正权值。n算算法法中中每每一一个个神神经经元元可可以以引引入入一一个个偏偏置置( (或或叫叫偏偏差差或或叫叫阈阈值值），该该偏偏置置的的加加入入使使得得网网络络多多了了一一个个可可调调参参数数，为为使使网网络络输输出出达达到到期期望望的的目目标标矢矢量量提提供供了方便。了方便。n反反向向传传播播算算法法解解决决了了隐隐层层权权值值修修正正问问题题，但但它它是是用用梯梯度度法法求求非非线线性性函函数数极极值值，因因而而有有可可能能陷陷入入局局部极小点，不能保证收敛到全局极小点。部极小点，不能保证收敛到全局极小点。 47BP算法的基本步骤q 终止条件：终止条件：更新权值较小更新权值较小正确分
39、类的样本百分比正确分类的样本百分比( (系统总误差小系统总误差小于于)超过预先指定的训练周期（实践中，权超过预先指定的训练周期（实践中，权收敛可能需要数十万个周期）收敛可能需要数十万个周期）483.5 径向基网络径向基网络 n1985年，年，Powell提出了多变量插值的径向基函数（提出了多变量插值的径向基函数（Radial-Basis Function, RBF）方法。）方法。1988年，年，Broomhead和和Lowe首首先将先将RBF应用于神经网络设计，构成了径向基函数神经网络，应用于神经网络设计，构成了径向基函数神经网络，即即RBF神经网络。神经网络。n结构上看，结构上看，RBF神经
40、网络属于多层前向神经网络。它是一种神经网络属于多层前向神经网络。它是一种三层前向网络：三层前向网络：n输入层由信号源节点组成；输入层由信号源节点组成；n第二层为隐含层，隐单元的个数由所描述的问题而定，隐单元的变换第二层为隐含层，隐单元的个数由所描述的问题而定，隐单元的变换函数是对中心点径向对称且衰减的非负非线性函数；函数是对中心点径向对称且衰减的非负非线性函数；n第三层为输出层，它对输入模式的作用做出响应。第三层为输出层，它对输入模式的作用做出响应。 49径向基网络径向基网络nRBF神经网络的基本思想是：用径向基函数神经网络的基本思想是：用径向基函数（RBF）作为隐单元的）作为隐单元的“基基”
41、，构成隐含层空间，构成隐含层空间，隐含层对输入矢量进行变换，将低维的模式输入隐含层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，通过对隐单元输出的加数据变换到高维空间内，通过对隐单元输出的加权求和得到输出。权求和得到输出。nRBF神经网络结构简单、训练简洁而且学习收敛神经网络结构简单、训练简洁而且学习收敛速度快，能够逼近任意非线性函数。因此速度快，能够逼近任意非线性函数。因此RBF网网络有较为广泛的应用。如时间序列分析，模式识络有较为广泛的应用。如时间序列分析，模式识别，非线性控制和图像处理等。别，非线性控制和图像处理等。 503.5.1 RBF神经网络模型神经网络模型 nRBF网
42、络是单隐层的前向网络。根据隐单元的个数，网络是单隐层的前向网络。根据隐单元的个数，RBF网络有两种模型：正规化网络（网络有两种模型：正规化网络（Regularization Network）和广义网络（）和广义网络（Generalized Network）。）。（1）正规化网络）正规化网络 正规化网络的隐单元就是训练样本，所以正规化正规化网络的隐单元就是训练样本，所以正规化网络其网络其隐隐单元的个数与训练样本的个数相同。单元的个数与训练样本的个数相同。 5152n当网络输入训练样本当网络输入训练样本Xk时，网络第时，网络第j个输出神经元的个输出神经元的实际输出为：实际输出为：n一般一般“基函数
43、基函数”选为格林函数记为：选为格林函数记为：n当格林函数当格林函数G(Xk , Xi)为高斯函数时：为高斯函数时： 53（2）广义网络）广义网络n正正规规化化网网络络的的训训练练样样本本Xi与与“基基函函数数” (Xk, Xi)是是一一一一对对应应的的，当当N很很大大时时，网网络络的的实实现现复复杂杂，且且在在求求解解网网络络的的权权值值时时容容易易产产生生病病态态问问题题（ill conditioning）。）。n解决这一问题的方法是减少隐层神经元的个数。解决这一问题的方法是减少隐层神经元的个数。 54隐层个数小于训练样本数隐层个数小于训练样本数55当网络输入训练样本当网络输入训练样本Xk时
44、，网络第时，网络第j个输出神经元的个输出神经元的实际输出为：实际输出为： 当当“基函数基函数”为高斯函数时：为高斯函数时： 563.3.2 RBF网络的学习算法网络的学习算法 nRBF网络要学习的参数有三个：网络要学习的参数有三个：中心中心、方差方差和和权值权值。n根根据据径径向向基基函函数数中中心心选选取取方方法法的的不不同同，RBF网网络络有有多多种种学学习习方方法法，其其中中最最常常用用的的四四种种学学习习方方法法有有：随随机机选选取取中中心心法法，自组织选取中心法自组织选取中心法，有监督选取中心法有监督选取中心法和和正交最小二乘法正交最小二乘法。n自组织选取中心法由两个阶段构成：自组织
45、选取中心法由两个阶段构成： 自组织学习阶段，即学习隐层基函数的中心与方差的阶段。自组织学习阶段，即学习隐层基函数的中心与方差的阶段。 有监督学习阶段，即学习输出层权值的阶段。有监督学习阶段，即学习输出层权值的阶段。57（1）学习中心）学习中心n自组织学习过程要用到聚类算法，常用的聚类算法自组织学习过程要用到聚类算法，常用的聚类算法是是K-均值聚类算法。假设聚类中心有均值聚类算法。假设聚类中心有I个（个（I的值由先的值由先验知识决定），设验知识决定），设ti (n)（i=1,2,I）是第）是第n次迭代时次迭代时基函数的中心，基函数的中心，K-均值聚类算法具体步骤如下：均值聚类算法具体步骤如下：n
46、第一步：第一步：初始化聚类中心初始化聚类中心，即根据经验从训练样本，即根据经验从训练样本集中随机选取集中随机选取I个不同的样本作为初始中心个不同的样本作为初始中心ti (0) （i=1, ,2, , ,I）。）。 58n第二步：第二步：随机输入训练样本随机输入训练样本Xk。n第三步：第三步：寻找训练样本寻找训练样本Xk离哪个中心最近，即找到离哪个中心最近，即找到 i (Xk)使其满足使其满足 n第四步第四步：调整基函数的中心。调整基函数的中心。n第五步：第五步：n=n+1转到第二步，直到学完所有的训练样转到第二步，直到学完所有的训练样本且中心的分布不再变化。本且中心的分布不再变化。 59（2）
47、确定方差）确定方差 n当当RBF选用高斯函数，即：选用高斯函数，即：n方差为：方差为：nI为隐单元的个数，为隐单元的个数，dmax为所选取中心之间的最大距为所选取中心之间的最大距离。离。 60（3）学习权值）学习权值 n权值的学习可以用权值的学习可以用LMS方法，也可以直接用伪逆的方法，也可以直接用伪逆的方法求解，即：方法求解，即：n式中式中D=d1, , dk, , dNT是期望响应，是期望响应，G+是矩阵是矩阵G的的伪逆伪逆 61需注意几点：需注意几点： K-均值聚类算法的终止条件是网络学完所有的训练均值聚类算法的终止条件是网络学完所有的训练样本且中心的分布不再变化。在实际应用中只要前样本
48、且中心的分布不再变化。在实际应用中只要前后两次中心的变化小于预先设定的后两次中心的变化小于预先设定的值值即即|ti (n+1)-ti (n)|（i=1,2,I），就认为中心的分布不再变化了。），就认为中心的分布不再变化了。“基函数基函数” (X , Xi) 除了选用高斯函数外也可使用除了选用高斯函数外也可使用多二次函数和逆多二次函数等中心点径向对称的函多二次函数和逆多二次函数等中心点径向对称的函数，如：数，如： 62自组织选取中心法时设所有的基函数其方差都是相自组织选取中心法时设所有的基函数其方差都是相同的，实际上每个基函数都有自己的方差，需要在同的，实际上每个基函数都有自己的方差，需要在训练
49、过程中根据自身的情况确定。训练过程中根据自身的情况确定。 K-均值聚类算法实际上是自组织映射竞争学习过程均值聚类算法实际上是自组织映射竞争学习过程的特例。的特例。n其缺点是过分依赖于初始中心的选择，容易陷入局部最优其缺点是过分依赖于初始中心的选择，容易陷入局部最优值。值。n为克服此问题，为克服此问题，Chen于于1995年提出了一种改进的年提出了一种改进的K-均值聚均值聚类算法，这种算法使聚类不依赖初始中心的位置，最终可类算法，这种算法使聚类不依赖初始中心的位置，最终可以收敛于最优解或次优解。以收敛于最优解或次优解。 633.3.3 RBF网络与多层感知器的比较网络与多层感知器的比较 nRBF
50、网络与多层感知器都是非线性多层前向网络，它们都网络与多层感知器都是非线性多层前向网络，它们都是通用逼近器。对于任一个多层感知器，总存在一个是通用逼近器。对于任一个多层感知器，总存在一个RBF网络可以代替它，反之亦然。但是，这两个网络也存在着网络可以代替它，反之亦然。但是，这两个网络也存在着很多不同点：很多不同点： RBF网网络络只只有有一一个个隐隐层层，而而多多层层感感知知器器的的隐隐层层可可以以是是一一层层也可以是多层的。也可以是多层的。 多层感知器的隐层和输出层其神经元模型是一样的。而多层感知器的隐层和输出层其神经元模型是一样的。而RBF网络的隐层神经元和输出层神经元不仅模型不同，而网络的
51、隐层神经元和输出层神经元不仅模型不同，而且在网络中起到的作用也不一样。且在网络中起到的作用也不一样。 64n RBF网网络络的的隐隐层层是是非非线线性性的的，输输出出层层是是线线性性的的。多多层层感感知知器器解解决决模模式式分分类类问问题题时时，它它的的隐隐层层和和输输出出层层通通常常选选为为非非线线性性的的。当当用用多多层层感感知知器器解解决决非非线性回归问题时，通常选择线性输出层。线性回归问题时，通常选择线性输出层。n RBF网网络络的的基基函函数数计计算算的的是是输输入入向向量量和和中中心心的的欧欧氏氏距距离离，而而多多层层感感知知器器隐隐单单元元的的激激励励函函数数计计算算的是输入单元
52、和连接权值间的内积。的是输入单元和连接权值间的内积。65 多层感知器是对非线性映射的全局逼近，而多层感知器是对非线性映射的全局逼近，而RBF网络使用局部指数衰减的非线性函数（如网络使用局部指数衰减的非线性函数（如高斯函数）对非线性输入输出映射进行局部逼高斯函数）对非线性输入输出映射进行局部逼近。近。这也意味着，逼近非线性输入输出映射，这也意味着，逼近非线性输入输出映射，要达到相同的精度，要达到相同的精度，RBF网络所需要的参数要网络所需要的参数要比比多层感知器多层感知器少得多。少得多。 66应用实例应用实例-手写体数字识别手写体数字识别1. 预处理：预处理：n 二值化n 平滑处理n 细化n 规
53、范化：规范化和尺寸(大小)规范化672.特征提取点特征点特征n孤立点或内部点孤立点或内部点n端点或边界点端点或边界点n连接点连接点n分支点分支点n交叉点交叉点区域笔划方向特征区域笔划方向特征n把输入的待识别字符划分为四个区域，统计区域的水把输入的待识别字符划分为四个区域，统计区域的水平、垂直、平、垂直、45 四方向的笔划密度特征（统计穿过笔四方向的笔划密度特征（统计穿过笔划的次数）划的次数）683. BP网络结构设计n 输入与输出层的设计：输入层结点数即为输入特征向量的维数(19)。输出层的结点数为10,分别代表0,1,9十个类别。n 隐单元数目的选择：其中m为输出神经元,n为输入神经元数,a为110取隐单元数为104. 学习策略：学习策略：动量法和学习速度自适应调整的策略69
