230-第十九章神经网络模型§1 神经网络简介 人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及 功能的一种抽象数学模型自1943 年美国心理学家W. McCulloch 和数学家W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了50 多年 曲折的发展特别是20 世纪80 年代，人工神经网络的研究取得了重大进展，有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科 它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及 专家系统等领域得到广泛的应用，提出了40 多种神经网络模型，其中比较著名的有感 知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP）等在这 里我们仅讨论最基本的网络模型及其学习算法 1.1 人工神经元模型 下图表示出了作为人工神经网络（artificial neural network，以下简称NN）的基本 单元的神经元模型，它有三个基本要素： （i）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权 值为正表示激活，为负表示抑制。
（ii）一个求和单元，用于求取各输入信号的加权和（线性组合） （iii）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在(0,1)或(−1,1)之间）此外还有一个阈值 kθ （或偏置k k b = −θ ）以上作用可分别以数学式表达出来：Σ==pjk kj j u w x1， k k k v = u −θ ， ( ) k k y =ϕ v式中 p x , x , , x 1 2 L 为输入信号， k k kp w ,w , ,w 1 2 L 为神经元k 之权值， k u 为线性组合结 果， kθ 为阈值，ϕ (⋅)为激活函数， k y 为神经元k 的输出若把输入的维数增加一维，则可把阈值 kθ 包括进去例如Σ==pjk kj j v w x0， ( ) k k y =ϕ u此处增加了一个新的连接，其输入为1 0 x = − （或+1），权值为k k w =θ 0 （或k b ），如 下图所示231-激活函数ϕ (⋅)可以有以下几种:（i）阈值函数 ⎩ ⎨ ⎧0可控制其斜率另一种常用的是双曲正切函数1 exp( )1 exp( ) 2 ( ) tanh v v v v + − − −= ⎟⎠⎞ ⎜⎝ϕ = ⎛ （4）这类函数具有平滑和渐近性，并保持单调性。
Matlab 中的激活（传递）函数如下表所示： 函数名 功 能 purelin 线性传递函数-232- hardlim 硬限幅传递函数 hardlims 对称硬限幅传递函数 satlin 饱和线性传递函数 satlins 对称饱和线性传递函数 logsig 对数S 形传递函数 tansig 正切S 形传递函数 radbas 径向基传递函数 compet 竞争层传递函数 各个函数的定义及使用方法，可以参看Matlab 的帮助（如在Matlab 命令窗口运行help tansig，可以看到tantig 的使用方法，及tansig 的定义为1 1( ) 2 2 −+= e− vϕ v ）1.2 网络结构及工作方式 除单元特性外，网络的拓扑结构也是NN 的一个重要特性从连接方式看NN 主要 有两种 （i）前馈型网络 各神经元接受前一层的输入，并输出给下一层，没有反馈结点分为两类，即输入 单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入）通常前馈网络可分为不同的层，第i层的输入只与第i −1层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。
（ii）反馈型网络 所有结点都是计算单元，同时也可接受输入，并向外界输出 NN 的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不 变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算 单元状态变化，以达到某种稳定状态 从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近反馈网络 按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作 用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优 化问题§2 蠓虫分类问题与多层前馈网络 2.1 蠓虫分类问题 蠓虫分类问题可概括叙述如下：生物学家试图对两种蠓虫（Af 与Apf）进行鉴别， 依据的资料是触角和翅膀的长度，已经测得了9 支Af 和6 支Apf 的数据如下： Af: (1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)， (1.48,1.82)，(1.54,1.82)，(1.56,2.08). Apf: (1.14,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96). 现在的问题是： （i）根据如上资料，如何制定一种方法，正确地区分两类蠓虫。
（ii）对触角和翼长分别为(1.24,1.80)，(1.28,1.84)与(1.40,2.04)的3 个标本，用所得 到的方法加以识别 （iii）设Af 是宝贵的传粉益虫，Apf 是某疾病的载体，是否应该修改分类方法 如上的问题是有代表性的，它的特点是要求依据已知资料（9 支Af 的数据和6 支 Apf 的数据）制定一种分类方法，类别是已经给定的（Af 或Apf）今后，我们将9 支-233- Af 及6 支Apf 的数据集合称之为学习样本 2.2 多层前馈网络 为 解 决 上 述问题， 考虑一个其结构如下图所示的人工神经网络， 激活函数由 1 exp( ) ( ) 1 v vαϕ+ − =来决定图中最下面单元，即由•所示的一层称为输入层，用以输入已知测量值在我们的例子中，它只需包括两个单元，一个用以输入触角长度，一个用以输入翅膀长度 中间一层称为处理层或隐单元层，单元个数适当选取，对于它的选取方法，有一些文献 进行了讨论，但通过试验来决定，或许是最好的途径在我们的例子中，取三个就足够了最上面一层称为输出层，在我们的例子中只包含二个单元，用以输出与每一组输入 数据相对应的分类信息．任何一个中间层单元接受所有输入单元传来的信号，并把处理 后的结果传向每一个输出单元，供输出层再次加工，同层的神经元彼此不相联接，输入 与输出单元之间也没有直接联接。
这样，除了神经元的形式定义外，我们又给出了网络 结构有些文献将这样的网络称为两层前传网络，称为两层的理由是，只有中间层及输 出层的单元才对信号进行处理；输入层的单元对输入数据没有任何加工，故不计算在层 数之内为了叙述上的方便，此处引人如下记号上的约定：令s 表示一个确定的已知样品标号，在蠓虫问题中，s = 1,2,L,15，分别表示学习样本中的15 个样品；当将第s个样品的原始数据输入网络时，相应的输出单元状态记为Os (i = 1,2)i ，隐单元状态记为) 3 , 2 , 1 ( = j H sj，输入单元取值记为I s (k = 1,2)k 请注意，此处下标i, j,k 依次对应于 输出层、中间层及输入层在这一约定下，从中间层到输出层的权记为ij w ，从输入层 到中间层的权记为jk w 如果ij w ， jk w 均已给定，那么，对应于任何一组确定的输入 ( , ) 1 2 I s I s ，网络中所有单元的取值不难确定事实上，对样品s而言，隐单元j的输入 是Σ==2k 1sjk ksj h w I （5） 相应的输出状态是Σ== =21 ( ) ( )ksjk ksjsjHϕhϕw I （ 6）由此，输出单元 i 所接收到的迭加信号是-234-Σ Σ Σ= = == =313121 ( )j j ksij jk ksjijsi h w H w ϕ w I （7）网络的最终输出是 ( ) ( ) ( ( ))312131Σ Σ Σ= = == = =j ksij jk kjsjijsisi O ϕ h ϕ w H ϕ w ϕ w I （8）这里，没有考虑阈值，正如前面已经说明的那样，这一点是无关紧要的。
还应指出的是，对于任何一组确定的输入，输出是所有权{ , } ij jk w w 的函数 如果我们能够选定一组适当的权值{ , } ij jk w w ，使得对应于学习样本中任何一组Af 样品的输入( , ) 1 2I s I s ，输出( , ) (1,0) 1 2 Os Os = ，对应于Apf 的输入数据，输出为(0,1)，那么蠓虫分类问题实际上就解决了因为，对于任何一个未知类别的样品，只要将其触角及翅膀长度输入网络，视其输出模式靠近(1,0)亦或(0,1)，就可能判断其归属当然， 有可能出现介于中间无法判断的情况现在的问题是，如何找到一组适当的权值，实现 上面所设想的网络功能 2.3 向后传播算法 对于一个多层网络，如何求得一组恰当的权值，使网络具有特定的功能，在很长一 段时间内，曾经是使研究工作者感到困难的一个问题，直到1985 年，美国加州大学的 一个研究小组提出了所谓向后传播算法（Back-Propagation），使问题有了重大进展，这 一算法也是促成人工神经网络研究迅猛发展的一个原因下面就来介绍这一算法如前所述，我们希望对应于学习样本中Af 样品的输出是(1,0)，对应于Apf 的输出 是(0,1)，这样的输出称之为理想输出。
实际上要精确地作到这一点是不可能的，只能 希望实际输出尽可能地接近理想输出为清楚起见，把对应于样品s 的理想输出记为 { s}i T ，那么= Σ −i ssisi E W T O, ( )2 2 ( ) 1 （9） 度量了在一组给定的权下，实际输出与理想输出的差异，由此，寻找一组恰当的权的问题，自然地归结为求适当W 的值，使E(W)达到极小的问题将式（8）代入（9），有Σ Σ Σ= == −s i j ksij jk ksi E W T w w I,23121 [ ( ( ))] 2( ) 1 ϕ ϕ （10）易知，对每一个变量ij w 或ij w 而言，这是一个连续可微的非线性函数，为了求得其极 小点与极小值，最为方便的就是使用最速下降法最速下降法是一种迭代算法，为求出 E(W)的（局部）极小，它从一个任取的初始点0 W 出发，计算在0 W 点的负梯度方向— ( ) 0 ∇E W ，这是函数在该点下降最快的方向；只要( ) 0 0 ∇E W ≠ ，就可沿该方向移动一小段距离，达到一个新的点( ) 1 0 0 W =W −η∇E W ，η 是一个参数，只要η 足够小，定能保证( ) ( ) 1 0 E W < E W 。
不断重复这一过程，一定能达到E的一个（局部）极小点就本质而言，这就是BP 算法的全部内容，然而，对人工神经网络问题而言，这一算法 的具体形式是非常重要的，下面我们就来给出这一形式表达对于隐单元到输出单元的权 ij w 而言，最速下降法给出的每一步的修正量是-235-= Σ − = Σ∂ ∂ Δ = −s ssjsisjsisisiijij T O h H H ww η E η [ ]ϕ '( ) η δ （11）此处令 ' ( )[ s ]isisisi δ =ϕ h T −O （12）对输入单元到隐单元的权 jk w= Σ −∂ ∂ Δ = −s isjsjijsisisijkjk T O h w h I w w E,η η [ ]ϕ '( ) ϕ '( )= Σ = Σssksjs isksjijsi η δ w ϕ h I η δ I, ' ( ) （13） 此处= Σisij isjsj δ ϕ '(h ) w δ从（11）和（13）式可以看出，所有权的修正量都有如下。