神经网络专题剖析

《神经网络专题剖析》由会员分享，可在线阅读，更多相关《神经网络专题剖析（69页珍藏版）》请在金锄头文库上搜索。

1、1 第3讲人工神经网络 文志强 计算机与通信学院 2 主要内容 n人工神经网络的发展 n神经元与网络结构 n感知器（Perceptron） n反向传播网络(BP) n应用实例 3 3.1人工神经网络的发展 1. 1940以前 代表人物有von Hemholtz, Mach, Pavlov等 q 学习、训练的一般理论 q 没有具体神经元的数学模型 2. 20世纪40年代 代表人物有McCulloch and Pitts, Hebb等 q 生物神经元的学习机制 q 神经网络可以计算任何算术函数 4 当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元 的树状突起与来自其它神经元轴突的互相结

2、合部(称为突触)接收由轴突 传来的信号。 如果神经元所接收到的信号的总和超过了它本身的“阈值”，则该神经 元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。 1943年，WSMcCulloch提出神经元模型，称为MP模 型：当神经元处于兴奋状态时，其输出为1；处于非兴奋状 态时，输出为0。 1949年，赫伯(Hebb Donala) 提出了神经经元的学习习法Hebb 法则则（目前仍在使用）。 5 3. 20世纪50年代 代表人物有Rosenblatt, Widrow and Hoff等 q 快速实用的神经网络和学习规则 50年代末，FRosenblatt提出感知机模型。 1962年Blo

3、ck用解析法证明了感知机的学习收敛定理，引 发了60年代以感知机为代表的第一次神经网络研究发展的 高潮。 4. 20世纪60年代 代表人物有Minskey and Papert q 说明了神经网络的局限性，新的学习算法很少提出，有 些研究被取消。 在Minskey关于感知机的悲观研究结果发表后，特别是在 美国，神经网络信息处理的研究被蒙上了阴影，大多数人 都转向符号推理人工智能技术的研究。 6 5. 20世纪70年代 代表人物有Amari, Anderson, Fukushima, Grossberg, Kohonen q经过一段时间的沉寂后，研究继续进行 1972年，芬兰的TKohonen提

4、出了一个与感知机等神经 网络不同的自组织映射理论(SOM)。 1975年，福岛提出了一个自组织识别神经网络模型。 1976年CVMalsburg et al发表了“地形图”的自形成模 型。 7 6. 20世纪80年代 20世纪80年代： Grossberg, Hopfield, Kohonen, Rumelhart q随着PC机和工作站计算能力的急剧增强 q神经网络得到广泛应用 q新的概念不断引入 q克服了摆在神经网络研究面前的障碍 q人们对神经网络的研究热情空前高涨 1982年，Hopfield提出了所谓Hopfield神经网络模型。 以Rumelhart为首的PDP(Parallel Di

5、stributed Processing) 并行分布处理研究集团对联结机制(connectionist)进行了研 究。 1986年由Rumelhart和Hinton提出误差反向传播神经网络BP 8 关于神经网络的主要国际性杂志有： (1)Neural Networks(国际神经网络协会会刊) (2)IEEE Transactions on Neural Networks (3)IEEE Transactions on Parallel Distributed System (4)Connections Science (5)Neurocomputing (6)Neural Computatio

6、n (7)International Journal of Neural Systems 关于神经经网络络的国际际交流 n第一届神经网络国际会议于1987年6月21至24日在美国加州圣地亚 哥召开，标志着神经网络研究在世界范围内已形成了新的热点。 n 1988年，我国在北京召开了神经网络的国际研究工作会议，并出 版了论文集。 n1989年10月在北京又召开了神经网络及其应用讨论会。 n1990年12月在北京召开了我国首届神经网络学术大会，并决定以后 每年召开一次年会。 n1991年冬在南京召开的第二届中国神经网络学术大会上，宣布成立 中国神经网络学会。 深圳桑拿 S 9 神经元是大脑处理信息的

7、基本单元，它的结构如图所示。它是以细胞 体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞， 其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触 (Synapse，又称神经键)组成。 3.2 神经元与网络结构 人脑大约由1012个神经元组成，而其中的每个神经元又与约102104 个其他神经元相连接，如此构成一个庞大而复杂的神经元网络。 输入 处理 输出 10 神经网络是一个并行和分布式的信息处理 网络结构，一般由许多个神经元组成。 x1 x2 xn w1 w2 wn y y y 生物神经网络的模型化 人工神经网络 11 神经元结构 xi(i1，2，n)为输入端(突触)上的输入信

8、号 ；i为相应的突触连接权系数，它是模拟突触传递强 度的一个比例系数，表示突触后信号的空间累加； 表示神经元的阈值，表示神经元的响应函数。该模 型的数学表达式为： 12 如果：x1=1 x2=2 神经元计算： s = 1(1) + 2 0 0.1 = 1.1 计算最后输出： y =0 ( s= 1.1 0 ) 0.1 x1 x2 -1 0 y s 13 响应函数 阈值单元 线性单元 非线性单元 S型(Sigmoid)函数 响应函数的基本作用： 控制输入对输出的激活作用；对输入、输出进行函数转换 ；将可能无限域的输入变换成指定的有限范围内的输出。 根据响应函数的不同，人工神经元有以下几种类型：

9、14 1.前向网络 网络的结构如左图所示，网络中 的神经元是分层排列的，每个神经 元只与前一层的神经元相连接。最 上一层为输出层，隐含层的层数可 以是一层或多层。前向网络在神经 网络中应用很广泛。 例如，感知器就属于这种类型。 人工神经网络的构成 15 2.从输出到输入有反馈的前向网络 网络的结构如左图所示。网络 的本身是前向型的，与前一种不 同的是从输出到输入有反馈回路 。 例如，Fukushima网络就属于 这种类型。 16 3.层内互连前向网络 n 可以实现同一层神经元之间横 向抑制或兴奋的机制，从而限制 层内能同时动作的神经数 n 可把层内神经元分为若干组， 让每组作为一个整体来动作。

10、 n 一些自组织竞争型神经网络就 属于这种类型。 17 4.互连网络 n 互连网络有局部互连和全互 连两种。 n 全互连网络中的每个神经元 都与其他神经元相连。 n 局部互连是指互连只是局部 的，有些神经元之间没有连接关 系。 n Hopfield网络和Boltzmann机 属于互连网络的类型。 18 人工神经网络的学习 n 学习方法就是网络连接权的调整方法。 n 人工神经网络连接权的确定通常有两种方法： n根据具体要求：直接计算出来，如Hopfield网络做 优化计算； n通过学习得到的，大多数人工神经网络都用这种方 法。 n 学习方法是多种多样的。一些基本的、通用的学 习规则： 19 一些

11、基本的、通用的学习规则 1Hebb学习规则 是Donall Hebb根据生理学中条件反射机理，于1949年提 出的神经元连接强度变化的规则。 2学习规则 用已知样本作为教师对网络进行学习，又称误差校正规 则。 3相近学习规则 20 3.3 感知器（Perceptron） n 感知器是由美国计算机科学家罗森布拉特（F.Roseblatt） 于1957年提出的。感知器可谓是最早的人工神经网络。 n 单层感知器是一个具有一层神经元、采用阈值激活函数的 前向网络。 n 通过对网络权值的训练，可以使感知器对一组输入矢量的 响应达到元素为0或1的目标输出。 21 如果：x1=1 x2=2 神经元计算： s

12、 = 1(1) + 2 0 0.1 = 1.1 计算最后输出： y =0 ( s= 1.1 0 ) 0.1 x1 x2 -1 0 y s 22 其中，每一个输入分量pj(j1，2，r)通过一个权值 分量wj，进行加权求和，并作为阈值函数的输入。偏差b 的加入使得网络多了一个可调参数，为使网络输出达到 期望的目标矢量提供了方便。 n 感知器特别适合解决简单的模式分类问题。 n F.Roseblatt已经证明，如果两类模式是线性可分的 （指存在一个超平面将它们分开），则算法一定收敛。 23 感知器的网络结构 n 感知器的网络是由单层的s个感知神经元，通过一组 权值ij(i1，2s；jl，2r)与r

13、个输入相连组成 。对于具有输入矢量Pr和目标矢量Ts的感知器网络的简 化结构，如图所示。 感知器简化结构图 24 人工神经网络的构成 根据网络结构，可以写出第i个输出神经元(i1，2， s)的加权输入和ni及其输出ai为： 感知器的输出值是通过测试加权输入和值落在阈 值函数的左右来进行分类的，即有： 25 感知器的图形解释 为了简单起见，以下取s1，即输出 为一个节点的网络情况来进行作图解 释。 n 以输入矢量r2为例，对于选定的权值w1、w2和b，可以 在以p1和p2分别作为横、纵坐标的输入平面内画出W*P+b w1 p1+w2 p2+b0的轨迹，它是一条直线 n 直线上的及其线以上部分的所

14、有p1、p2值均使w1 p1+w2 p2+b0，这些点若通过由w1、w2和b构成的感知器则使其 输出为1；该直线以下部分的点则使感知器的输出为0。 26 感知器学习规则 对于输入矢量P，输出矢量A，目标矢量为T的感知器网络， 感知器的学习规则是根据以下输出矢量可能出现的几种情况 来进行参数调整的。 如果第i个神经元的输出是正确的，即有：aiti，那么与第 i个神经元联接的权值wij和偏差值bi保持不变； 如果第i个神经元的输出是0，但期望输出为1，即有ai0， 而ti1，此时权值修正算法为：新的权值wij为旧的权值wij 加上输入矢量pj；类似的，新的偏差bi为旧偏差bi加上1； 如果第i个神

15、经元的输出为1，但期望输出为0，即有ai1， 而ti0，此时权值修正算法为：新的权值wij等于旧的权值 wij减去输入矢量pj；类似的，新的偏差bi为旧偏差bi减去1。 27 感知器学习规则 n 感知器学习规则的实质为：权值的变化量等于正负输入 矢量。具体算法总结如下。 n 对于所有的i和j，il，2，s；j1，2，r，感 知器修正权值公式为： 用矢量矩阵来表示为： 此处，E为误差矢量，有ETA。 感知器的学习规则属于梯度下降法，该法则已被证明：如果 解存在，则算法在有限次的循环迭代后可以收敛到正确的目 标矢量。 (3.1) 28 网络的训练 n 人工神经网络权值通过网络的自身训练来完成的。

16、n 在输入矢量P的作用下，计算网络的实际输出A，并与相应的目标 矢量T进行比较，检查A是否等于T，然后用比较后的误差量，根据学 习规则进行权值和偏差的调整；重新计算网络在新权值作用下的输 入，重复权值调整过程，直到网络的输出A等于目标矢量T或训练次 数达到事先设置的最大值时训练结束。 注意： n 若网络训练成功，那么训练后的网络在网络权值的作用下，对于 被训练的每一组输入矢量都能够产生一组对应的期望输出； n 若在设置的最大训练次数内，网络未能够完成在给定的输入矢量 P的作用下，使AT的目标，则可以通过改用新的初始权值与偏差， 并采用更长训练次数进行训练。 29 感知器设计训练的步骤 1) 对于所要解决的问题，确定输入矢量P，目标矢量T， 并由此确定各矢量的维数以及确定网络结构大小