《章基础知识续人工神经网络常用学习规则》由会员分享，可在线阅读，更多相关《章基础知识续人工神经网络常用学习规则（44页珍藏版）》请在金锄头文库上搜索。
1、人工神经网络常用的学习规则lMP模型是于1943年由美国心理学家 McCulloch和数学家Pitts建立的第一个神经 元模型，也可以称为处理单元(Processing Element)，它是一个多输入多输出的非 线性信息处理单元。如图5-6所示，图5-7为 MP模型的作用函数。MP神经元是人工神 经元模型的基础，也是人工神经网络模型 的基础。 图5-6 MP神经元模型 01(x)F(x)l人类具有学习能力，人类的知识和智慧是 在不断的学习与实践中逐渐形成和发展起 来的。关于人工神经网络的学习机制，涉 及到神经元如何分布、处理和存储信息。 常用的人工神经网络学习规则如下，图5-8 是权值调整的
2、一般情况，其中：Wj为联接 到神经元j的权值向量，X为输入向量，r为 学习信号，d为导师信号。权向量的调整准 则为 l式中 为学习速率。权值调整的迭代格式为权值调整的一般情况wXr(w,x,d)dj信号生成器OjjwjX1)Hebbian学习规则l1949年，心理学家D.O.Hebb最早提出了关于神 经网络学习机理的“突触修正”的假设。该假设指 出，当神经元的突触前膜电位与后膜电位同时为 正时，突触传导增强，当前膜电位与后膜电位正 负相反时，突触传导减弱，也就是说，当神经元i 与神经元j同时处于兴奋状态时，两者之间的连接 强度应增强。根据该假设定义的权值调整方法， 称为Hebbian学习规则。
3、在Hebbian学习规则中， 学习信号简单地等于神经元的输出l式中 W为权向量，X为输入向量。权向量的 调整公式为权向量中，每个分量的调整由下式确定l上式表明，权值调整量与输入输出的乘积成正比 。显然，经常出现的输入模式将对权向量有最大 的影响。在这种情况下，Hebbian学习规则需预 先设置权饱和值，以防止输入和输出正负始终一 致时出现权值无约束增长。此外，要求权值初始 化，即在学习开始前 (t=0)，先对Wj(0)赋予零附 近的小随机数。Hebbian学习规则代表一种纯前 馈、无导师学习。该规则至今仍在各种神经网络 模型中起着重要作用。2)Perceptron（感知器）学习规则l1958年
4、，美国学者Frank Rosenblatt首次定 义了一个具有单层计算单元的神经网络结 构，称为感知器(Perceptron)。感知器的学 习规则规定，学习信号等于神经元期望输 出（教师信号）与实际输出之差l式中 为期望的输出 ，。 感知 器采用了与阈值转移函数类似的符号转移 函数，其表达为因此，权值调整公式应为l式中，当实际输出与期望值相同时，权值不需要 调整；在有误差存在情况下，由于 、 ， l权值调整公式简化为l感器学习规则只适用于二进制神经元，初始权值 可取任意值。l感知器学习规则代表一种有导师学习。由于感知 器理论是研究其他神经网络的基础，该规则对于 神经网络的有导师学习具有极为重要
5、的意义。l3)(Delta)学习规则l1986年，认知心理学家McClelland和 Rumelhart在神经网络训练中引入了规则 ，该规则亦可称为连续感知器学习规则， 与上述离散感知器学习规则并行。规则的 学习信号规定为l上式定义的学习信号称为。式中是转移函 数的导数。显然，规则要求转移函数可导 ，因此只适用于有导师学习中定义的连续 转移函数，如Sigmoid函数。l事实上，规则很容易由输出值与期望值的 最小平方误差条件推导出来。定义神经元 输出与期望输出之间的平方误差为l式中，误差E是权向量Wj的函数。欲使误差 E最小，Wj应与误差的负梯度成正比，即l式中，比例系数是一个正常数。由式(5-
6、 12)，误差梯度为l可以看出，上式中与X之间的部分正是式 (5-11)中定义的学习信号。Wj中每个分 量的调整由下式计算l学习规则可推广到多层前馈网络中，权值 可初始化为任意值。l4)Widrow-Hoff学习规则l1962年，Bernard Widrow和Marcian Hoff 提出了Widrow-Hoff学习规则，又称为最小 均方规则(LMS)。Widrow-Hoff学习规则的 学习信号为l权向量调整量为.l的各分量为l实际上，如果在学习规则中假定社会元转 移函数为 ，则有， 此时 式(5-11)与式(5-17)相同。 l因此，Widrow-Hoff学习规则可以看成是学 习规则的一个特
7、殊情况。该学习规则与神 经元采用的转移函数无关，因而不需要对 转移函数求导数，不仅学习速度较快，而 且具有较高的精度。权值可初始化为任意 值。l5) Correlation（相关）学习规则l相关学习规则学习信号为l易得出分别为l该规则表明，当dj是xi的期望输出时，相应 的权值增量ij与两者的乘积djxi成正比。l如果Hebbian学习规则中的转移函数为二进 制函数，且有oj=dj，则相关学习规则可看 作Hebbian规则的一种特殊情况。应当注意 的是，Hebbian学习规则是无导师学习，而 相关学习规则是有导师学习。这种学习规 则要求将权值初始化为零。l6) Winner-Take-all（
8、胜者为王）学习规则lWinner-Take-all学习规则是一种竞争学习 规则，用于无导师学习。一般将网络的某 一层确定为竞争层，对于一个特定的输入X ，竞争层的所有p个神经元均有输出响应， 其中响应值最大的神经元为在竞争中获胜 的神经元，即l只有获胜神经元才有权调整其权向量，调 整量为l式中，是学习常数，一般其值随着学习的进展 而减小。由于两个向量的点积越大，表明两者越 近似，所以调整获胜神经元权值的结果是使Wm 进一步接近当前输入X。显然，当下次出现与X相 像的输入模式时，上次获胜的神经元更容易获胜 。在反复的竞争学习过程中，竞争层的各神经元 所对应的权向量被逐渐调整为输入样本空间的聚 类
9、中心。在有些应用中，以获胜神经元为中心定 义一个获胜领域，除获胜神经元调整权值外，领 域内的其他神经元也不同程度地调整权值。权值 一般被初始化为任意值并进行归一化处理。l7)Outstar（外星）学习规则l神经网络中有两类常见节点，分别称为内星节点 和外星节点，其特点见图5-8和5-9。图5-8中的内 星节点总是接受来自四面八方的输入加权信号， 因此是信号的汇聚点，对应的权值向量称为内星 权向量；图5-9中的外星节点总是向四面八方发出 输出加权信号，因此是信号的发散点，对应的权 值向量称为外星权向量。内星学习规则定内星节 点的输出响应是输入向量X和内星权向量Wj的点 积。该点积反映了X与Wj的
10、相似程度，其权值按 式(5-23)调整。因此Winner-Take-All学习规则与 内星规则一致。l下面介绍外星学习规则。外星学习规则属 于有导师学习，其目的是为了生成一个期 望的维输出向量，设对应的外星权向量用 Wj表示，学习规则如下 l式中，的规定与作用与式(5-23)中的相同 ，给出的外星学习规则使节点j对应的外星 权向量向期望输出向量d靠近。WijWnjW1jjWijWnjW1jj2.4神经网络学习l人工神经网络是由人工神经元（简称神经元）互 联组成的网络，它是从微观结构和功能上对人脑 的抽象、简化，是模拟人类智能的一条重要途径 ，反映了人脑功能的若干基本特征，如并行信息 处理、学习
11、、联想、模式分类、记忆等。目前， 已发展了几十种神经网络，例如Hopfield模型， Feldmann等的连接型网络模型，Hinton等的玻尔 茨曼机模型，以及Rumelhart等的多层感知机模型 和Kohonen的自组织网络模型等等。l在这众多神经网络模型中，应用最广泛的 是多层感知机神经网络。多层感知机神经 网络的研究始于20世纪50年代，但一直进 展不大。直到1985年，Rumelhart等人提出 了误差反向传递学习算法（即BP算法）， 实现了Minsky的多层网络设想。 l神经网络对控制领域和反问题研究有吸引 力的特征表现在：(1)能逼近任意L2上的非 线性函数；(2)信息的并行分布式
12、处理与存 储；(3)可以多输入、多输出；(4)便于用超 大规模集成电路(VLSI)或光学集成电路系统 实现，或用现有的计算机技术实现；(5)能 进行学习，以适应环境的变化。l决定网络整体性能的三大要素包括：(1)神 经元（信息处理单元）的特性；(2)神经元 间相互联接的形式拓扑结构；(3)为适应 环境而改善性能的学习规则。表5-1为对神 经网络发展有重要影响的神经网络 l神经网络通过相继给网络输入一些样本模式，并 按照一定的规则（或学习算法）不断改变网络各 层的连接权值，使网络的输出不断地接近期望的 输出值，这一个过程称为神经网络的学习或训练 。学习的实质是可变权值的动态调整的自适应过 程。改
13、变权值的规则称为学习规则或学习算法（ 相应也称训练规则或训练算法）。单个处理单元 ，无论采用哪一种学习规则进行调整，其算法都 十分简单。大量处理单元集体进行权值调整时， 网络就呈现出“智能”的特性。 l神经网络结构和功能不同，学习方法也各 不相同。在人工神经网络的结构和转移函 数决定以后，如何设计权使网络达到一定 的要求，就成为决定神经网络信息处理性 能的第三大要素。学习问题归根结底就是 网络连接权的调整问题，其方法有以下几 种：名称提出者年代典型应用领域局限性特点 Perceptron(感 知器)Frank Rosenblatt(康 奈尔大学)1958文字识别识别、声音 识别识别、声纳纳 信
14、号识别识别、 学习记忆问习记忆问 题题研究不能识别识别识别识别 复 杂杂字符，对对 字的大小、 平移和倾倾斜 敏感最早的神经经网络络， 已很少应应用；有 学习习能力，只能 进进行线线形分类类Adaline(自适应应 线线形单单元) 和 Madaline( 多个 Adaline的 组组合网络络)Bernard Widrow(斯 坦福大学)1960 1962雷达天线线控制,自 适应应回波抵 消，适应应性 调调制解调调， 电话线电话线 中适 应应性补偿补偿等要求输输入-输输出 之间为线间为线 性 关系学习习能力较较强，较较 早开始商业应业应 用，Madaline是 Adaline的功能 扩扩展Ava
15、lanche(雪崩 网)S.Drossberg(波士顿顿 大学)1967连续语连续语 音识别识别， 机器人手臂 运动动的教学 指令不易改变变运动动速 度和插入运 动动Cerellatron（小 脑脑自动动机 ）D.Marr（麻省理工 学院）1969 19 82控制机器人的手 臂运动动需要复杂杂的控制 输输入类类似于Avalanche网 络络，能调调和各 种指令序列，按 需要缓缓缓缓地插 入动动作 Back Propagatio n(误误差反传传 网络络)P.Werbos(哈佛大学) David umlhart(斯坦 福大学)James MeClelland(斯 坦福大学)1974 19 85语
16、语音识别识别，工业业 过过程控制， 贷贷款信用评评 估，股票预预 测测，自适应应 控制等需要大量输输入- 输输出数据， 训练时间长训练时间长 ，易陷入局 部极小多层层前馈馈网络络，采 用最小均方差学 习习方式，是目前 应应用最广泛的学 习习网络络Self-organizing feature map( 自组织组织特征 映射网络络)Tuevo Konhonen (芬兰兰赫尔 辛基技术术 大学)1980语语音识别识别，机器 人控制，工 业过业过程控制 ，图图像压缩压缩 ，专专家系统统 等模式类类型数 需预预先 知道对输对输入样样本自组织组织 聚类类，可映射 样样本空间间的分 布Hopfield网络络John Hopfield( 加州理工 学院)1982求解TSP问题问题， 线线性规规划， 联联想记忆记忆和 用于辨识识无学习习能力 ，连连接 要对对称 ，权值权值 要预预先 给给
