人工神经网络基础

《人工神经网络基础》由会员分享，可在线阅读，更多相关《人工神经网络基础（34页珍藏版）》请在金锄头文库上搜索。

1、1,第四章 人工神经网络基础,2,第4.1节 引 言,3,第4.1节 引 言,4.1.1,人工神经网络发展简史,4.1.2,人工神经网络的特性,4.1.3,人工神经网络研究的基本内容,4,4.1 人工神经网络发展简史,1943年,1943-1969,初创期,心理学家McCulloch和数学家Pitts提出形式神经元数学模型（MP模型），揭开神经科学理论的新时代。,Hebb提出改变神经元连接强度的Hebb规则。,Rosenblatt提出感知器概念，由阈值型神经元组成，试图模拟人的感知、学习能力。,Minsky与Papert发表Perceptrons。,1944年,1957年,1969年,5,4.

2、1.1 人工神经网络发展简史,1982年,1970-1986,过渡期,Hopfield提出了HNN模型，引入“计算能量函数”概念，给出网络稳定性判据。,Boltzmann机提出，设计、研制电子电路，为工程实现指明方向。,Rumelhart等PDP（并行分布式处理）研究小组提出了多层前向传播网络的BP算法，开辟了NN的应用新途径。,1985年,1986年,6,4.1.1 人工神经网络发展简史,1987年,1987-现在,发展期,美国圣地亚哥第一届世界神经网络会议。 美国国防部高等研究工程局:发展NN及应用研究的8年计划。,NN的国际会议增多。IEEE Trans. on NN创刊。NN的模型有几

3、百个。基础理论、模型与算法的研究。,1989年，广东第一届神经网络-信号处理会议。1990年开始，神经网络学术会议，年会。,90年代后,国内情况,7,第4.1节 引 言,4.1.1,人工神经网络发展简史,4.1.3,人工神经网络研究的基本内容,8,4.1.2 人工神经网络的特性,非线性映射,近似任意非线性映射，适用于非线性辨识与控制。,通过训练具有归纳数据的能力，更适用于非模型描述的控制。,可在线运行和信息融合，适用于复杂、大规模和多变量系统的控制。,硬件实现，神经网络成为具有快速和大规模处理能力的实现网络。,可学习,适应与集成,硬件实现,具有高度的并行结构和并行实现能力，适用于在线控制。,并

4、行性,9,第4.1节 引 言,4.1.1,人工神经网络发展简史,4.1.2,人工神经网络的特性,10,4.1.3 人工神经网络研究的基本内容,理论研究 应用研究 实现研究,11,第4.2节 生物神经元,12,树突：胞体上短而多分支的突起，相当于神经元的输入端，接收传入的神经冲动。 轴突（神经纤维）：胞体上最长枝的突起，端部有很多神经末梢，传出神经冲动。 细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后能产生兴奋，此时细胞膜内外有电位差，称为膜电位，其电位膜内为正，膜外为负。,4.2.1 生物神经元的结构,13,突触：是神经元之间的连接接口。一个神经元，通过其轴突的神经末梢，经突触与另一个神

5、经元的树突连接，以实现信息的传递。 由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。,4.2.1 生物神经元的结构,14,兴奋与抑制：若传入神经元的冲动经整合后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出；若传入神经元的冲动经整合后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此神经元具有学习与遗忘的功能。,4.2.1 生物神经元的结构,15,4.2.2 生物神经元的信息处理机制,神经元形式化结构,

6、神经元具有的特征,1.时空整合,空间整合,时间整合,时空整合,输入信号的影响会短时间地持续，和后到达的输入信号的影响同时起作用，也就是说，神经元对于不同时间通过同一突触的输入信号具有时间整合的功能。,16,神经元具有的特征,2.阈值特性,神经元输入和输出是非线性的关系,3.不应期 无输出信号。 上升为无穷大。,4.疲劳 阈值慢慢增加时，神经元很难兴奋,5.突触的可塑性 突触的结合强度会随着输入信号和输出信号发生变化，使得神经细胞具有学习和记忆的能力,6.输出信号的种类 离散的（脉冲信号）；连续信号,4.2.2 生物神经元的信息处理机制,17,第4.3节 人工神经元,18,出发点： 模拟生物神经

7、元的结构和功能，从数学角度抽象出来一个基本单元。 神经元模型： 是生物神经元的抽象和模拟； 是人工神经网络的最基本组成部分； 是一多输入单输出的非线性处理单元。 神经网络直观理解： 神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其它的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。,引言,19,数学描述,输入：,状态：,输出：,4.3.1 人工神经元的数学模型,20,分段线性型,4.3.2 人工神经元的激励函数,21,Tan函数型,T：比例因子，调整函数的上升坡度。T越大，f上升越慢； T越小，f上升越快

8、，很快饱和。,Sigmoid函数型,4.3.2 人工神经元的激励函数,22,控制输入对输出的激活作用； 对输入、输出进行函数转换； 将可能无限域的输入变换成指定的有限范围内的输出。,激励函数的作用：,4.3.2 人工神经元的激励函数,23,第4.4节 人工神经元网络的模型分类,24,神经元层次模型：仅研究单一神经元的动态和自适应特性，探索神经元对输入信息的处理和存储能力。 组合式模型：由多个不同神经元组成，功能比单一神经元强大。 网络层次模型：由多个相同神经元组成的网络结构，网络的整体性能为研究重点。 神经系统层次模型（多种网络）：由多个不同性质的神经网络构成，以模拟生物神经系统更复杂，更抽象

9、的特性。,4.4.1 根据组织和抽象层次分类,25,特点神经元分层排列，组成输入层、隐含层（可以有若干层）和输出层；每一层的神经元只接收前一层神经元的输入；各神经元之间不存在反馈，信号在各层中顺序传播。 典型网络 BP网络，感知器,4.4.2 根据连接方式和信息流向分类,26,特点 仅在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈，故可用来存储某种模式序列。 应用 神经认知机，动态时间序列过程的神经网络建模,反馈网络,4.4.2 根据连接方式和信息流向分类,27,特点 网状结构；任两个神经元之间都有可能存在连接（反馈）。 典型网络 Hopfield网

10、络，Boltzmann机网络 注：在无反馈的前向网络中，信号一旦通过某个神经元，过程就结束了。而在相互结合网络中，信号在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中。,相互结合型网络（全互连）,4.4.2 根据连接方式和信息流向分类,28,特点前两者的混合；同层内神经元相互连接；可以实现同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。 典型网络 回归神经网络（RNN）,混合型网络（层内互连）,4.4.2 根据连接方式和信息流向分类,29,连接权的确定方法： （1）根据具体要求，直接计算出来，

11、如Hopfield网络作优化计算时就属于这种情况。 （2）通过学习得到的，大多数人工神经网络都用这种方法。 学习实质： 针对一组给定输入Xp (p=1,2, N )，通过学习使网络动态改变权值，从而使其产生相应的期望输出Yd的过程。 学习算法分类： 有导师学习、无导师学习、强化学习,第4.5节 人工神经网络的学习,30,偏差e,注：在训练过程中，存在一个期望的网络输出。它是基于误差来调整网络权值的。 应用：感知器网络;多层前向传播网络;oltzmann机网络。,有导师学习,学习算法,31,注：网络不存在一个期望的输出，通过建立一个间接评价函数，对网络的某种行为趋向作出评价，改变神经网络数值。

12、应用：ART网络；Kohonen自组织网络。,无导师学习,学习算法,32,强化学习把学习看做试探性评价（奖或惩）过程。 学习机选择一种动作作用于环境之后，使环境的状态改变，并产生强化信号（奖或惩）反馈至学习机。 学习机依据强化信号与环境当前的状态，再选择下一动作作用于环境，选择的原则是使受到奖励的可能性最大。 可见，强化信号是环境对学习机学习结果的一个评价。,再励学习,学习算法,33,相关学习：仅根据连接间的激活水平改变权系数。,Hebb学习规则：,纠错学习：根据输出节点的外部反馈改变权系数。,学习规则：,无导师学习：学习表现为自动实现输入空间的检测和分类。 关键不在于实际节点的输出怎样与外部的期望输出相一致， 而在于调整参数以反映所观察事件的分布。,学习规则,34,Neural Networks（国际神经网络协会会刊） IEEE Transactions on Neural Networks IEEE Transactions on Parallel Distributed System Connections Science Neurocomputing Neural Computation International Journal of Neural Systems,相关国际杂志,