《人工神经网络算法基础精讲(不看后悔)资料》由会员分享，可在线阅读，更多相关《人工神经网络算法基础精讲(不看后悔)资料（67页珍藏版）》请在金锄头文库上搜索。
1、2019/9/19,1,人工神经网络,基础精讲,目 录,2,一、人工神经网络的 基本概念,3,一、人工神经网络的 基本概念,4,人工神经网络（Artificial Neural Network，即ANN）可以概括的定义为： 由大量具有适应性的处理元素（神经元）组成的广泛并行互联网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应，是模拟人工智能的一条重要途径。人工神经网络与人脑相似性主要表现在： 神经网络获取的知识是从外界环境学习得来的； 各神经元的连接权，即突触权值，用于储存获取的知识。 神经元是神经网络的基本处理单元，它是神经网络的设计基础。神经元是以生物的神经系统的神经细胞为
2、基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。因此，要了解人工神经模型就必须先了解生物神经元模型。,1.1人工神经网络发展简史,5,最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。 1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。 1957年，F.R
3、osenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。,1.1人工神经网络发展简史,6,20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。 1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986
4、年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。,1.2生物神经元结构,7,生物神经元结构 （1）细胞体: 细胞核、细胞质和细胞膜。 （2）树突：胞体短而多分枝的突起。相当于神经元的输入端。 （3）轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。,1.2生物神经元结构,（4）突触：神经元间的连接接口，每个神经元约有1万10万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形
5、成了神经元间联接的柔性，称为结构的可塑性。,突触结构示意图,1.3生物神经元的信息处理机理,9,神经元的兴奋与抑制 当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。,生物神经元的特点,生物神经元的特点：,1.4生物神经元的特点,1.5人工神经元模型,11,神经元模型 从神经元的特性和功能可以知道，神经元相当于一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的，人工神经元的模型如图所示：,神经元的n个输入,对应的连接权值,net=,阈值
6、,输出,激活函数,12,上面的神经元模型可以用一个数学表达式进行抽象与概括，从而得到神经元的数学模型：,1.5人工神经元模型,神经元的网络输入记为net，即 net=,13,有时为了方便起见，常把-也看成是恒等于1的输入X0 的权值，这时上面的数学模型可以写成：,1.5人工神经元模型,其中， W0=- ； x0=1,14,神经元的模型具有以下特点： 神经元是一个多输入、单输出单元。 它具有非线性的输入、输出特性。 它具有可塑性，反应在新突触的产生和现有的神经突触的调整上，其塑性变化的部分主要是权值w的变化，这相当于生物神经元的突出部分的变化，对于激发状态，w取正直，对于抑制状态，w取负值。 神
7、经元的输出和响应是个输入值的综合作用的结果。 兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动；当膜电位低于阈值时，细胞进入抑制状态。,1.5人工神经元模型,1.6激活函数,15,神经元的描述有多种，其区别在于采用了不同的激活函数，不同的激活函数决定神经元的不同输出特性，常用的激活函数有如下几种类型：,16,1.阈值型激活函数 阈值型激活函数是最简单的，前面提到的M-P模型就属于这一类。其输出状态取二值（1、0或+1、-1），分别代表神经元的兴奋和抑制。,1.6激活函数,当f（x）取0或1时，,17,当f（x）取1或-1时，f（x）为下图所示的sgn（符号）函数 sg
8、n（x）=,1.6激活函数,18,1.6激活函数,2.S型激活函数 神经元的状态与输入级之间的关系是在（0,1）内连续取值的单调可微函数，称为S型函数。,双极性S型函数：,单极性S型函数：,19,3.分段线性激活函数 分段线性激活函数的定义为：,1.6激活函数,20,4.概率型激活函数 概率型激活函数的神经元模型输入和输出的关系是不确定的，需要一种随机函数来描述输出状态为1或为0的概率，设神经元输出（状态）为1的概率为：,1.6激活函数,（其中，T为温度函数）,21,激活函数的基本作用表现在:,1.6激活函数,控制输入对输出 的激活作用,将可能无限域的输入变换成指定的有限范围内的输出,对输入、
9、输出进行函数转换,22,神经网络是由许多神经元互相在一起所组成的神经结构。把神经元之间相互作用关系进行数学模型化就可以得到人工神经网络模型。 神经元和神经网络的关系是元素与整体的关系。 人工神经网络中的神经元常称为节点或处理单元，每个节点均具有相同的结构，其动作在时间和空间上均同步。,1.7人工神经网络模型,人工神经网络模型,23,人工神经网络的基本属性,1.7人工神经网络模型,24,神经网络模型 神经元的连接方式不同，网络的拓扑结构也不同，人工神经网络的拓扑结构是决定人工神经网络特征的第二要素，根据神经元之间连接的拓扑结构不同，可将人工神经网络分成两类，即分层网络和相互连接型网络。,1.7人
10、工神经网络模型,25,分层网络 分层网络将一个神经网络中的所有神经元按功能分为若干层，一般有输入层、中间层（隐藏层）和输出层。 分层网络按照信息的传递方向可分为前向式网络（如图a）和反馈网络（如图b、c）。,1.7人工神经网络模型,26,相互连接型网络 相互连接型网络是指网络中任意单元之间都是可以相互双向连接的。,1.7人工神经网络模型,上述的分类方法是对目前常见的神经网络结构的概括和抽象，实际应用的神经网络可能同时兼有其中的一种或几种形式。,27,二、人工神经网络的 学习方法,2.1学习机理,28,学习机理 人工神经网络信息处理可以用数学过程来说明，这个过程可以分为两个阶段：执行阶段和学习阶
11、段。 学习是智能的基本特征之一，人工神经网络最具有吸引力的特点是它能从环境中学习的能力，并通过改变权值达到预期的目的。神经网络通过施加于它的权值和阈值调节的交互过程来学习它的环境，人工神经网络具有近似于与人类的学习能力，是其关键的方面之一。,2.2学习方法,29,学习方法 按照广泛采用的分类方法，可以将神经网络的学习方法归为三类：,无导师学习,灌输式学习,有导师学习,2.2学习方法,30,有导师学习 有导师学习又称为有监督学习，在学习时需要给出导师信号或称为期望输出。神经网络对外部环境是未知的，但可以将导师看做对外部环境的了解，由输入-输出样本集合来表示。导师信号或期望响应代表了神经网络执行情
12、况的最佳效果，即对于网络输入调整权值，使得网络输出逼近导师信号或期望输出。,2.2学习方法,31,无导师学习 无导师学习也称无监督学习。在学习过程中，需要不断地给网络提供动态输入信息（学习样本），而不提供理想的输出，网络根据特有的学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入调整权值。,灌输式学习 灌输式学习是指将网络设计成记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权值一旦设计好，即一次性“灌输给神经网络不再变动，因此网络对权值的”“学习”是“死记硬背”式的，而
13、不是训练式的。,2.3学习规则,学习规则 在神经网络的学习中，各神经元的连接权值需按一定的规则调整，这种权值调整规则称为学习规则。下面介绍几种常见的学习规则。,2.3学习规则,33,1.Hebb学习规则 当神经元i与神经元j同时处于兴奋状态时，在神经网络中表现为连接权增加 。根据该假设定义权值调整的方法，称为Hebb学习规则。Hebb学习规则的数学描述： 假设oi（n）和oj（n）是神经元i和j在时刻n的状态反应，Wij（n）表示时刻n时，连接神经元i和神经元j的权值，Wij（n）表示从时刻n到时刻n+1时连接神经元i和神经元j权值的改变量，则,其中，是正常数，它决定了在学习过程中从一个步骤到
14、另一个步骤的学习速率，称为学习效率,2.3学习规则,34,2.Delta（）学习规则 Delta学习规则是最常用的学习规则，其要点是通过改变神经元之间的连接权来减小系统实际输出与理想输出的误差。假设n时刻输出误差准则函数如下：,其中， Ok=f（netk）为实际输出；yk代表理想输出；W是网络的所有权值组成权矩阵W=（wij）；K为输出个数。 使用梯度下降法调整权值W，使误差准则函数最小，得到W的修正Delta规则为：,注：Delta学习规则只适用于线性可分函数，无法用于多层网络,2.3学习规则,35,3.LMS学习规则 LMS学习规则又称为最小均方差规则，其学习规则为：,注：LMS学习规则可
15、以看成是Delta学习规则的一个特殊情况。,该学习规则具有学习速度快和精度高的特点，权值可以初始化为任何值。,2.3学习规则,36,4.胜者为王学习规则 胜者为王（Winner-Take-All）学习规则是一种竞争学习规则，用于无导师学习。一般将网络的某一层确定为竞争层，对于一个特定的输入X，竞争层的K个神经元均有输出响应，其中响应值最大的神经元j*为竞争中获胜的神经元，即,只有获胜的神经元才有权调整其权向量Wj，调整量为：,其中，为学习参数（01）,2.3学习规则,37,5.Kohonen学习规则 该规则只用于无导师指导下训练的网络。在学习过程中，处理单元竞争学习时，具有高输出的单元为胜利者
16、，它有能力阻止它的竞争者并激活相邻的单元，只有胜利者才能有输出，也只有胜利者与其相邻单元可以调节权重。 在训练周期内，相邻单元的规模是可变的。一般的方法是从定义较大的相邻单元开始，在训练过程中不断减少相邻的范围。胜利单元可定义为与输入模式最为接近的单元。Kohonen网络可以模拟输入的分配,2.3学习规则,38,5.概率式学习 从统计学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称为概率是学习。神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。概率式学习的典型代表是玻尔兹曼（Boltzmann）机学习规则。这是基于模拟退火的统计优化算法。,39,三、前向式神经网络与算法,3.1感知器及算法,感知器 感知器是具有单层计算单元的神经网络，由线性元件和阈值元件组成。感知器的结构如下图所示，其中X=（ x1，x2 ，xn ）为n个输入，有m个输出，即O=（ o1 ，o2，.，om），W= (wij)nm为连接权矩阵。,(wij)nm为连接权矩阵,感知器结构,3.1感知
