《上海交通大学 人工神经网 课程 第四讲》由会员分享，可在线阅读，更多相关《上海交通大学 人工神经网 课程 第四讲（52页珍藏版）》请在金锄头文库上搜索。
1、,2016诺贝尔生理学或医学奖 细胞自噬,日本科学家大隅良典（Yoshinori Ohsumi）最后折桂，理由是发现细胞自噬的原理机制自噬反应（autophagy）,人工神经网络及其应用,第四讲 反馈网络 主讲人：方涛,第四讲 反馈网络,主讲内容 4.1 绪论 4.2 离散型Hopfield神经网络 4.3 连续时间的Hopfield神经网络模型 4.4 联想记忆网络 4.5 Hopfield网络的应用,4.1 绪论(前馈网络与反馈网络),4.1.1 前馈网络 4.1.2 反馈网络 4.1.3 Hopfield网络及其应用,Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神
2、经网络模型。1982年提出的是离散型，1984年提出的是连续型，但它们都是反馈网络结构。,4.1 绪论(前馈网络与反馈网络),4.1.1 前馈网络 I/O只是一种没有时延的映射关系,且注重考虑离散型网络； 图论观点加权的有向图； 学习观点具有强的学习能力，系统结构简单、易于编程，主要为误差修正，收敛速度慢； 系统观点经由简单的非线性计算单元的复合映射，得到复杂的非线性处理能力，是静态的非线性映射； 计算观点一个学习网络，不具有丰富的动力学行为。大部分前馈网络的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP 网络等。,4.1 绪论(前馈网络与反馈网络),4.1.2 反
3、馈网络 连续、离散型网络，以微分/差分方程描述神经元和系统的数学模型，I/O间有时延； 图论观点加权的完备无向图，所有节点之间都可互连； 学习观点主要Hebb规则学习，收敛速度快； 系统观点具有一般非线性动力学系统性质，是一个非线性动力学系统，不过作定量分析比较复杂和困难；(反馈动力学系统) 系统的动力学行为：研究系统的稳定态，各类奇异吸引子、馄饨现象等。因此稳定性是反馈网络的重要特征之一。计算观点计算能力比前馈网络强，经由网络中神经元的状态变迁最终趋于状态空间中不动点吸引子（定态），以获得联想存储或神经计算的结果。,4.1 绪论(前馈网络与反馈网络),神经动力学（Neurodynamics）
4、1989年Hirsch把神经网络看成是一种非线性动力学系统，是神经网络与动力系统交叉结合的一门新型学科，称为神经动力学确定性神经动力学将神经网络作为确定性行为，在数学上用非线性微分方程的集合来描述系统的行为，方程解为确定的解。统计性神经动力学将神经网络看成被噪声所扰动，在数学上采用随机性的非线性微分方程来描述系统的行为，方程的解用概率表示。,4.1 绪论(前馈网络与反馈网络),4.1.3 Hopfield网络及其应用系统的动力学行为：研究系统的稳定态，各类奇异吸引子、馄饨现象等。因此稳定性是反馈网络的重要特征之一。对HP网络，有输入时，状态不断变化，并产生HP的输出，输出再反馈到输入，产生新的
5、输出，这样一旦达到一个稳定的平衡态时，Hopfield网络输出一个稳定的恒值。研究Hopfield网络的关键是：如何确定达到稳定状态的连接权？如何判定是否为稳定态？依据是什么？,优化计算（最优化问题）具有全局渐进稳定的唯一平衡点；（全局最优解）绝对稳定；（保证外部输入都是全局渐进稳定的）,4. 离散型Hopfield神经网络,4.1 与状态空间中有关的状态变迁基本概念 4.2 离散Hopfield网络拓扑结构 4.3 离散Hopfield网络的不同工作方式 4.4 离散Hopfield网络的性能及有关定理 4.5 学习规则,4.1 与状态空间中有关的状态变迁基本概念 4.网络的稳定性从一初态
6、开始，经有限时间后，网络的状态满足则网络是稳定的。 4.2 网络的吸引子 如果在时刻t以及以后，网络是稳定的，则网络的状态 称为稳定的吸引子(稳定的平衡状态或者网络能量函数的极值点)，否则为非稳定的吸引子。,4. 离散型Hopfield神经网络,4. 离散型Hopfield神经网络,吸引域:能够稳定该吸引子的所有初始状态的集合，或在稳定点（吸引子）周围区域内，任一初始状态出发都能收敛于此稳定点，此区域即吸引域。吸引域的大小用吸引半径来描述。吸引域是衡量网络容错性的指标，吸引域越大网络的容错性能越好，或者说网络的联想能力就越强。,吸引半径:吸引域中所含所有状态之间的最大距离或吸引子所能吸引状态的
7、最大距离一个网络的稳定点数目愈多，网络的联想和识别能力就愈强。稳定点分布愈均匀，吸引域愈大，网络容错和自适应能力愈强。,4.3 吸引子的吸引域及其吸引半径,联想记忆网络的能量函数,4.4 网络的收敛时间 从一初始状态进入稳定点状态所需要的时间。 4.5 能量函数Hopfield网络引入的一个重要概念，使网络的运行稳定性判断有了可靠而简便的依据.(给出了网络稳定性的判据 )Hopf ield 根据自旋材料中的一种Hamilton 能量， 成功地构造出一种能量函数用于判别Hopf ield 神经网络的稳定性，并通过能量函数研究优化问题, 获得了很大成就。.随着网络的工作方式不同，该能量函数定义的形
8、式有所不同。网络从某一初始态出发，经过Hopfield网络的多次演变，使能量函数达到局部极小点，这些极小点就是网络的稳定点或吸引子。,4. 离散型Hopfield神经网络,能量函数的变化曲线:曲线含有全局最小点和局部最小点。将这些极值点作为记忆状态，可将Hopfield 网络用于联想记忆；将能量函数作为代价函数，全局最小点看成最优解，则Hopfield网络可用于最优化计算。,4. 离散型Hopfield神经网络,网络达到稳定,能量函数满足条件:(1)能量函数沿着网络的解是下降的;(2)能量函数的导数为零的点是网络的平衡态;(3)能量函数有下界.(必然会趋于稳定状态)人们普遍认为:只要能量函数沿
9、着网络的解是下降的,能量函数的导数为零的点是网络的平衡态,能量函数有下界,则网络是稳定的且网络的平衡态为能量函数的极小点从网络的平衡态与能量函数的极小点的关系来看，网络稳定不能保证网络的平衡态就是能量函数的极小点。能量函数的情况下网络稳定的充要条件是网络的解有界。,4. 离散型Hopfield神经网络,Hopfield 用能量函数的思想形成了一种新的计算方法，阐明了神经网络与动力学的关系，并用非线性动力学的方法来研究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络中神经元之间的连接上，形成了所谓的离散Hopfield网络。,4.2 离散Hopfield网络拓扑结构一种循环神经
10、网络，由相同神经元组成的单层网络。从输出到输入有反馈连接。在输入的激励下，要不断产生状态变化。对于稳定的网络，有输入时，产生Hopfield输出，该输出反馈到输入并产生新的输出，此反馈过程一直进行，此反馈与迭代计算过程所产生的变化越来越小，一旦达到稳定平衡状态， Hopfield就输出一个稳定的恒定值。因此对Hopfield网络的关键是确定稳定条件下的连接权。 反馈网络有稳定的，也有不稳定的，对Hopfield网络存在如何判定为稳定网络的问题，如何确定判别依据的问题。,4. 离散型Hopfield神经网络,由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络
11、的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。,4. 离散型Hopfield神经网络,单层全互连含有对称突触连接的反馈网络,是最典型的反馈网络模型。,Hopfield网络为单层网络，每个单元既是输入也是输出，n个单元其激励函数或转移特性函数分别为 ，对应阈值 。二进制的离散Hopfield网络：阈值输入输出网络在t时刻状态,4. 离散型Hopfield神经网络,对称的Hopfield网络连接权注意：网络的当前输出即为下次输入，这样循环迭代直到达到稳定状态。从离散的Hopfield网络可以看出，多输入、含有阈值的二值非线性动力学
12、系统。在动力学系统中，平衡状态可认为是系统运动过程中，能量函数不断减少，最终处于最小值。,4. 离散型Hopfield神经网络,4.3 离散Hopfield的工作方式串行（异步）方式时刻t，仅一个神经元j的状态更新，其余n-1个神经元状态保持不变。并行（同步）方式任意时刻t，所有的神经元的状态都发生了变化。,4. 离散型Hopfield神经网络,4.4 离散Hopfield的性能及有关定理4.4.1 衡量Hopfield网络性能的重要指标稳定性吸引域半径收敛时间这些指标与网络的工作方式、连接权矩阵和阈值都有关。4.4.2 Hopfield网络的几个重要定理如果连接权矩阵为对称阵，且对角线元素为
13、非负（包括为零的情况），则这样的网络在异步方式下，一定收敛于某个稳定态。,4. 离散型Hopfield神经网络,4. 离散型Hopfield神经网络,4. 离散型Hopfield神经网络,如果连接权矩阵为对称阵，网络在同步工作方式下一定收敛于一个稳定态或周期为2的极限环。稳定分析中，同步工作方式的神经元网络可等价于另一异步工作方式的神经元网络。,4. 离散型Hopfield神经网络,有关离散的Hopfield网络的稳定性问题，已于1983年由Cohen和Grossberg给于了证明。而Hopfield等人又进一步证明 ，只要连接权构成的矩阵是非负对角元的对称矩阵，则该网络就具有串行稳定性。,4
14、. 离散型Hopfield神经网络,4. 离散型Hopfield神经网络,4.5 学习规则常用Hebb学习规则：对互连的n个神经元，在学习过程中，两个神经元i和j同时处于兴奋状态时，连接权增强，两个神经元的激活状态。,4. 离散型Hopfield神经网络,4.3.1 非线性连续时间Hopfield神经网络 4.3.2 稳定性分析,4.3 连续时间的Hopfield神经网络模型,1984年，Hopfield设计与研制了Hopfield网络模型的电路，指出神经元可以用运算放大器来实现，所有神经元的连接可用电子线路来模拟，网络的激励函数是连续的，称之为连续Hopfield网络。 Hopfield网络是一种非线性的动力网络，可通过反复的网络动态迭代来求解问题，这是符号逻辑方法所不具有的特性。在求解某些问题时，其求解问题的方法与人类求解问题的方法很相似，虽然所求得的解不是最佳解，但其求解速度快，更符合人们日常解决问题的策略,4.3.1 非线性连续时间Hopfield神经网络 4.3.1.1 生物型存储器的特性并行性（并行I/O）；联想性（从一个记忆中获得相关的记忆，善于概括、类比等）；分布式存储，并有强壮的鲁棒性；模拟实时性；大规模协同作用，即在给定的状态空间中，神经元是大量的、高度藕合的，单个结构又是相同的、简单的。,
