《第七章 hopfield网络》由会员分享，可在线阅读，更多相关《第七章 hopfield网络（30页珍藏版）》请在金锄头文库上搜索。
1、第七章 Hopfield神经网络,北京科技大学 信息工程学院 付冬梅 62334967,Hopfield网络结构和模型 Hopfield网络输出的计算过程(离散) Hopfield网络的稳定性 Hopfield网络的学习算法 Hopfield网络的几个问题 Hopfield网络的MATLAB实现示例,第七章 Hopfield神经网络,概述,Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。,Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1
2、984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。,Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。,Hello,Im John Hopfield,7-1 Hopfield网络结构和模型,Hopfield网络有离散与连续两种类型。 Hopfield网络是得到最充分研究和应用的神经网络模型之一，在众多的研究者之中，美国科学家J.J Hopfield的工作具有特别重要
3、的意义，他为这一网络引入了一种稳定过程，即提出了人工神经网络能量函数（也称李雅普诺夫函数）的概念，使网络的运行稳定性判断有了可靠而简便的依据。 Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围。,7-1-1 离散型Hopfield网络 离散Hopfield网结构见图(a)，是单层反馈非线性网，每一节点的输出反馈至输入。 Hopfield用模拟电路(电阻、电容和运算放大器)实现网络的神经元(节点)，见图(b)。,图9-1 离散型Hopfeld网络,7-1-1 离散型Hopfield网络,7-1-1 离散型Hopfield网络,相关参数说明 任意神经元 与
4、间的突触权值为 ，神经元之间连接是对称的，神经元自身无连接. 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻 的状态。,激励函数,7-1-1 离散型Hopfield网络,7-1-2 连续型Hopfield网络 连续Hopfield网结构见图(a)，是单层反馈非线性网，每一节点的输出反馈至输入。 Hopfield用模拟电路(电阻、电容和运算放大器)实现网络的神经元(节点)，见图(b)。,图9-2 连续型Hopfeld网络,图9-2 连续型Ho
5、pfeld网络,Hopfield网络模型,图9-1 连续型Hopfeld网络,7-2 Hopfield网络的计算过程(离散),下面给出几个基本概念的定义，这些基本概念与网络运行过程中状态的变迁有关。 网络的稳定性。若网络从初始状态v(0)开始，经过有限时间t后，网络的状态不再发生变化，即 则称网络是稳定的。,网络的吸引子。设t=0时,对输入模式x，网络处于状态v(0),而在时刻t，网络到达状态v(t)。若v(t)稳定，则称v(t)为网络的稳定吸引子;若网络状态有规律的在某些状态之间振荡，则称网络处于有限环(limited circle)状态。若网络无规律的在某些状态之间振荡，则称网络处于混沌(
6、chaos)状态。 吸引子的吸引域。对于某些特定的初始状态，网络按一定的运行规则最后可能稳定在同一吸引子上。称能够稳定在吸引子v(t)的所有初始状态集合称为v(t)的吸引域。,例7-1 计算下列离散Hopfield网络的运行过程，设初始状态 X(0)=(1 0 1)T，找出其吸引子和对应的吸引域。 设： 0 1 -2 W= 1 0 -1 -2 -1 0,设网络状态为 Hopfield网络的能量函 数可定义为:,7-3 Hopfield网络的稳定性,由于Hopfield 网络为反馈网络，所以需要讨论网络运行的收敛性问题。自然这和网络的拓扑结构以及运行方式有关。如果网络权值对称，则可以定义网络运行
7、的能量函数。,能量函数的定义：,定理7-1： 设Hopfield网络具有图9-1的结构形式，且其状态按异步方式更新，且网络权值对称，无自反馈，那么，网络状态在有限步内收敛到稳定点。,证明：假设网络中第k个神经元 的状态发生变化，由原状 态 变为新状态 ， 的状态变化后网络能量为：,定理7-2：设Hopfield网络具有图9-2的结构形式（非线性作用函数是二值的），则在该网络权矩阵对称且负定的条件下，对于网络状态的每次变化，网络能量E单调下降。,归结Hopfield网络的学习算法如下:,(1)开始赋于权值矩阵 W(0) 以一个较小不为 0 的随机数, t=0 并且要求:,7-4 Hopfield
8、网络的学习算法,(2) 随机输入模式 ,以 作为当前的输入模式x(t),即,计算,若网络对模式 稳定,转到(4);否则进行 (3);,(3)更新网络权值:,(4) 若网络权值对所有的模式稳定, 则停机; 否则转到 (2).,其中,定理7-3: 对于预先给定 中的 K 个模式 若 存在实对称矩阵 满足,，那么上述算法在有限步内收敛。,表示网络的综合输入,表示网络的非线性作用函数,若不考虑网络的容错性能, 仅仅考虑网络的容量意义不大. 用上述编码方法所给出的编码有时容错性能较差.为了使所得的权值矩阵对记忆样本的吸引域尽可能地大,利用前面的算法,求出一些满足条件的权值矩阵,每一个矩阵 除以它的绝对值
9、最大的元素的绝对值，使得 它的绝对值最大的元素的绝对值为1。设新求得矩阵为：,然后求出这些矩阵的平均值矩阵：,我们涉及到Hopfield 网络的两种运行形式，相应的有两种不同的应用方向： 联想记忆 因网络能收敛于稳态，故可用于联想记忆。若将稳态视为一个记忆，则由初态向稳态收敛的过程就是寻找记忆的过程，初态认为是给定的部分信息，收敛过程可认为是从部分信息找到了全部信息，实现了联想记忆的功能。联想记忆模型的一个重要特性：由噪声输入模式，反映出训练模式。 优化计算 若将稳态视为某一优化计算问题目标函数的极小点，则由初态向稳态收敛的过程就是优化计算过程。先把问题表述成能量函数，进一步由能量函数推出网络
10、权结构，然后在某种条件下让网络运行，网络的稳定状态一般来说就对应与问题的解答。,7-5 Hopfield网络的几个问题,7-5 Hopfield网络的几个问题,Hopfield反馈神经网络应用于联想与优化计算是相对偶的。应用于优化计算时，网络权矩阵W为已知，目的是寻找具有最小能量值的稳定状态。用作联想时，稳定状态时给定的，目的是通过学习过程来得到合适的权矩阵W。,7-6 Hopfield网络的MATLAB实现示例,MATLAB中Hopfield网络的重要函数和功能,MATLAB中与Hopfield网络有关的重要函数和功能 newhop( ) 功能 生成一个Hopfield回归网络。 格式 ne
11、t = newhop(T) 说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。,7-6 Hopfield网络的MATLAB实现示例,MATLAB中与Hopfield网络有关的重要函数和功能 satlins( ) 功能 对称饱和线性传递函数 格式 A = satlins(N) A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素
12、取值位于区间0，1内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。,7-6 Hopfield网络的MATLAB实现示例,7-6 Hopfield网络的MATLAB实现示例,Hopfield网络应用,Hopfield网络已成功的应用在多种场合。从概念上讲，Hopfield网络的运行主要有两种形式。相应的应用方式也主要有两种联想存取与优化计算。而具体的应用方向主要集中在图像处理、语声处理、控制、信号处理、数据查询、容错计算、模式分类、模式识别和知识处理等领域。,基本思想归纳如下： 1)对于特定的问题，选择一种合适的表示方法，使得神经网络的输出与问题的解对应起来。 2)构造神经网络的能量函数，使其最小值对应问题的最佳解。 3)由能量函数反推出神经网络的结构。,见仿真例。,7-6 Hopfield网络的MATLAB实现示例,本章结束，谢谢大家！,
