人工神经网络6HOPFIELD神经网络ppt课件

《人工神经网络6HOPFIELD神经网络ppt课件》由会员分享，可在线阅读，更多相关《人工神经网络6HOPFIELD神经网络ppt课件（86页珍藏版）》请在金锄头文库上搜索。

1、武汉科技大学 1 人工神经网络 Artifical Neural Network 张 凯 副教授 武汉科技大学 计算机学院 2 要点简介 1 研究背景 2 离散Hopfield神经网络 3 连续Hopfield神经网络 4 Hopfield网络求解TSP问题 研究背景 前几章介绍的神经网络模型属于前向神经网络 从 学习的观点上看 它们是强有力的学习系统 结构简 单 易于编程 从系统的观点看 它们属于一种静态 的非线性映射 通过简单非线性处理单元的复合映射 可获得复杂的非线性处理能力 但它们因缺乏反馈 所以并不是一个强有力的动力学系统 3 研究背景 Hopfield网络是神经网络发展历史上的一个

2、重要的 里程碑 由美国加州理工学院物理学家J Hopfield 教授于1982年提出 是一种单层反馈神经网络 4 研究背景 1985年 J J Hopfield和D W Tank建立了相互连接 型的神经网络模型 并用它成功地探讨了旅行商 问题 TSP 的求解方法 5 研究背景 Hopfield模型属于反馈型神经网络 从计算的角 度上讲 它具有很强的计算能力 这样的系统着 重关心的是系统的稳定性问题 稳定性是这类具 有联想记忆功能神经网络模型的核心 学习记忆 的过程就是系统向稳定状态发展的过程 Hopfield网络可用于解决联想记忆和约束优化问 题的求解 6 研究背景 反馈型神经网络作为非线性动

3、力学系统 可表现出 丰富多样的动态特性 如稳定性 极限环 奇怪吸 引子 混沌 等 这些特性是神经网络引起研究人员 极大兴趣的原因之一 研究表明 由简单非线性神 经元互连而成的反馈动力学神经网络系统具有两个 重要特征 1 系统有若干个稳定状态 如果从某一个初始状态 开始运动 系统总可以进入其中某一个稳定状态 2 系统的稳定状态可以通过改变各个神经元间的连 接权值而得到 研究背景 Hopfield神经网络设计与应用的关键是对其动力学 特性的正确理解 网络的稳定性是其重要性质 而 能量函数是判定网络稳定性的基本概念 Hopfield神经网络 Hopfield网络分为离散型和连续型两种网络模型 分别记

4、作DHNN Discrete Hopfield Neural Network 和CHNN Continues Hopfield Neural Network 9 10 网络模型表示法一 离散Hopfield神经网络结构图 12 状态 阈值 连接权值 离散Hopfield 神经网络 11 网络模型表示法二 离散Hopfield 神经网络 网络中每个神经元的输出都与其它神经元的输入相连 12 反馈网络结构 单层全反馈网 反馈网络的特性 网络输出不仅依赖网络参数和输入 还是时间的 函数 对不同的输入和参数 网络的输出 或状 态 可能 出现如下几种情况 发散 网络状态的轨迹随时间一直延伸到无穷远 混沌

5、 网络状态随时间推移不能稳定 但又不发散 而是在某个确定范围内变化 状态有无穷多个 振荡 网络状态随时间呈现周期 环状 变化 永 远不 会停止 收敛 经过一段时间后 网络状态停止在一点上 不再 变化 称该点为网络的平衡点 反馈网络的特性 平衡点可分为 渐近稳定平衡点 在该平衡点周围区域内 从任意一初 始点出发 当时间趋向无穷时都收敛到这个点 不稳定平衡点 在某些特定的轨迹演化过程中 能够使 网络达到该稳定点 但对该点其它方向上任一个无论多 么小的区域 其轨迹在某个时刻以后总是偏离该点 网络的稳定点解 网络最后是稳定到设计所要求的平衡 点上 而且平衡点又是渐近稳定平衡点 网络的伪稳定点 网络最后

6、是稳定到一个稳定平衡点上 但这个稳定平衡点不是设计所要求的解 反馈网络的作用 反馈网络是利用渐近稳定平衡点来解决某些问题 联想记忆 把渐近稳定平衡点视为一个记忆 从初始点 朝这个渐近稳定平衡点流动的过程就是寻找该记忆的过 程 初始点可认为是给定的有关记忆的部分信息 这时 就是从部分信息去寻找全部信息的联想记忆过程 优化计算 把渐近稳定平衡点视为某能量函数的极小点 从初始点到达稳定点 可看作是稳定点把初始点吸引 了过来 在初始点时 能量比较大 而吸引到稳定点时 能量比较小 渐近稳定平衡点就可以作为一个优化目标 函数的极小点 反馈网络研究的内容 网络稳定性 即研究在什么条件下 网络不会出现 发散

7、振荡和混沌现象 网络稳定点 非线性的网络可能有很多个稳定点 如何设计权使其中的某些稳定点是所要求的解 对于用作联想记忆的网络 希望稳定点都是一个记忆 那么记忆容量就与稳定点的数目有关 若要求记忆容量 大 稳定点的数目也就要大 但稳定点的数目增加可能 会引起吸引域的减少 从而使其联想功能减弱 对于用作优化计算的网络 由于目标函数往往要求只有 一个全局最小 因而希望稳定点 局部极小点 越少越好 反馈网络研究的内容 吸引域的设计 希望解的稳定点有尽可能大吸引域 18 网络模型表示法一 离散Hopfield神经网络结构图 12 状态 阈值 连接权值 离散Hopfield 神经网络 19 注 或 连接权

8、阈值 1 输入输出关系 离散Hopfield 神经网络 离散Hopfield 神经网络 激励函数 20 离散Hopfield 神经网络 相关参数说明 任意神经元i与j间的突触权值wij为 神经元之间 连接是对称的 神经元自身无连接 每个神经元都同其他的神经元相连 其输出信号 经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元 其中任意神经 元的输入用xi t 表示 输出xi t 1 用表示 它们 都是时间的函数 其中 xi t 也称为神经元在时 刻 t的状态 离散Hopfield 神经网络 离散Hopfield网络的状态 离散型Hopfield网络的状态由n个神经元的状态集

9、 合构成 因此 在任何一个给定的时刻 t 离散 型Hopfield网络的的状态可以表示为 22 离散Hopfield 神经网络 离散Hopfield网络的运行规则 1 串行 异步 工作方式 在任 时刻 只有某 神经元 随机的或确定的 选择 依上式变化 而其他神经元的状态不变 2 并行 同步 工作方式 在任一时刻 部分神经元或全部神经元的状态同 时改变 23 工作方式 异步 串行 方式 同步 并行 方式 离散Hopfield 神经网络 串行 异步 工作方式运行步骤 第一步 对网络进行初始化 第二步 从网络中随机选取一个神经元 i 第三步 求出该神经元 i 的输出 第四步 求出该神经元经激活函数处

10、理后的输出 此时网络中的其他神经元的输出保持不变 第五步 判断网络是否达到稳定状态 若达到稳 定状态或满足给定条件则结束 否则转到第二 步继续运行 25 离散Hopfield 神经网络 例 一个3个节点离散型Hopfield神经网络的 初始状态X 0 1 1 1 网络连接权值w 和各个节点的阈值 分别如下 试求解网络 稳定状态 26 离散Hopfield 神经网络 27 异步 串行 方式 离散Hopfield 神经网络 X 0 x1 x2 x3 X 0 1 1 1 x1 1 sgn 1 1 2 1 5 sgn 2 1 X 1 1 1 1 离散Hopfield 神经网络 X 1 x1 x2 x3

11、 X 1 1 1 1 x2 2 sgn 1 1 3 1 0 sgn 4 1 X 2 1 1 1 离散Hopfield 神经网络 X 2 x1 x2 x3 X 2 1 1 1 x3 3 sgn 2 1 3 1 3 sgn 4 1 X 3 1 1 1 离散Hopfield 神经网络 X 3 x1 x2 x3 X 3 1 1 1 x1 4 sgn 1 1 2 1 5 sgn 4 1 X 4 1 1 1 离散Hopfield 神经网络 X 4 x1 x2 x3 X 4 1 1 1 x2 5 sgn 1 1 2 1 5 sgn 4 1 X 5 1 1 1 离散Hopfield 神经网络 X 5 x1 x

12、2 x3 X 5 1 1 1 x3 6 sgn 2 1 3 1 3 sgn 4 1 X 6 1 1 1 离散Hopfield 神经网络 能量函数 Lyapunov function 因Hopfield并无训练目标值 因此无法以MSE RMSE或误判率来衡量网络误差大小 因此 以能量函数进行误差的衡量 34 离散Hopfield 网络的能量函数 能量函数 Lyapunov function 用以判断是否会收敛 能量函数趋近于0 表示会收敛 35 离散Hopfield 网络的能量函数 简化能量函数 当各处理单元的状态变量值所构成向量与训 练范例特征向量之一相似或相同时 能量函 数倾向较低的值 36

13、 离散Hopfield 网络的能量函数 离散型Hopfield网络的能量函数 网络中任意一个神经元 的能量为 37 离散Hopfield 网络的能量函数 稳定状态 若网络从某一时刻以后 状态不再发生变化 则称网络处于稳定状态 网络为对称连接 即 神经元自身无连接 能量函数在网络运行中不断降低 最后达到稳定 38 离散Hopfield 网络的能量函数 网络中神经元能量函数变化量 39 Hopfield网络状态向着能量函数减小的 方向演化 由于能量函数有界 所以系统必 然会趋于稳定状态 离散Hopfield 网络的能量函数 离散型Hopfield网络权值设计 设计原则 为保证异步方式工作时网络收敛

14、 权矩阵应为 对称阵 为保证同步方式工作时网络收敛 权矩阵应为 非负定对称阵 保证给定的样本是网络的吸引子 并且要有尽 可能大的吸引域 离散型Hopfield网络权值设计 外积法 当所需要的吸引子较多时 可采用Hebb规则的 外积法 设给定m个要记忆样本 设样本两两正交 且n m 则权值矩阵 为记忆 样本的外积和为 例 一个3个节点离散型Hopfield神经网络的 3个学习模式为X 1 1 1 1 X 2 1 1 1 X 3 1 1 1 试计算其连接矩阵并验 证其联想记忆能力 离散型Hopfield网络权值设计 43 离散型Hopfield网络权值设计 44 1 1 3 离散型Hopfield

15、网络权值设计 定理 若DHNN网络的规模为n 且权矩阵对角 元素为0 则该网络的信息容量上界为n 定理 若m个记忆模式aj a1 an j 1 m 两两正交 n m 且权矩阵W由外积法得到 则m个模式都是网络 W 0 的吸引子 Hopfield的统计实验结论 DHNN的记忆容量为0 13n 0 15n DHNN的存储容量 DHNN的存储容量 连续Hopfield 神经网络 CHNN是在DHNN的基础上提出的 它的原理 和DHNN相似 由于CHNN是以模拟量作为网络 的输入输出量 各神经元采用并行方式工作 所 以它在信息处理的并行性 联想性 实时 性 分 布存储 协同性等方面比DHNN更接近于生

16、物神 经网络 连续Hopfield 神经网络 连续Hopfield网络模型 连续Hopfield 神经网络 连续Hopfield 网络能量函数 令 整理得 连续Hopfield 网络能量函数 若令 电导 electrical conductance 是表示一个物体或电 路 从某一点到另外一点 传输电流能力强弱的 一种测量值 与物体的电导率和几何形状和尺寸 有关 连续Hopfield 网络能量函数 若令 则 连续Hopfield 网络能量函数 连续Hopfield 网络能量函数 连续Hopfield 网络能量函数 稳定性分析 连续Hopfield 网络能量函数 稳定性分析 连续Hopfield 网络能量函数 稳定性分析 E是李雅谱诺 夫函数 Lyapunov f x 为sigmoid函数 我们对 sigmoid函数做个小的修改 函数特性不变 连续Hopfield 网络能量函数 的反函数可以写作 能量函数的最后一项可以写为 连续Hopfield 网络能量函数 当 很大时 最后一项可以忽略不计 因此能量函数可以写作 连续Hopfield 网络能量函数 连续Hopfield 网络能量函数 CH