《智能故信息处理技术-神经网络3 (2)》由会员分享，可在线阅读，更多相关《智能故信息处理技术-神经网络3 (2)（20页珍藏版）》请在金锄头文库上搜索。
1、1智能控制系统智能控制系统天津大学电气与自动化工程学院七天津大学自动化学院天津大学自动化学院 反馈网络(Recurrent Network)，又称自联想记忆网络，其 目的是为了设计一个网络，储存一组平衡点，使得当给 网络一组初始值时，网络通过自行运行而最终收敛到这 个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它 所具有的主要特性为以下两点： 网络系统具有若干个稳定状态。当网络从某一初始状 态开始运动，网络系统总可以收敛到某一个稳定的平 衡状态； 系统稳定的平衡状态可以通过设计网络的权值而被存 储到网络中。3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院vv
2、 3.1 Hopfield3.1 Hopfield模型模型Hopfield模型是霍普菲尔德分别于1982年及1984提出的 两个神经网络模型。1982年提出的是离散型，1984年提出的 是连续型，但它们都是反馈网络结构。3. 3. 反馈网络反馈网络图3-13 反馈网络天津大学自动化学院天津大学自动化学院 网络的结构 离散Hopfield网络是一个单层网络。 激发函数采用阈值函数。各节点没有自反馈，每个 节点都有一个阈值。每个节点都可处于一种可能的 状态（1或1）3. 3. 反馈网络反馈网络图3-14 离散型Hopfield网络天津大学自动化学院天津大学自动化学院 工作方式：异步方式和同步方式
3、异步方式：每次只有一个神经元进行状态的调整计 算，其他节点保持不变。 调整次序：随机选定或按一定次序。3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院 同步方式：每一步所有神经元都进行调整 用矩阵形式表示：3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院 工作过程 网络初值（输入） 网络输出 稳态记忆样本（由部分信息寻找全部信息）稳态目标函数的极值点（寻优）吸引子：3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院 工作过程实例X0=-1,-1,1 TX1= 1, 1,-1 T3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院 收敛性
4、对于离散Hopfield网络，若按异步方式调整，且连 接矩阵为对称矩阵（ ），则对于任意初态， 网络都最终收敛到一个吸引子。证明：定义能量函数由于 ，故 E 有界。3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院以下证明能量递减3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院由于网络处于异步工作方式，故可设k时刻只有第i个神 经元改变状态。则有则令则3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院下面分情况讨论： x : 由1变为-1 x : 由-1变为1 x :不变可见在任意情况下皆有 。又由于 有 下界，故 将收敛到一个常数。 3. 3. 反
5、馈网络反馈网络天津大学自动化学院天津大学自动化学院下面讨论 稳定后，网络是否可以收敛到吸引子。考虑 情况1： 情况2：可见当 时，系统稳定在吸引子上。 3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院 结构？神经元？工作方式？收敛性？学习算法？3. 3. 反馈网络反馈网络离散型Hopfield网络天津大学自动化学院天津大学自动化学院 能量变化实例X0=1,1,1TX1= -1, 1,1 TX2= -1, 1,1 T3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院权值设计 根据求解问题直接计算 通过学习机制训练网络直接求解：根据吸引子计算权值和阈值。例：吸引子1，
6、1，-11，-1，1 权值和阈值均在-1,13. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院通过学习机制训练网络 给定样本，进行记忆a.Hebb规则：同时兴奋，加强；否则减弱对于给定的M个样本，使用外积规则3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院例：使用Hopfield网络辨识印刷体数字。 样本：每个字以1012=120 个黑白像素表示，并 以列向量X描述使用-1和1分别表示白像素和黑像素样本数：M=10 3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院 采用具有120个神经元的Hopfield神经网络 权系数训练10个列矢量样本同时学习，第S个样本写为3. 3. 反馈网络反馈网络天津大学自动化学院天津大学自动化学院利用Hebb规则学习可求出连接权值。 用于联想记忆阶段输入后进行迭代运算，直至网络稳定。与网络稳定 值Hamming距离最近的样本即为网络的辨识结果。3. 3. 反馈网络反馈网络
