《神经网络算法的ppt课件》由会员分享，可在线阅读，更多相关《神经网络算法的ppt课件（46页珍藏版）》请在金锄头文库上搜索。
1、人工神经元网络 ANN ArtificialNeuralNetwork 1 生物神经元及生物神经网络 什么是人工神经网络 人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统或计算机 2 生物神经元及生物神经网络 3 4 神经网络的分类 按照网络特性静态网络动态网络 按照学习方法有导师学习无导师学习 5 感知器 Perceptron 6 感知器的非线性激励函数 7 感知器的数学描述 8 感知器的线性可分问题 9 多层神经网络的典型结构 10 多层神经网络的例子模式分类与函数逼近 11 神经网络的反向扩散学习算法 ul 1 ul 2 ul Nl ul j u2 1 u2 2 u2
2、 N2 u2 j uL 1 uL NL 输入层 第一层 第二层 输出层 u0 1 u0 2 u0 j u0 N0 Wl j i 12 神经网络的反向扩散学习算法 13 神经网络的反向扩散学习算法 14 神经网络的反向扩散学习算法 15 神经网络的反向扩散学习算法 16 神经网络的反向扩散学习算法 17 神经网络的反向扩散学习算法 18 神经网络的反向扩散学习算法 19 神经网络的反向扩散学习算法 20 神经网络的反向扩散学习算法 21 22 动态网络 Hopfield网络 若按照神经网络运行过程中的信息流向来分类 那么所有网络都可分为前馈式网络和反馈式网络 在前一章中 主要介绍了前馈式网络通过
3、许多具有简单处理能力的神经元的复合作用使整个网络具有复杂的非线性映射能力 在那里 着重分析了网络学习算法 研究的重点是怎样尽快地得到网络的整体非线性处理能力 在本章中 我们将集中讨论反馈式网络 通过网络神经元状态的变迁而最终稳定于某一状态而得到联想存贮或神经计算的结果 在这里 主要关心的是网络稳定性的问题 研究的重点是怎样得到和利用稳定的反馈式网络 23 动态网络 Hopfield网络 哈波菲尔德 Hopfield 网络是得到最充分研究和广泛应用的神经网络模型之一 在众多的研究者之中 美国科学家J J哈波菲尔德 J JHopfield 的工作具有特别重要的意义 他为这一类网络引入了一种隐定过程
4、 即提出了人工神经网络能量函数 也称李雅普诺夫函数 的概念使网络的运行稳定性判断有了可靠而简便的依据 Hopfield网络在联想存取及优化计算等领域得到了成功的应用 拓宽了神经网络的应用范围 另外Hopfield网络还有一个显著的优点 其与电子电路存在明显的对应关系 使得该网络易于理解和便于实现 24 Hopfield网络的结构 25 Hopfield网络的结构 Hopfield网络的基本结构如图所示 N1 N2 Nn表示网络的n个神经元 其转移特性函数为f1 f2 fn 门限值为 1 2 n 对于离散型Hopfield网络 各节点一般选相同的转移特性函数 且为符号函数 即有f1 x f2 x
5、 fn x sgn x 为以后分析方便 我们选各节点门限值相等 且等于0 即有 1 2 n 0同时 x x1 x2 xn x 1 1 n为网络的输出 y y1 y2 yn y 1 1 n为网络的输出v t v1 t1 v2 t2 vn tn v t 1 1 n为网络在时刻t的状态 其中t 0 1 2 为离散时间变量 Wij为从Ni到Nj的连接权值 Hopfield网络是对称的 即Wij Wji i j 1 2 n 26 Hopfield网络的结构 Hopfield网络为一层结构的反馈网络 能处理双极型离散数据 即输入x 1 1 及二进制数据 x 0 1 当网络经过适当训练后 可以认为网络处于等
6、待工作状态 而对网络给定初始输入x时 网络就处于特定的初始状态 由此初始状态开始运行 可得到网络输出 即网络的下一状态 然后这个输出状态通过反馈连接回送到网络的输入端 作为网络下一阶段运行的输入信号 而该输入信号可能与初始输入信号x不同 由这个新的输入又可得到下一步的输出 该输出也可能与上一步的输出不同 如此下去 网络的整个运行过程就是上述反馈过程的重复 如果网络是稳定的 那么随着多次反馈运行 网络状态的变化逐渐减少 最后不再变化 达到稳态 这时由输出端可得到网络的稳定输出y 用公式表达为vj 0 xj vj t 1 fj Wijvi t j 当v t 1 v t 时 y v t 27 Hop
7、field网络的状态更新 在网络运行过程中 网络神经元状态的演变有两种形式 异步更新在任一时刻t 只有某一神经元Nj的状态被更新 而其余神经元状态保持不变 即vj t 1 sgn Wijvi t 对某个特定的jvj t 1 vj t i 1 2 n i j同步更新在任一时刻t 更新的神经元数目多于一个 称同步更新 特殊情况下 所有神经元都同时更新 称全并行工作方式 即vj t 1 sgn Wijvi t i 1 2 n 写成向量形式v t 1 sgn v t W 28 Hopfield网络的稳定性 下面给出几个基本概念的定义 这些基本概念与网络运行过程中状态的变迁有关 定义1网络的稳定性若网络
8、从初始状态v 0 开始 经过有限时间t后 网络的状态不再发生变化 即则称网络是稳定的 定义2网络的吸引子设t 0时对网络输入模式x 网络处于状态v 0 而在时刻t 网络到达状态v t 若v t 稳定 则称v t 为网络的稳定吸引子 否则称v t 为非稳定吸引子 在非稳定吸引子的情况 若网络状态有规律地在某些状态之间振荡 则称网络处于有限环 LimitedCircle 状态 若网络无规律地在某些状态之间振荡 则称网络处于混沌 Chaos 状态 定义3吸引子的吸引域对于某些特定的初始状态 网络按一定的运行规则最后可能都稳定在同一吸引子v t 上 称能够稳定在吸引子v t 的所有初始状态集合为v t
9、 的吸引域 29 Hopfield网络的联想原理 E mc2 Einstan Newt Newton Newy Newyear 30 Hopfield网络的联想原理 所谓联想可以理解为从一种事物联系到与共相关事物的过程 在日常生活中 由一种事物出发 人们会非常自然地联想到与该事物密切相关或有因果关系的种种事物 在这里 我们区分两种联想形式 即 由某种代表事物 或该事物的主要特征 也可能是部分主要特征 联想到其所表示的实际事物 称自联想 由一种事物 或该事物的主要特征 也可能是部分主要特征 联想到与其密切相关的另一事物 称异联想 31 联想的定义 首先考虑x类模式向量集合 x1 x2 xp 及y
10、类模式向量集合 y1 y2 yp 其中xi x1i x2i xni xi 1 1 nyi y1i y2i ymi yi 1 1 m 32 联想的定义 自联想 Autoassociation 给出向量模式xi xi满足关系D xi x i min x i xj 即xi含有x i的主要特征 其中D为某种度量 用以测量两个模式的相似度 若由x i得到了xi 即重新构造出xi 则称此构造过程为自联想过程 异联想 Heteroassociation 给出向量模式xi 若由xi得到yi 即实现了两种不同事物之间的对应 则称这个对应过程为异联想过程 33 联想的定义 按地址寻找传统计算机所使用的搜索方法 该
11、方法的实现特点是忽赂了对应事物的内在联系而把事物转换成没有特征的数字 地址 以后按地址的变换以某种策略进行寻找 随后对事物进行比较 按某种废量得到所要寻找的目标事物 按内容寻找基于事物全部或部分特征来找出目标事物 寻找过程就是事物间特征的对比 而不必知道这些事物的具体贮存地址 从匹配过程来看 这种方法不需要地址的管理及变换 这就有可能极大地提高查寻速度 从观念上来讲 本方法较按地址寻找更接近于人的思维方法 因为在人脑辨识决策过程中 绝大多数是墓千事物之间的联系 也即联想过程 但是 本方法在传统计算机上用确定性算法难以实现 而神经网络方法却能提供一种较好的实现方案 34 联想的定义 定义Hamm
12、ing距离 两个向量中对应元素不相同的个数 称作这两个向量的汉明距离 例如 x1与x2汉明距离可用下式计算DH x1 x2 1 2 1 xi1xi2 35 联想的定义 模式匹配对于集合 x1 x2 xp 其中xi x1i x2i xni xi 1 1 n给出输入测试模式x 试在该模式集合中找出与x在汉明距离最为接近意义下的xi i 1 2 n 36 联想的定义 计算步骤 按地址寻找 计算x与所有已存贮模式的汉明距离forj 1 pDH x xj 1 2 1 xixij 找出与x最为相似的模式标号 用k表示 k 1forj 2 pifDH x xj DH x xj 1 thenk j由标号k查找
13、得xkprint xk 37 联想的定义 计算步骤 按内容寻找 学习阶段 形成W 与x1 x2 xp有关 初始阶段 v 0 x 假设输入x xk 运行过程 v t 1 sgn v t W 稳定输出 v xk 38 x11x21 xn1 x12x22 xn2 LOC x1 LOC x2 x1kx2k xnk x1px2p xnp LOC xk LOC xp x1x2 xn 输入x DH x1 x DH x2 x DH xk x DH xp x x1 x2 xk xp x DH xk x 选择 传统计算机存储及比较方法 39 x1 x2 xn 神经网络存储及联想方法 x1k x2k xnk v1
14、t v2 t vn t wn1 wn2 w21 w12 w2n w1n 40 吸引子空间分布示意图 v1 v2 v3 41 联想实例 右图给出一些模拟实例 其中图形象素为130 180 整个网络共存贮了7幅图象 图中左端为带有噪声干扰或不完全的输入图形 中间为网络运行的某时刻的中间状态 右端为网络最终输出 42 后面内容直接删除就行资料可以编辑修改使用资料可以编辑修改使用 43 主要经营 网络软件设计 图文设计制作 发布广告等公司秉着以优质的服务对待每一位客户 做到让客户满意 44 致力于数据挖掘 合同简历 论文写作 PPT设计 计划书 策划案 学习课件 各类模板等方方面面 打造全网一站式需求 45 感谢您的观看和下载 Theusercandemonstrateonaprojectororcomputer orprintthepresentationandmakeitintoafilmtobeusedinawiderfield 46
