《神经网络算法入门【ppt】.》由会员分享，可在线阅读，更多相关《神经网络算法入门【ppt】.（85页珍藏版）》请在金锄头文库上搜索。
1、1 人脑的结构、机制人脑的结构、机制 和功能中凝聚着无比的和功能中凝聚着无比的 奥秘和智慧。奥秘和智慧。 地球是宇宙的骄子， 人类是地球的宠儿， 大脑是人的主宰。 现在是探索脑的奥秘现在是探索脑的奥秘 ，从中获得智慧，在其启，从中获得智慧，在其启 发下构造为人类文明服务发下构造为人类文明服务 的高级智能系统的时候了的高级智能系统的时候了 ！ 本章要点 一、神经网络简介 二、MATLAB简介 三、神经网络建模基础 四、利用Microsoft SQL Server2005实 践神经网络算法 2 一、神经网络简介 人脑与计算机信息处理能力的比较 记忆与联想能力 学习与认知能力 信息加工能力 信息综合
2、能力 信息处理速度 3 一、神经网络简介 人脑与计算机信息处理机制的比较 系统结构 信号形式 信息存储 信息处理机制 4 一、神经网络简介 生物神经网络 人类的大脑大约有1.41011个神经细胞，亦 称为神经元。每个神经元有数以千计的通道 同其它神经元广泛相互连接，形成复杂的生 物神经网络。 人工神经网络 以数学和物理方法以及信息处理的角度对人 脑神经网络进行抽象，并建立某种简化模型 ，就称为人工神经网络（Artificial Neural Network，缩写 ANN）。 5 一、神经网络简介 人工神经网络定义 神经网络是由多个非常简单的处理单元彼此按某种方式相互 连接而形成的计算系统，该系
3、统是靠其状态对外部输入信息 的动态响应来处理信息的。 人工神经网络是一个由许多简单的并行工作的处理单元组成 的系统，其功能取决于网络的结构、连接强度以及各单元的 处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理 系统。 6 一、神经网络简介 神经网络的基本特征 7 能力特征： 自学习 自组织 自适应性 结构特征： 并行式处理 分布式存储 容错性 一、神经网络简介 8 联 想 记 忆 功 能 神经网络的基本功能 一、神经网络简介 9 神经网络的基本功能 非线性映射功能 神经网络的基本功能 10 分类与识别功能 一、神经网络简介 神经网络的基本功能 11 优化计算功能 一、神经网络
4、简介 神经网络的基本功能 12 知识处理功能 一、神经网络简介 神经网络的应用领域：信息处理领域 信号处理 模式识别 数据压缩 13 一、神经网络简介 神经网络的应用领域：自动化领域 系统识别 神经控制器 智能检测 14 一、神经网络简介 神经网络的应用领域：工程领域 汽车工程 军事工程 化学工程 水利工程 15 一、神经网络简介 神经网络的应用领域：医学领域 检测数据分析 生物活性研究 医学专家系统 16 一、神经网络简介 神经网络的应用领域：经济领域 信贷分析 市场预测 17 一、神经网络简介 神经网络的软硬件实现 神经网络编程语言既可用高级语言也可用低 级语言。C语言是神经网络应用软件的
5、基本 编程工具;汇编语言常用于提高神经网络的 已有功能或解决与硬件相关的难点。 MATLAB名字由MATrix和 LABoratory 两词的 前三个字母组合而成。20世纪七十年代后期 ，时任美国新墨西哥大学计算机科学系主任 的Cleve Moler教授出于减轻学生编程负担 的动机，为学生设计了一组调用LINPACK和 EISPACK库程序的“通俗易用”的接口，此 即用FORTRAN编写的萌芽状态的MATLAB。 18 一、神经网络简介 神经网络的软硬件实现 MATLAB以商品形式出现后，仅短短几年，就以其良好的开放 性和运行的可靠性，使原先控制领域里的封闭式软件包（如 英国的UMIST，瑞典
6、的LUND和SIMNON，德国的KEDDC）纷纷淘 汰，而改以MATLAB为平台加以重建。在时间进入20世纪九十 年代的时候，MATLAB已经成为国际控制界公认的标准计算软 件。 19 一、神经网络简介 神经网络的软硬件实现 在欧美大学里，诸如应用代数、数理统计、自动控制、数字 信号处理、模拟与数字通信、时间序列分析、动态系统仿真 等课程的教科书都把MATLAB作为内容。这几乎成了九十年代 教科书与旧版书籍的区别性标志。在那里，MATLAB是攻读学 位的大学生、硕士生、博士生必须掌握的基本工具。 20 一、神经网络简介 神经网络的软硬件实现 MATLAB的推出得到了各个领域的专家学者的广泛关注
7、，在此 基础上，专家们相继推出了MATLAB工具箱，主要包括信号处 理、控制系统、神经网络、图像处理、鲁棒控制、非线性系 统控制设计、系统辨识、最优化、模糊逻辑、小波等工具箱 ，这些工具箱给各个领域的研究和工程应用提供了有力的工 具。 21 一、神经网络简介 参考文献 1人工神经网络教程（第1版）韩力群，北京：北京邮电大学 出版社，2006年 2神经网络(影印版) , Satish Kumar ,北京：清华大学出版社 ， 2006年 3神经网络设计(英文版) （美）黑根 等著,机械出版社，中信 出版社，2002 4 神经网络模型及其MATLAB仿真程序设计，周开利，康耀 红，北京：清华大学出版
8、社 ， 2005年 22 一、神经网络简介 三、神经网络建模基础 神经生理学和神经解剖学的研究结果表明，神经元 (Neuron)是脑组织的基本单元，是人脑信息处理系统的最 小单元。 生物神经元 生物神经网络 23 三、神经网络建模基础 生物神经元 24 生物神经元在结构上由 : 细胞体(Cell body)、 树突(Dendrite)、 轴突(Axon)、 突触(Synapse) 四部分组成。用来完成 神经元间信息的接收、 传递和处理。 人工神经网络的生物学基础 25 三、神经网络建模基础 生物神经元:信息的产生 神经元间信息的产生、传递和处理是一种电化学活动。 26 神经元状态： 静息静息
9、兴奋兴奋 抑制抑制 膜电位： 极极 化化 去极化去极化 超极化超极化 三、神经网络建模基础 27 三、神经网络建模基础 28 生物神经元:信息的传递与接收 三、神经网络建模基础 29 生物神经元:信息的整合信息的整合 空间整合：同一时刻产生的刺激所引起的 膜电位变化，大致等于各单独刺激引起的 膜电位变化的代数和。 时间整合：各输入脉冲抵达神经元的时间 先后不一样。总的突触后膜电位为一段时 间内的累积。 生物神经网络 30 由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。 生物神经网络的功能不是单个神经元信息 处理功能的简单叠加。 神经元之间的突触连接方式和连接强度不 同并且具
10、有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。 三、神经网络建模基础 三、神经网络建模基础 神经元及其突触是神经网络的基本器件。因此，模拟生 物神经网络应首先模拟生物神经元 人工神经元(节点) 从三个方面进行模拟: 节点本身的信息处理能力 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 31 决定人工神 经网络整体 性能的三大 要素 三、神经网络建模基础 节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 32 三、神经网络建模基础 模型的六点假设： (1) 每个神经元都是一个多输入单输出的信息处理 单元；
11、 (2) 神经元输入分兴奋性输入和抑制性输入两种类 型； (3) 神经元具有空间整合特性和阈值特性； (4)神经元输入与输出间有固定的时滞, 主要取决 于突触延搁； (5) 忽略时间整合作用和不应期； (6) 神经元本身是非时变的，即其突触时延和突触 强度均为常数。 33 三、神经网络建模基础 假设1 图(a) 表明，正如生物神经元有许多激励输入一祥，人工 神经元也应该有许多的输入信号，图中每个输入的大小用 确定数值xi表示，它们同时输入神经元j，神经元的单输出 用oj表示。 34 三、神经网络建模基础 假设2 生物神经元具有不同的突触性质和突触强度，其对 输入的影响是使有些输入在神经元产生脉
12、冲输出过 程中所起的作用比另外一些输入更为重要。图(b)中 对神经元的每一个输入都有一个加权系数wij，称为 权重值，其正负模拟了生物神经元中突触的兴奋和 抑制，其大小则代表了突触的不同连接强度。 35 三、神经网络建模基础 假设3 作为ANN的基本处理单元，必须对全部输入信号进行整合，以 确定各类输入的作用总效果，图(c)表示组合输人信号的“总和 值”，相应于生物神经元的膜电位。神经元激活与否取决于某 一阈值电平，即只有当其输入总和超过阈值时, 神经元才被 激活而发放脉冲, 否则神经元不会产生输出信号。 36 三、神经网络建模基础 假设4 图(d) 人工神经元的输出也同生物神经元一样仅有 一
13、个，如用oj表示神经元输出，则输出与输入之间的 对应关系可用图(d)中的某种非线性函数来表示，这 种函数一般都是非线性的。 37 三、神经网络建模基础 38 ij 输入输出间的突触时延； Tj 神经元j的阈值； wij 神经元i到 j 的突触连接系数或称 权重值； f ( )神经元转移函数。 (1) 上述内容可用一个数学表达式进行抽象与概括。令xi(t)表示t 时刻神经元j接收的来自神经元i的信息输入，oj(t)表示t时刻 神经元j的信息输出，则神经元j的状态可表达为1式。 三、神经网络建模基础 39 三、神经网络建模基础 (2) 为简单起见，将1上式中的突触时延取为单位时间，则式(1) 可写
14、为2式。 上式描述的神经元数学模型全面表达了神经元模型的6点假 定。其中输入xi的下标i=1,2,n，输出oj的下标j体现了神经 元模型假定(1)中的“多输入单输出”。权重值wij的正负体现了 假定(2)中“突触的兴奋与抑制”。Tj代表假定(3)中神经元的“阈 值”；“输入总和”常称为神经元在t时刻的净输入， 40 神经元的数学模型： (3) 三、神经网络建模基础 41 netj(t) 体现了神经元j的空间整合特性而未考虑时间整合， 当netj-Tj0时，神经元才能被激活。oj(t+1)与xI(t)之间的单 位时差代表所有神经元具有相同的、恒定的工作节律，对应 于假定(4)中的“突触延搁”；w
15、ij与时间无关体现了假定(6)中神 经元的“非时变”。 神经元的数学模型： netj=WjTX(4) 三、神经网络建模基础 42 为简便起见，在后面用到式(3)时，常将其中的(t)省略。 式(3)还可表示为权重向量Wj和输入向量X的点积WTX。 其中Wj和X均为列向量，定义为 Wj=(w1 w2 wn）T，X=(x1 x2 xn)T 如果令x0=-1，w0=Tj，则有-Tj=x0w0，因此净输入与阈值 之差可表达为 神经元的数学模型： (5) oj=f(netj)=f (WjTX) (6) 三、神经网络建模基础 43 显然，式(4)中列向量Wj和X的第一个分量的下标均从1开始 ，而式(5)中则
16、从0开始。采用式(5)的约定后，净输入改写为 netj，与原来的区别是包含了阈值。综合以上各式，神经元 模型可简化为 神经元的数学模型： 三、神经网络建模基础 神经元各种不同数学模型的主要区别在于采用了不同的 转移函数，从而使神经元具有不同的信息处理特性。神经 元的信息处理特性是决定人工神经网络整体性能的三大要 素之一，反映了神经元输出与其激活状态之间的关系，最 常用的转移函数有4种形式。 44 (1)阈值型转移函数 1 x0 f(x)= (7) 0 x0 三、神经网络建模基础 45 神经元的转移函数： (2)非线性转移函数 三、神经网络建模基础 46 非线性转移函数为实数域R到0.1闭集的非减连续 函数，代表了状态连续型神经元模型。最常
