《BP神经网络编订》由会员分享，可在线阅读，更多相关《BP神经网络编订（101页珍藏版）》请在金锄头文库上搜索。
1、2020/10/22,1,BP人工神经网络 Back-propagation Artificial Neural Networks,2020/10/22,2,张凌 数计学院 联系电话：13605935915 Email：,2020/10/22,3,主要参考书目,1、Philip D. Wasserman， Neural Computing: Theory and Practice，Van Nostrand Reinhold，1989 2、胡守仁、余少波、戴葵，神经网络导论，国防科技大学出版社，1993年10月 3、杨行峻、郑君里，人工神经网络，高等教育出版社，1992年9月 4、闻新、周露、王
2、丹力、熊晓英，MATLAB神经网络应用设计，科学出版社，2001.5.,2020/10/22,4,课程目的和基本要求,作为人工神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。 介绍BP人工神经网络及其基本网络模型，使学生了解智能系统描述的基本模型 掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题 掌握软件实现方法。,2020/10/22,5,课程目的和基本要求,了解BP人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法。 通过实验进一步体会有关模型的用法和性能，获取一些初步的经验。 查阅适当的参考文
3、献，将所学的知识与自己未来研究课题相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的。,2020/10/22,6,主要内容,基于Matlab的BP神经网络设计与应用 BP（Backpropagation）网络的构成及其训练过程；隐藏层权调整方法的直观分析，BP训练算法中使用的Delta规则（最速下降法）的理论推导；算法的收敛速度及其改进讨论；BP网络中的几个重要问题。 实验：实现BP算法。,2020/10/22,7,引言,1人工神经网络的提出 2 人工神经网络的特点 3 历史回顾,2020/10/22,8,第1章 引言,人类对人工智能的研究可以分成两种方式对应着两种不同的技术： 传统的
4、人工智能技术:心理的角度模拟 基于人工神经网络的技术:生理的角度模拟,2020/10/22,9,人工神经网络的提出,人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,2020/10/22,10,人工神经网络的提出,智能与人工智能 一、 智能的含义 智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。 智能是个体认识客观事物和运用知识解决问题的能力。 人类个体的智能是一种综合能力。,2020/10/22,1
5、1,人工神经网络的提出,智能可以包含8个方面 感知与认识客观事物、客观世界和自我的能力 感知是智能的基础最基本的能力 通过学习取得经验与积累知识的能力 这是人类在世界中能够不断发展的最基本能力。 理解知识，运用知识和经验分析、解决问题的能力 这一能力可以算作是智能的高级形式。是人类对世界进行适当的改造，推动社会不断发展的基本能力。,2020/10/22,12,人工神经网络的提出,联想、推理、判断、决策语言的能力 这是智能的高级形式的又一方面。 预测和认识 主动和被动之分。联想、推理、判断、决策的能力是主动的基础。 运用进行抽象、概括的能力 上述这5种能力，被认为是人类智能最为基本的能力,202
6、0/10/22,13,1.1 人工神经网络的提出,作为5种能力综合表现形式的3种能力 发现、发明、创造、创新的能力 实时、迅速、合理地应付复杂环境的能力 预测、洞察事物发展、变化的能力,2020/10/22,14,人工神经网络的提出,二、人工智能 人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。 研究人工智能的目的 增加人类探索世界，推动社会前进的能力 进一步认识自己 三大学术流派 符号主义（或叫做符号/逻辑主义）学派 联接主义（或者叫做PDP）学派 进化主义（或者叫做行动/响应）学派,2020/10/22,15,人工神经网络的提出,物理符号系统,人脑的反映 形式化 现实 信息
7、数据 物理系统 物理符号系统 表现智能,2020/10/22,16,人工神经网络的提出,Newell和Simon假说 ：一个物理系统表现智能行为的充要条件是它有一个物理符号系统 概念：物理符号系统需要有一组称为符号的实体组成，它们都是物理模型，可以在另一类称为符号结构的实体中作为成分出现，以构成更高级别的系统,2020/10/22,17,人工神经网络的提出,困难： 抽象:舍弃一些特性，同时保留一些特性 形式化处理:用物理符号及相应规则表达物理系统的存在和运行。 局限： 对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。,2020/10/22,18,人工神经网络的提出,联接主义观点
8、 核心：智能的本质是联接机制。 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练,2020/10/22,19,人工神经网络的提出,两种模型的比较 心理过程 逻辑思维 高级形式（思维的表象） 生理过程 形象思维 低级形式（思维的根本） 仿生人工神经网络,联结主义观点,物理符号系统,2020/10/22,20,人工神经网络的提出,物理符号系统和人工神经网络系统的差别,2020/10/22,21,人工神经网络的提出,两种人工智能技术的比较,2020/10/22,22,人工神经网络的特点,信息的分布
9、表示 运算的全局并行和局部操作 处理的非线性,2020/10/22,23,人工神经网络的概念,1、定义 1）Hecht Nielsen（1988年） 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE Processing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。,2020/10/22,24,人工神经网络的概念,（1）Hecht Nielsen（1988年）（续
10、） 处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,2020/10/22,25,人工神经网络的概念,强调： 并行、分布处理结构； 一个处理单元的输出可以被任意分枝，且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作,2020/10/22,26,人工神经网络的概念,（2） Rumellhart，McClelland，Hinton的PDP 1） 一组处理单元（PE或AN）； 2） 处理单元的激活状态（ai）； 3） 每个处理单元的输出函数
11、（fi）； 4） 处理单元之间的联接模式； 5） 传递规则（wijoi）； 6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； 7） 通过经验修改联接强度的学习规则； 8） 系统运行的环境（样本集合）。,2020/10/22,27,人工神经网络的概念,（3） Simpson（1987年） 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,2020/10/22,28,人工神经网络的概念,2、关键点 （1） 信息的分布表示 （2） 运算的全局并行与局部操作 （3） 处理的非线性特征 3、对大脑基本特征的模拟
12、 1） 形式上：神经元及其联接；BN对AN 2） 表现特征：信息的存储与处理,2020/10/22,29,人工神经网络的概念,4、别名 人工神经系统（ANS） 神经网络（NN） 自适应系统（Adaptive Systems）、自适应网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer）,2020/10/22,30,人工神经元的基本构成,人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，xn） 联接权：W=（w1，w2，wn）T 网络输入：net=xiwi 向量形式：net=XW,2020/10/22,31,激活函数
13、(Activation Function),激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 1、线性函数（Liner Function） f（net）=k*net+c,2020/10/22,32,2、非线性斜面函数(Ramp Function), if net f（net）= k*netif |net|0为一常数，被称为饱和值，为该神经元的最大输出。,2020/10/22,33,2、非线性斜面函数（Ramp Function）,2020/10/22,34,3、阈值函数（Threshold Function）阶跃函数,if net f（net）=
14、-if net 、均为非负实数，为阈值 二值形式： 1if net f（net）= 0if net 双极形式： 1if net f（net）= -1if net ,2020/10/22,35,3、阈值函数（Threshold Function）阶跃函数,-,o,net,0,2020/10/22,36,4、S形函数,压缩函数（Squashing Function）和逻辑斯特函数（Logistic Function）。 f（net）=a+b/(1+exp(-d*net) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f（net）= 1/(1+exp(-d*net) 函数的饱和值为0和
15、1。 S形函数有较好的增益控制,2020/10/22,37,4、S形函数,2020/10/22,38,课内容回顾,生物神经网六个基本特征 神经元及其联接、信号传递、训练、刺激与抑制、累积效果、 阈值。 人工神经元的基本构成,2020/10/22,39,上次课内容回顾,激活函数与M-P模型 线性函数、非线性斜面函数、阈值函数 S形函数 M-P模型,2020/10/22,40,简单单级网,2020/10/22,41,简单单级网,W=（wij） 输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+xnwnj 其中, 1 j m。取 NET=（net1，net2，netm）
16、 NET=XW O=F（NET）,2020/10/22,42,单级横向反馈网,2020/10/22,43,单级横向反馈网,V=（vij） NET=XW+OV O=F（NET） 时间参数神经元的状态在主时钟的控制下同步变化 考虑X总加在网上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1) O（0）=0 考虑仅在t=0时加X的情况。 稳定性判定,2020/10/22,44,多级网,2020/10/22,45,层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息,2020/10/22,46,第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号,2020/10/
