《《bp神经网络模型》ppt课件》由会员分享，可在线阅读，更多相关《《bp神经网络模型》ppt课件（34页珍藏版）》请在金锄头文库上搜索。
1、神经网络概述,人工神经网络ANN（artificial neural network)是20世纪80年代才日益受到人们重视的一种新的人工智能计算方法。由于它模拟了人脑的思维模式，即具有一定的智能，且的确能解决许多用传统方法不能或难于解决的复杂问题，使之更加精确化，如更精确的分类、非线性规划的求解、著名的“旅行员推销问题”的解决等（注：在近年来的实际应用，尤其在大学生数学建模竞赛中许多获奖队在解决问题是均是以运用神经网络方法作为成功的法宝，如2000年A题中国科技大学5个队获全国一等奖，运用的均是神经网络方法）。,神经网络概述,人的大脑约由 个神经细胞(也称神经元）组成，细胞之间通过树突和轴突互
2、相连接，构成纵横交错的网络结构。神经细胞通过突触互相交换信息，树突用来接受神经冲动，轴突分化出的神经末梢则可传出神经冲动。由于输出端只有两个状态：兴奋态与抑制态。因此，一个神经元就是一个简单的系统，或者说是一个逻辑元件。下图表示它的数学模型，这里 是输入， 是输出， 是神经元内部状态。特别要说明的是，每个神经元都有一个特殊的参数,神经网络概述,称为阈值，它是输出的一个临界值，直接影响神经元的内部状态。,人们的记忆和智能并不是储存在单个脑细胞中，而是储存在脑细胞之间互相连接的网络之中，这称为分布式存储方式。这样一种“分布方式”并不因单个脑细胞的死亡而消失。人们通过学习可以不断地改变脑细胞之间的连
3、接方式，使这个网络的功能不断提高。模仿神经细胞的结构，人们设计了种种人工神经网络，如感知器、BP网络、自组织网络等。,神经网络概述,神经网络概述,人工神经网络的基本工作原理是：对于每个神经元，假设它有 个输入，输入值为 那么，它的输出值就是 ，这里， 是等待确定的权重系数，简称权值。 是一个函数，它有几种典型选法。一种常用的函数是Sigmoid函数。 神经元网络工作的全部秘密就在于它的权重值，,神经网络概述,选择不同的权重值，神经元网络就会有不同的输入-输出关系。 神经元网络的具体工作原理：我们将样本数据的输入值输进神经元网络，就得到一组输出值。这组输出值当然不是我们的理想输出值。于是，我们就
4、根据实际输出与理想输出的差来修正权值，以缩小这种差别。这样反复训练多次，最后，使实际输出与理想输出趋于一致。这样，神经元网络就可以用来代替我们所需要的模型了。,BP神经网络模型与学习算法,BP神经网络概述,Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,J. McClelland,David Rumelhart,BP神经网络模型,三层BP网络,BP神经网络模型
5、,激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出,BP神经网络模型,输出的导数,根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内,BP网络的标准学习算法,学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,BP网络的标准学习算法-算法思想,学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传
6、学习的过程： 信号的正向传播 误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,BP网络的标准学习算法-学习过程,正向传播： 输入样本输入层各隐层输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止,BP网络的标准学习算法,网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量;,BP网络的标准学习
7、算法,输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数：,BP网络的标准学习算法,第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出,BP网络的标准学习算法,第三步，计算隐含层各神经元的输入和输出,BP网络的标准学习算法,第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。,BP网络的标准学习算法,第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出计算
8、误差函数对隐含层各神经元的偏导数 。,BP网络的标准学习算法,BP网络的标准学习算法,第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。,BP网络的标准学习算法,第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。,BP网络的标准学习算法,第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,BP网络的标准学习算法,BP算法直观解释 情况一直观表达 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值
9、向减少方向调整， 使得实际输出与期望 输出的差减少。,BP网络的标准学习算法,BP算法直解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能 newff() 功能 建立一个前向BP网络 格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF) 说明 net为创建的新BP神经网
10、络；PR为网络输入取向量取值范围的矩阵；S1 S2SNl表示网络隐含层和输出层神经元的个数；TFl TF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数，默认为mse。,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能 tansig() 功能 正切sigmoid激活函数 格式 a = tansig(n) 说明 双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。 l
11、ogsig() 功能 对数Sigmoid激活函数 格式 a = logsig(N) 说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于BP训练的神经元。,BP神经网络学习算法的MATLAB实现,例题：下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，
12、用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。,BP神经网络学习算法的MATLAB实现,%以每三个月的销售量经归一化处理后作为输入 P=0.5152 0.8173 1.0000 ; 0.8173 1.0000 0.7308; 1.0000 0.7308 0.1390; 0.7308 0.1390 0.1087; 0.1390 0.1087 0.3520; 0.1087 0.3520 0.0000; %以第四个月的销售量归一化处理后作为目标向量 T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761; %创建一个BP神经网络，
13、每一个输入向量的取值范围为0 ,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即上面所描述的标准学习算法 net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd); net.trainParam.epochs=15000; net.trainParam.goal=0.01; %设置学习速率为0.1 LP.lr=0.1; net=train(net,P,T);,BP神经网络学习算法的MATLAB实现,BP网络应用于药品预测对比图 由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小,BP神经网络的特点,非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,谢谢！,
