BP人工神经网络和matlab实现

1BP人工神经人工神经网络网络BP人工神经网络和人工神经网络和matlab实现实现第第1页页-12-6北京科技大学 自动化系 付冬梅2本章基本内容本章基本内容 BP BP网络结构与模型网络结构与模型网络结构与模型网络结构与模型 BPBP网络学习算法网络学习算法网络学习算法网络学习算法 BPBP神经网络主要函数和基本功效神经网络主要函数和基本功效神经网络主要函数和基本功效神经网络主要函数和基本功效 一个简单例子一个简单例子一个简单例子一个简单例子 BPBP网络几个问题网络几个问题网络几个问题网络几个问题 改进改进改进改进BPBP网络学习算法网络学习算法网络学习算法网络学习算法 BPBP网络应用示例网络应用示例网络应用示例网络应用示例BP人工神经网络和人工神经网络和matlab实现实现第第2页页-12-6北京科技大学 自动化系 付冬梅3nRumelhart，McClelland于于1985年提出了年提出了BP网络误差反网络误差反向后传向后传BP(Back Propagation)学习算法学习算法nBP算法基本原理算法基本原理q利用输出后误差来预计输出层直接前导层误差，再用利用输出后误差来预计输出层直接前导层误差，再用这个误差预计更前一层误差，如此一层一层反传下去，这个误差预计更前一层误差，如此一层一层反传下去，就取得了全部其它各层误差预计。就取得了全部其它各层误差预计。J.McClelland David Rumelhart 概述概述BP人工神经网络和人工神经网络和matlab实现实现第第3页页-12-6北京科技大学 自动化系 付冬梅4BP网络是一个前向映射网络。网络结构见下一页图形。其中：u是网络输入向量，y是网络输出向量。神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层(图中是单隐层)。前层节点至后层节点经过权联接。因为这种网络常惯用BP学习算法后网络权值，所以常称BP人工神经网络。5-1 网络结构和模型网络结构和模型BP人工神经网络和人工神经网络和matlab实现实现第第4页页-12-6北京科技大学 自动化系 付冬梅55-1 网络结构和模型网络结构和模型BP人工神经网络和人工神经网络和matlab实现实现第第5页页-12-6北京科技大学 自动化系 付冬梅65-1 网络结构与模型网络结构与模型BP人工神经网络和人工神经网络和matlab实现实现第第6页页-12-6北京科技大学 自动化系 付冬梅75-1 网络结构和模型网络结构和模型 BP网络神经元模型是改进了感知器神经元模型得到。输入层：隐层：输出层：fxex()=+-11fxeexx()=-+-11fxeexx()=-+-11fxex()=+-11BP人工神经网络和人工神经网络和matlab实现实现第第7页页-12-6北京科技大学 自动化系 付冬梅85-2 BP网络学习算法网络学习算法 多层前馈网络反向传输多层前馈网络反向传输 （BPBP）学习算法，）学习算法，简称简称BPBP学习算法，这是一个有导师学习算法学习算法，这是一个有导师学习算法，是，是梯度下降法梯度下降法在多层前馈网中应用。在多层前馈网中应用。BPBP学习算法学习算法能够看成是线性自适应神经元学能够看成是线性自适应神经元学习算法深入推广。习算法深入推广。BPBP学习算法学习算法=前向计算过程前向计算过程+误差反向传输过程误差反向传输过程前向计算过程：也是网络应用时实现过程。前向计算过程：也是网络应用时实现过程。误差反向传输过程：是误差反向传输过程：是BP网络权值学习和网络权值学习和 训练过程。训练过程。5-2-1 BP5-2-1 BP学习算法概述学习算法概述BP人工神经网络和人工神经网络和matlab实现实现第第8页页-12-6北京科技大学 自动化系 付冬梅9n学习类型：学习类型：有导师学习有导师学习n关键思想：关键思想：q将将输出误差输出误差以某种形式以某种形式经过经过隐层隐层向向输入层输入层逐层反传逐层反传n学习过程：学习过程：q信号正向传输信号正向传输 误差反向传输误差反向传输将误差分摊给各层全部单将误差分摊给各层全部单元各层单元误差信元各层单元误差信号号修正各单元权修正各单元权值值5-2 BP网络学习算法网络学习算法5-2-1 BP5-2-1 BP学习算法概述学习算法概述BP人工神经网络和人工神经网络和matlab实现实现第第9页页-12-6北京科技大学 自动化系 付冬梅10n正向传输：正向传输：q输入样本输入层各隐层输出层输入样本输入层各隐层输出层n判断是否转入反向传输阶段：判断是否转入反向传输阶段：q若输出层实际输出与期望输出（教师信号）不符若输出层实际输出与期望输出（教师信号）不符n误差反传误差反传q误差以某种形式在各层表示修正各层单元权值误差以某种形式在各层表示修正各层单元权值n网络输出误差降低到可接收程度网络输出误差降低到可接收程度 或者进行到预先设定学习次数为止或者进行到预先设定学习次数为止5-2 BP网络学习算法网络学习算法5-2-1 BP5-2-1 BP学习算法概述学习算法概述BP人工神经网络和人工神经网络和matlab实现实现第第10页页-12-6北京科技大学 自动化系 付冬梅11n网络结构网络结构 输入层有输入层有n n个神经元，隐含层有个神经元，隐含层有p p个神经元，输出个神经元，输出层有层有q q个神经元。个神经元。n变量定义变量定义q输入向量输入向量;q隐含层输入向量；隐含层输入向量；q隐含层输出向量隐含层输出向量;q输出层输入向量输出层输入向量;q输出层输出向量输出层输出向量;q期望输出向量期望输出向量;5-2 BP网络学习算法网络学习算法5-2-2 BP5-2-2 BP学习算法描述学习算法描述BP人工神经网络和人工神经网络和matlab实现实现第第11页页-12-6北京科技大学 自动化系 付冬梅12q输入层与中间层连接权值:q隐含层与输出层连接权值:q隐含层各神经元阈值:q输出层各神经元阈值:q样本数据个数:q激活函数:q误差函数：5-2 BP网络学习算法网络学习算法5-2-2 BP5-2-2 BP学习算法描述学习算法描述BP人工神经网络和人工神经网络和matlab实现实现第第12页页-12-6北京科技大学 自动化系 付冬梅13n第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间（给各连接权值分别赋一个区间（-1，1）内随机数，）内随机数，设定误差函数设定误差函数e，给定计算精度值，给定计算精度值 和最大学习次和最大学习次数数M。n第二步第二步,随机选取第随机选取第 个输入样本及对应期望个输入样本及对应期望输出输出 5-2 BP网络学习算法网络学习算法5-2-2 BP5-2-2 BP学习算法描述学习算法描述BP人工神经网络和人工神经网络和matlab实现实现第第13页页-12-6北京科技大学 自动化系 付冬梅14n第三步，计算隐含层各神经元输入和输出第三步，计算隐含层各神经元输入和输出5-2 BP网络学习算法网络学习算法5-2-2 BP5-2-2 BP学习算法描述学习算法描述BP人工神经网络和人工神经网络和matlab实现实现第第14页页-12-6北京科技大学 自动化系 付冬梅15n第四步，利用网络期望输出和实际输出，计算第四步，利用网络期望输出和实际输出，计算误差函数对输出层各神经元偏导数误差函数对输出层各神经元偏导数 。5-2 BP网络学习算法网络学习算法5-2-2 BP5-2-2 BP学习算法描述学习算法描述BP人工神经网络和人工神经网络和matlab实现实现第第15页页-12-6北京科技大学 自动化系 付冬梅16n第五步，利用隐含层到输出层连接权值、输出第五步，利用隐含层到输出层连接权值、输出层层 和隐含层输出计算误差函数对隐含层各和隐含层输出计算误差函数对隐含层各神经元偏导数神经元偏导数 。5-2 BP网络学习算法网络学习算法5-2-2 BP5-2-2 BP学习算法描述学习算法描述BP人工神经网络和人工神经网络和matlab实现实现第第16页页-12-6北京科技大学 自动化系 付冬梅175-2 BP网络学习算法网络学习算法5-2-2 BP5-2-2 BP学习算法描述学习算法描述BP人工神经网络和人工神经网络和matlab实现实现第第17页页-12-6北京科技大学 自动化系 付冬梅18n第六步，利用输出层各神经元第六步，利用输出层各神经元 和隐含层各神和隐含层各神经元输出来修正连接权值经元输出来修正连接权值 。n第七步，利用隐含层各神经元第七步，利用隐含层各神经元 和输入层各神和输入层各神经元输入修正连接权。经元输入修正连接权。5-2 BP网络学习算法网络学习算法5-2-2 BP5-2-2 BP学习算法描述学习算法描述BP人工神经网络和人工神经网络和matlab实现实现第第18页页-12-6北京科技大学 自动化系 付冬梅19n第八步，计算全局误差第八步，计算全局误差n第九步，判断网络误差是否满足要求。当误差第九步，判断网络误差是否满足要求。当误差到达预设精度或学习次数大于设定最大次数，到达预设精度或学习次数大于设定最大次数，则结束算法。不然，选取下一个学习样本及对则结束算法。不然，选取下一个学习样本及对应期望输出，返回到第三步，进入下一轮学习。应期望输出，返回到第三步，进入下一轮学习。5-2 BP网络学习算法网络学习算法5-2-2 BP5-2-2 BP学习算法描述学习算法描述BP人工神经网络和人工神经网络和matlab实现实现第第19页页-12-6北京科技大学 自动化系 付冬梅20 情况一直观表示情况一直观表示 当误差对权值当误差对权值偏导数大于零时，权偏导数大于零时，权值调整量为负，实际值调整量为负，实际输出大于期望输出，输出大于期望输出，权值向降低方向调整，权值向降低方向调整，使得实际输出与期望使得实际输出与期望输出差降低。输出差降低。whoe0，此时，此时who05-2 BP网络学习算法网络学习算法5-2-3 BP5-2-3 BP学习算法直观解释学习算法直观解释BP人工神经网络和人工神经网络和matlab实现实现第第20页页-12-6北京科技大学 自动化系 付冬梅21 情况二直观表示情况二直观表示当误差对权值偏导数当误差对权值偏导数小于零时，权值调整量小于零时，权值调整量为正，实际输出少于期为正，实际输出少于期望输出，权值向增大方望输出，权值向增大方向调整，使得实际输出向调整，使得实际输出与期望输出差降低。与期望输出差降低。e0who5-2 BP网络学习算法网络学习算法5-2-3 BP5-2-3 BP学习算法直观解释学习算法直观解释BP人工神经网络和人工神经网络和matlab实现实现第第21页页-12-6北京科技大学 自动化系 付冬梅22nBPBP算法算法手控手控演示演示BP人工神经网络和人工神经网络和matlab实现实现第第22页页-12-6北京科技大学 自动化系 付冬梅23函函 数数 名名功功 能能newff()生成一个前馈生成一个前馈BP网络网络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输函数传输函数logsig()对数对数S型型(Log-Sigmoid)传输函数传输函数traingd()梯度下降梯度下降BP训练函数训练函数5-3-1 BP5-3-1 BP神经网络主要函数神经网络主要函数5-3 BP神经网络主要函数和基本功效神经网络主要函数和基本功效BP人工神经网络和人工神经网络和matlab实现实现第第23页页-12-6北京科技大学 自动化系 付冬梅24qnewff()n功效功效 建立一个前向建立一个前向BP网络网络n格式格式 net=newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)n说明说明 net为创建新为创建新BP神经网络；神经网络；PR为网络输入取向为网络输入取向量取值范围矩阵；量取值范围矩阵；S1 S2SNl表示网络隐含层和输出表示网络隐含层和输出层神经元个数；层神经元个数；TFl TF2TFN1表示网络隐含层和输表示网络隐