《BP人工神经网络的基本原理模型与实例ppt课件.ppt》由会员分享，可在线阅读，更多相关《BP人工神经网络的基本原理模型与实例ppt课件.ppt（25页珍藏版）》请在金锄头文库上搜索。
1、第8章人工神经网络方法 2016年4月27日 1 本讲大纲 人工神经网络的基本概念误差反向传播 BP 神经网络 2 8 1人工神经网络的基本概念 从数学和物理方法以及信息处理的角度 对人脑神经网络进行抽象 并建立某种简化模型 称为人工神经网络 应用领域 模式识别系统辨识预测预估数据挖掘经济学 3 8 1人工神经网络的基本概念 人工神经网络在本质上是由许多小的非线性函数组成的大的非线性函数 反映的是输入变量到输出变量间的复杂映射关系 先给出单个人工神经网络的一般模型描述 4 8 1人工神经网络的基本概念 先来看一个单一输入的神经元模型输入变量 x1连接权重 w1激活函数 f 净输入 w1x1输出
2、 fw1x1 5 8 1人工神经网络的基本概念 神经元模型的传递函数f 一般采用sigmoid函数或双曲函数 给出表达式如下 或当神经元的加权输入和i 1 wixi大于激发阈值 时 神经元处于激发态 网络的输出fi 1 wixi 为正 否则为抑制态 输出为负 f x 11 e x f x 1 e x1 e x 6 8 1人工神经网络的基本概念 单极sigmoid函数 f x 11 e x 7 8 1人工神经网络的基本概念 双曲函数 f x 1 e x1 e x 8 8 1人工神经网络的基本概念 增加激活阈值后的神经元模型输入变量 x1连接权重 w1激活函数 f 激活阈值 净输入 w1x1 输出
3、 fw1x1 小练习 请你算一算 当初始输入 权重和激活阈值为如下数值时 该神经元的净输入和输出分别是多少 9 8 1人工神经网络的基本概念 当输入增加时的神经元模型输入变量 x1 x2连接权重 w1 w2激活函数 f 激活阈值 净输入 w1x1 w2x2 输出 fw1x1 w2x2 小练习 请你算一算 当初始输入 权重和激活阈值为如下数值时 该神经元的净输入和输出分别是多少 10 8 1人工神经网络的基本概念 给定n个输入变量 x1 x2 xn以及相对应的权值变量w1 w2 wn 一个传递函数f 激发阈值变量 输出变量为y 有如下神经元模型 其中x1 xm这m个变量是与此神经元连接的上一层神
4、经元的输出 或者为网络的原始输入变量 在实际操作中 可以将 1看作此神经元的第m 1个输入 把激发阈值变量 作为相应的权值变量 11 8 1人工神经网络的基本概念 当多个神经元组合起来时 人工神经网络的总体结构如下 12 8 1人工神经网络的基本概念 当层数增加时的神经元模型输入变量 x1 x2连接权重 w1 w2激活函数 f 激活阈值 净输入 w1x1 w2x2 输出 fw1x1 w2x2 小练习 请你算一算 当初始输入 权重和激活阈值为如下数值时 该神经元的净输入和输出分别是多少 13 8 1人工神经网络的基本概念 初始输入 权重和偏倚值 小练习 请你算一算 各节点的净输入和净输出分别是多
5、少 14 8 1人工神经网络的基本概念 净输入和输出的计算 0 7 0 1 0 332 0 525 0 105 0 474 15 8 1人工神经网络的基本概念 思考 如果想要让神经网络的期望输出尽可能接近 1 这个数值 请问应该调整网络的哪些参数 16 8 1人工神经网络的基本概念 初始输入 权重和偏倚值 小练习 若将各权值与阈值换成以上各值 各节点的净输入和净输出分别是多少 17 8 1人工神经网络的基本概念 净输入和输出的计算 0 522 0 082 0 6276 0 4795 0 1842 0 5459 18 8 1人工神经网络的基本概念 神经网络运算的难点之一 如何高效地确定各个连接权
6、值W与激活阈值 自动确定权值与阈值的过程称为神经网络学习 训练 19 8 1人工神经网络的基本概念 神经网络的学习方式 监督学习非监督学习激励学习 20 8 2误差反向传播 BP 神经网络 反向传播算法分二步进行 即正向传播和反向传播 1 正向传播输入的样本从输入层经过隐单元一层一层进行处理 通过所有的隐层之后 则传向输出层 在逐层处理的过程中 每一层神经元的状态只对下一层神经元的状态产生影响 在输出层把现行输出和期望输出进行比较 如果现行输出不等于期望输出 则进入反向传播过程 2 反向传播反向传播时 把误差信号按原来正向传播的通路反向传回 并对每个隐层的各个神经元的权系数进行修改 以望误差信
7、号趋向最小 21 8 2误差反向传播 BP 神经网络 BP算法实质是求取误差函数的最小值问题 这种算法采用非线性规划中的最速下降方法 按误差函数的负梯度方向修改权系数 计算方法如下 设当前单元为j Errj Oj 1 Oj Tj Oj 若j为输出层节点 Errj为节点j从输出端误差 Tj Oj 反向传播而来的的输入端误差 其中Oj为神经元j的净输出 Oj 1 Oj 为f x 1 1 e x 的导函数 Tj为单元j的期望输出 Errj Oj 1 Oj 若j为隐藏层节点 为下一层所有与j相连的节点的输入端误差与连接权值的加权和 其中wjk是单元j到它的下一个层中单元k的连接权重 Errk是单元k的
8、输入端误差 wij ErrjOi 为学习步长 计算连接权值改变量 wij的方式可概括为 两头抓 即上一层单元i的输出Oi与单元j的输入端误差Errj相乘 再乘以学习步长量 wij wij wij 22 8 2误差反向传播 BP 神经网络 每个节点输入端误差Errj的计算 Err4 0 0087 Err5 0 0065 0 332 0 525 Err6 0 1311 1 0 474 0 1311 w46 0 1311 w56 23 8 2误差反向传播 BP 神经网络 权重和偏倚更新的计算 24 参考资料 美 韩家炜 美 坎伯 Kamber M 等 数据挖掘 概念与技术 第3版 M 机械工业出版社 2012 张兴会 数据仓库与数据挖掘技术 M 清华大学出版社 2011 25
