《bp算法中设定随训练样本变化的神经元阀值的研究》由会员分享，可在线阅读，更多相关《bp算法中设定随训练样本变化的神经元阀值的研究（4页珍藏版）》请在金锄头文库上搜索。
1、/ 1 B P 算法中 设定随训练样本变化 的神经元阀值的研究 门丁 丁 王建吴捷 华南 理工大学电 力学院广州 5 1 0 6 4 1 r o g 句w a n g a2 6 3 .n e t 幼 共: 提出一种新的方式处理B P 算法:在陈层和检出 层的神经元中设定随训珠样本交 化的阀位，即 在有关的每个神经元中设定和训林样本数i t 相同的一组阀位，在学习完所有样 本后，用常规的B P 算法， 根据每一 组训练样本调整权重和神经元阅值， 计算机仿真表明该处 理方法具有德定、快速的收致精度. 关.月: B P 算法;训练样本:神经元阀 值;收敌精度 R e s e a r c h o n
2、t h e t h r e s h o l d s o f n e u r o c y t e s s e t a c c o r d i n g t o t h e t r a i n i n g s a m p l e s i n B P a l g o r i t h m Wa n g J i a n Wu T i e E le c tr i c P o w e r C o l le g e , S o u t h C h in a U n i v e rs it y o f T e c h n o lo gy, G u a a g z h o u 5 1 0 6 4 1 ro g e
3、r j w a n g a l 6 3 .n e t A b s t ra c t I n t h i s p a p e r , a n e w m e t h o d o f s a m p l e tr a i n in g i n a m u l t i l a y e r f o r w a r d n e t w o r k 妙B P a l g o r i th m is p r e s e n t e d . E a c h n e u r o c y t e b o t h i n h id d e n l a y e r a n d o u t p u t l a y e
4、r i s e n d o w e d w it h a g ro u p o f t h r e s h o ld s n o t o n e c o r r e s p o n d in g t o t h e n u m b e r o f s a m p l e , a n d t h e t h r e s h o l d s a r e咧u s te d a c c o r d in g t o e a c h s a m p le 勿m e a n s o f B P a l g o r it h m . C o m p u t e r s im u la ti o n s s
5、h o w t h a t t h e p r e s e n te d m e th o d i s b o t h e ff ic ie n t a n d ro b u s t c o m p a r i n g w it h g e n e ra l B P a l g o r it h m . K e y w o r d s B P a l g o r i t h m ; t r a in in g s a m p l e ; t h r e s h o l d o f n e u r o c y te ; c o n v e r g e n c e 1引言 误差反传网络 ( 又称B
6、 P 网 络) 一直以 来都是神经网 络中 应用最为广泛的网络模型， 已 在 函 数逼近、 模式识别、 信号处理、 系统 辨识等 方面得 到广泛应用， 其突出的 优点是具有很强 的非线性映射能力和柔性的网 络结构，网 络的层数、神经元的个数、学习系数等均可根据具 体情况设定， 而且其网络理论也很成熟， 业已 证明了 对于任意闭区间内的 连续函 数， 都可用 具有一个隐层的B P 网 络来逼近。 B P 算 法 是 一 个 误 差 修 正 型的 学 习 算 法， 学习 过 程由 正向 传 播和 反向 传播 组 成w . 在 正向 传播过程中， 输入信号从输入层传到隐层节点，经过作用函数后，再把隐
7、层节点的愉出信号 传播到 输出层节点，每一层神经元的状态只影响下一层神经元的状态，如果在输出层不能得 到期望的输出，则转入反向 传播。由 梯度法修正各层神经元的权重和阀 值， 使得误差信号最 / I N . 2 2 5 B P 网 络存在着一些缺陷: 如收敛速度慢， 容易陷入局部极小， 寻找高效的B P 算法是推广 神 经 网 络 应 用 的 努 力 方 向 之 一 ， 己 有 许 多B P 算 法 的 改 进 。 文 献 1 提 出 了 以 共 X 梯 度 方 向 代 替梯 度方向 进行搜索，并 在学习 过 程中 采用不 精确的 一维搜索 等措施;文 献 幻设定 误差界， 当每个训练模式对应
8、的实际输出与期望输出的误差未达到给定的误差界时.再复训练该模式 对。 当 条件满足后， 才去训练后续的模式对; 文献 3 l 提出 进行隐层节 点的删除或合并以 及学 习步长的自 调 整: 文献 4 l 提出 将系统的 历史输入输出 和当前时刻的 输入结合在一 起作为网络 的 输入， 将当 前时刻系统的输出 作为网 络期望输出来训练网络。 值得注意的一个现象是: 具 有同 一权重的B P 网 络对不同 学习 样本会表现出不同的学习能 力， 这可通过学习每一组样本即刻得知。 通常对隐层和输出层的神经元的阀值初始设置为一 个小的随机数， 不同的学习样本均参与调整初始设定的阀 值， 而不是不同的学习
9、 样本仅参与 调整与该样本有关的阀 值。 这种处理方法正是本文所要探讨的，为此，在初始设置神经元阀 值 时 ， 给 出 随 样 本 而 变 化 的 神 经 元 阀 值 ， 如B = 0 . 1 r a n d n ( p , q ) . 式 中 p 代 表 样 本 数， q 代 表 隐 层 神 经 元 数 ， B 为 神 经 元 的 阀 值， r a n d n Q 为 介 于卜1 , + 1 之 间 的 随 机 函 数 。 2训练方法 采 用 先 学 习 完 所 有 样 本 后 再 根 据 学 习 每 组 样 本 的 误 差 进 行 调 整 权 重 和阀 值 ， 这 时 的 神 经 元的阀
10、值调整显 然不同与每学习完一组样本后即刻进行阀 值调整， 因为1 )学习样本时权重是 不变的， 而神经元的阀 值却随着学习 样本而变，2 )学习完样本后. 权重随全部样本调整， 神 经元的 对应与样本的阀 值只随相应的样本作调整。 所有的 权重和神经元阀 值的调整均采用 B P算法。误差函数定义为 输出层单元期望愉出 夕 和 实 际 输 出 d ， 的 误 差 平 方 和 : 一 喜 又 (d ， 一 ， :) ， 。 输 入 层 的 神 经 元 不 设 、 值 ， 作 用 函 数 2,” 为比 例系 数为1 的比 例函 数，隐 层 和输出 层 神经 元的 作用函 数取为f ( - ) = 一
11、 一2 一 - 1 1 + e x p ( - x ) 相 应 的 其 导 数 为 f (x ) 一 l + f (x ) 一 粤 (1 十 f (. ) , 。 络 权重及阀值调整的主要步骤为: 步 蕊一: 计算输出 层神 经元的 等 效误差风: 8 t 二 ( 1 + y 。 一 1 (1 + ， * ) ， ) ( * 一 y k ) 斗 步 熟 二计 算 隐 层 神 经 元 的 等 效 误 差 Q j : U j 一 泛w jk S ,t ) V j (1 一 V j ) , w jk 是 隐 层 第 个 神 k . 1 经 元 到 输 出 层 第 个 神 经 元 的 连 接 权 重
12、， V ， 是 隐 层 单 元 的 输 出 步 葬 三: 调 整 隐 层J 到 输出 层 单 元k 的 连 接 权 重 ， 为 冲 量 因 子， 并以 学 习 律17 对 物出 层 k 的阀值进行调整: w ,k ( n + 1 ) = w ,k ( n ) + rI 8 k v , + S * ( w jk ( n ) 一 w jk ( n 一 1 ) ) B k ( n + 1 ) = B , ( n ) + z q 8 k 步 骤 四 : 调 整 隐 层.% 到 输 入 层 单 元i 的 连 接 权 重 ， x ， 为 输 入 层 单 元 的 输 入 ， 并 以 学 习 律17 对隐 层
13、j 的 阀 值 进 行 调 整: w , ( n + 1 ) = w , ( n ) + rl * Q j * x + s * ( w . ( n ) 一 w , ( n 一 1 ) ) .2 2 6 f7 , ( n + 1 ) = 0 , ( n ) + q Q , 训 练 时 ， 对于 隐 层 和 输 出 层 的 每 个 神 经 元 的 阀 值 B k , e i ， 设 定 和 训 练 样 本 数 u 一 样 的 一 组 阀 值 ， 冉 根 据S k a , 修 正 这 组 阀 值 。 3仿真例子 例 _ 1 : 以 值 异 或 为 例 ，训练 样 本 共 四 组 ， 即 : 0 0
14、1 1 0 0 1 , 0 1 0 1 , 1 1 1 1 表1异或问题的学习比 较 学习精度迭 代 步 数 险层神经元数常规B P 算 法改 进B P 算法 常规 B P改进B P 5 !0 . 0 59 . 9 7 8 1 e - 0 0 7 8 1 0 5 0 2 60 . 0 59 . 9 7 6 5 e - 0 0 7 6 5 64 3 9 70 . 0 59 . 9 6 2 4 e - 0 0 7 4 1 83 9 5 80 . 0 59 . 9 6 7 3 e - 0 0 7 4 5 2 3 8 6 要求，并且具有稳定、 快速的收敛速度和很高的收敛精度。 例2 : 考虑一个周期的
15、正弦函数遥近问 题。 共1 6 组样本， 网络结构为输入层和愉出 层各 1 个神经元，隐层神经元个数为7 ， 逼近梢度为:9 . 9 7 6 7 e - 0 0 5 , 迭代步数:4 8 7 ， 仿真结果 如图1 所示。图1 中 左图 横座标为角度。， 右图横座标为迭代步数。 _ 训练样本 /J户于了 线 曲 近 退 .l、. : : 已0口o z口04口0已口0 图1正弦函 数逼近及误差曲 线 F i g u r e 1 T h e a p p r o x i m a t i o n o f s i n u s o i d f u n c t i o n a n d e r r o r c u r v e 4结束语 本文提出了 一种新的 基于 常规B P 算法的前向神经网 络学习方法， 在该前向 神经网络的隐 层和输出 层的每个神经元设定随训练样本而变的神经元洲值.即设定一组阀值. 改变了以 往 对每一个 神经元只设定 一个阀 值，阀 值的 调 整 和对应的 训练样本 有关， 采用先学习 完所有训 2 2 7. 练样本后再根据学习每组样本的误差进行阀 值和权重的调整， 虽然增加了阀值的数量， 但却 使网络具有更强的映射能力，
