《基于人工神经网络学习问题的简约梯度法》由会员分享，可在线阅读，更多相关《基于人工神经网络学习问题的简约梯度法（3页珍藏版）》请在金锄头文库上搜索。
1、收稿日期: 2009-04-02 作者简介: 张倩(1982) , 女, 天津蓟县人, 解放军装甲兵工程学院基础部数学教研室教师.山西师范大学学报( 自然科学版)研究生论文专刊第 23 卷 2009年 06 月基于人工神经网络学习问题的简约梯度法张 倩, 金 琦( 装甲兵工程学院基础部, 北京 100072)摘 要: 本文介绍了人工神经网络的学习原理和模型以及简约梯度法的推导过程, 并提出了一种利用简约梯度优化理论解决人工神经网络中学习问题的算法, 最后进行了仿真计算.关键词: 人工神经网络; 学习; 简约梯度法人工神经网络( Artificial Neural Network 简称 ANN)
2、 是近些年来迅速发展起来的人工智能科学的一个分支, 这几年的广泛应用再度显示了它活跃的生命力. ANN 是由人工神经元构成的网络, 是一种非线 性动态数学模型. 每个神经元可记忆、 处理一定的信息, 并与其他结点并行工作. 由它们构成的神经网络具有感知、 记忆、 学习和联想功能, 能模仿人脑处理信息的物理过程, 是人工智能研究的一种方法. 这种方法体系具有并行分布处理、 非线性映射、 自适应学习和很强的容错特性, 所以在函数逼近、 模式识别、 控制优化、 智能信息处理以及故障诊断等方面有着广泛的应用. 在人工神经网络的发展进程中, 学习算法的研究有着十分重要的地位. 简约梯度法的基本思想是利用
3、问题中的等式约束条件, 先把一部分变量用另一部分独立变量来表示, 再代入目标函数, 便可得到相应的降了维的问题, 然后利用简约梯度来构造搜索方向. 其中关于独立变量的梯度称为简约梯度.1 人工神经网络学习原理人工神经网络在学习中, 一般分为有师学习和无师学习两种, 本文主要介绍的是有师学习. 一个有师的学习分成三个部分: 输入部, 训练部和输出部( 图 1) . 输入部接收外来的输入样本 X , 由训练部进行网络 的权系数 w 调整, 然后由输出部输出结果. 在这个过程中, 期望的输出信号可以作为教师信号输入, 由该教师信号与实际输出进行比较, 产生的误差 ?去控制修改权系数 w.学习机构可用
4、图 2 所示的结构表示. 其中, X1, X2, , Xn为输入样本信号, w1, w2, , wn为权系数.输入样本信号 Xi可以取离散值“ 0” 或“ 1” . 输入样本信号通过权系数 wi作用, 产生输出结果 u, 即u =wiXi= w1X1+ w2X2+ + wnXn( 1)再将期望输出信号 Y ( t) 和 u 进行比较, 从而产生误差信号 ? . 即权值调整机构根据误差 ?去对学习系统的权系数进行修改, 修改方向应使误差 ?变小.2 人工神经网络模型设输入的学习样本为 n 组: X1, X2, , Xn, 其中 Xi= ( Xi1, Xi2, , Xin) , 期望输出为 bi(
5、 i= 1, 2, , n) .为了讨论权系数的调整, 将人工神经网络学习问题转化为下列随机系数线性方程组问题w1X11+ w2X12+ + wnX1n= b1w1X21+ w2X22+ + wnX2n= b2 w1Xn1+ w2Xn2+ + wnXnn= bn( 2)式( 2) 中 wi( i= 1, 2, , n) 为未知的随机系数, 即人工神经网络的权系数; bi是可观测的. 这里约定无测量误差, 并假设 XijU( 0, 1) 且相互独立, i, j= 1, 2, , n. 引进记号X =X11X1n?Xn1Xnnw =w1?wnb =b1?bn则式( 2) 可用矩阵形式表达为b =
6、Xw( 3)从式( 2) 的实际背景出发, 我们讨论 w 0 时的解, 式( 4) 给出了在简约梯度法下求解式( 2) 的优化模型.minf ( w) =nk= 2( w1Xk1+ w2Xk2+ + wnXkn- bk)2s. t. w1X11+ w2X12+ + wnX1n= b1w 0, w = ( w1 wn)T( 4)这里, 记 XijU( 0, 1) , i, j = 1, , n; Xij, bi均已知. 为了利用简约梯度法求数值化正解的近似解, 记w1Xk1+ w2Xk2+ + wnXkn= yk- 1 2 k nwn= yn( 5)由此通过简单变换, 可得到与式( 4) 等价的
7、优化问题, 即minf ( y) = y2 1+ y2 2+ + y2 n- 1+nj = 1Cnjyj+ni= 2b2 is. t. C1y1+ C2y2+ + Cnyn= b1y 0( 6)其中y = ( y1 yn)T以及 C= ( C1 Cn) 为通过简单变换后产生的系数. 显然 f ( y ) 为凸函数, 即式( 6) 可视为凸二次规划问题, 故可引用简约梯度法.3 用简约梯度法求正解3. 1 简约梯度法现设 ykY l是当前迭代点, Yl为式( 6) 的可行域, 记 yk的最大分量为 yk max 0, 并记其下标集为 Ik max.相应地, 可记 C= ( Ck max, Nk)
8、 . 而 f 在点 yk处对应于 Ck max的简约梯度为rkN= ?Nf ( yk) - ( Ckmax- 1Nk)T?maxf ( yk)( 7)这里设 yk+ 1= yk+ tkdk, 其中 tk 0 是最优步长. 再设 dk=dkmax dk N, 其中84 山西师范大学学报(自然科学版) 2009 年 dkNdki=- rk i, rk i 0- ykirki, rki 0 i ?Ikmaxdkmax= - Ckmax- 1N kdkN( 8)设 Y Rn, y-Y , d0( dRn) . 若存在 t 0, 使得 y-+ tdY , 则称向量 d 是点 y-处关于 Y 的可行方向.
9、设 f : RnR1, y-Rn, d0( dRn) . 若存在 ? 0, 使 f ( y-+ td) 0, 令 K: = 0.( 2) 进行矩阵分解. 分解 C= ( Ckmax, Nk) .( 3) 求简约梯度. 计算? f ( yk) = ( ?maxf ( yk)T, ?Nf ( yk)T)T. 记 rkN的第 i( i? Ikmax) 个分量为 rki, 求 rkN=?Nf ( yk) - ( Ckmax- 1Nk)T?maxf ( yk) .( 4) 构造可行下降方向. 构造可行下降方向 dk, 若dk , 停止迭代输出 yk, 否则, 进行第五步.( 5) 进行有效一维搜索, 求
10、解 minf ( yk+ tdk) , 0ttkmax. 其中, 对 1in, 取 tkmax=+ , dk0min -yk i dki, dki0. 设得最优解 tk, 则令 yk+ 1= yk+ tkdk, K : = K + 1, 转第 2步.3. 3 仿真计算 取 n= 10, 事先给出w 的生成值w0以及随机生成的初始值y0, 给定终止误差 = 10- 2, 再用matlab 7.0 软件进行数值模拟得 y100, 于是可得到优化模型下式( 4) 的解 w 以及真值 w0与数值化正解的近似解 w的误差 ? = w0- w= 0. 510- 2. 其中 w0、 y0、 y100、 w
11、如下所示:w0=0. 1 0. 50. 10. 40. 2 0. 30. 60. 2 0. 40. 2y0=1. 792 018 1. 179 0051. 794 1201. 296 6551. 170 736 1. 340 0881. 662 8641. 608 031 1. 398 2440. 2y100=1. 792 049 1. 179 3821. 793 5281. 296 6491. 170 729 1. 340 0711. 662 8601. 608 008 1. 404 0210. 200 075w =0. 101 054 0. 500 0930. 096 0680. 402 8540. 199 042 0. 299 5590. 600 9580. 200 332 0. 400 3040. 200 075参考文献: 1 袁亚湘, 孙文瑜. 最优化理论与方法 M . 北京: 科学出版社, 1997. 404454. 2 胡毓达. 非线性规划M . 北京: 高等教育出版社, 1990. 6286. 3 陈宝林. 最优化理论与算法M . 北京: 清华大学出版社, 1989. 434473. 4 薛毅. 最优化原理与方法 M . 北京: 北京工业大学出版社, 2003. 236326.85张倩, 等: 基于人工神经网络学习问题的简约梯度法
