《一种学习速率自适应的可编程片上学习 BP 神经网络电路系统的设计》由会员分享，可在线阅读，更多相关《一种学习速率自适应的可编程片上学习 BP 神经网络电路系统的设计（3页珍藏版）》请在金锄头文库上搜索。
1、一种学习速率自适应的可编程片上学习BP神经网络电路系统的设计卢 纯,石秉学,陈 卢(清华大学微电子学研究所,北京100084)K 1 : 设计了一种学习速率自适应的可编程片上学习BP神经网络电路系统.整个系统由前向网络、误差反传网络两部分组成.提出了一种新型的可编程S 型函数及其导数的发生器电路. 它不仅产生S 型函数, 完成非线性I-V转换;还利用前向差分法,产生S 型函数的导数.这两种函数不仅与理想函数的拟合程度很好,而且易实现对阈值和增益因子的编程.为提高BP神经网络片上学习的收敛速度, 还提出了学习速率自适应电路.本文采用标准112LmCMOS工艺的模型参数,对整个系统进行了sin(x
2、)函数拟合等模拟实验,验证了该片上学习BP神经网络的优越性能.1 o M : 神经网络; CMOS模拟集成电路; 可编程; 自适应 m s | : TP18 D S M : A c I | : 037222112(2001) 0520701203A Circuit System De sign of Progra mmable BP On2Chip LearningNeural Network with Le arning Rate AdaptationLUChun,SHIBing2xue,CHENLu( Institute of Microelectronics, Tsinghua Univ
3、ersity, Beijing 100084, China )Abstract: Acircuit system ofprogrammableBPon2chiplearningneuralnetworkwithlearningrateadaptationisdesigned.Thewholesystemcomprisesfeedforwardnetworkanderrorback2propagationnetwork.Anovelprogrammablegeneratorofsigmoidalfunctionand itsderivation isproposed.Itsoutputsincl
4、udethesigmoidalfunctiontorealizeI- Vnonlineartransferand itsderivativeusingtheforwarddifferentialmethod.Bothfunctionsfitwellwiththeidealfunctions.Moreover, thethreshold and thegainfactorcan beeasilyprogrammable.Learningrateadaptation circuit is also presentedtoacceleratethe convergent speed.Using as
5、tandard112Lm CMOSprocess, experimentssuch assin(x) functionfitnessaredonetothewholesystem.Theseexperimentsverifythesuperiorperformanceofthison2chip learningBP neural network.Key words: neural networks;CMOSanalogueintegrated circuits;programmable;adaptation1 神经网络的硬件实现是当今神经网络领域重要的、不可或缺的组成部分,特别适用于以下的应用
6、场合:(1)体积小;(2)重量轻;(3)适应环境变化;(4)速度快;(5)规模大.神经网络的硬件实现中,有监督学习类型分为三种:片下学习(off2chiplearning),芯片循环学习(chip2in2the2looplearning)和片上学习(on2chiplearning).片下学习在芯片外完成所有的学习过程.学习完毕后,再将权重加载到芯片上.因为用于训练的主机和神经网络芯片的精度不同,所以加载时,要对权重进行四舍五入.权重的四舍五入和芯片的非理想特性使权重加载后的系统实际性能可能会很差.芯片循环学习中,芯片参与前向运算,而权重的迭代在片外完成,这样就补偿了特定芯片的非理想特性.但片内
7、与片外数据间的传输成为影响学习速度的瓶颈.而且由于不能完全脱离主机,其应用范围也受到一定限制.由于片下学习和芯片循环学习存在以上的缺点,现在很多学者已开始对片上学习1进行深入研究.片上学习中,前向运算和权重的更新都在芯片上完成.它的优势在于以下3点:(1)快速:片上学习不仅将神经网络本身,而且将学习算法映射成硬件,全方位地利用了神经网络及其算法的并行特性,从而大大缩短了权重迭代的时间.(2)完全脱机:整个训练过程无需主机,使神经网络更具独立性,更能适应环境变化和实时处理的要求,也更利于充分发挥神经网络硬件实现体积小、重量轻的优点.(3)对电路非理想特性的补偿作用:将神经网络的前向运算和权重迭代
8、统一用硬件实现,几乎可以补偿所有由电路非理想特性引起的偏差.片上学习有两种最常用的算法:误差反传算法(Back2Propagation algorithm,简称BP算法)和权重扰动算法2(WeightPerturbationalgorithm,简称WP算法).BP算法在神经网络的研究中有较长的历史,它最早是由R.J.Werbos在1974年提出的,Rumelhart等于1985年发展了BP算法,使其逐渐受到人们的重视.BP的优点在于所有的权重都是并行调整的,而且权重的调整只需一些局部的信息.WP算法由M.Jabri等人于1992年提出,它的特点在于只需前向运算过程,而无需反向运算;缺点在于权重
9、的调整是串行的.虽然后来又有人提出了半并行WP算法,但为了充分发挥神经网络硬件实现并行度高,速度快的优点,本文采用BP算法作为片上学习的算法.通收稿日期:2000206206;修回日期:2000209205基金项目:国家自然科学基金(No.69636030)第5期2001年5月 电 子 学 报ACTAELECTRONICASINICA Vol.29 No.5May 2001 图1 片上学习BP神经网络整体电路结构框图过对神经元阈值和增益因子的可编程设计, 该神经网络将可适用到广泛的场合;而学习速率的自适应使该网络在保证收敛几率的基础上使收敛速度大大提高.2 d BP网络包括输入层、隐含层和输出
10、层. 各个节点的转移函数一般都采用S 型函数, 它的表达式为f( s)= 1/ (1+ e- As) (1)其中A为增益因子, s为某结点所有输入的加权和. 设L( L E 1)层BP网络的训练样本数为 R, 第 l ( l= 1,2, , , L)层第j个神经元的阈值为Hlj , 第 l ) 1层的第i (0F i VL)用来设置Gmax和Gmin. U1、U2和U3是三相不重叠时钟, 如图2( d )所示.在第 k次迭代时, U3的下降沿使 Vs( k)传输到D触发器的输出端.在第 k+ 1次迭代时, Vs( k)与 Vs( k+ 1)一起送到异或门的输入端.这样, 在U1为高电平时,若
11、Vs( k)= Vs( k+1), 则 VC1( k+ 1)= VH , 否则 VC1( k+ 1)= VL. U2为高电平时,通过电容 C1、C2间的电荷共享, 实现学习速率的自适应.基本原理如下:VC2( k+ 1)= C2C1+ C2VC2( k)+ C1C1+ C2VC1( k+1)= VC2( k)+ C1C1+ C2( VC1( k+ 1)- VC2( k) (9)设C= C1C1+ C2, M1工作与弱反型区, 则IG( k+1)= I SeVC2( k+1) / nUT= IG( k) IC1( k+ 1)IG( k)C(10)其中, IC1( k+ 1) = ISeVC1(
12、k+ 1) / nUT . 设 ImaxG = ISeVH / nUT, IminG =ISeVL / nUT那么, 若 Vs ( k) = Vs ( k + 1) , IG( k + 1) = IG( k )ImaxGIG( k)C;否则, IG( k+1)= IG( k) IminG) G( k)C.对照式(4)和式(5)可知,图2( c)所示电路完成了学习速率的自适应.4 L T函数拟合是检验通用神经网络功能的基准之一. 本文对sin( x)函数的完整周期进行了拟合. 实验所采用的网络结构为输入层1个神经元、隐含层5个神经元、输出层1个神经元.实验结果如图3所示. 实心圆点代表训练集中的
13、64个训练元素.空心圆点为网络的实际输出. 实验中发现隐含层神经元的个数太少或太多,都易使学习陷入极小点.对于sin( x)函数完整周期拟合问题来说,隐含层神经元的个数取4- 6个比较合适. 从图3可以看出, 采用1- 5- 1的拓扑结构, 本片上学习系统能很好地拟合sin( x)函数.图3 sin( x)函数拟合实验结果5 近年来, 片上学习以其快速、完全脱机及对芯片非理想特性的补偿等优良特性受到了神经网络研究领域的重视.本文设计了一种学习速率自适应的可编程片上学习BP模拟神经网络电路系统;提出了一种新型的可编程 S 型函数及其导数发生器;设计了学习速率自适应电路. S 型函数及其导数发生器
14、利用前向差分原理, 同时产生 S 型函数及其导数.模拟结果表明, 该发生器产生的激活函数与理想 S 型函数的相对误差不超过3% ;产生的导数与理想导数的相对误差不超过5% .通过对其阈值和增益因子的编程, 该发生器还可根据不同的要求, 设置不同的特性,使神经网络的片上学习更具适应环境的能力. 在学习速率自适应电路的设计中, 兼顾了三方面的因素: (1)每个权重可根据自身不同的局部特性进行学习速率的调节; (2)电路易于VLSI实现; (3)可被推广应用到其它算法的硬件实现中. 采用标准112Lm CMOS工艺的模型参数, 对整个系统进行的sin( x)函数拟合实验有效地验证了该片上学习BP神经
15、网络的优越性能. I D : 1 M.Valle, D.D.CavigliaandG.M.Bisio.AnanalogVLSI neural net2workwith on2chip back propagation learning J. Analog IntegratedCircuitsandSignal Processing,1996,9:231- 245. 2 M. Jabri and B. Flower.Weight perturbation: an optimal architectureand learningtechniqueforanalogVLSIfeedforwardan
16、drecurrentmul2tiplayernetworks J. IEEETrans.OnNeural Network, 1992,3(1):154- 157. 3 B.K.DolenkoandH.C.Card.Tolerancetoanaloghardwareofon2chiplearninginbackpropagationnetworksJ.IEEETrans.OnNeuralNet2works,1995,6(5):1045- 1052. 4 Lu,C.andShi,B.X.,Circuit designofanadjustableneuronactivationfunctionand its derivativeJ.ElectronicsLetters, 2000, 36(6):553- 555.T e :S B 1975年出生
