朴号英_智能科学

《朴号英_智能科学》由会员分享，可在线阅读，更多相关《朴号英_智能科学（14页珍藏版）》请在金锄头文库上搜索。

1、智能科学智能科学学生姓名学生姓名 朴号英朴号英 学学 号号 11122160021112216002 递归神经网络的原理和训练方法递归神经网络的原理和训练方法1. 1. 引言引言 随着无线通信的飞速发展，3G、4G 的应用和研究，功率放大器的性能已经变得越 来越重要。功率放大器在整个系统中的设计决定了其性能。为了能够搭建完整的较为 精确的功率放大器模型用于系统级设计，我们需要对功率放大器的特点和功能进行行 为级的建模。在传统的功率放大器的建模方式还不完备的情况下，人工神经网络的优 势就体现出来。人工神经网络在训练后不仅能够提供快速精确的响应，而且仅提供实 际测量的数据就能训练出相应的模型而不需

2、要搭建实际的电路模型，这样既节省了时 间，也方便了相关的后续设计。递归神经网络是一种具有反馈形式的神经网络，本文 采用提取较慢变化的信号的方法对功率放大器进行建模，其训练数据是时域数据，经 过合理的训练能够很好的反应出功率放大器的行为。2. 2. 递归神经网络结构递归神经网络结构 由于人工神经网络具有可以学习任意非线性系统的能力而被应用于多个领域，其中 对于功率放大器的建模来说也发挥着重要的作用。采用前馈神经网络所建立的模型是 静态的，并不能描述系统的动态特性。描述动态系统的模型应该具备的是能够描述系 统的动态特性和存储信息的能力。为了描述功率放大器内部的电感电容等储能元件， 就需要神经网络能

3、够包括延时信息，为了能够描述动态特性，就需要输出信息的反馈。 现在的递归神经网络有几十种不同的结构以满足不同的动态系统的结构。不同的递归 神经网络有着不同的结构与特性。下面就简单介绍几种递归神经网络的结构。 递归神经网络的结构主要分为三种：一种是全局反馈递归网络，另一种是全局前向 递归网络，还有一种是混合型递归网络，也就是前两种递归神经网络的结合。因为本 篇文章应用的是全局反馈型神经网络，所以在这里主要介绍的是全局反馈型神经网络。2.1 全局反馈型递归神经网络 2.1.1 ARX 网络和 NARX 网络 对于 ARX 网络结构53是一种多项式的结构，其神经网络中神经元的激励函数是线 性的，这种

4、网络结构简单的采用了递归神经网络的输出是输出延时和输入及输入延时 的多项式和为：12111( )(1)(2).(1)(1).(1)mny ka y ka y kay kmb x kbx kn（1）而对于 NARX 网络来说，就是把相应的线性的神经元的激励函数变成了非线性的例如 sigmoid 函数，这样相应的表达式就变成了： ( )(1), (2),., (1), (1),., (1)y kfy ky ky kmx kx kn（2） 可以看到 ARX 网络是线性的网络，可以用于线性的建模；而 NARX 是一种非线性 的神经网络，因此用于的是非线性的建模。 2.1.2 Hopfield 网络 H

5、opfield 网络是一种典型的全反馈的递归神经网络。它是一种简单的神经网络结构， 只有一层网路，其中神经元的激励函数为阈值函数，是将某一时刻的网络输出作为反 馈，反馈到输入作为下一时刻网络的输入，这样来组成动态的系统，这样的网络具有 相同的输入和输出。. . . . . . . . . . . . .图 1 Hopfield 网络结构 2.1.3 约旦网络 约旦网络为 NARX 网络的一种特殊形式，就是当 NARX 网络只含一层隐含层的时 候这时的网络叫作约旦（Jordan）网络。需要注意的是，该神经网络存在关联层，这个 关联层是假想的神经元层。图 2 约旦网络结构 可以根据约旦型神经网络结

6、构来看，该网络适用于一阶系统的动态建模。2.2 前向递归神经网络 递归神经网络是一种输出反馈作为输入的神经网络。如图 3:图 3 递归神经网络结构图如图所示，递归神经网络分为：输入层、x 层、z 层、y 层。输入层包括了随时间变 化的输入信号u u(k)和与时间相关的变量p。输出层为与时间相关的信号y y(k)。例如如果 模型用来对放大器进行建模，则输入信号u u(k)就用来代表放大器的输入信号；而p用来 代表与放大器相关的电路参数；y y(k)则为放大器的输出。 隐藏层的第一层为 x 层，这一层包含了输出信号 y 的时间延迟信息、输入信号 x 的 延迟信息和电路的参数p的信息。这里让时间采样

7、的序数为k。让Ky和Ku分别为输出 y 和输入 u 的总的延迟数目。x 层可以定义为：(),(1);1;1(),(1);( )1;1,;1jyyyjyyy i uunyyuupy knfor inNjjNnKu knfor iK NnNjx kjNnKpfor inK NK NnK (3)设Nx是 x 层神经元的总数，则有Nx=Kp+NyKy+NuKu。 下一层隐藏层叫作 z 层。这一层的神经元包含了 sigmoid 函数。在 x 层和 z 层之间的权重向量为w w=w11 w12 wNsNxT, = 1,2, NzT为 z 层神经元相应的偏置。对于 一组给定的 x 层的数值，z 层的值就可以

8、通过公式来计算：(1) 11(1) 11 1( )()()( )( ) ,1,.,yyyuyyuuKyNyjlj iNl ilKuNumj K NiNm imKpij K NK Nij ijjzky ki wuki wp wz kkjN (4)其中( )jk 是 sigmoid 函数，wij是 z 层的第 i 个神经元和 x 层第 j 个神经元之间的权重。 最后一层叫作 y 层是输出层。y 层的输出是 z 层神经元线性响应。让v=v11 v12 vNyNzT 是 z 层和 y 层之间的权重,=1, 2, NyT是 y 层每一个神经元的偏置。那输出 层可以通过如下的公式来计算：1( )( ),1

9、,.,Nzijijiy jy kzk viN(5)其中vij为 y 层第 i 个神经元和 z 层第 j 个神经元。 RNN 的参数可以定义为 ，=wT TvT T。从 x 层到 z 层再到 y 层的这个过程是一个前馈神经网络这样 y 就被定义为y(x, )。整体的神经网络就可以定义为：( )( (1), (2),., (),(1), (2),., (),)yuy kf y ky ky kKu ku ku kKp(6)3. 3. 递归神经网络模型构建方法递归神经网络模型构建方法 递归神经网络模型只有当用训练数据训练之后才能具有微波器件非线性的性质。训 练数据是一组原始非线性电路的输入输出波形。这

10、些数据是通过电路的仿真或者测量 而得到的。测试数据也是同样的方法得到的，并且需要与训练数据不同。 设y(t)代表递归神经网络输出响应，而d(t)代表原始非线性电路的输出波形，比如 说仿真或者测试。训练数据可以用(uq(t),dq(t),T1tT2,q=1,Nw,其中uq(t)和dq(t)分别 是第q个输入输出，Nw是波形整体采样点的数量。 训练的过程就是对于相同的输入u u(t),减小递归神经网络模型的输出y y(t)与电路的波 形数据d d(t)的差别尽可能的减小。Nt为在T1,T2中时间的采样点数。y yiq(k)为递归神经网 络的输出信号，i 代表递归神经网络的第 i 个输出，q代表输出

11、的第q个波形，k为波形 中第k个采样点。而d diq(k)为对应的原始非线性电路的输出响应。 训练的目的就是使得21111min( )( )2ywtNNNiqiq qikykyk (7)为了能够很好的训练递归神经网络，式 5.7 的导数信息需要来形成 Jacobian 矩阵。 由于输出 y 不只由输入所决定，而且也和当前时间点之前的输出有关系。传统的方法对 于这种训练显然不奏效。BPTT28是一个很好的办法来构建 Jacobian 矩阵。211( )( )( )2Nyqiqiq iE kykyk (8)公式 5.8 为训练误差的表述形式，为了能够得到Eq(k)对权重 的导数来用于训练。 我们需

12、要去计算其中y yiq(k)的导数，y yiq(k)的导数可以通过下面的方式来计算。首先对于 k=1,初始化( )/( )/iqiqdykdyk ，其中左边的部分是递归神经网络的导数，右边的为在 x 和 y 层之间的 FFNN 的导数，这部分可以用传统的 BP 算法来优化。 当 k1 的时候左边的导数可以通过下面的公式来计算：11(1)( )( )( )()yLyNy iqiqjqjqmjjmNdykykykdykm dxd(9)其中,1,.yy yKif kKLkotherwise(10)递归的反向传播方法包括两个部分：首先，在 x 层和 y 层之间的 FFNN 可以通过 BP 方法来得到(

13、 )/iqyk。然后( )/( )iqykx k是应用进一步的 BP 算法来得到的。这个导数代表的是电路输出波形的趋势可以写为：( )1(1)(1)(1) 1( )(1)1,.,;1,.,.yyyNziq kiqrrjmNrjmNNzirrrr jmN ryyydykdz xdzdxv zz wfor jNmK (11)( )/iqyk的结果会存储下来并递归用于计算 k+1 步的导数信息。在这个过程之后，对于每一个参数的可以得到下面的 Jacobian 矩阵：111222()(1)(2).()(1)(2).(1)(2)().J=wwwT tT tT NNNtE NEEENEEEEEN M(12

14、)依据这个方法我们可以采用 Levenberg-Marquardt5758和 quasi-Newton59算法来训 练递归神经网络模型。经过训练的递归神经网络模型就可以很好的反应原始非线性的 微波电路的动态的输入输出关系。4. 4. 递归神经网络与其他结构神经网络区别递归神经网络与其他结构神经网络区别 常用的不是递归的神经网络的有：前馈神经网络（FFNN）和时延神经网络(TDNN)。 其中前馈神经网络为最基本的神经网络结构，不带时延和反馈结构，此时输出只和同 一时间的输入信息有关系，并且前馈神经网络只能反映静态的输入输出关系，模型不 足够准确，所以不能对动态的电路或者系统进行建模，但是这种神经

15、网络由于不带有 复杂的结构和信息，所以训练速度是最快的。 时延神经网络是建立在前馈神经网络之上的，除了基本的前馈神经网络信息，还包 括了输入的延时信息，就是说在输入的神经元上不仅包括了x(t)还包括了下x(t-)、x(t- 2)等的信息 。这和递归神经网络比较相像。时延神经网络用于大型的模式识别系统。 主要的应用是把连续的音频信号转换成具有分类标签的数据流用于语音识别60。 而注意到递归神经网络不仅包括了输入的延时信息，并且把相应的输出信息反馈回 了输入神经元，并且加入了输出信息的时延信息。这样相比时延神经网络，可以更好 的用来描述动态系统的行为，并且对于同样的输入来说由于电路相应的历史信息不同 会使得电路的输出是不同的，所以在这种情况下，无递归形式的前馈神经网络和时延