《BP神经网络算法总汇》由会员分享，可在线阅读，更多相关《BP神经网络算法总汇（4页珍藏版）》请在金锄头文库上搜索。
1、BP 神经网络算法1、神经网络历史与运用领域神经网络最早的研究是 40 年代心理学家 Mcculloch 和数学家 Pitts 合作提出的 ，他们提出的 MP 模型拉开了神经网络研究的序幕。神经网络的发展大致经过 3 个阶段：19471969 年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如 MP 模型、HEBB 学习规则和感知器等；60 年代末期至 80 年代中期，神经网络控制与整个神经网络研究一样，处于低潮。在此期间，科学家们做了大量的工作，如 Hopfield 教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984 年，Hiton
2、教授提出 Bol tzman 机模型；1986 年 Kumelhart 等人提出误差反向传播神经网络，简称 BP 网络。目前，BP 网络已成为广泛使用的网络。1987 年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。人工神经网络（ANN ）受到生物学的启发是生物神经网络的一种模拟和近似，它从结构、实现机理和功能上模拟生物神经网络。从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。人工神经网络，因为生物的学习系统是由相互连接的神经元组成的异常复杂的网络，其中每一个神经元单元有一定数量的实值输入，并产生
3、单一的实数值输出。1960 年威德罗和霍夫率先把神经网络用于自动控制研究。神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下：自动控制领域、处理组合优化问题、模式识别、图像处理、传感器信号处理、机器人控制、信号处理、卫生保健、医疗、经济、化工领 域、焊接领域、地理领域、数据挖掘、电力系统、交通、军事、矿业、农业和气象等领域。2、 BP 神经网络据统计1,在所有的神经网络应用中,BP 神经网络所占比例在 80%以上。BP神经网络因其良好的非线性逼近能力和泛化能力以及使用的易适性而更是受到众多行业的青睐。BP 神经网络采用的反向传播算法(BP 算法) 是目前
4、在前馈神经网络中研究得最为成熟且应用最广的一种有导师学习算法。BP 神经网络在模式识别、图像处理、信息处理、智能控制、故障检测、企业管理、市场分析等方面的应用已取得了显著成效。可以说,BP 神经网络的应用已深入到经济、化工、工控、军事等众多领域,并且从其应用的优势及趋势可以预言其应用前景将更加光明。在这样一个信息及经济高度发达的时期,研究 BP 神经网络,为其进一步的发展及应用做出一定的贡献是极具理论价值和实用价值的。2.1、BP 神经网络的定义BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元
5、负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。2.2、BP 神经网络结构
6、1BP 神经网络通常由输入层、隐含层和输出层组成,层与层之间全互连,每层节点之间不相连。它的输入层节点的个数通常取输入向量的维数,输出层节点的个数通常取输出向量的维数,隐层节点个数目前尚无确定的标准,需通过反复试凑的方法,然后得到最终结果。根据 Kolmogorov 定瑾,具有一个隐层(隐层节点足够多)的三层 BP 神经网络能在闭集上以任意精度逼近任意非线性连续函数。所以,本论文选择单隐层的 BP 神经网络进行说明,拓扑结构如图 2 一 3 所示:2.3、BP 算法的执行步骤在反向传播算法应用于前馈多层网络时，采用 Sigmoid 为激发面数时，可用下列步骤对网络的权系数 Wij 进行递归求取
7、。注意对于每层有 n 个神经元的时候，即有 i1 ，2，n ；j 1，2，n。对于第 k 层的第 i 个神经元，则有 n 个权系数 Wi1 ，W i2 ， ，W in ，另外取多 个 Win+1 用于表示阀值 i ；并且在输入样本 X 时，取 x(X 1 ，X 2 ，X n ，1)。算法的执行的步骤如下：1对权系数 Wij 置初值。对各层的权系数 Wij 置一个较小的非零随机数，但其中 Wi ,n+1=- 。2输入一个样本 X(x l ，x 2 ，x n ，1)，以及对应期望输出Y(Y 1 ，Y 2 ，Y n )。3计算各层的输出对于第 k 层第 i 个神经元的输出 Xi k ，有：4求各层的
8、学习误差 di k，对于输出层有 km ，d i m =Xi m (1-Xi m )(Xi m -Yi )对于其他各层，有5修正权系数 Wij 和阀值 用式(153) 时有：用式(154)时有：其中：6当求出了各层各个权系数之后，可按给定品质指标判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。这个学习过程，对于任一给定的样本 Xp (Xp1 ，Xp2 ，Xpn ，1) 和期望输出 Yp =(Yp1 ，Yp2 ， ，Ypn )都要执行，直到满足所有输入输出要求为止。2.4、BP 算法的推导过程12.5、BP 神经网络算法的缺点虽然 BP 网络得到了广泛的应用，但自身
9、也存在一些缺陷和不足，主要包括以下几个方面的问题。首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP 算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。其次，BP 算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。最后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。参考文献：1 黄丽. BP 神经网络算法改进及应用研究.2009
