《粒子群算法在神经网络参数优化中的应用》由会员分享，可在线阅读，更多相关《粒子群算法在神经网络参数优化中的应用（68页珍藏版）》请在金锄头文库上搜索。
1、河南科技大学 硕士学位论文 粒子群算法在神经网络参数优化中的应用 姓名：董延胜 申请学位级别：硕士 专业：计算机应用技术 指导教师：张安年 20091201 摘 要 I 论文题目：粒子群算法在神经网络参数优化中的应用论文题目：粒子群算法在神经网络参数优化中的应用 专专 业：计算机应用技术业：计算机应用技术 研研 究究 生：董延胜生：董延胜 指导教师：张安年指导教师：张安年 教授教授 摘 要摘 要 近年来，研究学者们从自然现象中不断获得启示，提出了许多优秀的智能算 法，如遗传算法、蚁群算法、模拟退火算法以及粒子群优化算法等等，智能算法 有了长足的发展。 神经网络用于优化计算采用 BP 算法作为连
2、接权学习的工具，但是由于其是 按误差的梯度下降方向搜索，所以易陷入局部最小而造成成熟前收敛的问题；用 GA 算法来优化神经网络的参数，可以达到搜索的遍历性，但是是以增加迭代次 数为代价的，因此收敛速度比较慢。基本 PSO 算法应用到神经网络参数优化中 既可以达到搜索的遍历性，又省去了 GA 算法中选择、交叉、变异等基本操作。 在搜索速度上有所提高，但是由于群中的粒子都按照同一规则进行最优位置的更 新和运动，在粒子陷入局部极小后，动作的一致性反而阻碍了算法跳出局部极 小。 基于这一问题，本文提出了一种改进的粒子群算法：聚集-重置粒子群算法 (FRPSO)。FRPSO 主要思想是在原算法的种群产生
3、聚集现象的时候，改变那些 适应值最差的粒子。通过不断重新初始化种群中适应值最差的那些粒子，来避免 算法陷入局部极小。 作者对改进的粒子群算法做了大量的研究，通过实验证明了改进的 FRPSO 算法能有效地帮助算法跳出局部极小，比原来的算法在性能上有了很大的提高， 并将改进的 FRPSO 算法应用到神经网络参数优化中。通过对 BP 算法、GA 算法 和 FRPSO 算法的分析比较，结果验证了改进的 FRPSO 算法的有效性、优越性 及可行性。 关关 键键 词：词：粒子群算法，聚集重置，BP 算法，优化计算，神经网络 论文类型：论文类型：应用研究 摘要 II Subject : Research o
4、n applying Particle Swarm Optimization to Neural Network Parameter Optimization Specialty: Computer Application Technology Name : Dong Yansheng Supervisor: Zhang Annian professor ABSTRACT In recent years, researchers have been obtained inspiration from natural phenomena, and put forward many good in
5、telligent algorithms, such as genetic algorithm, ant colony algorithm, simulated annealing algorithm and particle swarm optimization, and so on. Intelligent algorithms have made great progress. Neural network uses BP algorithm to optimize the calculation of connection weights as a learning tool.But
6、BP algorithm searches with the direction of error gradient descent , so it is easy to fall into local minimum and causes the problem of premature convergence. It can achieve the search ergodicity with the help of GA algorithm to optimize the neural network parameters.But it causes the number of iter
7、ations to increase, So the convergence speed is slower. Applying the basic PSO algorithm to optimize the neural network parameters can either achieve the ergodicity of searching, but also eliminate the selection, crossover, mutation and other basic operation in GA algorithm. At the same time ,the sp
8、eed of searching has increased.But the particles of groups update and move to the optimal location in accordance with the same rules. When the particles fall into local minima, the consistency of movement hinders the algorithm out of local minimum. Based on this issue, this paper presents an improve
9、d particle swarm algorithm: aggregation Reset Particle Swarm Optimization (FRPSO). The main idea of FRPSO is to change those particles with the worst adaptive value, when the populations of the original algorithm aggregate. Those particles with the worst adaptive value can be constantly re-initializ
10、ed to avoid the algorithm from a local minimum. The author has done a lot of research for the improved particle swarm algorithm. The experiments proved that the improved FRPSO can effectively help original algorithm come out of local minima and it has the more improved performance. And apply the imp
11、roved FRPSO algorithm to the neural-network parameter optimization by comparison with the BP algorithm, GA algorithm and FRPSO algorithm. The results 摘要 III verify the effectiveness, superiority and feasibility of the improved FRPSO algorithm. KEY WORDS: Particle swarm optimization, Aggregation-Rese
12、t, BP algorithm， Computing optimization，Neural network Dissertation Type: Application research 第 1 章 绪论 1 第1章 绪论第1章 绪论 1.1 课题的意义课题的意义 优化技术是一种以数学为基础，在合理的时间范围限制下为一个优化问题寻 找最优可行解的应用技术。它作为一个重要的科学分支，在人工智能、计算机科 学、运筹学中占有非常重要的地位1。优化算法的研究对完善算法体系、改进算 法性能、拓宽算法应用领域具有重要作用。作为优化技术的重要课题，优化算法 与优化理论研究都具有重要的理论意义和实用价值。2
13、0 世纪 80 年代以来，优化 技术有了长足的发展，很多新颖的优化算法涌现出来。它们揭示自然现象、模拟 自然过程，因而得到了迅猛的发展，例如遗传算法、进化规划、人工神经网络、 模拟退火等。这些算法具有独特的优点和机制，它们为解决复杂问题提供了新的 思路和手段，得到了广泛而成功的应用。由于其自然机理和构造的直观性，通常 人们称它们为智能优化算法2。 粒子群优化算法（Particle Swarm Optimization，PSO 算法3）是智能优化算 法的一种，它是受鱼群，鸟群等生物群落在猎食或防御行为中的搜索策略启发而 形成的，是对鸟群觅食过程中的聚集和迁徙的模拟。它收敛速度快、需设置参数 少且
14、易实现，因而它一经提出就成为进化计算与智能优化领域的一个新的研究热 点，近年来它已在函数优化，模式分类，模糊系统控制以及其他工程领域得到了 广泛的应用，并受到学术界的广泛关注4。和其它进化算法一样，粒子群优化算 法可以解决几乎所有的优化问题，或者是可以转换为优化问题进行求解的问题。 1.2 课题的理论背景课题的理论背景 在研究自然界生物群体行为的时候，人们惊奇的发现，生物群体系统应对复 杂问题的能力和所拥有的鲁棒性，往往是依靠一整套在个体间和环境与个体间的 交互规则来完成的。例如，一群看似盲目的蜜蜂，却能造出精美的蜂窝，一个在 没有集中控制下的鸟群能够同步飞行，一个由个体能力及其有限的蚂蚁组成
15、的群 落，能够完成清扫蚁穴，觅食等复杂性为。 在上面这些生物群体中，单个个体可以很快地适应群体的变化来应对外界的 挑战和变化，同时群体又表现出非凡的自组织行为。从 20 世纪中期开始，这种 现象既吸引了仿生学家们的注意，又给计算机科学家和数学家等相关领域的学者 带来启示。人们从模拟生物进化的机理出发，提出了许多用于解决复杂问题的新 河南科技大学硕士学位论文 2 方法。这些方法从用途上大致上分为两类，一类用于优化计算，如群智能中的蚁 群算法和粒子群优化算法，以及进化计算中的进化规则、遗传算法、进化策略 等；另一类用于复杂系统的仿真，如虚拟市场，数字社会等。这些利用生命系统 的功能、行为和特征来研
16、究计算和仿真问题的方法，称为仿生计算方法 （Bionics Computation method）。 群智能（Swarm Intelligence ，简称 SI）计算方法，作为一种新兴的仿生计 算方法已经成为越来越多研究者们关注的焦点。它主要包括两种算法，蚁群算法 (Ant Colony Optimization ， 简 称ACO) 5和 粒 子 群 算 法 (Particle Swarm Optimization，简称 PSO)。前者是由意大利学者 Dorigo.M 与 1991 年首次提出， 主要是模拟蚂蚁群体的食物采集过程，已经成功地解决了许多离散的优化计算问 题；粒子群算法最初是由美国学者 Kennedy 和 Eberhart 在 1995 年提出的并成功 的用于函数优化，后来又进行了有效的拓展，它是对鸟群觅食过程中的迁
