《pso不确定优化》由会员分享，可在线阅读，更多相关《pso不确定优化（73页珍藏版）》请在金锄头文库上搜索。
1、PSO_uncertain,1,2019/10/17,基于PSO算法的不确定优化,不确定函数的混合PSO算法 用PSO优化神经网络 基于PSO的PID参数优化,PSO_uncertain,2,2019/10/17,假设检验,考虑如下不确定优化问题,其中，X表示决策变量，即需要搜索的解，d为变量维数，表示噪声，采样目标函数L(X, )是X和的函数，期望目标函数J(X)则是L(X, )的数学期望。,PSO_uncertain,3,2019/10/17,评价,对于不确定优化问题，首先通过多次独立评价可估计解的性能，通常每一次评价对应于一次仿真过程，进而在考虑方差的情况下对解的性能进行优劣比较。 若对
2、解Xi进行二次独立随机仿真，则其均值和方差的无偏估计J和Si2 分别为,(3-4-1),(3-4-2),PSO_uncertain,4,2019/10/17,考虑两个不同的解X1和X2，可将其性能估计J(X1)和J(X2)看作两独立随机变量。 由大数定理及中央极限定理知，n是时，期望性能的估计J(X)N(J,si2/ni)。 因此，可认为 其中ui和si2的无偏估计分别由式(3-4-1)和式(3-4-2)给出。,PSO_uncertain,5,2019/10/17,假设检验思想,假设检验是统计推断的一个重要方法，它利用搜集到的数据对某个事先做出的统计假设按一种设定的方法进行检验，进而判断假设的
3、正误。 在不确定优化问题中，由于性能评价的不确定性，在进行解性能比较时应充分利用均值以及方差信息。 因此，利用假设检验思想可先对解的优劣关系进行假设，然后通过统计信息对假设进行检验。,PSO_uncertain,6,2019/10/17,PSO_uncertain,7,2019/10/17,PSO_uncertain,8,2019/10/17,序优化思想,对于不确定优化问题，对解X进行ni次独立评价时。显然，随着评价次数ni的增大，样本均值Jbar将趋于期望值J,，或者说估计的致信区间将逐步缩小，但是收敛速度不超过1/ni 为了得到比较精确的性能估计，优化算法的大部分时间将用于对搜索解进行性能
4、评价，而如此费时的评价过程必然影响整个算法的优化效率，甚至因用于搜索的时间不够而导致搜索的不充分，从而难以获得全局意义上性能较好的解。,PSO_uncertain,9,2019/10/17,序优化技术,针对离散事件动态系统中仿真优化问题的不确定性、解空间庞大等难点而提出的一类优化技术其主要思想包括： (1)序比较(order comparison)，即序比值更容易确定，不同解的性能偏序关系按指数速度收敛。 (2)软化目标(goal softening)，即只要求以较高概率得到满意解，而不是一定要求获得全局最优解。这样，对于解空间庞大的问题，可大大减少求解问题所需的计算资源。,PSO_uncer
5、tain,10,2019/10/17,PSO_uncertain,11,2019/10/17,显然，联合选择概率与S集的产生方式有关。根据No Free Lunch定理，在没有问题的任何信息时，任何方法的效果都与盲目搜索方一法相同。当S中元素通过盲目搜索得到时，联合选择概率可按下式计算,PSO_uncertain,12,2019/10/17,譬如，M=200,g=12和k=1时，按上式可得 P(IGsl=k)=0.5 而如果g=32，则P(IGsl=k) 1 在序优化思想指导下，即使用较少次数的盲目搜索也能保证以较大概率得到满意解。 这在一定程度上也说明了群体搜索算法比单点搜索算法更容易获得满
6、意解。考虑评价过程的不确定性因素，盲目搜索可认为是评价噪声无穷大情况下的寻优。 如果在一定问题结构信息的指导下采用效率更高的策略进行搜索，同时对解的性能进行一定精度的评价时，将有助于获得质量更高的解或者有助于以更高概率获得满意解，此时上式实际上就成为联合选择概率的一个下界。,PSO_uncertain,13,2019/10/17,PSO_uncertain,14,2019/10/17,最优计算量分配技术,最优计算量分配技术(optimal computing budget allocation, OCBA)是Chen等在序优化思想下提出的一种改进技术，是对序优化思想的一种扩充。在传统序优化技术
7、中，每个解均采用相同的仿真(评价)次数进行性能估计。显然，如果能够在优化过程中将有限的计算量更多地分配给那些优质解或关键解，则将提高获得满意解的概率，提高对有限计算资源的使用效率。 对于优化过程中的关键解赋予较多的计算量以对其进行更准确的性能估计，对于其他解则只占用较少的计算量资源，从而提高优化结果的置信度。,PSO_uncertain,15,2019/10/17,最优解的“正确选择概率”,PSO_uncertain,16,2019/10/17,PSO_uncertain,17,2019/10/17,PSO_uncertain,18,2019/10/17,定理1,在给定总仿真次数T，并将其分配
8、给K个可行解，其性能估计分别为,PSO_uncertain,19,2019/10/17,OCBA技术的实现流程,PSO_uncertain,20,2019/10/17,讨论,算法初始化时，对每个解的均值和方差的估计需要达到一定的精度，以避免算法的过早收敛，因此n0通常不能太小。 另外，若每次循环增加的仿真量过大，则会造成评价的可靠性降低，为不必要的高致信度水平而浪费计算量。但是，也不能过小，否则会导致整个算法的迭代次数增加，进而加重计算的负担。 据文献9的经验, n0通常取520, 则取K/5K/10。,PSO_uncertain,21,2019/10/17,混合微粒群优化算法,PSO_unc
9、ertain,22,2019/10/17,. 基于HT的PSO算法,PSO_uncertain,23,2019/10/17,2.基于OCBA的PSO算法,PSO_uncertain,24,2019/10/17,3.基于HT和OCBA的PSO算法,PSO_uncertain,25,2019/10/17,PSO_uncertain,26,2019/10/17,仿真实验与比较,PSO_uncertain,27,2019/10/17,参数设置,PSO_uncertain,28,2019/10/17,Goldstein-Prices函数,函数有一个全局最小值3，在(0,-1)点,另外函数有3个局部极小值
10、。,六个测试函数,PSO_uncertain,29,2019/10/17,Braninss rcos函数,(2)：Braninss rcos函数,函数有3个全局最小值点，取值为0.397887，分别在(-pi,12.275)、(pi,2.275),(9.42478，2.475)三处。 f=(y-(5.1/(4*pi2)*x.2+5/pi*x-6).2+10*(1-1/(8*pi)*cos(x)+10, -5=x=10, 0 =y=15,PSO_uncertain,30,2019/10/17,PSO_uncertain,31,2019/10/17,PSO_uncertain,32,2019/10
11、/17,Rastrigin函数,全局最优点为2，最优点为（0，0），可行域中50余个局部极值点,PSO_uncertain,33,2019/10/17,SHShuber(n= 2)函数,PSO_uncertain,34,2019/10/17,结果,PSO_uncertain,35,2019/10/17,噪声强度因子影响,以带噪声的GP函数为例，探讨噪声强度因子对各算法性能的影响。 同时，为了反映所得解的位置信息，统计了各算法50次随机运行中的成功次数N,，即若所得解距离理论最优点的欧式距离小于0. 1，则认为是一次成功搜索。 表5. 2给出了各算法50次独立运行的统计结果。,PSO_uncer
12、tain,36,2019/10/17,PSO_uncertain,37,2019/10/17,最优点的分布,PSO_uncertain,38,2019/10/17,PSO_uncertain,39,2019/10/17,PSO_uncertain,40,2019/10/17,PSO_uncertain,41,2019/10/17,噪声环境下基于PSO算法的参数估计,噪声环境下的智能参数估计方法的研究还很少。本节针对噪声环境下的非线性模型参数估计问题，采用上节的PSOHT算法来解决。,PSO_uncertain,42,2019/10/17,PSO_uncertain,43,2019/10/17,
13、噪声环境下的模型参数估计,噪声环境下的模型参数估计也是在一定的系统输人下，通过特定算法调整估计参数，使得与输出误差相关的某个指标最小。但是，由于输出误差中包含了噪声信息，实现参数估计的算法应具备一定的抗噪声能力，即鲁棒性。 以输出误差的平均平方误差为优化目标，,PSO_uncertain,44,2019/10/17,5.2.2数值仿真,利用如下二阶惯性带延迟的传递函数作为真实系统，用于探讨PSOHT算法的估一计性能，并与单一PSO算法进行比较。,PSO_uncertain,45,2019/10/17,实验条件,数值仿真时采用服从N(0, 1)分布的白噪声作为输人，离散化采样时间为0.1 s，估
14、计长度为100,假设噪声v是幅值为的高斯噪声，其中表示噪信比。 算法方面，令PSOHT和PSO算法的种群规模均为10，最大进化代数为300，每个微粒采用20次评价进行性能估计，与假设检验相关的显著性水平设置为0. 05 。各算法均随机运行50次，表5. 3给出了无噪声情况下PSO算法的运行统计结果。,PSO_uncertain,46,2019/10/17,PSO_uncertain,47,2019/10/17,PSO_uncertain,48,2019/10/17,PSO_uncertain,49,2019/10/17,PSO_uncertain,50,2019/10/17,PSO_uncer
15、tain,51,2019/10/17,小结,1）PSOHT有效 2）PSO在许多情况具有优良品质,PSO_uncertain,52,2019/10/17,用PSO优化神经网络,1）训练神经网络的PSO算法的设计 采用PSO训练神经网络时，首先应将特定结构中所有神经元间的连接权值编码成实数码串表示的个体。假设网络中包含M个优化权值（包括阈值在内），则每个个体将由M个权值参数组成的一个M维向量来表示。,PSO_uncertain,53,2019/10/17,则微粒群中的个体可用一个6维向量来表示，即Indv= x1,x2,x3,x4,x5,x6 。此时，个体结构中的每一个元素，即代表神经网络中的一
16、个权值。,PSO用于NN学习,PSO_uncertain,54,2019/10/17,初始化微粒群,根据微粒群规模，按照上述个体结构随机产生一定数目的个体（微粒）组成种群，其中不同的个体代表神经网络的一组不同权值。同时初始化gbest和pbest。,PSO_uncertain,55,2019/10/17,3、神经网络的训练及微粒的评价,计算每一个网络在训练集上产生的均方误差，并以此作为目标函数，并构造如下的适应度函数，用来计算个体的适应度。,PSO_uncertain,56,2019/10/17,用PSO训练神经网络算法的具体流程,PSO_uncertain,57,2019/10/17,Van den Bergh 与Engelrecht基于多种分类问题及函数逼近问题，利用PSO算法分别对加和网络和倍乘网络进行优化。在以下所有的试验中，加和网络和倍乘网络都给予一指定的简单结构Y.Lecun, J.S.Denker and S.A. Solla. 1990算法的优化结果
