《无约束最优化工研》由会员分享，可在线阅读，更多相关《无约束最优化工研（203页珍藏版）》请在金锄头文库上搜索。
1、无约束问题的最优化方法无约束问题的最优化方法最最速速下下降降法法步长因子步长因子 搜索方向搜索方向 最最速速下下降降法法最最速速下下降降法法最最速速下下降降法法最最速速下下降降法法最最速速下下降降法法最速下降法最速下降法最速下降法最速下降法最速下降法最速下降法最最速速下下降降法法最最速速下下降降法法最最速速下下降降法法最速下降法收敛吗？最速下降法收敛吗？若收敛，收敛速度是多少？若收敛，收敛速度是多少？Questions最速下降法最速下降法最速下降法最速下降法最最速速下下降降法法最最速速下下降降法法最最速速下下降降法法最最速速下下降降法法最最速速下下降降法法缺点：缺点：在极小点附近，出现锯齿现象
2、，收敛较慢。在极小点附近，出现锯齿现象，收敛较慢。 最最速速下下降降法法最最速速下下降降法法优点：优点：对初始点要求不高，可以比较快地达到极小对初始点要求不高，可以比较快地达到极小点附近。点附近。共共轭轭方方向向法法共共轭轭方方向向法法Remark共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法(*)共共轭轭方方向向法法共共轭轭方方向向法法Remark共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向向法法共共轭轭方方向
3、向法法利用梯度产生共轭方向的共轭方向法，利用梯度产生共轭方向的共轭方向法，称为共轭梯度法，如何由梯度构造共称为共轭梯度法，如何由梯度构造共轭方向呢？轭方向呢？Questions共共轭轭方方向向的的公公式式推推导导共轭方向的确定公式共轭方向的确定公式F-R共轭梯共轭梯 度法度法(Fletcher & Reeves 1964)非二次函数的共轭梯度法非二次函数的共轭梯度法牛顿法牛顿法牛牛顿顿法法牛牛顿顿法法牛牛顿顿法法牛牛顿顿法法牛牛顿顿法法修修正正牛牛顿顿法法修修正正牛牛顿顿法法牛牛顿顿法法优点：具备二次终止性具备二次终止性 应用于正定二次函数时，只需一次迭代应用于正定二次函数时，只需一次迭代 即
4、可达到无约束全局极小点，表明即可达到无约束全局极小点，表明 Newton法具备二次终止性。法具备二次终止性。收敛速度快收敛速度快 当初始点接近于极小点时，当初始点接近于极小点时， Newton法法 很有效，产生的点列收敛于平稳点，很有效，产生的点列收敛于平稳点， 且收敛速度是且收敛速度是2阶。阶。牛牛顿顿法法缺点：缺点：进行进行Hesse矩阵、矩阵、 矩阵求逆的运算。矩阵求逆的运算。当初始点离极小点较远时，当初始点离极小点较远时，Hesse矩阵矩阵 常常是奇异的，常常是奇异的，Newton方向不存在。方向不存在。拟拟牛牛顿顿法法基本思想基本思想 (Davidon-1959)拟拟牛牛顿顿法法DF
5、P变尺度法变尺度法计算步骤计算步骤解：解： BFGS变尺度法变尺度法（Broyden Fletcher Goldfarb Shanno）1970DFP变尺度法变尺度法 和和BFGS变尺度法的比较变尺度法的比较BFGS变尺度法变尺度法具有具有DFP变尺度法变尺度法的所有优点；的所有优点；数值稳定性要比数值稳定性要比DFP变尺度法变尺度法。被公认为目前最好的一种算法之一被公认为目前最好的一种算法之一无约束最优化算法比较无约束最优化算法比较Powell 方法（方法（1964） (方向加速法） Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方
6、法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法Powell 方法方法改进的改进的Powell方法方法 Powell 方法的方向调整原理方法的方向调整原理Powell 方法的方向调整原理方法的方向调整原理搜
7、搜索索方方向向替替换换的的判判别别准准则则证明：证明：搜搜索索方方向向替替换换的的判判别别准准则则搜搜索索方方向向替替换换的的判判别别准准则则搜搜索索方方向向替替换换的的判判别别准准则则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则Questions当函数为非二次函数时，判别准则是什么呢？当函数为非二次函数时，判别准则是什么呢？搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向
8、替换的判别准则搜索方向替换的判别准则Example搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则搜索方向替换的判别准则
