《优化设计3342梯度课件》由会员分享，可在线阅读，更多相关《优化设计3342梯度课件（21页珍藏版）》请在金锄头文库上搜索。
1、 4.2梯度法梯度法（最快速度下降法）（最快速度下降法）第三章 无约束最优化方法一、特点一、特点这是一种将这是一种将n n维问题转化为一维维问题转化为一维搜索的方法，在其搜索点的局部区域搜索的方法，在其搜索点的局部区域内，目标函数值的下降速度最快。内，目标函数值的下降速度最快。优点：优点：算算法法简简单单，每每次次迭迭代代所所需需的的计计算算量量小小，计计算算机机所所需的内存少。以一个不很好的点也能收敛到最优解上。需的内存少。以一个不很好的点也能收敛到最优解上。 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 二、二、 基本思想基本思想 梯梯度度是是函函数数值值变变化化率率最最大大的的
2、方方向向。在在通通常常的的目目标标函函数数极极小小化化的的最最优优化化设设计计中中，负负梯梯度度方方向向是是一一个个非非常常诱诱人人的的方方向，它是函数值下降非常快的方向。向，它是函数值下降非常快的方向。 设设在在第第k k次次迭迭代代中中，取取得得了了初初始始点点X X（k k） 。目目标标函函数数F(X)F(X)在在 X X（k k）处的梯度为处的梯度为 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 则负梯度方向的单位向量为：则负梯度方向的单位向量为： 第第k k次迭代的搜索方向就取为次迭代的搜索方向就取为X X（k k）点的负梯度方向点的负梯度方向 这样便得到普通的迭代公式：这
3、样便得到普通的迭代公式： 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 为书写简便用为书写简便用 在迭代过程中，如果满足条件在迭代过程中，如果满足条件 迭代终止。迭代终止。 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 注意：注意：迭迭代代式式中中的的（k k）就就是是最最优优化化因因子子。它它可可以以用用前前面面介介绍绍的的一一维维搜搜索索的的办办法法确确定定。然然而而，当当目目标标函函数数的的海海赛赛矩矩阵阵能能求求时时，也也可可用用解析的算法求得。解析的算法求得。 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 梯度法的搜索路径:S(k)与S(k+1)垂直 三
4、、迭代步骤给定给定 X0 , ,1，2 Xk+1 - -Xk 1 1，oror ggk2 2 , ,否则回到否则回到 4.2梯度法（最快速度下降法）梯度法（最快速度下降法）梯梯度度法法的的程程序序框框图图 4.2梯度法（最快速度下降法）梯度法（最快速度下降法）四、计算举例四、计算举例设起始点设起始点X X（0 0） = 0= 0，00T T ，试用梯度法求极小。，试用梯度法求极小。 解：（解：（1 1） F F（X X）的梯度）的梯度 F F （X X）的海赛矩阵）的海赛矩阵 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） （2）当当X X（0 0） = 0= 0，00T T 时，时，
5、 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） (3)当当时时 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） （4） 如此迭代下去。如此迭代下去。 如果给定的收敛条件，迭代终止条件为：如果给定的收敛条件，迭代终止条件为： 当当 k = 7 k = 7 时，时， 与目标函数的实际极小点非常接近。与目标函数的实际极小点非常接近。 4.2梯度法（最快速度下降法）梯度法（最快速度下降法）五、应用梯度法应注意的问题五、
6、应用梯度法应注意的问题 前后两迭代的搜索方向前后两迭代的搜索方向 S S（k+1k+1） 和和S S（k k）一定垂直（正交）。一定垂直（正交）。 因因为为X X（k+1k+1）= = X X（k k）+（k k）S S（k k）,（k k）是是最最优优化化步步长长因子。故因子。故 X X（k+1k+1）是在是在 S S（k k）方向上的极值点。方向上的极值点。 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 梯度法（最快速下降法）容易使人们错误地认为这种梯度法（最快速下降法）容易使人们错误地认为这种方法的收敛速度是最快的，迭代次数是最少的。方法的收敛速度是最快的，迭代次数是最少的。
7、由于由于梯度具有局部的性质，因此从局部看来，梯度梯度具有局部的性质，因此从局部看来，梯度是最快的，但从全局看起来，速度就不一定快，特别在接是最快的，但从全局看起来，速度就不一定快，特别在接近极值点时，速度越来越慢。近极值点时，速度越来越慢。 这种方法在开始迭代时非常有效，故在组合的混这种方法在开始迭代时非常有效，故在组合的混合方法中，常用它做前几次运算。合方法中，常用它做前几次运算。 等值线为椭圆的迭代过程 等值线为圆的迭代过程 4.2梯度法（最快速度下降法）梯度法（最快速度下降法）P61 例4-1 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 4.2梯度法（最快速度下降法）梯度法（最快速度下降法） 4.2梯度法（最快速度下降法）梯度法（最快速度下降法）
