《机械优化设计课件 第4章 无约束优化方法》由会员分享，可在线阅读，更多相关《机械优化设计课件 第4章 无约束优化方法（79页珍藏版）》请在金锄头文库上搜索。
1、开放 包容 求实 创新机械优化设计第四章 无约束优化方法第四章第四章 无约束优化方法无约束优化方法第一节第一节 概概 述述数值解法：是利用已有的信息，通过计算点一步一步地 直接移动，逐步逼近最后达到最优点。 1）选择迭代方向即探索方向；2）在确定的方向上选择适当步长迈步进行探索 无约束优化方法可以分成两类：无约束优化方法可以分成两类： 一类是利用目标函数的一阶或二阶导数的无约束优化方法（如最速下降法、共轭梯度法、牛顿法及变尺度法）； 另一类只利用目标函数的无约束优化方法（如坐标轮换法、单形替换法及鲍威尔法等）。第一节第一节 概概 述述第四章第四章 无约束优化方法无约束优化方法定义：定义：最速下
2、降法就是采用使目标函数值下降得最快的负梯 度方向作为探索方向，来求目标函数的极小值的方法， 又称为梯度法。最速下降法 的迭代公式第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法在最速下降法中，相邻两 个迭代点上的函数梯度相互 垂直。而搜索方向就是负梯 度方向，因此相邻两个搜索 方向互相垂直。这就是说在 迭代点向函数极小点靠近的 过程，走的是曲折的路线。 形成“之”字形的锯齿现象， 而且越接近极小点锯齿越细 。 图4-2 最速下降法的搜索路径第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法第二节第二节 最速下降法最速下降法第四章第四章 无约
3、束优化方法无约束优化方法方法特点（1）初始点可任选，每次迭代计算量小，存储量少， 程序简短。即使从一个不好的初始点出发，开始的几步 迭代，目标函数值下降很快，然后慢慢逼近局部极小点 。 （2）任意相邻两点的搜索方向是正交的，它的迭代路 径为绕道逼近极小点。当迭代点接近极小点时，步长变 得很小，越走越慢。 第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法沿负梯度方向进行一维搜索，有为一维搜索最佳步长，应满足极值必要条件 例41 求目标函数 的极小点。解 取初始点则初始点处函数值及梯度分别为第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法算出
4、一维搜索最佳步长 第一次迭代设计点位置和函数值 继续作下去，经10次迭代后，得到最优解 第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法这个问题的目标函数的等值线为一簇椭圆,迭代点从 走的是一段锯齿形路线，见图4-3。1 1图4-3第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法将上例中目标函数 引入变换其等值线由椭圆变成一簇同心圆。仍从 即 出发进行最速下降法寻优。此时 ：沿负梯度方向进行一维搜索：则函数f(X)变为：y1=x1, y2=5x2第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法为一维搜索最佳步长
5、，可由极值条件：由从而算得一步计算后设计点的位置及其目标函数：第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法经变换后，只需一次迭代，就可找到最优解。这是因为经过尺度变换：等值线由椭圆变成圆。第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法最速下降法的迭代步骤：最速下降法的迭代步骤：第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法最速下降法的特点：最速下降法的特点：1）理论明确，程序简单，对初始搜索点无严格要求；2）收敛速度不快，因为最速下降方向仅仅是指某点的 一个局部性质；3）相邻两次迭代搜索方向互相垂直，在
6、远离极值点处 收敛快，在靠近极值点处收敛慢；4）收敛速度与目标函数值的性质有关，对等值线是同 心圆的目标函数来说，经过一次迭代就可以达到极值点。第二节第二节 最速下降法最速下降法第四章第四章 无约束优化方法无约束优化方法牛顿型法的基本思想：牛顿型法的基本思想：利用二次曲线来逐点近似原目标函数，以二次曲线的极小点来近似原目标函数的极小点并逐渐逼近该点。 第三节第三节 牛顿型法牛顿型法第四章第四章 无约束优化方法无约束优化方法在xk邻域内用一个二次函数 来近似代替原目标函数 ，并将 的极小点作为对目标函数 求优的下一个迭 代点 。经多次迭代，使之逼近目标函数 的极小点。牛顿法是求函数极值的最古老算
7、法之一。 基本牛顿法的迭代公式：第三节第三节 牛顿型法牛顿型法第四章第四章 无约束优化方法无约束优化方法设 为 的极小点 基本牛顿法的迭代公式：第三节第三节 牛顿型法牛顿型法第四章第四章 无约束优化方法无约束优化方法对于二次函数 ，海赛矩阵H是一个常矩阵，其中各元素 均为常数。因此，无论从任何点出发，只需一步就可找到 极小点。 例42 求目标函数 的极小点 。 解 取初始点第三节第三节 牛顿型法牛顿型法第四章第四章 无约束优化方法无约束优化方法从牛顿法迭代公式的推演中可以看到，迭代点的位置是 按照极值条件确定的，其中并未含有沿下降方向搜寻的概 念。因此对于非二次函数，如果采用上述牛顿迭代公式，
8、 有时会使函数值上升 。 阻尼牛顿法 阻尼因子 ，沿牛顿方向进行一维搜索的最佳步长， 由下式求得： 经过一次迭代即求得极小点函数极小值第三节第三节 牛顿型法牛顿型法第四章第四章 无约束优化方法无约束优化方法基本牛顿法的迭代公式：阻尼牛顿法的迭代公式 ：第三节第三节 牛顿型法牛顿型法第四章第四章 无约束优化方法无约束优化方法阻尼牛顿法的迭代步骤：阻尼牛顿法的迭代步骤：第三节第三节 牛顿型法牛顿型法第四章第四章 无约束优化方法无约束优化方法阻尼牛顿法的迭代公式 ：第三节第三节 牛顿型法牛顿型法第四章第四章 无约束优化方法无约束优化方法在下一次迭代时，选择搜索方d1指向极小点x*， 共轭方向共轭方向
9、以二元函数为例：我们任意选择一个初始点x0点，沿着某个下降方向d0作一维搜索 第四节第四节 共轭方向及共轭方向法共轭方向及共轭方向法第四章第四章 无约束优化方法无约束优化方法 共轭方向共轭方向 正交正交第四节第四节 共轭方向及共轭方向法共轭方向及共轭方向法第四章第四章 无约束优化方法无约束优化方法 共轭方向的性质共轭方向的性质第四节第四节 共轭方向及共轭方向法共轭方向及共轭方向法第四章第四章 无约束优化方法无约束优化方法 共轭方向法的步骤共轭方向法的步骤第四节第四节 共轭方向及共轭方向法共轭方向及共轭方向法第四章第四章 无约束优化方法无约束优化方法 共轭方向的形成共轭方向的形成 格拉姆格拉姆-
10、 -斯密特向量系共轭化的方法斯密特向量系共轭化的方法 n个线性无关的向量系vi（i=0,1，n-1 ）一组独立向量dr（r=0,1，n-1） 第四节第四节 共轭方向及共轭方向法共轭方向及共轭方向法第四章第四章 无约束优化方法无约束优化方法第四节第四节 共轭方向及共轭方向法共轭方向及共轭方向法第四章第四章 无约束优化方法无约束优化方法共轭梯度法：共轭梯度法：先沿最速下降方向(负梯度方向)探索第一步，然后沿与 该负梯度方向相共轭的方向进行探索。第五节第五节 共轭梯度法共轭梯度法第四章第四章 无约束优化方法无约束优化方法共轭方向与梯度之间的关系：共轭方向与梯度之间的关系：它表示沿着方向dk做一维搜索
11、，它的终点xk+1与始点xk的梯度之差与dk的共轭方向dj正交。 第五节第五节 共轭梯度法共轭梯度法第四章第四章 无约束优化方法无约束优化方法共轭梯度法递推公式：共轭梯度法递推公式：第五节第五节 共轭梯度法共轭梯度法第四章第四章 无约束优化方法无约束优化方法共轭梯度法步骤：共轭梯度法步骤：第五节第五节 共轭梯度法共轭梯度法第四章第四章 无约束优化方法无约束优化方法共轭梯度法步骤：共轭梯度法步骤：第五节第五节 共轭梯度法共轭梯度法第四章第四章 无约束优化方法无约束优化方法共轭梯度法共轭梯度法第五节第五节 共轭梯度法共轭梯度法第四章第四章 无约束优化方法无约束优化方法设法构造出一个对称正定矩阵 来
12、代替 ，并在迭代过程中使 逐渐逼近 ,那么就简 化了牛顿法的计算，并且保持了牛顿法收敛快的优 点。变尺度法的基本思想：变尺度法的基本思想：牛顿方向：牛顿方向：变尺度法的变尺度法的 迭代公式：迭代公式：尺度矩阵第六节第六节 变尺度法（拟牛顿法）变尺度法（拟牛顿法）第四章第四章 无约束优化方法无约束优化方法尺度矩阵尺度矩阵G 正定牛顿迭代公式：目的：目的：目标函数的 偏心率减小到零。第六节第六节 变尺度法（拟牛顿法）变尺度法（拟牛顿法）第四章第四章 无约束优化方法无约束优化方法变尺度矩阵的建立变尺度矩阵的建立 ： 变尺度法的迭代公式 ： 搜索方向：尺度矩阵应具备的条件：1）为正定对称矩阵；2）具有
13、简单的迭代形式:3）满足拟牛顿条件：令 则第六节第六节 变尺度法（拟牛顿法）变尺度法（拟牛顿法）第四章第四章 无约束优化方法无约束优化方法变尺度法的一般步骤变尺度法的一般步骤 ：第六节第六节 变尺度法（拟牛顿法）变尺度法（拟牛顿法）第四章第四章 无约束优化方法无约束优化方法变尺度法的流程图：变尺度法的流程图：第六节第六节 变尺度法（拟牛顿法）变尺度法（拟牛顿法）第四章第四章 无约束优化方法无约束优化方法DFPDFP算法：算法：DFP算法的校正公式第六节第六节 变尺度法（拟牛顿法）变尺度法（拟牛顿法）第四章第四章 无约束优化方法无约束优化方法DFPDFP算法：算法：第六节第六节 变尺度法（拟牛顿
14、法）变尺度法（拟牛顿法）第四章第四章 无约束优化方法无约束优化方法基本思想：基本思想：每次仅对多元函数的一个变量沿其坐标轴进行一维 探索，其余各变量均固定不动，并依次轮换进行一维探 索的坐标轴，完成第一轮探索后再重新进行第二轮探索 ，直到找到目标函数在全域上的最小点为止。目的：目的：将一个多维的无约束最优化问题，转化为一系 列的一维问题来求解。第七节第七节 坐标轮换法坐标轮换法第四章第四章 无约束优化方法无约束优化方法二维问题第七节第七节 坐标轮换法坐标轮换法第四章第四章 无约束优化方法无约束优化方法第第k k轮迭代公式：轮迭代公式：包括正负第七节第七节 坐标轮换法坐标轮换法第四章第四章 无约
15、束优化方法无约束优化方法步长步长 的几种取法：的几种取法：随机选择方法加速步长法最优步长法（一维搜索方法，如：黄金分割法、 二次插值法，来确定最优步长）第七节第七节 坐标轮换法坐标轮换法第四章第四章 无约束优化方法无约束优化方法加速步长法：加速步长法：第七节第七节 坐标轮换法坐标轮换法第四章第四章 无约束优化方法无约束优化方法坐标轮换法的流程图坐标轮换法的流程图第七节第七节 坐标轮换法坐标轮换法第四章第四章 无约束优化方法无约束优化方法坐标轮换法的特点：坐标轮换法的特点：计算简单、概念清楚、易于掌握；但搜索路线较长（ 需要经过多次曲折迂回的路径才能达到极值点），计算 率较低，特别是当维数很高时很费时，所以坐标轮换法 只能用于低维（n10）的优化问题求解。此外，坐标轮 换法的效率在很大程度上取决于目标函数的性态，也就 是等值线的形态与坐标轴的关系。 第七节第七节 坐标轮换法
