《机械优化设计(3)王》由会员分享，可在线阅读，更多相关《机械优化设计(3)王（53页珍藏版）》请在金锄头文库上搜索。
1、机 械 优 化 设 计机械学院机械设计系Mechanical Optimization Design函数的方向导数和梯度函数的方向导数和梯度第三章 优化设计基本概念和理论函数的函数的TaylorTaylor展开式和展开式和HessianHessian矩阵矩阵优化问题最优解的最优性条件优化问题最优解的最优性条件3-13-13-23-23-23-2定义1.在点存在,的偏导数，记为的某邻域内则称此极限为函数极限设函数第三章 优化设计基本概念和理论 3-1 函数的方向导数和梯度 一、方向导数l 定义：目标函数沿任一方向的变化率l 表达式二维问题中，已知f (X ) ,X=x1, x2T在 X(0) 点
2、沿方向 S的方向导数为：第三章 优化设计基本概念和理论3-1 函数的方向导数和梯度一、方向导数 l 表达式第三章 优化设计基本概念和理论3-1 函数的方向导数和梯度二、函数梯度 l 推导第三章 优化设计基本概念和理论3-1 函数的方向导数和梯度二、函数梯度 l 推导第三章 优化设计基本概念和理论3-1 函数的方向导数和梯度二、函数梯度 l 结论 1. 梯度：使方向导数取得最大值的方向3. 性质 梯度是以目标函数的一阶偏导为分量的行向量 梯度大小因点而异，用梯度的模衡量梯度大小*第三章 优化设计基本概念和理论3-1 函数的方向导数和梯度二、函数梯度 l 结论 3. 性质第三章 优化设计基本概念和
3、理论 3-2 函数的Taylor展开式和Hessian矩阵一、一元函数的Taylor展开式第三章 优化设计基本概念和理论3-2 函数的Taylor展开式和Hessian矩阵二、多元函数的二次Taylor展开式第三章 优化设计基本概念和理论3-2 函数的Taylor展开式和Hessian矩阵二、多元函数的二次Taylor展开式l 推导 Hessian矩阵梯度转置第三章 优化设计基本概念和理论3-2 函数的Taylor展开式和Hessian矩阵二、多元函数的二次Taylor展开式 l 结论 二次Taylor展开式（二次函数） Hessian矩阵第三章 优化设计基本概念和理论3-2 函数的Taylo
4、r展开式和Hessian矩阵二、多元函数的二次Taylor展开式 l 结论 提示：函数梯度第三章 优化设计基本概念和理论3-2 函数的Taylor展开式和Hessian矩阵解： 求梯度第三章 优化设计基本概念和理论3-2 函数的Taylor展开式和Hessian矩阵解：Hessian矩阵第三章 优化设计基本概念和理论3-2 函数的Taylor展开式和Hessian矩阵解：Hessian矩阵第三章 优化设计基本概念和理论3-2 函数的Taylor展开式和Hessian矩阵解：求二次近似函数第三章 优化设计基本概念和理论3-2 函数的Taylor展开式和Hessian矩阵四、矩阵的正定及判断1.
5、定义 正定： 负定：第三章 优化设计基本概念和理论3-2 函数的Taylor展开式和Hessian矩阵 四、矩阵的正定及判断 2. 判断 矩阵A正定的充要条件：其各阶顺序主子式均大于零。 矩阵A负定的充要条件：其各阶顺序主子式 负、正相间。*即奇数阶主子式0否则，矩阵为非正定。第三章 优化设计基本概念和理论 3-3 优化问题最优解的最优性条件一、无约束问题最优解的最优性条件即多元函数极值点 存在的条件 1. 推导 引入：逐次检验其更高阶导数的符号，开 始不为零的导数阶数若为偶次，则 为极值点，若为奇次，则为拐点。 驻点 （必要条件）极小/大点（充要条件）第三章 优化设计基本概念和理论 3-3
6、优化问题最优解的最优性条件一、无约束问题最优解的最优性条件即多元函数极值点 存在的条件 1. 推导凡满足上式的点称为函数的驻点第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件一、无约束问题最优解的最优性条件 1. 推导 充分条件充要第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件一、无约束问题最优解的最优性条件 1. 推导 充分条件同理：充要充要充要充要驻点 是极大值第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件一、无约束问题最优解的最优性条件 2. 结论*第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件一、无约束问题最优解的最
7、优性条件解：求Hessian矩阵第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件解： 求Hessian矩阵第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件解： 判断Hessian矩阵性质第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件二、约束问题最优解的最优性条件函数的凸性（单峰性）：一个下凸函数，它的极值点只有一个，并且该点既是是局部极值点，也是全局极值点，我们称该函数具有凸性。第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件二、约束问题最优解的最优性条件1. 凸集第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件
8、二、约束问题最优解的最优性条件1. 凸集 判断（除用定义外，如何判断凸集）*第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件二、约束问题最优解的最优性条件2. 凸函数凸函数的几何意义：在函数上取 任意两点连成一直线段，则该线 段上任一点的纵坐标值必大于或 等于该点处的原函数值。第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件二、约束问题最优解的最优性条件2. 凸函数第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件 二、约束问题最优解的最优性条件 3. 约束问题极值点存在的必要条件*K-T（Kuhn-Tucker）条件： 适时约束又称起作用约束 对
9、于一个不等式约束若可行设计点x (k)使该约束（或者说x (k)当时正处在该约束的边界上）时则称这个约束是 点的一个适时约束适时约束的下标集合第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件II. 最优点在可行域的边界上，此时最优性条件(最优点存在)不仅与目标函 数有关，还与约束集合的形态有关。约束问题最优点可能出现两种情况：图：情况图：情况此时可借助K-T条件判断最优点是否存在起作用约束判定3. 约束问题最优解存在的条件1）一个约束起作用S与 之间夹角为锐角不是极值点当 沿 边界移动到 时： X* 是极值点2）两个约束起作用2）两个约束起作用3)推广到一般情况K-T条件：如果
10、X*是约束极小点，那么目标函数f (X)的负梯度向量可以用起作用约束函数梯度的线性组合来表示。则满足K-T条件几点说明： K-T条件是约束问题极值点存在的必要条件，但不充分。 当目标函数为凸函数，可行域为凸集时 K-T条件为充要条件。第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件 二、约束问题最优解的最优性条件* K-T（Kuhn-Tucker）条件： 约束问题极值点存在的充要条件几点说明：I. 方法一：b. 目标函数为凸函数，且可行域为凸集II. 方法二：b. 引入Lagrange函数*第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件 二、约束问题最优解的最
11、优性条件解：第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件例1解： 求梯度解得均非负第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件例1解： 判断目标函数和可行域是否均是凸性起作用可行域是否是凸集 各不等式约束都是凸函数函数的 H(X)在凸集可行域 D上处处正定或半正定第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件例1解： 判断目标函数和可行域是否均是凸性函数的 H(X)在凸集可行域 D上处处正定或半正定第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件例1解： 结论第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条
12、件II. 最优点在可行域的边界上，此时最优性条件(最优点存在)不仅与目标函 数有关，还与约束集合的形态有关。约束问题最优点可能出现两种情况：图：情况图：情况此时可借助K-T条件判断最优点是否存在起作用约束判定第三章 优化设计基本概念和理论3-3 优化问题最优解的最优性条件起作用约束判定：解：返回K-T条件第三章 优化设计基本概念和理论 3-4 数值迭代法及收敛条件一、基本思想、迭代格式数值迭代法：具有一定逻辑结构，按一定格式反复运算的方法1. 基本思想 “爬山法”起点1起点2路径1路径2路径3起点 路径 步长第三章 优化设计基本概念和理论3-4 数值迭代法及收敛条件 一、基本思想、迭代格式 2. 迭代格式其中：*第三章 优化设计基本概念和理论3-4 数值迭代法及收敛条件二、无约束问题迭代的终止准则1.用相邻两迭代点的距离充分小判断*2.用相邻两迭代点的函数值变化充分小判断准则2 弊端准则1 弊端第三章 优化设计基本概念和理论3-4 数值迭代法及收敛条件二、无约束问题迭代的终止准则3.以上二准则联合应用*4.梯度大小判断
