《机械优化设计第二章PPT课件.ppt》由会员分享，可在线阅读，更多相关《机械优化设计第二章PPT课件.ppt（84页珍藏版）》请在金锄头文库上搜索。
1、第二章优化设计的数学基础 第二章优化设计的数学基础 目录 第一节多元函数的方向导数和梯度 2020 4 7 1 方向导数 二元函数 在 点处的偏导数的定义是 二元函数 在 点处沿某一方向 的变化率 其定义为 方向导数 2020 4 7 偏导数与方向导数的关系 n元函数在点x0处沿d方向的方向导数 2020 4 7 2020 4 7 2 二元函数的梯度 令 梯度 当梯度方向和d方向重合时 方向导数值最大 即梯度方向是函数值变化最快方向 而梯度的模就是函数值变化率的最大值 2020 4 7 梯度的模 多元函数的梯度 2020 4 7 2020 4 7 多元函数的梯度的模 函数的梯度方向与函数的等值
2、面相垂直 也就是和等值面上过x0的一切曲线相垂直 由于梯度的模因点而异 即函数在不同点处的最大变化率是不同的 因此 梯度是函数的一种局部性质 2020 4 7 梯度的两个重要性质 梯度与法平面垂直 梯度方向具有最大变化率方向正梯度方向是函数值最速上升的方向 负梯度方向是函数值最速下降的方向 2020 4 7 解 2020 4 7 解 则函数在处的最速下降方向为 2020 4 7 该方向上的单位向量为 新点 该点函数值 2020 4 7 常用梯度公式 注意 梯度为向量 二次型 第二节多元函数的泰勒展开 2020 4 7 在点处的泰勒展开为 其中 1 一元函数 2020 4 7 2 二元函数 其中
3、 二元函数在点处的泰勒展开式为 2020 4 7 上式写成矩阵形式 2020 4 7 令 上式可写成 称为函数在点处的海赛 Hessian 矩阵 参见教材例题P30 2020 4 7 海赛矩阵是由函数在点处的二阶偏导数组成的方阵 由于函数的二次连续性 有 所以矩阵为对阵方阵 2020 4 7 海赛矩阵 3 多元函数 其中 梯度 泰勒展开式 2020 4 7 若将函数的泰勒展开式只取到线性项 即取 则是过点和函数所代表的超曲面相切的切平面 若将函数的泰勒展开式取到二次项时 则得到二次函数形式 在线性代数中将二次齐次函数称为二次型 矩阵形式 对称矩阵 2020 4 7 当对任何非零向量x使 则二次
4、型函数正定 G为正定矩阵 海赛矩阵的特征 是实对称矩阵 2020 4 7 4 海赛矩阵与正定 矩阵正定的充要条件 矩阵G的各阶顺序主子式为正 即 矩阵负定的充要条件 矩阵G的 奇数阶主子式 主子式 偶数阶主子式 海赛矩阵的正定性 正定 为全局极小值点的充分条件 负定 为全局极大值点的充分条件 2020 4 7 例3判定矩阵是否正定 解 该对称矩阵的三个主子式依次为 故可知矩阵G是正定的 2020 4 7 定理 若二次函数中Q正定 则它的等值面是同心椭球面族 且中心为 证明 作变换 代入二次函数式中 结论 Q为正定矩阵的二次型的等值面是以的同心椭球面族 原二次函数就是以为中心的同心椭球面族 椭圆
5、中心为极小值点 2020 4 7 例4把二次函数化为矩阵向量形式并检验Q是否正定 如正定 试用公式求这个函数的极小点 解 与题中函数比较各系数得 由计算知Q正定 极小点 第三节无约束优化问题的极值条件 2020 4 7 1 一元函数 对于可微的一元函数判断在处是否取得极值的过程 则为极小点 逐次检验其更高阶导数的符号 开始不为零的导数阶数若为偶次 则为极值点 若为奇次 则为拐点 则为极大点 2020 4 7 2 二元函数 定理1 若二元可微函数在处取得极值的必要条件是 即 凡满足上式的点称为函数的驻点 零向量 2020 4 7 如下图所示的二元函数 在M0点虽有和是个驻点 但它不是极值点 20
6、20 4 7 定理 若二元可微函数在的某个邻域取得极小值的充分条件是要求在该点附近的一切点均满足 若函数存在连续的一阶及二阶偏导数 当满足 则泰勒展开式的函数增量近似式 略三阶以上高阶微量 为 2020 4 7 令 则 可见 函数增量的性态与A B C的值有关 可以证明 当满足以下条件时 为极小值 证明略 反映了函数在该点的海赛矩阵的各阶主子式均大于零 正定 2020 4 7 结论 二元函数在某点取得极小值的充分条件是要求该点处的海赛矩阵为正定 且 对于二元函数在处取得极值的充分必要条件是 2020 4 7 3 多元函数 对于多元函数若在处取得极值 则 必要条件 充分条件 正定或负定 例1 证
7、明函数在点 2 4 处具有极小值 解 带入 2 4 得 存在极值必要条件 G正定 因此为 2 4 为极小值点 极小值为1 例2 求函数的极小值 解 形成方程组 解得 2 1 存在极值必要条件 G 2 1 正定 f 2 1 0极小值 例3 求函数的极小值 解 形成方程组 解得A 1 941 3 854 B 1 053 1 028 C 0 6117 1 493 存在极值必要条件 G A G B 正定 G C 不定 因此A B为极小值点 f A 0 9855f B 0 5134 f B 全局极小值 第四节凸集 凸函数与凸规划 2020 4 7 当极值点x 能使f x 在整个可行域中为最小值时 即在整
8、个可行域中对任一x都有f x f x 则x 为全域最优点 全域极小点 若f x 为局部可行域中的极小值而非整个可行域的最小值时 则称x 为局部最优点或相对最优点 优化的目标是全域最优点 为了判断某个极值点是否为全域最优点 研究函数的凸性是必要的 函数的凸性表现为单峰性 对于具有凸性特点的函数来说 其极值点只有一个 因而该点既是局部最优亦是全域最优点 为了研究函数的凸性 下面引入凸集的概念 2020 4 7 1 凸集 如果对一切及一切满足 的实数 点则称集合 为凸集 否则称为非凸集 若y是x1和x2连线上的点 则有 整理后即得 2020 4 7 凸集的性质 若D为凸集 为一个实数 则集合仍是凸集
9、 若D和F均为凸集 则其和 或并 仍是凸集 任何一组凸集的积 或交 仍是凸集 2020 4 7 2 凸函数 具有凸性 表现为单峰性 或只有唯一的局部最优值亦即全域最优值的函数 称为凸函数或单峰函数 其数学定义是 设f x 为定义在n维欧式空间中的一个凸集D上的函数 如果对于任何实数以及对D中任意两点x1 x2恒有 则为D上的凸函数 如式中的等号去掉 则称其为严格凸函数 2020 4 7 凸函数的几何意义 在函数曲线上取任意两点连成一直线段 则该线段上任一点的纵坐标值必大于或等于该点处的原函数值 2020 4 7 凸函数的性质 1 若f x 为定义在凸集D上的一个凸函数 对于任意实数a 0 则a
10、f x 也是凸集D上的凸函数 2 定义在凸集D上的两个凸函数f1 x f2 x 其和f1 x f2 x 亦为该凸集上的一个凸函数 3 若f1 x f2 x 为定义在凸集D上的两个凸函数 为两个任意正数 则仍为D上的凸函数 2020 4 7 3 凸性条件 1 根据一阶导数 函数的梯度 来判断函数的凸性 设f x 为定义在凸集R上 且具有连续的一阶导数的函数 则f x 在R上为凸函数的充要条件是对凸集R内任意不同两点 下面不等式恒成立 2020 4 7 2 根据二阶导数 海赛矩阵 来判断函数的凸性 设f x 为定义在凸集R上且具有连续二阶导数的函数 则f x 在R上为凸函数的充要条件为 海赛矩阵在
11、R上处处半正定 对于严格的凸函数 其充要条件为海赛矩阵为正定 当海赛矩阵G的主子式 det G 0时 矩阵正定det G 0时 矩阵半正定 说明 奇数阶主子式 偶数阶主子式 矩阵半负定 奇数阶主子式 偶数阶主子式 矩阵负定 2020 4 7 4 凸规划 对于约束优化问题 若 都为凸函数 则称此问题为凸规划 2020 4 7 凸规划的性质 2 可行域为凸集 3 凸规划的任何局部最优解就是全局最优解 1 若给定一点 则集合为凸集 凹函数 设f x 为定义在n维欧式空间中的一个凸集D上的函数 如果对于任何实数以及对D中任意两点x1 x2恒有 则为D上的凹函数 如式中的等号去掉 则称其为严格凹函数 如
12、为D上的凸函数 则为D上的凹函数 凹函数与凸函数的关系 如为D上的凸函数 则为D上的凹函数 凹函数判定 海赛矩阵在R上处处半负定 对于严格的凹函数 其充要条件为海赛矩阵为负定 具有凹性的目标函数具有唯一的局部极大值亦即全域极大值的函数 例1 证明函数在是凸函数 证 根据凸性条件 只要证明Hessian矩阵为G为半正定或正定即可 因此 根据凸性条件 F x 为凸性 G在D上位正定矩阵 例2 判断函数的凹凸性 证 根据凹凸性条件 只要判断Hessian矩阵为G为半正定或半负定即可 因此 G为负定矩阵 F x 为凹性 1阶主子式 2阶主子式 第五节等式约束优化问题的极值条件 2020 4 7 等式约
13、束优化问题 求解等式约束化问题的理论基础是导出极值存在的条件 1 消元法 降维法 对最简单情况 二元函数 只有一个约束条件的优化问题 利用等式约束中变量之间的关系 将一个变量用另外一个变量表示 并带入目标函数 这样目标函数中就只有一个设计变量 因此变成了一元无约束优化问题 因此优化问题转化为一元无约束问题 可利用无约束优化方法求解 根据一元无约束优化问题的极值存在必要条件 解 由等式约束h1 可得 将其带入目标函数 f 可得 例 利用消元法求 因此可求得 对最复杂情况 多元函数 有多个等式约束条件的优化问题 利用等式约束中变量之间的关系 将一个n个变量中的l个变量用另外 n l 个变量表示 并
14、带入目标函数 这样目标函数中就只有 n l 个设计变量 因此变成了 n l 元无约束优化问题 2020 4 7 2 拉格朗日乘子法 升维法 思想 通过增加变量将等式约束化问题变成无约束化问题 引入拉格朗日乘子 并构成一个 新的目标函数 拉格朗日函数 拉格朗日乘子 新目标函数的极值的必要条件 根据新的目标函数无约束问题的极值必要条件 解 根据拉格朗日乘值法 可引入新的变量 优化模型转化为 例 利用拉格朗日法求极值 求解方程组可获得极值点为 可得 例2 用拉格朗日乘子法计算在约束条件 的情况下 目标函数 的极值点坐标 根据新的目标函数无约束问题的极值必要条件 解 根据拉格朗日乘值法 可引入新的变量
15、 优化模型转化为 将上式带入第三个方程可得 因此极值点为 利用前两等式 可得 第六节不等式约束优化问题的极值条件 2020 4 7 1 一元函数在给定区间上的极值条件 拉格朗日乘子法 需要等式约束 引入松弛变量 变不等式为等式 2020 4 7 拉格朗日函数可表示为 这样 不等式约束转变成为了无约束问题 为拉格朗日乘子 且非负 根据拉格朗日乘子法 极值的必要条件是 分析 可写成 因此至少有一个必须取0 同样可写成 一元函数在给定区间上的极值条件可表示为 三种极值条件 引入起作用约束下标集合J 则 一元函数在给定区间上的极值条件可表示为 将一元函数在给定区间上的极值条件扩展到多元函数不等式优化
16、就得到著名的库恩 塔克 K T 条件 2020 4 7 2 库恩 塔克条件 K T条件 不等式约束的多元函数极值的必要条件是著名的库恩 塔克 Kuhn Tucker 条件 它是非线性优化问题的重要理论 求解思想 引入松弛变量使不等式约束变成等式约束 再利用拉格朗日乘子法求解等式约束的极值问题 2020 4 7 1 回顾 一元函数在给定区间上的极值条件 一元函数f x 在区间 a b 的极值问题 可表示为 存在极值的必要条件可表示为 2020 4 7 对不起作用的约束的拉格朗日乘子取零值 因此可以引入起作用约束的下标集合 一元函数在给定区间的极值条件 可以改写为 极值条件中只考虑起作用的约束和相应的乘子 2020 4 7 2 扩展 库恩 塔克条件 库恩 塔克条件 K T条件 可表述为 对于多元函数不等式的约束优化问题 2020 4 7 库恩 塔克条件表明 如点是函数的极值点 要么 此时 或者目标函数的负梯度等于起作用约束梯度的非负线性组合 此时 2020 4 7 极值点出现的情况 2020 4 7 库恩 塔克条件的几何意义 在约束极小值点处 函数的负梯度一定能表示成起作用约束在该点梯度
