现代设计方法教学作者张大可第2章节优化设计的数学基础课件

《现代设计方法教学作者张大可第2章节优化设计的数学基础课件》由会员分享，可在线阅读，更多相关《现代设计方法教学作者张大可第2章节优化设计的数学基础课件（25页珍藏版）》请在金锄头文库上搜索。

1、第2章 优化设计的数学基础,2.1 目标函数的泰勒表达式,现代设计方法第2章 优化设计的数学基础,2,重庆大学机械工程学院,当目标函数为一元函数时，由泰勒公式知：若函数 在含有 点的某个开区间 内具有直到 阶导数，则当 在 内时， 可以表示为 的一个 次多项式与一个余项 的和：,在实际计算中忽略二阶以上的高阶微量，只取前三项，则目标函数可近似表达为 或,3,重庆大学机械工程学院,现代设计方法第2章 优化设计的数学基础,当目标函数为多元函数时，在满足一定条件下，目标函数 在 点 附近也可以展开成泰勒多项式，一般只取前三项，其形式与一元函数展开式的前三项相似，即 （2-1） 此式称为函数 的泰勒二

2、次近似式。其中， 是由函数在 点 的所有二阶偏导数组成的矩阵，称为函数 在点 的二阶偏导数矩阵或海赛（Hessian）矩阵，经常记作 。二阶偏导数矩阵的组成形式如下： （2-2）,4,重庆大学机械工程学院,现代设计方法第2章 优化设计的数学基础,例2-1 用泰勒表达式展开的方法将函数 在点 简化成二次函数。 解：分别求函数在点 的函数值、梯度和海赛矩阵,5,重庆大学机械工程学院,现代设计方法第2章 优化设计的数学基础,求展开式的二次项 代入式（2-1）得简化的二次函数 将 代入简化所得的二次函数中，其函数值也等于-3，与原函数在点 的值相等。,6,重庆大学机械工程学院,现代设计方法第2章 优化

3、设计的数学基础,2.2 函数的方向导数和梯度 我们需要研究寻找极值点的途径，即研究在设计空间中沿什么方向才能迅速地越过不同的等值线达到等值线族的中点极值点。显然，函数值下降最大的方向才是向极值点逼近最快的方向。为此，首先应研究函数的变化率。 2.2.1方向导数 由多元函数的微分学知，对于一个连续可微多元函数 ，在某一点 的一阶偏导数为 （2-4） 简记为 （2-5）,7,重庆大学机械工程学院,现代设计方法第2章 优化设计的数学基础,它即是该函数 在 点沿各坐标轴 这些特定方向的变化率。现在以二元函数 为例，求其沿任一方向 S 的函数变化率，设 S 与两坐标轴之间的夹角分别为 ，如图2-1所示。

4、 该二元函数 在点 沿任意方向S的变化率可用函数在该点的方向导数表示，记作,2-1 函数的变化率,（2-6）,8,重庆大学机械工程学院,现代设计方法第2章 优化设计的数学基础,同理，可以推导出多元函数 在 点沿方向 S 的方向导数为 式中 为函数 对坐标轴 的偏导数； 为 S 方向的方向余弦。 式（2-7）表明，在同一点，函数沿不同的方向的方向导数值是不等的，亦即函数沿不同的方向上有不同的变化率。我们把函数在某点沿某给定方向的变化率称为函数在该点沿此方向的方向导数，其值为正，表明函数在该点沿此方向增加；为负，则减小。,（2-7）,9,重庆大学机械工程学院,现代设计方法第2章 优化设计的数学基础

5、,2.2.2 梯度,将代数式（2-6）写成矩阵形式，则有 令 （2-8） 则方向导数 可用矢量的内积形式表示如下： （2-9） 由（2-9）知：方向导数等于梯度在该方向的投影,10,重庆大学机械工程学院,现代设计方法第2章 优化设计的数学基础,梯度的概念可以推广到多元函数中去，对于 n 元函数 ，梯度可记为 它是一个向量，沿此方向函数的变化率最大，亦即梯度 的方向是函数 的最速上升方向，负梯度 则为函数 的最速下降方向。 分析式（2-9）中的取值对方向导数 影响，可知，在设计空间中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方向函数值都减小；梯度 的方向为函数 f(X) 过

6、 X (k) 点的等值线（或等值面）的外法线方向。,（2-12）,图2-2 梯度方向与等值线的关系 图2-3 方向导数与等值面的关系,11,重庆大学机械工程学院,现代设计方法第2章 优化设计的数学基础,例2-2 求函数 在点 处函数变化率最大的方向和数值。 解：由于函数变化率最大的方向是梯度方向，这里用单位向量 表示，函数变化率最大的数值是梯度的模 。则由梯度的定义式可求得,的模为,该梯度的单位向量 为,重庆大学机械工程学院,12,现代设计方法第2章 优化设计的数学基础,2.3 无约束优化问题的极值条件,无约束优化问题求解的实质是求解目标函数 在 维空间 中的极值点和极值。 对于任何一个单值、

7、连续并可微的一元函数 ，在点 取得极值的必要条件是函数在该点的一阶导数为零，充分条件是对应的二阶导数不为零，即 当 时，则函数 在点 取得极小值；当 时，则函数 在点 取得极大值。其极值点和极值分别记作 和 。 与此相似，多元函数 在点 取得极值的必要条件是函数在该点的所有一阶偏导数都分别为零，即函数在该点的梯度为零,重庆大学机械工程学院,13,现代设计方法第2章 优化设计的数学基础,把函数在点 展开成泰勒表达式，并将上式代入，整理得 当 为函数的极小点时，有 ，故必有 根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 取得

8、极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二阶导数矩阵）正定，即 反之，多元函数在点 取得极大值的充分必要条件是：函数在该点的梯度为零，海赛矩阵负定。 一般说来，式（2-14）对求解优化问题只有理论上的意义。因为就实际问题而言，由于目标函数比较复杂，海赛矩阵不容易求得，其正定性的判断就更加困难。,为正定,（2-13）,（2-14）,现代设计方法第2章 优化设计的数学基础,重庆大学机械工程学院,14,例2-3 求函数 的极值。 解：根据极值存在的必要条件,联立求解得驻点 。,重庆大学机械工程学院,15,现代设计方法第2章 优化设计的数学基础,现考察该驻点是否满足极值点的充分条件，函

9、数在该点的海赛矩阵,的各阶主子式均大于零，故 为正定矩阵，由极小值存在的充分条件可知， 是严格极小点， 为函数的极小值。,的一阶主子式,的二阶主子式,重庆大学机械工程学院,16,现代设计方法第2章 优化设计的数学基础,2.4 约束优化问题的极值条件,图2-4 约束优化问题的极值点,（a）极值点在可行域内,（b）极值点在可行域的边界上,重庆大学机械工程学院,17,现代设计方法第2章 优化设计的数学基础,2.4.1 等式约束的极值条件,对这一问题，数学上有两种处理方法：消元法（降维法）和拉格朗日乘子法（升维法），可建立如下拉格朗日函数 式中，向量 为拉格朗日乘子向量，其每一个分量为一个朗日乘子，拉

10、格朗日乘子的个数等于等式约束的个数。 数学上可以证明，(2-15)式所示的(n+p)维无约束优化问题的极值点即为其对应的等式约束优化问题的极值点。,（2-15）,（2-16）,令,得,重庆大学机械工程学院,18,现代设计方法第2章 优化设计的数学基础,这就是等式约束问题在点 取得极值的必要条件。 此式的几何意义可以解释为：在等式约束的极值点上，目标函数的负梯度等于诸约束函数梯度的线性组合。如图2-5。,图2-5 等式约束问题的极值条件,重庆大学机械工程学院,19,现代设计方法第2章 优化设计的数学基础,2.4.2不等式约束的极值条件,对于不等式约束优化问题,引入m个变量 ，可将上面的不等式约束

11、优化问题变成如下等式约束优化问题,建立这一等式约束求极值问题的拉格朗日函数,式中， 为松驰变量组成的向量。,图2-5 等式约束问题的极值条件,现代设计方法第2章 优化设计的数学基础,重庆大学机械工程学院,20,令该拉格朗日函数的梯度等于零，即 则有,上式存在两种情况：1）当 时，有 ，这说明极值点 在可行域内，约束不起作用；2）而当 时，必有 和 ，这说明极值点 在约束边界上（函数自然极值点在可行域之外）， 为起作用约束。由于约束条件为“ ”的形式，可知约束函数的梯度方向指向可行域外（即约束函数值增大的方向），为满足 ， 必须大于零。,现代设计方法第2章 优化设计的数学基础,重庆大学机械工程学

12、院,21,设 为在点 处的起作用约束，且 是极值点，则由上式及其分析可知： 这就是不等式约束优化问题的极值条件，称为库恩塔克（Kuhn-Tucker）条件，简称K-T条件。该条件表明，目标函数在约束极值点的负梯度 等于在该点起作用约束函数的梯度 的非负线性组合（如图2-7所示，此时 ）。,（2-18）,图2-6 极值点处目标函数的梯度为零,图2-7 极值点处目标函数的梯度不为零,现代设计方法第2章 优化设计的数学基础,重庆大学机械工程学院,22,例2-4 试用库恩塔克条件判断点 是否为如下优化问题的极值点。,解：（1）在设计空间中画出该优化问题的目标函数等值线和可行域图。 根据目标函数和约束条

13、件，画出表示该问题的可行域D和目标函数 的一些等值线图，如图2-8所示。,现代设计方法第2章 优化设计的数学基础,重庆大学机械工程学院,23,（2）分析约束条件。 由图2-8可见，在点 处起作用的约束有两个， 和 。 （3）计算 ， 和 在点 处的梯度。,现代设计方法第2章 优化设计的数学基础,重庆大学机械工程学院,24,（4）将 、 、 代入库恩塔克条件,得,求解得: ， ，均非负，满足库恩塔克条件，故点 即为该约束优化问题的极值点。,必须指出，库恩塔克条件是多元函数取得约束极值的必要条件，既可以用来作为约束极值点的判别条件，又可以用来直接求解比较简单的约束优化问题。但K-T条件不是多元函数取得约束极值的充分条件。只有当目标函数 是凸函数，且所有约束函数 也都是凸函数，即为凸规划问题时，K-T条件才是极值存在的充分必要条件。 对于目标函数为凸函数，可行域D为凸集的规划问题（凸规划问题）而言，局部极值点与全局最优点是重合的，符合K-T条件的点就是全局最优点。但是，对于非凸规划问题则不然。对于非凸规划问题来说，判断一个极值点是局部极值点还是全局最优点有时是困难的。在优化设计实践中，常常采用从几个不同的初始点开始探索的方法，来检验它们是否收敛到同一个极值点。如果最后都收敛到同一个极值点，则它就是全局最优点；如果最后得到的是不同的极值点，则要比较这些点的函数值，再从