《优化设计的数学基础第02章课件》由会员分享，可在线阅读，更多相关《优化设计的数学基础第02章课件（26页珍藏版）》请在金锄头文库上搜索。
1、第二章 优化方法的数学基础,第二节 凸集、凸函数与凸规划,第三节 多元函数的泰勒展开,第四节 无约束优化问题的极值条件,第五节 等式约束优化问题的极值条件,第六节 不等式约束优化问题的极值条件,第一节 方向导数与梯度,第一节 方向导数与梯度,概念 （1）导数 （2）偏导数,一、方向导数,二元函数在点x0处沿某一方向s 的方向导数,方向导数是偏导数概念的推广。,n元函数在点x0处沿s方向的方向导数,方向导数与偏导数之间的数量关系,二、 梯度,1、二元函数的梯度,函数F(x1，x2)在x0点处的梯度为：,方向导数：,梯度的模：,设,可见，梯度方向和s方向重合时，方向导数值最大。,则,二元函数梯度的
2、模,梯度方向是函数值变化最快的方向； 而梯度的模就是函数变化率的最大值 。,梯度方向与等值线的关系,设：,则有,为单位向量。,.,2、多元函数的梯度,函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。,由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。,多元函数梯度的模,性质一 函数在某点的梯度不为零，则必与过该点的等值面垂直；,梯度方向与等值面的关系,梯度两个重要性质,性质二 梯度方向是函数具有最大变化率的方向。,例题1,求函数 在点3,2T 的 梯度。,在点x(1)=3,2T处的梯度为：,解：,则函数在 处的最速下降方向是,
3、解：,则，新点是,这个方向上的单位向量是：,例题2,试求目标函数 f(x1, x2)=3x12-4x1x2+x22 在点 X0=0,1T 处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。,由于,三、几个常用的梯度公式,当极值点X*能使f（X*）在整个可行域中为最小值时，即在整个可行域中对任一X都有f（X）f（X*）时，则X*就是最优点，且称为全域最优点或整体最优点。 若f（X*）为局部可行域中的极小值而不是整个可行域中的最小值时，则称X*为局部最优点或相对最优点。 最优化设计的目标是全域最优点。为了判断某一极值点是否为全域最优点，研究一下函数的凸性很有必要。,第二节 凸集、
4、凸函数与凸规划,设D为n维欧氏空间中的一个集合，若其中任意两点X(1)、X(2)之间的联接直线都属于R，则称这种集合R为n维欧氏空间的一个凸集。 图（a）是二维空间的一个凸集，而（b）不是。,一、凸集,X（1）、X（2）两点之间的连接直线，可用数学式表达为:,（01）,则：,1）若R 为凸集，是一个实数，则集合R 仍是凸集；,2）若D 和F 均为凸集，则其和（或并）仍是凸集；,3）任何一组凸集的积（或交）仍是凸集。,凸集的性质,具有凸性（表现为单峰性）或只有唯一的局部最优值亦即全域最优值的函数，称为凸函数或单峰函数。 其数学定义是：,设 f（X）为定义在 n维欧氏空间中的一个凸集R上的函数，如
5、果对任何实数（01）以及对R中任意两点X(1)、X(2)恒有:,则f（X）为R上的凸函数。,二、凸函数,凸函数的几何解释 其凸集内任意两点X1、X2的线段上，函数值总是小于或等于用f(X1)及f(X2)作线性内插所得的值。,1）若 f（X）为定义在凸集D上的一个凸函数，且 a是一个正数（a 0），则 af（X）也必是定义在凸集D上的凸函数；,3）若f1(X），f2(X)为定义在凸集D上的两个凸函数，和为两个任意正数，则函数fl（X）f2(X)仍为D上的凸函数。,2）定义在凸集D上的两个凸函数f1(X），f2(X)，其函数和 f（X）=f1（X） f2（X）亦必为该凸集上的一个凸函数；,凸函数的
6、一些性质,怎样确定一个函数是否具有凸性？,1）若f（X）为定义在凸集R上且具有连续一阶导数的函数，则f（X）在R上为凸函数的充分必要条件为： 对任意两点X（1），X（2），不等式,恒成立,2）若f（X）为定义在凸集R上,且具有连续二阶导数的函数，则f（X）在R上为凸函数的充分必要条件为： 海赛矩阵G(x)在D上处处半正定。,三、凸性条件,几何意义？,凸性条件 例题,判断函数f(X)=4x12+8x22+x32-2x2-x1x2+30是凸集D上的一个凸函数，D=X|-xi , i=1,2,3。,解：用第二种判断方法，求Hessian矩阵,H(x)的各阶顺序主子式,所以，H(x)正定。,1、凸规划
7、定义 对于约束优化问题,式中若F（X）、 均为凸函数，则称此问题为凸规划。,四、凸规划,2、凸规划的一些性质,2）凸规划问题中的任何局部最优解都是全局最优解；,1）可行域 为凸集；,3）若F（X）可微，则X*为凸规划问题的最优解的充分必要条件为：,不论是无约束或有约束的优化问题，在实际应用中，要证明一个优化问题是否为凸规划，一般比较困难，有时甚至比求解优化问题本身还要麻烦。尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难实现。 故，在优化设计的求解中，不必花费大量精力用于求证函数的凸性，而通常是从几个初始点出发，找出几个局部最优解，从中选择目标函数值最好的解。,对任意,，满足,第三节
8、多元函数的泰勒展开,1、二元函数：在点x0即（x10，x20）处作泰勒展开，则：,其中：,一、函数的泰勒展开,1,1,2、多元函数泰勒展开,其中：,二、函数的二次型与二次型函数的正定,优化计算经常将目标函数表示成二次函数以便使问题的分析得到简化。 1、二次型 即二次齐次函数，矩阵表示为： f(x)=xTGx,2、二次型函数的正定 所谓正定，是指对任何非零矢量x，使 f(x)=xTGx 0 则二次型函数f(x)正定，G为正定矩阵。 优化计算中，在研究某点邻域的极值问题使常需要分析二次型函数是否正定。,三、泰勒展开 例题,解：函数在点x(1)处的函数值、梯度和二阶导数矩阵：,用泰勒展开将函数,在点,处简化成线性函数与二次函数。,简化的线性函数,简化的二次函数,而 x =,
