《凸函数课件》由会员分享，可在线阅读，更多相关《凸函数课件（32页珍藏版）》请在金锄头文库上搜索。
1、最优化设计,汕头大学工学院,学习目标,1、理解凸函数的定义，并能进行简单的凸函数证明。 2、了解凸函数的基本性质。 3、掌握凸函数的一阶与二阶判定方法。,第三节 凸函数,一、凸函数的定义,定义1 设函数f(x)为定义在凸集D上的n元实函数。如果任取D中的两个不同点x1，x2，以及0,1，都有 fx1+(1-)x2f(x1)+(1-)f(x2) 则称f(x)是定义集D上的凸函数。,定义2 严格凸函数 fx1+(1-)x2f(x1)+(1-)f(x2) 则称f(x)是定义集D上的凸函数。 注：将上述定义中的不等式反向，可以得到凹函数的定义。,凸函数的几何性质,对一元函数f(x),在几何上f(x1)
2、+(1-)f(x2)（01)表示连接(x1，f(x1)， (x2，f(x2)的线段。 fx1+(1-)x2表示在点x1+(1-)x2处的 函数值。 所以一元凸函数表示连接函数图形上任意两点 的线段总是位于曲线弧的上方。,例1：设f(x)=(x-1)2,试证明f(x)在（-，+） 上是严格凸函数。 证明：设x，yR，且xy，（0 ，1）都有： fx+(1-)y-f(x)+(1-)f(y) =x+(1- )y-12 - (x-1)2 - (1- )(y-1)2 = -(1- )(x-y)20 因此f(x)在（-，+）上是严格凸函数。,例2：试证线性函数是Rn上的凸函数。 f(x)=cTx=c1x1
3、+c2x2+cnxn 证明：设x，yR，（0,1），则 fx+(1-)y=cTx+(1- )y = cTx+(1-) cTy=f(x)+(1-)f(y) 所以cTx是凸函数。 类似可以证明cTx是凸函数。,二、凸函数的性质,性质1：定义在同一凸集上的有限个凸函数的非负线性组合是凸函数。 证明: 设fi(x),i=1,2,k是定义在同一凸集D上的k个凸函数，1，2，k是k个非负数。记 f(x)= fi(x) 现任取D内的两个点x1，x2，以及（0,1），由于 是D上的凸函数，必有 fix1+(1-)x2 fi(x1)+(1-)fi(x2)，i=1,2,k,fx1+(1-)x2= fi (x1+(
4、1-)x2) fi(x1)+(1-)f(x2) = fi(x1)+(1- ) f(x2) =f(x1)+(1-)f(x2) 由凸函数的定义，可知f(x)是D上的凸函数。,定义3 （-水平集） 设f(x)是定义在集合R上的实函数，是实数，则称如下的集合 S=x | xR , f(x) 是函数f(x)的-水平集。,性质2 凸函数的任一-水平集是凸集。,证明 设f(x)是定义在凸集D上的凸函数，是任一给定的实数。现任取S内两点x1,x2以及（0, 1），则由S的定义 f(xi)，且xiD,i =1，2 D是凸集 x1+(1-)x2D 又因为f(x)是D上的凸函数，所以有 fx1+(1-)x2f(x1
5、)+(1-)f(x2) +(1-)= 表明，x1+(1-)x2 S 所以， S是凸集。,下面的图形给出了凸函数 f(x,y) = x4 + 3x2 +y4 + y2 +xy的等值线的图形，可以看出水平集是凸集。,性质3 设D是内部非空的凸集，f(x)是定义在D上的凸函数，则f(x)在D的内部连续。 注意：凸函数在定义域的边界有可能不连续。 例如，设f(x)的定义域是区间1,4 x2,1x4 2,x=1 f(x)是区间1,4上的凸函数，但显然在边界点x=1处不连续。,三、凸函数的判定,定理1 （凸函数的一阶充要条件） 设D是开凸集，f(x)在D上具有一阶连续导数。那么，f(x)是D上的凸函数的充
6、要条件是：对D上任意两个不同点x1,x2，恒有 f(x2) f(x1) + f(x1)T(x2-x1),证明 （必要性） X1+ (x2-x1) = x2+(1-)x1D 由一阶Taylor展式，有 f(x1+ (x2-x1)= f(x1) + f(x1)T(x2-x1)+o() (1) 而由于f(x)是D上的凸函数，又有 f(x1+ (x2-x1)=f( x2+ (1- )x1) f(x2) + (1- ) f(x1) (2) 两式联立，有 f(x2) + (1- ) f(x1) f(x1) + f(x1)T(x2-x1)+o(),f(x2) f(x1) + f(x1)T(x2 - x1)+
7、 令0+，则有 0 故 f(x2) f(x1) + f(x1)T(x2-x1) （充分性）任取01，记 X= x1+(1-)x2 由已知条件有 f(x1) f(x) + f(x)T(x1-x) f(x2) f(x) + f(x)T(x2-x) 所以 f(x1) f(x) + f(x)T(x1-x),(1-) f(x2) (1-) f(x) + (1-)f(x)T(x2-x) 两式相加，并进行整理，得 f(x1) +(1-) f(x2)f(x) + f(x)Tx1+(1-)x2 -x 注意到正好有 X =x1+(1-)x2 因此 f(x1) +(1-) f(x2)f(x) =fx1+(1-)x2
8、 表明f(x)是凸集D上的凸函数。,定理1（严格凸函数的一阶充要条件）,设D为开凸集，f(x)在D上具有一阶连续导数。那么，f(x)是D上的凸函数的充要条件是：对D上任意两个不同点x1,x2，恒有 f(x2) f(x1) + f(x1)T(x2-x1),例3 设f(x)=x4，x属于（-，+），判断函数的凸凹性。 解：任取两相异点x1，x2，则有 f(x1)= f(x1)=4x13 f(x2)-f(x1) + f(x1)T(x2-x1) =x24-x14-4x13(x2-x1) =x24-2x12x22+x14+2x12x22-4x13x2+2x14 =(x12-x22)2+2x12(x1-x
9、2)20 由定理1，知f(x)是严格凸函数。,定理2 （凸函数的二阶充要条件）,设D是开凸集，f(x)在D上二次可微。那么， f(x)是D上的凸函数的充要条件是： f(x)在D上的Hesse矩阵2f(x)是半正定的。,证明 （充分性） 设对D上任一点X， 2f(x)是半正定矩阵。现任取D上两相异点x1,x2,由Taylor展式，有 f(x2)=f(x1)+f(x1)T(x2-x1)+ (x2-x1) T 2 (x2-x1) 其中， =x1+(1-)x2 , 01 由于D是凸集，故 D,由已知条件，当然2 也是半正定矩阵。于是有 (x2-x1)T 2 (X2-X1) 0,（所以， f(x2) f
10、(x1) + f(x1)T(x2-x1) 表明f(x)确为凸函数。 （必要性）由于D是开集，故对D上任意点X，以及任一给定的非零向量Y，总可找到充分小的正数，使得 X+Y D 由Taylor展式，有 f(X+Y)=f(X)+ f(X)TY + YT2f( )TY +o(2),又由于f(X)是D上的凸函数，由凸函数的一阶条件，有 f(X+Y) f(X)+ f(X)T Y 因此 YT2f( )T Y +o(2) 0 YT2f( )Y + 0 令0+，则有 0 则 YT2f( )Y 0 由半正定矩阵的定义，知 2f( )是半正定矩阵。,定理2 （严格凸函数的二阶充分条件）,设f(x)是开凸集上的实函
11、数，若f(x)的Hesse矩阵2f(x)在D上处处正定，则 f(x)是D上的严格凸函数。 证明略,例4 试判断下列函数的凸凹性。 a)f(x)=5x12+x1x2+x22-5x1+4x2,x（-,+） b)f(x)=-x12+3x1x2-4x22-6x1+3,x（-,+） c)f(x)=x12+2x23-x3,x10,x20,-x3+ d)f(x)=x12+4x1x2-x22,解 a) 由于2f(x)的一阶顺序主子式为10，大于零，2阶行列式为,表明2f(x)正定，故f(x)是严格凸函数。 b) 2f(x)的奇数阶（一阶）顺序主子式分别为-2，小于零；偶数阶主子式为 表明2f(x)负定，f(x)是严格凹函数。,c） 2f(x)的一阶主子式分别为2,12x2,0均非负（x20）；二阶主子式分别为 三阶主子式为,表明2f(x)半正定，f(x)是（非严格的）凸函数。 d) 其一阶主子式既有正也有负，表明2f(x)既非半 正定也非半负定，f(x)既非凸函数也非凹函数。,The End,Thanks!,
