《工程最优化设计_第3章优化方法的数学基础》由会员分享，可在线阅读，更多相关《工程最优化设计_第3章优化方法的数学基础（77页珍藏版）》请在金锄头文库上搜索。
1、 3.1 3.1 矩阵矩阵 矩阵是研究优化方法的一个有力工具。矩阵是研究优化方法的一个有力工具。 1、矩阵及其主要形式：、矩阵及其主要形式： = mnmm n n aaa aaa aaa A 21 22221 11211 系数矩阵：系数矩阵： mnmnmm nn nn bxaxaxa bxaxaxa bxaxaxa =+ =+ =+ . . . 2211 22222121 11212111 方程组：方程组： 2 2、矩阵的形式：、矩阵的形式： 3 3、矩阵的运算：、矩阵的运算： 矩阵的加、减、乘、矩阵的转置、逆矩阵等矩阵的加、减、乘、矩阵的转置、逆矩阵等 = 43 21 A 0246=+=A
2、= 1 A = = = 2 1 2 3 12 13 24 2 1 13 24 43 21 1 43 21 1 例：求矩阵例：求矩阵 解：因为解：因为A的行列式的行列式 所以矩阵所以矩阵A为非奇异矩阵，其逆矩阵存在为非奇异矩阵，其逆矩阵存在 的逆矩阵。的逆矩阵。 3.2 向量向量 1、基本概念、基本概念 x1 o X Y X Y X Y C x2 A(x1A,x2A)T B(x1B,x2B)T 向量向量 = A A x x X 2 1 为二维平面列向量为二维平面列向量 三维空间向量三维空间向量 n维向量维向量超越空间向量超越空间向量 向量和点都可用矩阵表示为：向量和点都可用矩阵表示为： = n
3、x x x X 2 1 向量与分量关系向量与分量关系 单位向量：单位向量：不能单独的说单位向量，只能说某个向量 的单位向量。 单位向量就是指模是一的向量。它有 方向，其方向与原来的那个向量相同。其求法是用原 来的那个向量除以它的模 。 向量向量X的长度称为模，记作的长度称为模，记作 = =+= n i in xxxxX 1 222 1 2 1 XX / 2 2、向量的运算、向量的运算 向量的加减向量的加减： 数与向量相乘数与向量相乘： 向量的点积（也称内积、数积）向量的点积（也称内积、数积） = =+= n i iinn yxyxyxyxYX 1 2211 COSYXYX= XYYXYX TT
4、 =或 向量的正交向量的正交 2 = 0cos=YXYX0=YX T 若两个非零向量若两个非零向量X，Y的夹角的夹角 为正交向量。为正交向量。 或或 正交向量必有：正交向量必有： ,则称它们则称它们 K XXX, 21 )(0jiXX ji = 设设为为k个非零向量，若对于所有向量有：个非零向量，若对于所有向量有： 则称该向量系为正交向量系。则称该向量系为正交向量系。 3 3、向量的线性相关和线性独立、向量的线性相关和线性独立 n aaa, 21 n , 21 0 2211 =+ nna aa 若有非零向量系若有非零向量系,存在一组不全为零的实数存在一组不全为零的实数 ,使使成立，则称该向量成
5、立，则称该向量 系系线性相关线性相关。 只有当只有当 0 21 = n 则该向量系为则该向量系为线性无关。线性无关。 时时,上式才能成立，则称上式才能成立，则称 如果如果n n个向量系个向量系 n aaa, 21 其它其它n-1个向量的线性组合表示出来，则称这个向量的线性组合表示出来，则称这n n个向量是个向量是 线性相关的，否则就是线性无关。线性相关的，否则就是线性无关。 中，至少有一个向量可以用中，至少有一个向量可以用 TTT aaa0 , 1 , 1 , 1 , 0 , 1 ,2 , 1 , 3 321 = 321 2aaa+= 例：讨论向量系例：讨论向量系 解：很显然，由于此向量系中，
6、第一个向量可以用解：很显然，由于此向量系中，第一个向量可以用 其他两个向量的线性组合形式表示出来，即其他两个向量的线性组合形式表示出来，即： 故此向量系是线性相关的。故此向量系是线性相关的。 的线性相关性。的线性相关性。 2 2、一阶导数和方向导数、一阶导数和方向导数 一阶导数：一阶导数： n kkk x Xf x Xf x Xf )( ,., )( , )( )( 2 )( 1 )( 对于一个连续可微函数对于一个连续可微函数f( (x) )在某一点的偏导数为：在某一点的偏导数为： )(xf )(k X它表示函数它表示函数处沿各坐标轴方向的变化率。处沿各坐标轴方向的变化率。在点在点 )(xf
7、)(k X 处沿各坐标轴的斜率。处沿各坐标轴的斜率。 即函数即函数在点在点 O x2 x1x10 x20 x0 x1 x2 s x S 1 2 方向导数：方向导数： 为了描述函数沿任一为了描述函数沿任一 方向方向S的函数的变化率，的函数的变化率， 引入方向导数概念。引入方向导数概念。 二元函数在点二元函数在点x0 0处沿处沿s 方向的方向导数：方向的方向导数： 2 2 ) 0 ( 2 ) 0 ( 12 ) 0 ( 2 ) 0 ( 11 1 2 ) 0 ( 2 ) 0 ( 12 ) 0 ( 21 ) 0 ( 1 0 ) 0 ( 2 ) 0 ( 12 ) 0 ( 21 ) 0 ( 1 0 ) 0
8、( ),(),(),(),( ),(),()( lim lim x x xxfxxxfx x xxxfxxxxf xxfxxxxf S Xf + + + = + = 2 2 )0( 1 1 )0( cos )( cos )( x Xf x Xf + = 特例：特例： 1 )0()0( )()( x Xf S Xf = 2 )0()0( )()( x Xf S Xf = 90,0 21 = 0,90 21 = 方向导数的计算公式方向导数的计算公式 偏导数是方向导数的特例偏导数是方向导数的特例 2 2 )0( 1 1 )0()0( cos )( cos )()( x Xf x Xf S Xf +
9、= 8 23 4 cos 44 cos 2 )( 2 121 )0( =+= xxx S Xf 4 )( , 2 )( 2 1 2 21 1 x x Xfxx x Xf = = 解：因为解：因为 )(Xf )0( X所以，所以，在点在点 处沿处沿S S方向的方向导数为：方向的方向导数为： 2 2 1 4 1 )(xxXf=)(Xf T X 1 , 1 )0( = 4 21 = 例：设函数例：设函数 ,求求在点在点 的方向导数。向量的方向导数。向量S S的方向为的方向为 处沿处沿S S方向方向 3 3、 梯度梯度 目的：判断函数在给定点目的：判断函数在给定点X(0)处沿哪个方向的变化率处沿哪个方
10、向的变化率 最大。最大。 (0) 1 (0) 2 2 1 0 () ( co c) s os f X x f X x gh = (0)(0)(0) 12 12 (0)(0) 1 0 12 2 ()()() coscos cos ()() cos T f Xf Xf X Sxx f Xf X g h xx =+ = (0)(0)(0) 12 (0)(0)(0) 1 2 cos cos cos ()()() ()()() cos f Xf Xf X xx f Xf Xf s hXh = = = 梯度的模：梯度的模： 22 (0)(0) (0) 12 ()() () ff f xx =+ XX X
11、梯度方向和梯度方向和s方向重合时，方向导数值最大方向重合时，方向导数值最大。 (0) (0)(01 (0) 2 ) ()() () () f X f x f x f X = XXgrad称为函数在称为函数在X(0) (0)处的 处的梯度梯度 方向导数方向导数 梯度梯度 O x2 x1 x0 变化率为零的方向 最速下降方向 下降方向 上升方向 最速上升方向 f(x0) f(x0) 梯度方向是函数值变化最快的方向，梯度方向是函数值变化最快的方向，而梯度的模而梯度的模 就是函数变化率的最大值就是函数变化率的最大值 。 梯度方向与等值线的关系梯度方向与等值线的关系 多元函数的梯度多元函数的梯度 (0)
12、 1 (0) (0)(0) (0) 2 12 (0) () () ()() () () T n n f x f ffF xf xxx f x = X X XX X X (0)(0) (0)(0) 1 ()() cos()() cos n T i i i ff fhf sx = = = XX XX 1 (0) 2 (0)2 1 () ()() n i i f f x = = X X (0) ()fX梯度梯度模：模： 1 1、函数的梯度方向与函数等值面相垂直，也就是函数的梯度方向与函数等值面相垂直，也就是 和等值面上过和等值面上过x0 0的一切曲线相垂直。的一切曲线相垂直。 即：函数在即：函数在
13、给定点的梯度方向是函数等值线或等值面在该点的给定点的梯度方向是函数等值线或等值面在该点的 法线方向法线方向 2 2、由于梯度的模因点而异，即函数在不同点处的最、由于梯度的模因点而异，即函数在不同点处的最 大变化率是不同的。因此，梯度是函数的一种大变化率是不同的。因此，梯度是函数的一种局部局部 性质。性质。 函数梯度的几个特征：函数梯度的几个特征： 3、梯度大小是函数在该点的方向梯度大小是函数在该点的方向 导数的最大值，梯导数的最大值，梯 度方向是函数具有最大变化率的方向。它的正向是函度方向是函数具有最大变化率的方向。它的正向是函 数值最速上升的方向，负向是最速下降方向。数值最速上升的方向，负向
14、是最速下降方向。 cos)( )( )0( )0( Xf S Xf = 1cos= 2 与其相差与其相差的方向，必为该点的法线方向，这时的方向，必为该点的法线方向，这时 使得函数的变化率最大，此时使得函数的变化率最大，此时S的方向就是函数在该点的方向就是函数在该点 的梯度方向。的梯度方向。 2 = S Xf )( )0( 当当时时,函数的变化率函数的变化率为零，此时为零，此时S )0( X的方向就是函数的等值线或等值面在的方向就是函数的等值线或等值面在 点处的切线方向点处的切线方向 4、 例例:求函数求函数在点在点3,2T的梯度的梯度。 22 121 ( )44fxxx=+x 11 2 2 24 ( ) 2 f xx f xf x =
