《计算智能非线性优化计算(1)剖析》由会员分享，可在线阅读，更多相关《计算智能非线性优化计算(1)剖析（18页珍藏版）》请在金锄头文库上搜索。
1、无约束最优化-基础知识,凸集及其性质,定义1： 非空集合 称为凸集，若对于任意 和 任意的实数 ，使连接 两点的线段上的任意 点 ，即：,定义1： 非空集合 称为凸集，若对于任意 和 任意的实数 ，使连接 两点的线段上的任意 点 ，即：,定义2： 非空集合 称集合 为 凸包，若 当且仅当,定义3： 非空集合 称为凸锥，若对于任意 和 任意的实数 ，使连接 两点连线 ，即：,定理1：线性性质。设 为凸集， 为一定常数，则如下集合均为凸集。,定理2（投影定理）：设 为非空、闭集， ，则有,定理3（可分离平面定理）：设 为非空，闭凸集， 则存在非零向量 及常数 ，使对任意 都有,一般函数极值的最优性
2、条件,定义1：设 ，称 在 处可微，若存在向量 ，对于任意的 ，使,定理 若 在 处可微，则 在该点处存在关于自变量的一阶偏导数，且有,定义： 以 的 个偏导数为分量的 维向量称为 在 处的梯度，记为,梯度也可以称为 关于向量 的一阶导数，常记为grad(f(x),特殊函数的梯度公式,向量函数及其导数,定义1：称向量函数 在 处可 微，如果 的所有分量 在点 可微，即成立。,局部极值最优性条件,定理1：设 在 处可微， 为 在 处的下降方向，则存在 使得对于,定理2：设1) 若 在 可微，且 为 的局部极 小，则,2) 若 在 处二次可微，且 为 的局部极小，则,Hesse 矩阵 半正定,凸函
3、数,设 是一个凸集，若对 ， 有 ，则称函数 是 上的凸函数,无约束极值,下降算法,对于给定的初始点 ，作如下计算,1） 取定下降方向,2） 确定步长 ：即以 为方向，做射线 使得,3） 迭代：以 作为 的一次近似,算法1,1）给定初始近似值,2）置,3)计算,4)计算,5)计算,6） 检查终止原则,7）置 转3）,1）它必须是下降方向 2）希望它尽可能指向极小点，或者使函数下降最快； 3）构造它时，计算量不要太大,1）定步长,2）变步长,3） 最优步长,梯度法,1）给定初始近似值,3）置,4)计算负梯度方向,5)计算,6)计算,8） 检查终止原则,9）置 转4）,已知： 目标函数 及其梯度,2）计算,7）计算,
