过程建模567-非线性规划讲义

《过程建模567-非线性规划讲义》由会员分享，可在线阅读，更多相关《过程建模567-非线性规划讲义（64页珍藏版）》请在金锄头文库上搜索。

1、下篇 非线性系统建模 多年来，对线性、时不变和具有不确定参数的对象 进行辨识的研究已取得很大进展。 然而，非线性系统大量存在于工程、经济、社会和 生物系统中，应用传统的辨识方法很难解决这些非线性 时变系统的辨识问题。传统的线性系统辨识方法，在理 论研究和实际应用中都存在极大的困难。 5 非线性建模概述 非线性是研究、分析系统时常常会遇到的一种现象。 由于非线性现象从整体上非常复杂，处理起来较为困难， 因此，常常为了简化问题而把研究的范围限制在系统的局 部性质，用泰勒展开式中的一次项来近似（线性）地描述 系统。 要对非线性系统进行正确的分析和综合，首先要正确地描 述非线性系统的整体行为，也就是要

2、建立系统的非线性模 型。 5 非线性建模概述 非线性模型结构辨识非线性模型结构辨识 非线性模型参数估计 5 非线性建模概述 非线性模型结构辨识非线性模型结构辨识 有三种途径获得非线性模型的结构： u根据对象的机理（物理、化学原理和定律）或经验确 定模型结构； u根据已有先验知识，从各种典型非线性模型类中去选 择一个合适的结构； u当模型先验知识十分缺乏时，可用某种一般形式的结 构去逼近非线性系统。 指数模型 对数模型 双线性模型 哈默斯模型 Volterra级数及其离散形式 神经网络模型 支持向量机模型 5 非线性建模概述 非线性模型参数估计 假设已知非线性动态系统模型结构： 其中f是已知非线

3、性函数， 是待估计的参数向量。 对该连续动态系统，从初始点 出发可以得到模型的解 因此，对于如（1）式的非线性动态系统参数辨识问题，往往归 结为式（2）的 非线性静态模型参数估计问题。 其误差平方和最小准则为： 5 非线性建模概述 非线性模型参数估计 在获得的或假定的模型结构上，通过某个误差准则函数来确定模型 的参数。若采用误差平方和最小准则，则称为非线性最小二乘问题。 求解的方法主要是运用最优化方法求解。如 l微分法 l单纯形搜索 l牛顿-拉夫森算法 l最速下降法 l遗传算法 l模拟退火算法 非线性规划 智能优化方法 5 非线性建模概述 如果因变量与其影响因素之间不呈现线性关系，而根据 机理

4、分析发现它们之间可以用非线性模型来描述，此时 ，需要考虑非线性回归问题。 许多非线性回归问题可以转化为线性回归问题，其基本 思路如下： 6 非线性回归 配曲线变量置换线性回归 非线性规划 例: 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵 蚀，容积不断增大.我们希望知道使用次数与增大的容积之间 的关系.对一钢包作试验，测得的数据列于下表： 6 非线性回归 6.1 配曲线 散 点 图 此即非线性回归或曲线回归 问题（需要配曲线） 6 非线性回归 6.1 配曲线 配曲线的一般方法是： 6 非线性回归 6.1 配曲线 通常选择的六类曲线如下： 6 非线性回归 6.1 配曲线 6 非线性回归 6.

5、1 配曲线 在非线性回归分析中，根据散点图选配曲线后，针对曲 线的非线性回归方程，需要通过变量置换法将其转化为 线性方程，最后按照线性回归的方法求解。 我们讲过，对本质线性的过程，都可以将其输入输出方 程转化为最小二乘格式（或者说线性回归模型），因此 可用线性回归分析求解。 6 非线性回归 6.2 变量置换法 利用变量置换法求解非线性回归方程简单易行，但是理 论上存在缺陷。 原始模型的噪声在变量置换中如何映射到新的模型不清 楚，难以进行相关分析和统计检验。此外，有些变量的取值 限制了变量置换法的使用，如变量可以取负值就不能对它取 对数或者开平方。 虽然变量置换也可看成一种映射，但是一般来讲这种

6、映 射很难用解析的形式表达，很难从原始样本空间的概率特性 演绎出新样本空间的概率特性，当然更无法分析参数空间的 概率特性。 变量置换法的问题： 6 非线性回归 6.2 变量置换法 对于不能采取线性化方法回归的非线性回归问题，可用 非线性规划来描述： 6 非线性回归 6.3 非线性规划法 设已知变量 ，可用非线性回归模型描述，配 曲线为： 求解合理的模型参数 ，使 达到极小值。 6 非线性回归 6.3 非线性规划法 因此，非线性回归的问题可以转化为如下非线性规划问 题进行求解： 7 非线性规划 7.1 数学规划基本概念 从前面第5和第6章的介绍，我们知道，本质非线性系 统的建模，在模型结构确定情

7、况下，无论静态系统还是动 态系统，都最终归结为用非线性规划法求解模型的参数。 事实上，在实际工业过程中，还有许多直接使用数学 规划建立最优化模型的应用，如最优路径问题、资源分配 问题、生产计划与调度问题、投资问题、装载问题以及生 产过程最优控制等。 本章从最优化与数学规划建模开始进行介绍。 数学规划（MP, Mathematical Programming) 俗称最优化,首先是一种理念,其次才是一种方法 ,它所追求的是一种“至善”之道,一种追求卓越 的精神。 7 非线性规划 7.1 数学规划基本概念 小明同学，烧一壶水要8分钟，灌开水要1分钟，取 牛奶和报纸要5分钟，整理书包要6分钟，为了尽快

8、做完这 些事，怎样安排才能使时间最少？最少需要几分钟？ 10个人各提一只水桶，同时到水龙头前打水。设水 龙头注满第一个人的桶需要1分钟，注满第二个人的桶需要 2分钟，依此类推，注满第几个人的桶就需要几分钟，如果 只有一只水龙头，适当安排这10个人的顺序，就可以使每 个人所费的时间总和尽可能少，问这个总费时至少是几分 钟？ 7 非线性规划 7.1 数学规划基本概念 数学规划(最优化)作为一门学科孕育于20世纪 的30年代,诞生于第二次世界大战弥漫的硝烟中。 数学规划指在一系列客观或主观限制条件下， 寻求合理分配有限资源使所关注的某个或多个指标 达到最大（或最小）的数学理论和方法，是运筹学 里一个

9、十分重要的分支。 7 非线性规划 7.1 数学规划基本概念 数学规划模型的一般形式为： （1） （2） 约 束 条 件决策变量 规划问题：求目标函数在约束条件下的最值 同时获得决策变量的最优解 目标函数 7 非线性规划 7.1 数学规划基本概念 数学规划模型三要素： 7 非线性规划 7.1 数学规划基本概念 决策变量(decision variables):它们是决策者所控制的那 些数量，它们取什么数值需要决策者来决策，规划问题的 求解就是找出决策变量的最优取值 约束条件(constraints)：它们是决策变量在现实世界中所 受到的限制，或者说决策变量在这些限制范围之内取值才 有实际意义 目

10、标函数(objective function):它代表决策者希望对其进 行优化的那个指标。目标函数是决策变量的函数目标函数是决策变量的函数 （2）所确定的x的范围称为可行域 满足（2）的解x称为可行解 同时满足（1）（2）的解x称为最优解 整个可行域上的最优解称为全局最优解 可行域中某个领域上的最优解称为局部最优解 最优解所对应的目标函数值称为最优值 7 非线性规划 7.1 数学规划基本概念 数学规划模型的分类 （一）按有无约束条件可分为： 1.无约束规划(unconstrained programming)。 2.约束规划(constrained programming)。 大部分实际问题都

11、是约束优化问题。 7 非线性规划 7.1 数学规划基本概念 （二）按决策变量取值是否连续可分为： 1.连续规划。 可继续划分为线性规划(LP)和非线性规划(NLP)。 在非线性规划中有一种规划叫做二次规划(QP, Quadratic programming)，目标为二次函数，约束为线性函数。 2.离散规划。 包含：整数规划(IP, Integer programming)， 整数规划中又包含很重要的一类规划：0-1（整数）规划 ，这类规划问题的决策变量只取0或者1。 7 非线性规划 7.1 数学规划基本概念 （三）按规划目标的多少可分为： 1.单目标规划。 2.多目标规划。 （四）按模型中参数

12、和变量是否具有不确定性可分为： 1.确定性规划。 2.不确定性规划。 （五）按问题求解的特性可分为： 1.目标规划。 2.动态规划。 3.多层规划。 4.网络优化。 5.等等。 7 非线性规划 7.1 数学规划基本概念 7 非线性规划 7.2 非线性规划的求解 凡目标函数或约束条件中包含有非线性函数的数 学规划问题都称为非线性规划问题。 它可分为无约束非线性规划与约束非线性规划。 较之线性规划模型而言 ，非线性规划模型更能 真实地反映问题的实质 。 7 非线性规划 7.2 非线性规划的求解 1. 无约束的非线性规划模型 其中，f 是 的非线性函数， 称为可行域。 7 非线性规划 7.2 非线性

13、规划的求解 2. 约束的非线性规划模型 其中， 的非线线性函数。中至少有一个是 x 估计最小二乘准则下的非线性系统模型参数 ，可转化 为上式的非线性规划问题。即求满足约束条件, 且使模 型输出误差平方和最小的 。 决策变量 待估计的非线性模型参数 目标函数 输出误差平方和 约束条件 待估计参数的可取值范围 非线性系统参数估计问题的描述： 7 非线性规划 7.2 非线性规划的求解 求解无约束非线性规划问题的方法： （1）微分法，根据目标函数的极值点所对应的一阶导数 为零，解联立方程组： 这是一个非线性方程组，一般很难用解析方法求解，必须用 数值计算方法逐步求出其解。这样不如用数值计算方法直接 求

14、目标函数的极值。 7 非线性规划 7.2 非线性规划的求解 （2）数值法。可分为：（参见“最优化方法”课程） l 直接搜索法：黄金分割法(0.618法)、梯度法 l 迭代法：牛顿法、拟牛顿法、共轭梯度法 7 非线性规划 7.2 非线性规划的求解 7 非线性规划 7.2 非线性规划的求解 非线性规划问题的计算机求解 LINGO软件和MATLAB软件 对于LINGO软件，线性优化求解程序通常使用单纯形 法simplex method。非线性优化求解程序采用的是顺序 线性规划法，也可用顺序二次规划法(SQP)、广义既约梯度 法，另外可以使用多初始点（LINGO中称multistart）找多 个局部最

15、优解增加找全局最优解的可能，还具有全局求解程 序分解原问题成一系列的凸规划。 MATLAB软件的优化工具箱，提供了线性/非线性规划 、无约束/约束规划一些列函数可供调用。 7 非线性规划 7.2 非线性规划的求解 优化工具箱3.0 (MATLAB 7.0 R14) 连续优化离散优化 无约束优化 非线性 极小 fminunc 非光滑(不可 微)优化 fminsearch 非线性 方程(组 ) fzero fsolve 全局 优化 暂缺 非线性 最小二乘 lsqnonlin lsqcurvefit 线性规划 linprog 纯0-1规划 bintprog 一般IP(暂缺) 非线性规划 fmincon fminimax fgoalattain fseminf 上下界约束 fminbnd fmincon lsqnonlin lsqcurvefit 约束线性 最小二乘 lsqnonneg lsqlin 约束优化 二次规划 quadprog 7 非线性规划 7.2 非线性规划的求解 LINDO/LINGO 软件 线性规划非线性规划 二次规划 连续优化整数规划 LINDO LINGO 线性优化求解程序非线性优化求解程序 1. 单纯形算法 2. 内点算法(选) 1、顺序线性规划法(SLP) 2、广义既约梯度法(GRG) (选) 3、多点搜索(Multistar