最优控制理论及应用ppt课件

《最优控制理论及应用ppt课件》由会员分享，可在线阅读，更多相关《最优控制理论及应用ppt课件（130页珍藏版）》请在金锄头文库上搜索。

1、 最优控制理论与应用最优控制理论与应用最最优控制控制实际与运用与运用 第一章第一章 最最优控制控制问题的普通概念的普通概念第二章第二章 最最优控制的控制的变分方法分方法第三章第三章 极小极小值原理及其运用原理及其运用第四章第四章 线性二次型性二次型问题的最的最优控制控制第五章第五章 动态规划划 最优控制理论与应用最优控制理论与应用一一 根本概念根本概念最优控制实际中心问题：最优控制实际中心问题： 给定一个控制系统给定一个控制系统已建立的被控对象的数学模型，选择一个允许已建立的被控对象的数学模型，选择一个允许的控制律，使被控对象按预定要求运转，并使给的控制律，使被控对象按预定要求运转，并使给定的

2、某一性能目的到达极小值或极大值定的某一性能目的到达极小值或极大值第一章第一章 最优控制问题的普通概念最优控制问题的普通概念 最优控制理论与应用最优控制理论与应用二二二二 最优控制问题最优控制问题最优控制问题最优控制问题1 1 例子例子 飞船软着陆问题飞船软着陆问题 宇宙飞船在月球外表着陆宇宙飞船在月球外表着陆时速度必需为零，即软着陆，这要靠发动机的推时速度必需为零，即软着陆，这要靠发动机的推力变化来完成。问题是如何选择一个推力方案，力变化来完成。问题是如何选择一个推力方案，使燃料耗费最小。使燃料耗费最小。m m 飞船的质量，飞船的质量，h h 高度，高度，v v 垂直速度，垂直速度，g g 月

3、球重力加速度常数，月球重力加速度常数，M M 飞船本身质量飞船本身质量F F 燃料的质量燃料的质量 最优控制理论与应用最优控制理论与应用软着陆过程开场时辰软着陆过程开场时辰t t为零为零 K K为常数为常数 ，初始形状，初始形状 末端条件末端条件 最优控制理论与应用最优控制理论与应用性能目的性能目的控制约束控制约束 义务：满足控制足控制约束条件下，求束条件下，求发动机推力的机推力的最最优变化律，使登月化律，使登月舱由初始出由初始出发点到达目的点到达目的处末末态，并使性能目的到达极，并使性能目的到达极值燃耗量最小燃耗量最小 最优控制理论与应用最优控制理论与应用例例2 2 火车快速运转问题火车快速

4、运转问题 设火车从甲地出发，设火车从甲地出发，求允许控制，使其到达乙地时间最短。求允许控制，使其到达乙地时间最短。m m 火车质量；火车质量； 火车加速度；火车加速度；u ut t产生产生加速度的推力且加速度的推力且 火车运动方程火车运动方程 最优控制理论与应用最优控制理论与应用2 2 问题描画问题描画(1) (1) 形状方程形状方程 普通方式为普通方式为 为为n n维形状向量维形状向量 为为r r维控制向量维控制向量 为为n维向量函数维向量函数 给定控制规律给定控制规律 满足一定条件时，方程有独一解满足一定条件时，方程有独一解 最优控制理论与应用最优控制理论与应用(2) (2) 允许控制允许

5、控制 ：, (3) (3) 目的集目的集 n维向量函数维向量函数 固定端问题固定端问题 自在端问题自在端问题 最优控制理论与应用最优控制理论与应用(4) (4) 性能目的性能目的 对形状、控制以及终点形状的要求，复合型性能对形状、控制以及终点形状的要求，复合型性能目的目的 积分型性能目的，表示对整个形积分型性能目的，表示对整个形状和控制过程的要求状和控制过程的要求 终点型目的，表示仅对终点形状终点型目的，表示仅对终点形状的要求的要求 最优控制理论与应用最优控制理论与应用最优控制的运用类型n积分型n1最小时间控制n2最小燃耗控制n3最小能量控制 最优控制理论与应用最优控制理论与应用n末值型n复合

6、型n1形状调理器n2输出跟踪系统 最优控制理论与应用最优控制理论与应用最优控制的研讨方法n解析法：适用于性能目的及约束条件有明显解析式n数值计算方法：性能目的比较复杂n1一维搜索法：适宜单变量求极值n2多维搜索法：适宜单变量求极值n梯度法：解析与数值方法相结合n1)无约束梯度法n2)有约束梯度法 最优控制理论与应用最优控制理论与应用第二章第二章 最优控制中的变分法最优控制中的变分法 2.1 2.1 泛函与变分法根底泛函与变分法根底平面上两点连线的长度问题平面上两点连线的长度问题 其弧长为其弧长为 最优控制理论与应用最优控制理论与应用普通来说，曲线不同，弧长就不同，即弧长依赖普通来说，曲线不同，

7、弧长就不同，即弧长依赖于曲线，记为于曲线，记为 。，称为泛函。，称为泛函。 ，称泛函的宗量，称泛函的宗量 泛函定义：泛函定义：x(t)x(t)是自变量是自变量t t的函数，的函数，假设对每个函数假设对每个函数x(t)x(t)，有一个，有一个J J值与值与之对应，那么变量之对应，那么变量J J称为依赖于称为依赖于x(t)x(t)的泛函，记的泛函，记J(x(t)J(x(t)例举：例举： 最优控制理论与应用最优控制理论与应用线性泛函与延续泛函：线性泛函与延续泛函：线性泛函线性泛函 泛函对宗量是线性的泛函对宗量是线性的延续泛函延续泛函 假设定义在线性赋范空间上的泛函又满足延续条件，称假设定义在线性赋范

8、空间上的泛函又满足延续条件，称J(x)为延续线性泛函为延续线性泛函 最优控制理论与应用最优控制理论与应用泛函与函数的几何解释泛函与函数的几何解释 宗量的变分宗量的变分 泛函的增量泛函的增量 泛函的变分泛函的变分 Jd= 最优控制理论与应用最优控制理论与应用定理定理 2.1 2.1 泛函的变分为泛函的变分为 最优控制理论与应用最优控制理论与应用例例 2.1 2.1 求泛函的变分求泛函的变分 最优控制理论与应用最优控制理论与应用泛函的极值定理定理 2.2 2.2 假设泛假设泛函函 有极值，那么必有有极值，那么必有 最优控制理论与应用最优控制理论与应用变分学预备定理 最优控制理论与应用最优控制理论与

9、应用2.2 2.2 欧拉方程欧拉方程(1)(1)无约束泛函极值的必要条件无约束泛函极值的必要条件定理定理2.3 2.3 设有如下泛函极值问题：设有如下泛函极值问题：及横截条件及横截条件 最优控制理论与应用最优控制理论与应用 2.2 2.2 欧拉方程欧拉方程 变分变分 分部积分分部积分 证明：证明： 最优控制理论与应用最优控制理论与应用例例 2.2 2.2 求平面上两固定点间连线最短的曲线求平面上两固定点间连线最短的曲线 ， 直线直线 最优控制理论与应用最优控制理论与应用例例2.32.3：知边境条件为知边境条件为 求使泛函到达极值的轨求使泛函到达极值的轨线线解：解： 最优控制理论与应用最优控制理

10、论与应用2.2 2.2 欧拉方程欧拉方程(2)(2)有等式约束泛函极值的必要条件有等式约束泛函极值的必要条件定理定理2.4 2.4 设有如下泛函极值问题：设有如下泛函极值问题：及横截条件及横截条件 最优控制理论与应用最优控制理论与应用例例2.42.4：设人造地球卫星姿态控制系统的形状方程为：设人造地球卫星姿态控制系统的形状方程为 最优控制理论与应用最优控制理论与应用 2.3 2.3 横截条件横截条件 讨论：讨论：A.A.B.B.C.C.D. D. 最优控制理论与应用最优控制理论与应用左端固定右端沿曲线变动左端固定右端沿曲线变动 横截条件横截条件C的推导的推导 最优控制理论与应用最优控制理论与应

11、用 最优控制理论与应用最优控制理论与应用例例 2.5 2.5 设性能目的泛函设性能目的泛函 末值时辰 未定，知 ， 解：由欧拉方程得解：由欧拉方程得由由x(0)=1x(0)=1求出求出b=1b=1；由横截条件知；由横截条件知 最优控制理论与应用最优控制理论与应用 最优控制理论与应用最优控制理论与应用 2.4 2.4 含有多个未知函数泛函的极值含有多个未知函数泛函的极值 泛函泛函 欧拉方程欧拉方程 边境值边境值 横截条件横截条件 最优控制理论与应用最优控制理论与应用 2.5 2.5 条件极值条件极值形状方程形状方程 泛函泛函 引进乘子引进乘子 构造新的函构造新的函数和泛函数和泛函 欧拉方程欧拉方

12、程 约束方程约束方程 最优控制理论与应用最优控制理论与应用例例 2.6 2.6 泛函泛函约束方程约束方程 边境条件边境条件 试求试求使泛函使泛函有极值。有极值。 解：化为规范方式解：化为规范方式 把问题化为规范方式，令把问题化为规范方式，令 最优控制理论与应用最优控制理论与应用约束方程可定为约束方程可定为边境条件为边境条件为 最优控制理论与应用最优控制理论与应用引进乘子引进乘子构造函数构造函数欧拉方程欧拉方程 最优控制理论与应用最优控制理论与应用解出解出 其中，其中，和和为恣意常数。为恣意常数。代入约束方程，并求解可得代入约束方程，并求解可得将将利用边境条件，可得：利用边境条件，可得： 最优控

13、制理论与应用最优控制理论与应用于是，极值曲线和于是，极值曲线和为：为： 最优控制理论与应用最优控制理论与应用问题：确定最优控制问题：确定最优控制 和最优轨线和最优轨线 ，使系统，使系统 由知初态转移到要求的目的集由知初态转移到要求的目的集 2.6 2.6变分法解最优控制问题变分法解最优控制问题并使指定的目的泛函并使指定的目的泛函到达极值到达极值 最优控制理论与应用最优控制理论与应用 2.6.1 2.6.1末端时辰固定时最优解的必要条件末端时辰固定时最优解的必要条件1 1末端受约束的情况末端受约束的情况引入拉格朗日乘子构造广义泛函引入拉格朗日乘子构造广义泛函 有有构造哈米顿函数构造哈米顿函数 最

14、优控制理论与应用最优控制理论与应用变分变分 最优控制理论与应用最优控制理论与应用定理定理2.52.5：对于如下最优控制问题：对于如下最优控制问题：u(t)u(t)无约束，无约束，tftf固定固定. .最优解的必要条件最优解的必要条件 最优控制理论与应用最优控制理论与应用定理定理2.62.6：对于如下最优控制问题：对于如下最优控制问题：u(t)u(t)无约束，无约束，tftf固定，固定，x(tf)x(tf)自在自在. .最优解的必要条件最优解的必要条件2 2末端自在的情况末端自在的情况 最优控制理论与应用最优控制理论与应用定理定理2.72.7：对于如下最优控制问题：对于如下最优控制问题：u(t)

15、u(t)无约束，无约束，tftf固定，固定，x(tf)x(tf)固定固定. .最优解的必要条件最优解的必要条件3 3末端固定的情况末端固定的情况 最优控制理论与应用最优控制理论与应用例例 2.7 2.7 思索形状方程和初始条件为思索形状方程和初始条件为的简单一阶系统，其目的泛函为的简单一阶系统，其目的泛函为，使，使其中其中，给定，试求最优控制给定，试求最优控制有极小值。有极小值。0t， 最优控制理论与应用最优控制理论与应用， 伴随方程伴随方程 边境条件边境条件 由必要条件由必要条件 解解: :引进伴随变量引进伴随变量，构造哈米顿函数，构造哈米顿函数 最优控制理论与应用最优控制理论与应用那么最优

16、控制为那么最优控制为 得得代入形状方程求解得代入形状方程求解得令令，那么有，那么有 最优控制理论与应用最优控制理论与应用边境条件边境条件 目的泛函目的泛函 哈米顿函数哈米顿函数 伴随方程伴随方程 ， 例例 2.8 2.8 重解例重解例 2.4 其解为其解为 最优控制理论与应用最优控制理论与应用 最优控制理论与应用最优控制理论与应用习题1：设一阶系统方程为性能目的取为式中常数试求使J取极小值的最优控制和相应的性能目的习题2：设二阶系统方程为性能目的取为求系统由知初态 在 转移到目的集 且使J取极小的最优控制和最优轨迹 最优控制理论与应用最优控制理论与应用 2.6.2 2.6.2 末端时辰自在的最

17、优解问题末端时辰自在的最优解问题tf有时是可变的，是目的泛函，选控制使有tf极小值 变分变分 最优控制理论与应用最优控制理论与应用 ， 必要条件必要条件 最优控制理论与应用最优控制理论与应用例例 2.7 2.7 目的泛函目的泛函 哈米顿函数哈米顿函数 伴随方程伴随方程 必要条件必要条件 最优控制理论与应用最优控制理论与应用 第三章第三章 最大值原理最大值原理 3.1 3.1 古典变分法的局限性古典变分法的局限性u(t)u(t)受限的例子受限的例子 矛盾矛盾!例例 3.1 3.1伴随方程伴随方程 极值必要条件极值必要条件 最优控制理论与应用最优控制理论与应用 3.2 3.2 最大值原理最大值原理

18、且且 定理定理 3.1 (最小值原理最小值原理) 设为设为允许控制，允许控制，为对应的积分轨线，为使为对应的积分轨线，为使为最优控制，为最优控制，为最优轨线，必存在一向量函数为最优轨线，必存在一向量函数，使得，使得和和满足正那么方程满足正那么方程 最优控制理论与应用最优控制理论与应用最最小小值值原原理理只只是是最最优优控控制制所所满满足足的的必必要要条条件件。但但对于线性系统对于线性系统 ，最小值原理也是使泛函取最小值得充分条件。最小值原理也是使泛函取最小值得充分条件。 最优控制理论与应用最优控制理论与应用例例 3.2 3.2 重解例重解例 3.1 3.1 ， 哈密顿函数哈密顿函数 伴随方程伴

19、随方程 由极值必要条件，知由极值必要条件，知 ， 又又于是有于是有 最优控制理论与应用最优控制理论与应用， 协态变量量与与控控制制变量量的的关关系系图 最优控制理论与应用最优控制理论与应用, ，例例 3.3 3.3 性能目的泛函性能目的泛函 哈密顿函数哈密顿函数 伴随方程伴随方程 ， 最优控制理论与应用最优控制理论与应用上有上有 最优控制理论与应用最优控制理论与应用协态变量与控制变量的关系图协态变量与控制变量的关系图 整个最优轨线整个最优轨线 最优控制理论与应用最优控制理论与应用例例 3.4 3.4 把系统形状在终点时辰转移到把系统形状在终点时辰转移到 性能目的泛函性能目的泛函 终点时辰是不固

20、定的终点时辰是不固定的 哈米顿函数哈米顿函数 伴随方程伴随方程 ， 最优控制理论与应用最优控制理论与应用H H是是u u的的二二次次抛抛物物线线函函数数，u u在在 上上一一定定使使H H有最小值，能够在内部，也能够在边境上。有最小值，能够在内部，也能够在边境上。 最优控制能够且只能取三个值最优控制能够且只能取三个值 此二者都不能使形状变量同此二者都不能使形状变量同时满足初始条件和终点条件时满足初始条件和终点条件 最优控制理论与应用最优控制理论与应用 ， 最优控制最优控制 最优轨线最优轨线 最优性能目的最优性能目的 最优控制理论与应用最优控制理论与应用例例 3.5 3.5 使系统以最短时间从给

21、定初态转移到零态使系统以最短时间从给定初态转移到零态 哈米顿函数哈米顿函数 伴随方程伴随方程 最优控制理论与应用最优控制理论与应用最优控制切换及最优轨线表示图最优控制切换及最优轨线表示图 最优控制理论与应用最优控制理论与应用 3.3 3.3 古典变分法与最小值原理古典变分法与最小值原理古古典典变变分分法法适适用用的的范范围围是是对对u u无无约约束束，而而最最小小值值原原理普通都适用。特别当理普通都适用。特别当u u不受约束时，条件不受约束时，条件就等价于条件就等价于条件 最优控制理论与应用最优控制理论与应用 3.4 3.4 极大值原理的运用：极大值原理的运用： 快速控制系统快速控制系统在实践

22、问题中，经常发生以时间为性能目的的在实践问题中，经常发生以时间为性能目的的控制问题。控制问题。如，当被控对象受干扰后，偏离了平衡形状，如，当被控对象受干扰后，偏离了平衡形状，希望施加控制能以最短时间恢复到平衡形状。希望施加控制能以最短时间恢复到平衡形状。凡是以运动时间为性能目的的最优控制问题称凡是以运动时间为性能目的的最优控制问题称为最小时间控制。为最小时间控制。 最优控制理论与应用最优控制理论与应用 3.4.1 3.4.1 快速控制问题快速控制问题性能目的性能目的 时间上限时间上限是可变的是可变的 从形状从形状转移平衡形状转移平衡形状所需时间最短所需时间最短 构造哈密顿函数构造哈密顿函数 最

23、小值原理最小值原理 分段常值函数分段常值函数 最优控制理论与应用最优控制理论与应用例例 3.4.1 3.4.1 有有一一单单位位质质点点，在在 处处以以初初速速度度2 2沿沿直直线线运运动动。现现施施加加一一力力 ， ，使使质质点点尽尽快快前前往往原原点点，并并停停留留在在原原点点上上。力力 简简称为控制。假设其它阻力不计，试求此控制力。称为控制。假设其它阻力不计，试求此控制力。质点运动方程质点运动方程 形状方程形状方程 哈密顿函数哈密顿函数 伴随方程伴随方程 最优控制理论与应用最优控制理论与应用最优控制最优控制 协态变量与控制函数协态变量与控制函数4种情况表示图种情况表示图 最优控制理论与应

24、用最优控制理论与应用相轨线族表示图相轨线族表示图 开关曲线开关曲线 最优控制理论与应用最优控制理论与应用开关曲线开关曲线 总时间总时间 初始形状初始形状 最优控制最优控制 形状方程形状方程 相轨线相轨线 最优控制最优控制 最优控制理论与应用最优控制理论与应用 3.4.2 3.4.2 综合问题综合问题 综合是将最优控制函数表示为形状和时间的函数综合是将最优控制函数表示为形状和时间的函数即即上例之最优综合控制函数上例之最优综合控制函数 最优控制理论与应用最优控制理论与应用例例 3.4.2 3.4.2 求快速前往原点的开关曲线和最优综合控制函数求快速前往原点的开关曲线和最优综合控制函数 构造哈密顿函

25、数构造哈密顿函数 伴随方程伴随方程 最优控制最优控制 最优控制理论与应用最优控制理论与应用最优控制与协态变量的变化情况最优控制与协态变量的变化情况 控控制制是是“砰砰砰砰控控制制，除除了了首首尾尾之之外外，在在和和上的停留上的停留时间均均为 最优控制理论与应用最优控制理论与应用备备选选最最优优轨轨线线族族 两族同心圆方程两族同心圆方程 最优控制理论与应用最优控制理论与应用相点沿轨线顺时针方向运动，其速度为相点沿轨线顺时针方向运动，其速度为开关曲线开关曲线 最优控制理论与应用最优控制理论与应用第二段开关曲线第二段开关曲线 最优控制理论与应用最优控制理论与应用整个开关曲线整个开关曲线 最优控制理论

26、与应用最优控制理论与应用最优综合控制函数最优综合控制函数 最优控制理论与应用最优控制理论与应用 第四章第四章 线性二次型性能目的的最优控制线性二次型性能目的的最优控制 用最大值原理求最优控制，求出的最优控制用最大值原理求最优控制，求出的最优控制 通常是时间的函数，这样的控制为开环控制通常是时间的函数，这样的控制为开环控制 当用开环控制时，在控制过程中不允许有任当用开环控制时，在控制过程中不允许有任何干扰，这样才干使系统以最优形状运转。何干扰，这样才干使系统以最优形状运转。 在实践问题中，干扰不能够没有，因此工程在实践问题中，干扰不能够没有，因此工程上总希望运用闭环控制，即控制函数表示成时间上总

27、希望运用闭环控制，即控制函数表示成时间和形状的函数。和形状的函数。 求解这样的问题普通来说是很困难的。求解这样的问题普通来说是很困难的。 最优控制理论与应用最优控制理论与应用 但对一类线性的且目的是二次型的动态系统，但对一类线性的且目的是二次型的动态系统，却得了完全的处理。不但实际比较完善，数学处置却得了完全的处理。不但实际比较完善，数学处置简单，而且在工际中又容易实现，因此在工程中有简单，而且在工际中又容易实现，因此在工程中有着广泛的运用。着广泛的运用。 最优控制理论与应用最优控制理论与应用 4.1 4.1 问题提法问题提法动态方程动态方程 目的泛函目的泛函 使使求求有最小值有最小值此问题称

28、线性二次型性能目的的最优控制问题此问题称线性二次型性能目的的最优控制问题通常称通常称为综合控制函数为综合控制函数 最优控制理论与应用最优控制理论与应用目的泛函的物理意义目的泛函的物理意义积分项，被积函数由两项组成，都是二次型。积分项，被积函数由两项组成，都是二次型。第第一一项项过过程程在在控控制制过过程程中中，实实践践上上是是要要求求每每个个分分量量越越小小越越好好，但但每每一一个个分分量量不不一一定定同同等等重重要要，所所以用加权来调整，当权为零时，对该项无要求。以用加权来调整，当权为零时，对该项无要求。第第二二项项控控制制才才干干能能量量耗耗费费最最小小。对对每每个个分分量量要要求求不不一

29、一样样，因因此此进进展展加加权权。要要求求正正定定，一一方方面面对对每每个个分分量量都都应应有有要要求求，否否那那么么会会出出现现很很大大幅幅值值，在在实实践践工工程程中中实实现现不不了了；另另一一方方面面，在在计计算算中中需需求求有有逆逆存在。存在。目目的的中中的的第第一一项项是是对对点点形形状状的的要要求求，由由于于对对每每个个分量要求不同，用加权阵来调整。分量要求不同，用加权阵来调整。 最优控制理论与应用最优控制理论与应用 4.2.1 4.2.1 末端自在问题末端自在问题构造哈密顿函数构造哈密顿函数 伴随方程及边境条件伴随方程及边境条件 最优控制应满足最优控制应满足 4.2 4.2 形状

30、调理器形状调理器 最优控制理论与应用最优控制理论与应用求导 最优控制理论与应用最优控制理论与应用矩阵黎卡提微分方程矩阵黎卡提微分方程 边境条件边境条件 令令最优控制是形状变量的线性函数最优控制是形状变量的线性函数借助形状变量的线性反响可实现闭环最优控制借助形状变量的线性反响可实现闭环最优控制 最优控制最优控制 对称半正定阵对称半正定阵 最优控制理论与应用最优控制理论与应用例例 4.1 4.1 性能目的泛函性能目的泛函 最优控制最优控制 黎卡提微分方程黎卡提微分方程 最优控制理论与应用最优控制理论与应用最优轨线最优轨线 最优控制最优控制 最优轨线的微分方程最优轨线的微分方程 解解 最优控制理论与

31、应用最优控制理论与应用黎卡提方程的解黎卡提方程的解 随终点时间变化的随终点时间变化的黎卡提方程的解黎卡提方程的解 最优控制理论与应用最优控制理论与应用 4.2.2 4.2.2 固定端问题固定端问题设设目的泛函目的泛函 采用采用“补偿函数法函数法 补偿函数补偿函数 惩罚函数惩罚函数 边境条件边境条件 黎卡提方程黎卡提方程 逆黎卡提方程逆黎卡提方程 最优控制理论与应用最优控制理论与应用求导求导 黎卡提方程黎卡提方程乘以乘以逆黎卡提方程逆黎卡提方程 解解 逆逆 最优控制理论与应用最优控制理论与应用 4.2.3 4.2.3 的情况的情况性能目的性能目的 无限长时间调理器问题无限长时间调理器问题 黎卡提

32、方程黎卡提方程 边境条件边境条件 最优控制最优控制 最优目的最优目的 最优控制理论与应用最优控制理论与应用 4.2.4 4.2.4 定常系统定常系统完全可控完全可控 目的泛函目的泛函 矩阵代数方程矩阵代数方程 最优控制最优控制 最优目的最优目的 最优控制理论与应用最优控制理论与应用例例 4.2 4.2 黎卡提方程黎卡提方程 最优控制理论与应用最优控制理论与应用 4.3 4.3 输出调理器输出调理器输出调理器问题输出调理器问题形状调理器问题形状调理器问题 目的泛函目的泛函 令令 最优控制理论与应用最优控制理论与应用 4.4 4.4 跟踪问题跟踪问题问题的提法问题的提法 知的理想输出知的理想输出

33、偏向量偏向量 目的泛函目的泛函 寻求控制规律使性能目的有极小值。寻求控制规律使性能目的有极小值。物物理理意意义义 在在控控制制过过程程中中，使使系系统统输输出出尽尽量量趋趋近近理想输出，同时也使能量耗费最少。理想输出，同时也使能量耗费最少。 最优控制理论与应用最优控制理论与应用目的泛函目的泛函 哈密顿函数哈密顿函数 最优控制理论与应用最优控制理论与应用设设并微分并微分 最优控制理论与应用最优控制理论与应用的恣意性的恣意性 最优控制最优控制 最优控制理论与应用最优控制理论与应用最优轨线方程最优轨线方程 最优性能目的最优性能目的 最优控制理论与应用最优控制理论与应用例例 4.3 4.3 ， 性能目

34、的性能目的 最优控制理论与应用最优控制理论与应用最优控制最优控制 最优控制理论与应用最优控制理论与应用， ， 最优控制最优控制 极限解极限解 最优控制理论与应用最优控制理论与应用闭环控制系统构造闭环控制系统构造 最优控制理论与应用最优控制理论与应用两种方法两种方法 庞特里雅金庞特里雅金 前苏联学者前苏联学者 极大值原理极大值原理 贝尔曼贝尔曼 美国学者美国学者 动态规划动态规划 运用在过程控制、国防建立、经济规划、管理运用在过程控制、国防建立、经济规划、管理 多个分支多个分支 分分布布参参数数的的最最优优控控制制、随随机机最最优优控控制制、大大系系统统最最优控制以及多方多层次的微分对策和主从对

35、策等优控制以及多方多层次的微分对策和主从对策等 最优控制理论与应用最优控制理论与应用 第五章第五章 动态规划动态规划动态规划是求解最优控制的又一种方动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。称贝尔曼动态规划。 最优控制理论与应用最优控制理论与应用 5.1 5.1 多级决策过程与最优性原理多级决策过程与最优性原理作为例子，首先分析最优途径问题作为例子，首先分析最优途径问题(a

36、) (b) (c)试试分分析析(a),(b)(a),(b)和和(c)(c)三三种种情情况况的的最最优优途途径径，即即从从 走走到到 所所需需时时间间最最少少。规规定定沿沿程程度度方方向向只能前进不能后退。只能前进不能后退。 最优控制理论与应用最优控制理论与应用(a)(a)中中只只需需两两条条途途径径，从从起起点点开开场场，一一旦旦选选定定道道路路，就就直直达达终终点点，选选最最优优途途径径就就是是从从两两条条中中选选一一条条，使使路路程程所所用用时时间间最最少少。这这很很容容易易办办到到，只只稍稍加计算，便可知道，上面一条所需时间最少。加计算，便可知道，上面一条所需时间最少。(b)(b)共共有

37、有6 6条条途途径径可可到到达达终终点点，假假设设仍仍用用上上面面方方法法，需需计计算算6 6次次，将将每每条条道道路路所所需需时时间间求求出出，然然后后比比较，找出一条时间最短的路程。较，找出一条时间最短的路程。(c)(c)需需计计算算2020次次，由由于于这这时时有有2020条条途途径径，由由此此可可见，计算量显著增大了。见，计算量显著增大了。 最优控制理论与应用最优控制理论与应用逆向分级计算法逆向分级计算法 逆向是指计算从后面开场，分级是指逐级计算。逆向分级就是从后向前逐级计算。 以以(c)(c)为例为例 从倒数第一级开场，形状有两个，分别为从倒数第一级开场，形状有两个，分别为 和和 在

38、在处，只需一条路到达终点，其时间是处，只需一条路到达终点，其时间是；在 处，也只需一条，时间为1。后一条时间最短，将此时间相应地标在 点上。并将此点到终点的最优途径画上箭头。并将此点到终点的最优途径画上箭头。 最优控制理论与应用最优控制理论与应用然后再思索第二级然后再思索第二级 只需一种选择，到终点所需时间是只需一种选择，到终点所需时间是 有两条路，比较后选出时间最少的一条，即有两条路，比较后选出时间最少的一条，即4+1=54+1=5。用箭头标出。用箭头标出 也标出最优途径和时间也标出最优途径和时间 依此类推，最后计算初始位置依此类推，最后计算初始位置 求得最优途径求得最优途径 最短时间为最短

39、时间为 13 13 最优控制理论与应用最优控制理论与应用最优途径表示图最优途径表示图 最优控制理论与应用最优控制理论与应用多级过程多级过程 多级决策过程多级决策过程 目的函数目的函数 控制目的控制目的 选择决策序列选择决策序列 使目的函数取最小值或最大值使目的函数取最小值或最大值 实践上就是离散形状的最优控制问题实践上就是离散形状的最优控制问题 最优控制理论与应用最优控制理论与应用最优性原理最优性原理 在在一一个个多多级级决决策策问问题题中中的的最最优优决决策策具具有有这这样样的的性性质质，不不论论初初始始级级、初初始始形形状状和和初初始始决决策策是是什什么么，当当把把其其中中任任何何一一级级

40、和和形形状状做做为为初初始始级级和和初初始始形形状状时时，余下的决策对此仍是最优决策。余下的决策对此仍是最优决策。 最优控制理论与应用最优控制理论与应用目的函数多是各级目的之和，即具有可加性目的函数多是各级目的之和，即具有可加性 最优性原理的数学表达式最优性原理的数学表达式 最优控制理论与应用最优控制理论与应用 5.2 5.2 离散系统动态规划离散系统动态规划阶离散系统阶离散系统 性能目的性能目的 求决策向量求决策向量 使使 有最小值或最大值，其终点可自在，有最小值或最大值，其终点可自在，也可固定或受约束。也可固定或受约束。 最优控制理论与应用最优控制理论与应用引进记号引进记号 运用最优性原理

41、运用最优性原理 可建立如下递推公式可建立如下递推公式 贝尔曼动态规划方程贝尔曼动态规划方程 最优控制理论与应用最优控制理论与应用例例 5.2 5.2 设一阶离散系统，形状方程和初始条件为设一阶离散系统，形状方程和初始条件为性能目的性能目的 求使求使 有最小值的最优决策序列和最优轨线序列有最小值的最优决策序列和最优轨线序列 目的可写为目的可写为 最优控制理论与应用最优控制理论与应用代入代入 上一级上一级 最优控制理论与应用最优控制理论与应用代入形状方程代入形状方程 最优决策序列最优决策序列 最优轨线最优轨线 最优控制理论与应用最优控制理论与应用 5.3 5.3 延续系统的动态规划延续系统的动态规

42、划性能目的性能目的 目的集目的集 引进记号引进记号 根据最优性原理及根据最优性原理及 最优控制理论与应用最优控制理论与应用 最优控制理论与应用最优控制理论与应用由泰勒公式，得由泰勒公式，得 由中值定理，得由中值定理，得 最优控制理论与应用最优控制理论与应用延续型动态规划方程延续型动态规划方程 实实践践上上它它不不是是一一个个偏偏微微分分方方程程，而而是是一一个个函函数数方程和偏微分方程的混合方程方程和偏微分方程的混合方程 最优控制理论与应用最优控制理论与应用满足延续型动态规划方程，有满足延续型动态规划方程，有 设设边境条件边境条件 动动态态规规划划 动动态态规规划划方方程程是是最最优优控控制制

43、函函数数满满足足的的充充分分条条件件；解解一一个个偏偏微微分分方方程程；可可直直接接得得出出综综合合函函数数 ；动动态态规规划划要要求求 有有延延续续偏导数偏导数最最大大值值原原理理 最最大大值值原原理理是是最最优优控控制制函函数数满满足足的的必必要要条条件件；解解一一个个常常微微分分方方程程组组；最最大大值值原原理理那那么只求得么只求得 。 最优控制理论与应用最优控制理论与应用例例 5.3 5.3 一阶系统一阶系统 ， 性能目的性能目的 动态规划方程动态规划方程 右端对右端对u u求导数，令其导数为零，那么得求导数，令其导数为零，那么得 最优控制理论与应用最优控制理论与应用 5.4 5.4

44、动态规划与最大值原理的关系动态规划与最大值原理的关系变变分分法法、最最大大值值原原理理和和动动态态规规划划都都是是研研讨讨最最优优控控制制问问题题的的求求解解方方法法，很很容容易易想想到到，假假设设用用三三者者研研讨讨同同一一个个问问题题，应应该该得得到到一一样样的的结结论论。因因此此三三者者应应该该存存在在着着内内在在联联络络。变变分分法法和和最最大大值值原原理理之之间间的的关关系系前前面面已已阐阐明明，下下面面将将分分析析动动态态规规划划和和最最大大值值原原理理的的关关系系。可可以以证证明明，在在一一定定条条件件下下，从动态规划方程能求最大值原理的方程。从动态规划方程能求最大值原理的方程。 最优控制理论与应用最优控制理论与应用最优控制实际最优控制实际 上世纪上世纪5050年代初年代初 问题比较简单问题比较简单 二阶定常系统二阶定常系统 方法比较特殊方法比较特殊 借助于几何图形借助于几何图形 动态系统的最优化问题乃是一个变分问题动态系统的最优化问题乃是一个变分问题 变分法变分法 开集开集 最优控制问题最优控制问题 闭集闭集 开展变分法开展变分法 最优控制理论与应用最优控制理论与应用动态规划方程动态规划方程 令令哈米顿函数哈米顿函数 最大值原理的必要条件最大值原理的必要条件