极大值原理

《极大值原理》由会员分享，可在线阅读，更多相关《极大值原理（75页珍藏版）》请在金锄头文库上搜索。

1、Ch.7 最优控制原理,目录(1/1),目 录 7.1 最优控制概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理 7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题 本章小结,极大值原理(1/4),7.4 极大值原理 前一节讨论的最优控制问题都基于这样一个基本假定: 控制量u(t)的取值范围U不受任何限制,即控制域U充满整个r维控制空间,或者U是一个开集。 即控制量u(t) 不受等式条件约束 但是,大多数情况下控制量总是受限制的。 例如,控制量可能受如下大小限制 |ui(t)|a i=1,2,r 式中,a为常数。,极大值原理(2/

2、4),上述约束条件即相当于容许控制空间U是一个超方体。 甚至,有些实际控制问题的控制量为某一孤立点集。 例如,继电器控制系统的控制输入限制为 ui(t)=a i=1,2,r 一般情况下,总可以将控制量所受的约束用如下不等式来表示 Mi(u(t),t)0, i=1,2, 当控制变量u(t)受不等式约束条件限制时,古典变分法就无能为力了。 以后,还会看到,最优控制u(t)往往需要在闭集的边界上取值。 这就要求人们去探索新的理论和方法。,极大值原理(3/4),应用古典变分法的另一个限制条件是要求函数L(x,u,t), f(x,u,t), S(x(tf),tf)对其自变量的连续可微性,特别是要求H/u

3、存在。 因此,类似 这样的有较大实际意义的性能指标泛函就无能为力了。 所以,类似消耗燃料最小这类常见最优控制就无法用古典变分法来解决。,极大值原理(4/4),鉴于古典变分法的应用条件失之过严,引起了不少数学界和控制界学者的关注。 其中,贝尔曼的动态规划和庞特里亚金的极大值原理是较为成功的,应用也很广泛,成为解决最优控制问题的有效工具。 本节主要介绍极大值原理的结论及其启发性证明。 讲授内容为 自由末端的极大值原理 极大值原理的证明 极大值原理的几种具体形式 约束条件的处理,自由末端的极大值原理(1/8),7.4.1 自由末端的极大值原理 最优控制问题的具体形式是多种多样的,在7.2节的讨论中可

4、知,3种泛函问题(拉格朗日问题、波尔扎问题和麦耶尔问题)的表达形式可以互相转换。 因此,与前面的方法一致,我们先研究泛函为定常的末值型性能指标的最优控制问题(麦耶尔问题),然后将结论逐步推广至其他最优控制问题。 下面,就定常的末值型性能指标、末态自由的控制问题来叙述极大值原理。,自由末端的极大值原理(2/8)定理7-9,定理7-9(极大值原理) 设u(t)U,tt0,tf,是一容许控制。 指定的末值型性能指标泛函为 Ju()=S(x(tf) 式中,x(t)是定常的被控系统 相应于控制量u(t)的状态轨线,tf为未知的末态时刻。 设使该性能指标泛函极小的最优控制函数为u*(t)、最优状态轨线为x

5、*(t)。 则必存在不恒为零的n维向量函数(t),使得 1) (t)满足规范方程,自由末端的极大值原理(3/8),满足 2) 边界条件 的解,其中哈密顿函数为 3)则有哈密顿函数取极小 即,取代H/u=0,自由末端的极大值原理(4/8),4) 沿最优轨线哈密顿函数应满足 下面先对上述极大值原理的涵义作简单的解释, 再给出该定理的启发性证明。,自由末端的极大值原理(5/8),容许控制条件的放宽。 古典变分法应用于最优控制问题,要求控制域U=Rn,即控制域U充满整个r维控制空间。 然后,从控制量的变分u(t)的任意性出发,导出极值条件 H/u=0。 这一条件是非常严格的。 其一,它要求哈密顿函数H

6、对控制量u(t)连续可微; 其二,它要求控制量的变分u(t)具有任意性,即控制量u(t)不受限制,或仅在受等式约束条件限制的开集中取值。,自由末端的极大值原理(6/8),2) 定理7-9中的式(7-93)和(7-94)同样称为协态方程和横截条件,其相应求解方法与基于古典变分法的最优控制求解方法类似。 变分法的极值条件是一种解析形式, H/u=0 而极大值原理的极值求解条件(7-96)是一种定义形式,不需要哈密顿函数H对控制量u(t)的可微性加以约束,而且对于通常的对u(t)的约束都是适用的, 例如,u(t)受不等式约束条件约束,即在闭集中取值。,协态方程,横截条件,极值条件,H/u=0,自由末

7、端的极大值原理(7/8),3) 由极值求解条件(7-96)可知, 极大值原理得到的是全局最小值, 而非局部极值, 而古典变分法中由极值条件H/u=0得到的是局部极小值。再则,如果把条件(7-96)仍称为极值条件, 则极大值原理得到的是强极值。 而古典变分法在欧拉方程推导时,对极值曲线x*(t)和其导数都引入变分,得到的是弱极值。 不难理解,当满足古典变分法的应用条件时,极值条件H/u=0只是极大值原理的极值求解条件(7-96)的一个特例。,H/u=0,自由末端的极大值原理(8/8),4) 在上述定理中,最优控制u*(t)使哈密顿函数取最小值。 所谓“极小值原理”一词正源于此,称“极大值原理”是

8、习惯性叫法。 若实际控制问题需求极大值,可将极值求解条件的求最小(min)改为求最大(max)即可。 5) 极大值原理只给出最优控制的必要条件,并非充分条件。 得到的解是否能使泛函J最小,还有待证实。 极大值原理更没有涉及解的存在性问题。 如果实际问题的物理意义已经能够判定所讨论的问题的解是存在的,而由极大值原理所求出的控制又只有一个,可以断定,此控制就是最优控制。 实际遇到的问题往往属于这种情况。,极大值原理的证明(1/2),7.4.2 极大值原理的证明 庞特里亚金对极大值原理作了严格的证明,涉及拓扑学、实函数分析等很多数学问题,这是作为工科教材难以详细论述的。 本教材利用增量法给出极大值原

9、理的一个启发性证明。 证明中所作的假设是: 1) 函数f(x,u)和S(x(tf)都是其自变量的连续函数; 2) 函数f(x,u)和S(x(tf)对于x是连续可微的,即f/x和S/x(tf)存在且连续,但并不要求函数f(x,u)对u可微;,极大值原理的证明(2/2),3) 为了保证微分方程解的存在和惟一性,假定f(x,u)在任意有界集上对自变量x满足如下李卜希茨(Lipschitz)条件 f(x1,u)-f(x2,u)x1-x2 0,x1,x2XRn,uURr 下面叙述用增量法证明极大值原理的过程,证明步骤为: 泛函J的增量 x(t)的表达式 对x(t)的估计 极值条件的推证 tf的考虑 然后

10、介绍一基于极大值原理的最优控制算例,泛函J的增量(1/2),(1) 泛函J的增量 假定末态时刻tf已知,根据S(x(tf)对x(tf)的连续可微性泛函J的增量J可表示为 式中u*(t)和x*(t)分别表示最优控制函数及相应的最优轨线; x(t)为x(t)在最优轨线x*(tf)附近的变分; o(x(tf)表示泰勒展开式中x(tf)的高阶项。,Ju()=S(x(tf),泛函J的增量(2/2),要从Ju*()0的条件导出最优控制必要条件, 首先应找出x(t)与控制量u(t)的变分u(t)的关系, 进而对x(t)作出估计。 下面为表述更简洁,时间函数x(t)与u(t)的时间变量t略去不写。,x(t)的

11、表达式(1/3),(2) x(t)的表达式 根据f(x,u)对x的可微性,由状态方程(7-92)可得如下由控制量的变分u(t)引起的状态方程(7-92)的变分,x(t)的表达式(2/3),令矩阵函数(t,s)为线性状态方程 的状态转移矩阵,即(t,s)满足如下微分方程组 考虑到x(t0)=0,则x(t)在t=tf时的解为,x(t)的表达式(3/3),将上述方程代入式(7-98),则得泛函J的增量J为 上式虽然给出了泛函增量J与u和x的关系,但是对一般形式的u,还很难估计上式的J。 因为对任意的u,上式成立,故对特定的u也应成立。 为此,下面讨论取一特定的变分u,以利于对上式的估计。,对x(t)

12、的估计(1/11),(3) 对x(t)的估计 设u(t)是控制u(t)的任意变分,对应x(t)的增量x(t)应满足如下方程 将上式的第一式改写为,对x(t)的估计(2/11),对于给定的u(t)和u(t),由于它们的分段连续性,必存在有界的U1U及XRn,使u(t)+u(t)U1,x(t)X,对所有的tt0,tf,根据李卜希茨条件,必存在0,满足 f(x+x,u+u)-f(x,u+u)0,则 f(x,u+u)-f(x,u)|b(t)| tt0,tf 其中 于是由式(7-105)可知,x(t)满,对x(t)的估计(3/11)引理7-2,为了作进一步的估计,下面先引入一个引理。 引理7-2 证明

13、由欧几里德范数(2-范数)的定义,有 从而有 证毕,对x(t)的估计(4/11),因此,由引理7-2和式(7-109),有 即 将两边乘以e-t,得 解得,对x(t)的估计(5/11),至今我们还没有对u(t)作任何限制。 为了使变分后的控制u(t)仍属于容许控制空间,即u(t)U,对所有的tt0,tf,并且利于导出极值求解条件,采用一种异于古典变分的特定形式的变分-针状变分。,图7-5 针状变分示意图,令为最优控制u*(t)的任意一个连续点,l0是某一确定的数,0是一个充分小的数。 可将控制量的变分u(t)取成一个依赖于,l和的针状变分,如图7-5所示。,对x(t)的估计(6/11),上述针

14、状变分记为u(t),可表示为,式中, U表示任意容许控制,这就是说,在充分小的时间区间,+l内, 可以取控制域U内的任何点。 当然,也可以取闭集上的点。 所以变分 是一个有限量。 但当是一个充分小的量时,则由u(t)所引起的变分x(t)仍可能是一个充分小的量。,对x(t)的估计(7/11),下面证明由针状变分u(t)引起的状态增量x(t)是一个与同阶的无穷小量。 事实上,当控制量作针状变分时,式(7-108)可表示为 于是,由式(7-111)可知,由针状变分u(t)引起的状态增量x(t)为 上式表明,x(t)与0是同阶无穷小量。,对x(t)的估计(8/11),据此,由式(7-103)可得如下由

15、针状变分u(t)所引起的泛函J的变分J的表达式,对x(t)的估计(9/11),上式中后3项都是的高阶无穷小量,可归并成一项,则上式可记为,对x(t)的估计(10/11),上式中后3项都是的高阶无穷小量,可归并成一项,则上式可记为 则向量(t)必满足状态方程的协态方程及边界条件,对x(t)的估计(11/11),若记 则共轭方程(7-118)可写成 于是,泛函增量表达式(7-116)可改写成,极值条件的推证(1/4),(4) 极值条件的推证 已假设u*(t)是使泛函J取最小值的最优控制,x*(t)为相应的轨线,而(t)是协态方程的解。 所以,对任意的控制变分,当然也包含对u(t)的针状变分,泛函的增量(7-122)必满足 因为x*(t)和(t)在tt0,tf范围内是连续函数,而u*(t)和 =u*(t)-u(t)在上式的积分范围内也是连续的,所以哈密顿函数H是一连续函数。,极值条件的推证(2/4),根据中值定理及H的连续性,则有 式中,01。 将上式代入式(7-123),可得 用除上式的两边,得,极值条件的推证(3/4),当0时,考虑到l