《八动态规划原理与最优控制》由会员分享，可在线阅读，更多相关《八动态规划原理与最优控制（52页珍藏版）》请在金锄头文库上搜索。
1、1,第 7 章动态规划在最优控制中的应用,2,动态规划求解最优控制问题的有效方法之一二十世纪五十年代由 Bellman 提出动态规划与极小值原理在数学上是等效的从不同的角度发展了古典变分学,3,最优性原理 多级决策过程的最优策略具有这种性质。不论初始状态和初始决策为何，其余的决策对于由初始决策所形成的状态来说，必定也是一个最优策略。,4,主要内容,离散动态规划 离散动态规划在离散系统最优控制中的应用 连续动态规划在连续系统最优控制中的应用,5,7.1 离散动态规划,最优性原理动态规划的基础若一个 N 级决策系统是最优的,则以第 k 级（ ）决策所形成的状态作为初态的任何一个 N - K 级子决
2、策也必然是最优的。,6,根据最优性原理确定了一个从后向前的递推过程基于最优性原理的动态规划方法成为解决最优控制问题的有力工具,7,动态规划原理,求从S F 点路程最短的方法,8,枚举法,S X1(1) X1(2) X1(3) F 4+6+1+4=15S X1(1) X2(2) X1(3) F 4+6+2+4=16S X1(1) X2(2) X2(3) F 4+6+2+3=15S X1(1) X1(2) X2(3) F 4+6+1+3=14S X2(1) X1(2) X1(3) F 5+4+1+4=14S X2(1) X1(2) X2(3) F 5+4+1+3=13S X2(1) X2(2) X
3、1(3) F 5+7+2+4=18S X2(1) X2(2) X2(3) F 5+7+2+3=17,9,可能解数量为 2(n-1) n = 4, 为 23 = 8 种.加法次数为：(n-1)* 2(n-1) n = 4, 为 (4-1) * 23 = 24 次.若n = 10, 则可能解数为： 2(10-1) = 29 = 512 种.加法 (10-1) * 29 = 9 * 29 = 9 * 512 = 4608 次.,10,动态规划法,从最后一级开始：J X1(3) =4 J X2(3) =3 ,J*X1(3) =4 ,J *X2(3) =3倒数第二级：路线 X1(2) X1(3) F J
4、 =1+J* X1(3) = 5 X1(2) X2(3) F J* =1+J*X2(3) =4 X2(2) X1(3) F J =2+J*X1(3) = 6 X2(2) X2(3) F J * =2+J*X2(3) = 5 J*X1(2) = 4, J*X2(2) = 5,11,倒数第三级路线 X1(1) X1(2) F J * = 6 + 4 = 10 X1(1) X2(2) F J = 6 + 5 = 11 X2 (1) X1(2) F J* = 4 + 4 = 8 X2(1) X2(2) F J = 7 + 5 = 12 J * X1(1) = 10 , J *X2(1) = 8,12,
5、第一级路线 S X1(1) F J = 4 + 10 = 14 S X2(1) F J* = 5 + 8 = 13 即 J * S = 13,13,最优决策为 S X2(1) X1(2) X2(3) F J* S = 13加法次数: 4 * (n-2) + 2 次 n = 4时， 4 * (4-2) + 2 = 10 次,14,各个状态到终点的最短距离,J*S = 13J*X1(1) = 10 J*X2(1) = 8J*X1(2) = 4J*X2(2) = 5J*X1(3) =4J *X2(3) =3,15,16,设离散系统的状态方程为 x n 维状态向量，u m 维控制向量始端 和终端 固定
6、,7.2 离散动态规划在离散系统最优控制中的应用,17,求最优控制序列使目标泛函取极小值,18,动态规划的目的使 J 最小即 将以 为初态的 N-j(=k) 级最优决策,19,根据最优性定理如果 N 级决策是最优的则以在前 j 1 决策上形成的 为初态的 N j 级决策是最优决策从这点出发，形成了逆向递推的最优化方法，这种方法被称为动态规划,20,根据最优性定理利用动态规划方法形成递推公式 当终端固定时直接利用递推公式求解最优控制问题,21,22,令：,23,24,例 1设离散系统的状态方程为已知求最优控制 u 使目标泛函为最小,25,解：由递推公式,K=3时,26,上述最优化问题的解为,最优
7、目标函数为,K=2时,27,K=1时,求解可得,最优目标函数为,28,K=0时,求解可得,最优目标函数为,29,求解的结果,30,31,7.3 连续动态规划在连续系统最优控制中的应用,动态规划可用于连续系统的优化问题对于连续系统根据最优性原理可得到 Hamilton-Jacobi 方程,32,对于连续系统x n 维状态向量，u m 维控制向量且容许控制 u 在 m 维欧氏空间 的某一给定域 中取值即,33,已知始端固定即求最优控制使目标泛函 取极小值,（3）,34,由最优性原理推导出极大值原理定义式中而x(s)是在区间 上和最优控制函数有关的轨线，其中 ，且 给定。,（4）,（5）,35,显然
8、所有 都满足假设 V 存在，连续并且具有连续的一阶和二阶偏导数,（6）,36,推导动态规划的Hamilton-Jacobi方程,（7）,37,（8）,38,等式两边消去 ，得 上式称为Hamilton-Jacobi方程或者称为 Hamilton-Jacobi-Bellman方程,（9）,39,对于所给最优控制问题，重复以上讨论，导致由此，对于所有 ，u必须满足,（10）,（11）,（12）,40,上式说明，Lagrange乘子向量（或协态向量）是最小目标函数在最优轨线上的梯度。从（9）、（10）式可以看出即在最优轨线上应使Hamilton函数H为全局最小，这正是庞特里亚金的极大值原理。,41,
9、例 1考虑线性定常系统式中假定任何的 都是容许控制要求找到作为 的函数 ，使得,42,解： 即,43,这样,44,因为 时不变且最优化是针对一个无限持续的过程 只依赖于初始状态即,45,由于故 Hamilton Jacobi 方程变成,46,假设一个解则 - 对称矩阵,47,则Hamilton-Jacobi方程变成P必须满足的代数方程,48,例2 考虑如下系统目标函数为,49,Hamilton 函数为令,50,Hamilton-Jacobi方程为若优化区间为无穷大，则我们求解如下微分方程,51,为了求解上述非线性微分方程，将V(x)展开成如下级数形式：令n=4，则得,52,所以最优控制作用为闭环系统为,
