《最优控制_西安交通大学课件lecture9》由会员分享，可在线阅读，更多相关《最优控制_西安交通大学课件lecture9（33页珍藏版）》请在金锄头文库上搜索。
1、最优控制2013 动态规划 高峰、吴江 2013/06/09 SEI 高峰、吴江2 提纲 l最大值原理回顾 l多段决策过程 l动态规划与Bellman方程 l动态规划计算方法 l动态规划求解LQR问题 l动态规划的连续形式 l小结 SEI 高峰、吴江3 控制向量有界情形 甚至H对u不可导 经典变分法经典变分法 无法解决无法解决 SEI 高峰、吴江4 最小值原理 HamiltonHamilton函数在最优轨线上取得最小值。函数在最优轨线上取得最小值。 耦合方程耦合方程 = =极值条件极值条件 转化为两点边值问题转化为两点边值问题 同样是非常困难的问题同样是非常困难的问题 SEI 高峰、吴江5 一
2、类特殊的最优控制问题 l泛函求极值 线性控 制项 控制各分 量上下界 SEI 高峰、吴江6 Bang-Bang控制 在某些情形下，可求得状态相平面上的开 关线或开关面，由此构成反馈控制结构。 SEI 高峰、吴江7 提纲 l最大值原理回顾 l l 多段决策过程多段决策过程 l动态规划与Bellman方程 l动态规划计算方法 l动态规划求解LQR问题 l动态规划的连续形式 l小结 SEI 高峰、吴江8 Richard Bellman (19201984) 美国数学家，美国全国科学院院士，动态规划的创始人。1920年8月26日 生于美国纽约。1984年3月19日逝世。1941年在布鲁克林学院毕业，获
3、理学 士学位，1943年在威斯康星大学获理学硕士学位，1946年在普林斯顿大学获 博士学位。19461948年在普林斯顿大学任助理教授,19481952年在斯坦 福大学任副教授,19531956年在美国兰德公司任研究员，1956年后在南加利 福尼亚大学任数学教授、电气工程教授和医学教授。 贝尔曼因提出动态规划而获美国数学会和美国工程数学与应用数学会联合 颁发的第一届维纳奖金（1970），卡内基梅隆大学颁发的第一届迪克森奖 金(1970)，美国管理科学研究会和美国运筹学会联合颁发的诺伊曼理论奖金 (1976)。1977年贝尔曼当选为美国艺术与科学研究院院士和美国工程科学院 院士。 贝尔曼因在研究
4、多段决策过程中提出动态规划而闻名于世。1957年他的 专著动态规划出版后，被迅速译成俄文、日文、德文和法文，对控制理论 界和数学界有深远影响。贝尔曼还把不变嵌入原理应用于理论物理和数学分析 方面，把两点边值问题化为初值问题，简化了问题的分析和求解过程。1955 年后贝尔曼开始研究算法、计算机仿真和人工智能，把建模与仿真等数学方法 应用到工程、经济、社会和医学等方面，取得许多成就。贝尔曼对稳定性的矩 阵理论、时滞系统、自适应控制过程、分岔理论、微分和积分不等式等方面都 有过贡献。 贝尔曼曾是数学分析与应用杂志及数学生物科学杂志的主编， 科学与工程中的数学丛书的主编。已出版30本著作和7本专著，发
5、表了600 多篇研究论文。 SEI 高峰、吴江9 从另一角度看泛函求极值问题 这种离散泛函求极值问题称为多段决策过程这种离散泛函求极值问题称为多段决策过程 SEI 高峰、吴江10 加性可分目标函数 l可分 l本段的目标f(x(k),u(k),k)，只决定于本段的段 变量k ，本段的控制u(k)，本段的状态x(k) 。 l加性 l总目标为各段目标之和。 SEI 高峰、吴江11 提纲 l最大值原理回顾 l多段决策过程 l l 动态规划与动态规划与BellmanBellman方程方程 l动态规划计算方法 l动态规划求解LQR问题 l动态规划的连续形式 l小结 SEI 高峰、吴江12 动态规划举例 汽
6、车从S站出发，到T站终止，全程分为4段 ，如何选择路线使S-T时间最短？（图中数 字为各段所需时间。） ST B A D C F E 4 5 4 6 6 7 1 1 2 2 4 3 SEI 高峰、吴江13 第三阶段决策：E or F T DF E 2 2 4 3 T C F E 1 1 4 3 最优：C-F-T (4) 最优：D-F-T (5) SEI 高峰、吴江14 第二阶段决策：C or D 7 T BD C 4 4 5 T A D C 6 6 4 5 最优：A-CT (10) 最优：B-CT (8) SEI 高峰、吴江15 第一阶段决策：A or B TS B A 4 5 10 8 最优
7、：S-BT (13) 最优决策：最优决策：S-B-C-F-T S-B-C-F-T （1313） ST B A D C F E 4 5 4 6 6 7 1 1 2 2 4 3 SEI 高峰、吴江16 特点 l为找到S-T的最优路线，先找出各站到终 点T的最优路线。 l表面上，多作了计算，但在迭代求解过程中， 每一步只需作很简单的计算。 l最优决策S-B-C-F-T中，从任一点开始 到T的任一段，如C-F-T也是从C到T的最 优决策。 动态规划动态规划 最优性原理最优性原理 ST B A D C F E 4 5 4 6 6 7 1 1 2 2 4 3 SEI 高峰、吴江17 动态规划的基本假定 S
8、EI 高峰、吴江18 最优性原理的推演 l p173-174 lBellman方程 SEI 高峰、吴江19 最优性原理 l一个多段决策过程的最优决策具有如下性质： l不论现在的状态和过去的决策如何，随后各阶段的 决策对于现在的状态必定构成最优决策。 最优轨线的一部分必为最优轨线最优轨线的一部分必为最优轨线 SEI 高峰、吴江20 求解步骤 lDP算法是一种倒递推算法 1.先求最后一阶段的最优决策 2.再倒递推倒数第二阶段的最优决策 3.继续下去，可求出全部阶段最优决策 l而每倒递推一阶段都不是孤立地只考虑这一 阶段的性能指标，而总是从这一阶段直到最 后一阶段构成全局最优决策的角度来确定这 一阶
9、段的最优决策。 例6-1 p175-176 SEI 高峰、吴江21 提纲 l最大值原理回顾 l多段决策过程 l动态规划与Bellman方程 l l 动态规划计算方法动态规划计算方法 l动态规划求解LQR问题 l动态规划的连续形式 l小结 SEI 高峰、吴江22 DP计算机实现 简单情形： 例6-4 p181-184 复杂情形： 例6-5 p185-188 算法框图： p188 SEI 高峰、吴江23 SEI 高峰、吴江24 DP算法 框图 SEI 高峰、吴江25 用动态规划解离散LQR问题 lp179-181 SEI 高峰、吴江26 动态规划的连续形式（Hamilton- Jacobi-Bel
10、lman方程） lp189-190 SEI 高峰、吴江27 结果一 SEI 高峰、吴江28 结果二 SEI 高峰、吴江29 由HJB方程解LQR问题 lp193-194 SEI 高峰、吴江30 小结 l单段决策过程 vs. 多段决策过程 l单段决策过程的求解： l线性规划、非线性规划等 l多段决策过程的求解： l动态规划：最优控制、投资分析、路径规划等 l动态规划 l将多段决策问题转化为多次单段决策问题 l数学上称为嵌入原理嵌入原理 SEI 高峰、吴江31 最优性原理 l一个多段决策过程的最优决策具有如下性质： l不论现在的状态和过去的决策如何，随后各阶段的决策 对于现在的状态必定构成最优控制。 lBellman方程 SEI 高峰、吴江32 动态规划的连续形式（Hamilton- Jacobi-Bellman方程） SEI 高峰、吴江33 思考的问题 l最优控制的经典内容已经结束，考虑一下对最 优控制理论与方法的理解。 l是否可以演绎出最优控制理论与方法的体系？ 依从于什么样的线索？ l如果能做到这一点，最优控制就真的变成你自 己的了。 l l 你的大脑改变了你的大脑改变了! !
