《7随机系统最优控制资料》由会员分享，可在线阅读，更多相关《7随机系统最优控制资料（26页珍藏版）》请在金锄头文库上搜索。
1、七七. 随机系统最优控制随机系统最优控制 (Stochastic Optimal Control) 引 言引 言 前面都是以确定性系统为基础讨论最优控制问题，而实际上前面都是以确定性系统为基础讨论最优控制问题，而实际上 绝对的确定性系统几乎不存在绝对的确定性系统几乎不存在，各种工程系统中总是或多或 少地存在不确定性。 ，各种工程系统中总是或多或 少地存在不确定性。 如何处理系统中的不确定性已经是当前控制理论研究的重要 问题。引起不确定性的原因很多，处理的方法也有很多。 如何处理系统中的不确定性已经是当前控制理论研究的重要 问题。引起不确定性的原因很多，处理的方法也有很多。 随机系统控制理论考虑
2、不确定性问题中的随机扰动部分随机系统控制理论考虑不确定性问题中的随机扰动部分，方 法是将确定性控制系统理论与概率论、随机过程理论方法相 结合。 ，方 法是将确定性控制系统理论与概率论、随机过程理论方法相 结合。 随机系统最优控制作为随机系统控制理论的重要组成部分， 是 随机系统最优控制作为随机系统控制理论的重要组成部分， 是建立在最优状态估计基础之上建立在最优状态估计基础之上的。但由于最优状态估计在 其他课程中已有介绍，不是本课程的重点，因此暂且略过。 的。但由于最优状态估计在 其他课程中已有介绍，不是本课程的重点，因此暂且略过。 7.4 随机系统最优控制随机系统最优控制 随机系统最优控制的两
3、种主要表现形式随机系统最优控制的两种主要表现形式: 最小方差控制最小方差控制基于输入输出模型基于输入输出模型 随机二次型最优控制随机二次型最优控制基于线性状态空间模型 最小方差控制问题可以看作是随机线性二次型最优控制问 题的特例，所以这里只讨论随机线性二次型最优控制问题。 基于线性状态空间模型 最小方差控制问题可以看作是随机线性二次型最优控制问 题的特例，所以这里只讨论随机线性二次型最优控制问题。 设在随机作用下系统状态方程为设在随机作用下系统状态方程为 (7-4-1) )()()()()(twtGtxtAtx 初始状态为初始状态为 (7-4-2) 00) (xtx 其中其中x(t)是是n维维
4、随机状态向量随机状态向量；x0是是n维维随机初始状态向量随机初始状态向量，其统计性 能为 ，其统计性 能为 (7-4-3) (7-4-4) 000 )( xEtxE 0000000 )()( xx T PtPxxEtxVar (1)系统状态对随机作用的响应系统状态对随机作用的响应 w(t)是是m维零均值高斯白噪声过程，统计性能为维零均值高斯白噪声过程，统计性能为 (7-4-5) )()( )()()(),(ttQwtwEwtwCov T 等于其他值 等于其他值0 22 1 t, t , )(t ii) x(t)的方差阵的方差阵满足矩阵微分方程满足矩阵微分方程 (7-4-9) 及初始条件 则可以
5、证明存在下列有关 及初始条件 则可以证明存在下列有关x(t)统计性能统计性能的关系式：的关系式： i) x(t)的均值的均值满足矩阵微分方程满足矩阵微分方程 (7-4-7) (7-4-8) 其中，为狄拉克其中，为狄拉克函数；函数；Q(t)为动态 噪声 为动态 噪声w(t)的协方差矩阵的协方差矩阵。并设。并设x(t0)与与w(t)无关，即无关，即 (7-4-6)0)()()()(),( 000 T tEwtwtxEwtxCov )()()()()(tEwtGtExtAtEx dt d 00) ( txE )()( )()()()()()(tGtQtGtAtPtPtAtP xxx TT 00) (
6、 xx PtP 均为确定性方程均为确定性方程 iv)与与w(t)的协方差阵为的协方差阵为 (7-4-11) iii) x(t)的协方差阵的协方差阵为为 (7-4-10) 其中为系统其中为系统(7-4-1)的状态转移矩阵。的状态转移矩阵。 0 ),()(),( )(),(),( tttPttP tPttttP xx xx T ),(tt )( tx 00 0)( )( 2 1 0)( )(),( ),( tQtG tQtGtt ttPxw 对于对于定常随机系统定常随机系统 (7-4-12) 当其具有与上述相同的噪声统计性能时，当其具有与上述相同的噪声统计性能时，x(t)的统计性能有类似于上 面公
7、式的表达式。当时，有 的统计性能有类似于上 面公式的表达式。当时，有 00) ( )()()( xtx tGwtAxtx tPtPx)( ii) x(t)的方差阵满足矩阵代数方程的方差阵满足矩阵代数方程 (7-4-9) i) x(t)的均值满足矩阵微分方程的均值满足矩阵微分方程 (7-4-7) (7-4-8) )()()(tGEwtAExtEx dt d 00) ( txE 0 TT GGQAPPA xx iii) x(t)的协方差阵为的协方差阵为 (7-4-10) iv) 与与w(t)的协方差阵为的协方差阵为 (7-4-11) 0 )()( )()( T xx xx PP PP 00 0 2
8、 1 0)( )( GQ GQ Pxw )( tx 要求得确定性的性能指标数值，需要考虑用要求得确定性的性能指标数值，需要考虑用Js的数学期望的数学期望 (7-4-16) 作为性能指标。其中为终值项加权矩阵，作为性能指标。其中为终值项加权矩阵，Q(t)为积分项加权矩阵， 均为对称半正定矩阵。 为积分项加权矩阵， 均为对称半正定矩阵。 )()()( 2 1 )()( 2 1 0 dttxtQtxtxPtxEEJJ f f t t ftfs TT 仍考虑系统仍考虑系统 (7-4-13) 及其初始状态及其初始状态 (7-4-14) (2) 系统状态的随机型性能指标系统状态的随机型性能指标 )()()
9、()()(twtGtxtAtx 00) (xtx 由于由于x(t)是在白噪声是在白噪声w(t)作用下动力学系统的响应，是一个随机过 程，如果采用与确定性二次型性能指标相同的表示方法，即 作用下动力学系统的响应，是一个随机过 程，如果采用与确定性二次型性能指标相同的表示方法，即 (7-4-15) dttxtQtxtxPtxJ f f t t ftfs 0 )()()( 2 1 )()( 2 1 TT f t P 则则Js就无法象确定性系统那样是一个确定数值，而是一个就无法象确定性系统那样是一个确定数值，而是一个随机变量随机变量。 首先假定。令，表示对取均值， 则此时有。 再考虑，其中，表示对 首
10、先假定。令，表示对取均值， 则此时有。 再考虑，其中，表示对nn维方阵维方阵A的对 角线元素 的对 角线元素ai求和。则有求和。则有 (7-4-17) 在上式右边加上一项， 并令，及考虑，则上式可表示为 上式可以考虑表示为另外一种形式。 在上式右边加上一项， 并令，及考虑，则上式可表示为 上式可以考虑表示为另外一种形式。 0)( 00 txE)( 000 T xxEtPx T 00x x 0 00 )()( xxx PtPtP 0000 TT xxTxx r n i ir aAT 1 )()( 2 1 )( 2 1 0 dttQtPPtPTJ f f t t xtfxr 0)()()()( )
11、()( 2 1 00 0 tPtPtPtPdttPtP dt d xffx t t x f f tf PtP )( )()()( 2 1 )()()()( 2 1 )( 2 1 00 0 tPtPPtPdttPtP dt d tQtPPtPTJ xtfxx t t xtfxr f f f )()()()()()()()( 2 1 0 00 dttPtPtPtPtQtPtPtPT xx t t xxr f )()( 00 tPtP xx 只在只在0=0时成立时成立 将将x(t)的方差阵满足的的方差阵满足的(7-4-9)式代入上式，并注意到式代入上式，并注意到 (M、N为相同维数方阵为相同维数方阵
12、)，则上式可改写为，则上式可改写为 (7-4-18) )(tPxNMTMNT rr )()()( )()()( 2 1 0 00 dttPtGtQtGtPtPTJ f t t xr T 其中，其中，P(t)必须满足必须满足矩阵微分方程矩阵微分方程 (7-4-19) 以及终值条件以及终值条件 (7-4-20) (7-4-19)和和(7-4-20)式即为确定性系统 ， 式即为确定性系统 ， 0)()()()()()(tQtPtAtAtPtP T f tf PtP )( )()()()()(tutBtxtAtx 00) (xtx 当当B(t)=0时的最优控制所满足的黎卡提方程。时的最优控制所满足的黎
13、卡提方程。 回顾：当回顾：当B(t)0时，黎卡提方程为时，黎卡提方程为 )()()()()()()()()()()(tQtPtAtPtBtRtBtPtAtPtP TT1 )()( )()()()()()(tGtQtGtAtPtPtAtP xxx TT 若，仍定义， 有 这时由方差 因此得 若，仍定义， 有 这时由方差 因此得随机系统性能指标的最后形式随机系统性能指标的最后形式为为 (7-4-21) 0)( 00 txE )( 000 T xxEtPx TT TTTT T 0000 0000000000000 )( xxE ExExxxExxEtPx T 0000 )()( tPtP xx )()()( )()()()()( 00000 0000000 tPtPTtP tPtPtPTtPtPT xr xrxr T T )()()( )()()( 2 1 )( 2 1 0 00000 dttPtGtQtGtPtPTtPJ f t t xr T T 此式中此式中P(t)仍应满足（仍应满足（7-4-19）和（）和（7-4-20）式。）式。 关于随机系统最优性能指标的讨论关于随机系统最优性能指标的讨论 当当w(t) 0，Q(t) 0，系统初始状态为零均值随机变量，即 有， 与前面讨论过的确定性系统二次型最优性
