《第五章 连续时间的Markov链-修订编选》由会员分享，可在线阅读，更多相关《第五章 连续时间的Markov链-修订编选（21页珍藏版）》请在金锄头文库上搜索。
1、第五章连续时间的马尔可夫链 1 第五章第五章 连续时间的马尔可夫链连续时间的马尔可夫链 第四章我们讨论了时间和状态都是离散的链，本章我们研究的是时间连续、状Markov 态离散的过程，即连续时间的链. 连续时间的链可以理解为一个MarkovMarkovMarkov 做如下运动的随机过程：它以一个离散时间链的方式从一个状态转移到另一状态，Markov 在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过 去的状态无关（具有无记忆性） ，但与将来转移到的状态独立. 5.1 连续时间马尔可夫链的基本概念连续时间马尔可夫链的基本概念 定义定义 5.1 设随机过程，状态空间
2、，若对任意的正整数( ),0X t t ,1 n Ii n 及任意的非负整数，条件概率满足 121 0 n ttt 121 , , n i iiI 111122 ()|( ),( ),( ) nnnn P X tiX ti X tiX ti （5.1） 11 ()|( ) nnnn P X tiX ti 则称为连续时间的链连续时间的链.( ),0X t t Markov 由定义知，连续时间的链是具有性（或称无后效性）的随机过程，它MarkovMarkov 的直观意义是：过程在已知现在时刻及一切过去时刻所处状态的条件下，将来时刻的 n t 1n t 状态只依赖于现在的状态而与过去的状态无关. 记
3、(5.1)式条件概率的一般形式为 （5.2）()|( )( , ) ij P X stj X sips t 它表示系统在时刻处于状态 ，经过时间 后在时刻转移到状态的转移概率，sitstj 通常称它为转移概率函数转移概率函数.一般地，它不仅与 有关，还与有关.ts 定义定义 5.2 若(5.2)式的转移概率函数与无关， 则称连续时间链具有平稳的转移sMarkov 概率函数，称该链为连续时间的齐次（或时齐）链连续时间的齐次（或时齐）链. 此时转移概率函数简MarkovMarkov 记为.相应地，转移概率矩阵简记为.( , )( ) ijij ps tp t( )( ),( ,0) ij P tp
4、 ti jI t 若状态空间，则有0,1,2,I （5.3） 000102 101112 012 ( )( )( ). ( )( )( ) ( )( ). ( )( )( ) . ij nnn ptptpt ptptpt P tp t ptptpt 假设在某时刻，比如说时刻 0，链进入状态 ，在接下来的个单位时间内过程Markovis 未离开状态 （即未发生转移） ， 我们要讨论的问题是在随后的 个单位时间中过程仍不离开it 第五章连续时间的马尔可夫链 2 状态 的概率是多少？由性知，过程在时刻处于状态 的条件下，在区间iMarkovsi ,s st 中仍处于状态 的概率正是它处在状态 至少
5、个单位时间的（无条件）概率，若记为过程iit i 在转移到另一状态之前停留在状态 的时间，则对一切有i,0s t | iii PstsPt 可见，随机变量具有无记忆性，因此，服从指数分布. i i 因此，一个连续时间的链，每当它进入状态 ，具有如下性质：Markovi （1）在转移到另一个状态之前处在状态 的时间服从参数为的指数分布；i i v （2）当过程离开状态 时，接着以概率进入状态,且 .i ij pj1 ij j i p 当时，称状态 是瞬时状态瞬时状态，因为过程一旦进入状态就离开；若，称状 i v i0 i v 态为吸收状态吸收状态. 因为过程一旦进入永远不再离开.尽管瞬时状态在理
6、论上是可能的， 但我们以 后还是假设一切 ，.因此，考虑连续时间链，可以按照离散时间的i0 i v Markov 链从一个状态转移到另个状态，但在转移到另一状态之前，它在各个状态停留的时Markov 间服从指数分布，而且在状态 停留的时间与下一个状态必须是相互独立的随机变量.i 定理定理 5.1 齐次链的转移概率函数具有下列性质：Markov （1）；( )0 ij p t （2）；( )1 ij j I p t （3）.()( )( ) ijikkj k I p tspt ps （2）式表明转移概率矩阵中任一元素行和为 1；（3）式称为连续时间齐次链的Markov 方程，简称方程.Chapm
7、anKolmogorovCK 证明证明 （1）和（2）由概率定义及的定义易知，下面只证明（3）式( ) ij p t 由全概率公式和性可得Markov ()()|(0) ij p tsP X tsj Xi (),( )|(0) k I P X tsj X tk Xi ( )|(0) ()|( ) k I P X tk Xi P X tsj X tk ( )|(0) ( )|(0) k I P X tk Xi P X sj Xk 第五章连续时间的马尔可夫链 3 ( )( ) ikkj k I pt ps 对于转移概率函数，我们约定 0 1, lim( ) 0 ijij t ij p t ij （
8、5.4） 称上式为连续性条件连续性条件或正则性条件正则性条件.连续性条件保证转移概率函数在边界点处右( ) ij p t0t 连续.它的直观意义在于：当系统经过很短时间，其状态几乎不变，也就是认为系统刚进入 一个状态又立刻离开这个状态是不可能的. 定义定义 5.3 连续时间链在初始时刻（即零时刻）取各状态的概率Markov( ),0X t t (0)(0), ii ppP XiiI （5.5） 称为它的初始分布初始分布.在 时刻取各状态的概率( ),0X t t t ( )( ), j p tP X tj,0jI t 称为它在时刻 的绝对（概率）分布绝对（概率）分布.t 初始分布和绝对分布都是
9、概率分布，对于任意，总满足：0t ( ) j p t （1）；0( )1 j p t （2）.( )1 j j p t 利用全概率公式容易得到 ( )(0)( ), jiij i I p tpp tjI （5.6） （5.6）式表明：连续时间链的绝对概率分布完全由其初始分布和转移概率函数所Markov 确定.下面举一个简单的例子说明转移概率函数的计算方法. 例例 5.1 证明过程是连续时间的齐次链.Poisson( ),0N t t Markov 证明证明 先证明过程具有性.PoissonMarkov 由过程的独立增量性和，对任意，有Poisson( )0N t 121 0 nn tttt 1
10、111 ()|( ),( ) nnnn P N tiN tiN ti = 1111 ()( )|( )(0), nnnn P N tN tiiN tNi 212111 ( )( ),( )() nnnn N tN tiiN tN tii 第五章连续时间的马尔可夫链 4 11 ()( ) nnnn P N tN tii 另一方面，因为 = 11 ()|( ) nnnn P N tiN ti 11 ()( )|( )(0) nnnnnn P N tN tiiN tNi = 11 ()( ) nnnn P N tN tii 因此 = 1111 ()|( ),( ) nnnn P N tiN tiN
11、ti 11 ()|( ) nnnn P N tiN ti 即过程是连续时间的链.PoissonMarkov 再证齐次性. 当时，由过程的定义，得到jiPoisson ()|( )()( )P N stj N siP N stN sji () ()! j i t t e ji 当时，由于过程的增量只取非负整数值，因此，故ji( , )0 ij ps t () , ( , )( )()! 0, j i t ijij t eji ps tp tji ji 即转移概率函数只与 有关，因此，过程具有齐次性.容易看出，固定时，tPoisson, i j 是关于 的连续可微函数。( ) ij p tt 5.
12、2 微分方程微分方程Kolmogorov 对于离散时间齐次链，如果已知其一步转移概率矩阵，则步转移概Markov() ij Ppk 率矩阵由一步转移概率矩阵的次方即可求得.但是，对于连续时间齐次链，由于kMarkov “步长”的概念失效，转移概率函数的求法较为复杂，一般通过解微分方程求出转移概率函 数.为此，我们首先讨论的可微性及所满足的微分方程.( ) ij p tKolmogorov 定理定理 5.2 设齐次链满足连续性条件(5.4)，则对于任意固定的转移概率Markov,i jI 函数是 的一致连续函数.( ) ij p tt 证明证明 设，由方程，有0t CK ()( )()( )(
13、) ijijikkjij k I p ttp tpt ptp t ()( )( )()( ) iiijijikkj k i pt p tp tpt pt 第五章连续时间的马尔可夫链 5 1()( )()( ) iiijikkj k i ptp tpt pt 由此可知 ()( )1()( )1() ijijiiijii p ttp tptp tpt 以及 ()( )()( )()1() ijijikkjikii k ik i p ttp tpt ptptpt 因此 |()( )| 1() ijijii p ttp tpt 对于，可得到类似的不等式.0t 因此 .|()( )| 1(|) ijij
14、ii p ttp tpt 由连续性条件，令可得到证明.0t 定理定理 5.3 设是齐次连续时间链的转移概率函数，则有( ) ij p tMarkov ； (5.7) 0 () (1)lim, ij ij t pt qij t (5.8) 0 1() (2)lim, ii ii t pt qiI t 证明：略 定理 5.3 中定义的是齐次连续时间链从状态 到状态的转移概率密度转移概率密度或 ij qMarkovij 称转移速率（转移速率（ ）.也可称为从状态 到状态的跳跃强度跳跃强度.转移速率函数刻画transitionrateij 了链的转移概率函数在零时刻对时间的变化率. 定理中极限的概率意
15、义为：在长为Markov 的时间区间内，过程从状态 转移到状态的概率，等于加上一个比高tij() ij pt. ij qtt 阶的无穷小量 ； 从状态 到转移到另一其它状态的转移概率等于加上一个比i1() ii pt ii qt 高阶的无穷小量.转移速率函数也可以表示为以下形式：当充分小时tt ()|(0)()1() iiii P Xti Xiptqtt ()|(0)()(), ijij P Xtj Xiptqtt ij 推论推论 对有限齐次过程，有Markov iiij j i qq （5.9） 证明证明 由定理 5.1，即()1 ij j I pt 1()() iiij j i ptpt 由于求和是在有限集上进行，因此 00 () 1() limlim ij ii ij tt j ij i pt pt q tt 第五章连续时间的马尔可夫链 6 即.证毕. iiij j i
