《2012第五章连续时间马尔可夫链》由会员分享，可在线阅读，更多相关《2012第五章连续时间马尔可夫链（39页珍藏版）》请在金锄头文库上搜索。
1、随机过程 第五章：连续时间的马尔可夫链第五章：连续时间的马尔可夫链 第五章：连续时间的马尔可夫链第五章：连续时间的马尔可夫链 5.1 连续时间马尔可夫链定义 5.2 柯尔莫哥洛夫向前方程与向后方程 5.3 连续时间马尔可夫链的应用 5.1 连续时间马尔可夫链定义 5.2 柯尔莫哥洛夫向前方程与向后方程 5.3 连续时间马尔可夫链的应用 ?时间、状态时间、状态都是都是离散离散的的马尔可夫过程马尔可夫过程，称为，称为马尔可夫链马尔可夫链。 ?时间连续、状态离散时间连续、状态离散的的马尔可夫过程马尔可夫过程，称为，称为连续时间的马尔 可夫链 连续时间的马尔 可夫链。 ?时间、状态时间、状态都是都是连
2、续连续的的马尔可夫过程马尔可夫过程，就是，就是马尔可夫过程马尔可夫过程。 例如例如： 天气预报 质点的随机游动 赌博输光问题 生死链 ： 天气预报 质点的随机游动 赌博输光问题 生死链 5.1 连续时间的马尔可夫链定义5.1 连续时间的马尔可夫链定义 设随机过程 X(t),t0，状态空间 I= i设随机过程 X(t),t0，状态空间 I= in n, n0，若对任 意0t , n0，若对任 意0t1 1tt2 2=+ 在0时刻马尔可夫链进入状态 i，而且在接下来的s 个单位时间中过程未离开状态 i，问在随后的t个单位时 间中过程仍不离开状态 i 的概率是多少？ 在0时刻马尔可夫链进入状态 i，
3、而且在接下来的s 个单位时间中过程未离开状态 i，问在随后的t个单位时 间中过程仍不离开状态 i 的概率是多少？ 无记忆性。无记忆性。 一个连续时间的马尔可夫链，每当它进入状态 i，具有 如下性质： （1）在转移到另一状态之前处于状态 i 的时间服从参数为 v 一个连续时间的马尔可夫链，每当它进入状态 i，具有 如下性质： （1）在转移到另一状态之前处于状态 i 的时间服从参数为 vi i 的指数分布； （2）当过程离开状态 i 时，接着以概率 p 的指数分布； （2）当过程离开状态 i 时，接着以概率 pij ij进入状态 j，且进入状态 j，且 ( )1 ij j i p t = 当v当v
4、i i=时，称状态 i 为=时，称状态 i 为瞬时状态瞬时状态； 当v ； 当vi i0时，称状态 i 为0时，称状态 i 为吸收状态吸收状态。 x0 ( ) 0 x+= 1 x0 ( ) 0 x0 x e F x = =+ 分布函数 概率密度函数 分布函数 概率密度函数 齐次马尔可夫过程的转移概率具有下列性质： （1） （2） （3） 齐次马尔可夫过程的转移概率具有下列性质： （1） （2） （3） 0)(tpij 1)(= Ij ij tp =+ Ik kjikij sptpstp)()()( 正则性条件：正则性条件： 0 1, lim( ) 0, ij t ij pt ij = = 齐次
5、转移概率性质：齐次转移概率性质： ()()|(0) (),( )|(0) ( )|(0) ()|( ) ( )( ) ij k I k I ikkj k I P tsP X tsj Xi P X tsj X tk Xi P X tk Xi P X tsj X tk P t P s +=+= =+= =+= = 证明:证明: 对于任一 t0，记：对于任一 t0，记： IjjXPpp jtXPtp jj j = = ,)0()0( ,)()( 为为绝对概率绝对概率和和初始概率初始概率。 分别称 p 。 分别称 pj j(t), jI 和 p(t), jI 和 pj j, jI 为齐次马尔可夫过程
6、的 , jI 为齐次马尔可夫过程 的绝对概率分布绝对概率分布和和初始概率分布初始概率分布。 绝对概率和初始概率定义：绝对概率和初始概率定义： 齐次马尔可夫过程的齐次马尔可夫过程的绝对概率绝对概率及有限维概率分布 具有下列性质： （1） （2） （3） （4） （5） 及有限维概率分布 具有下列性质： （1） （2） （3） （4） （5） 0)(tp j 1)(= Ij j tp = Ii ijij tpptp)()( =+ Ii ijij ptptp)()()( 11 21 11 1211 ( ),() ( )()() nn nn iiii iiinn iI P X tiX ti p ptp
7、ttptt = = ? ? 绝对概率和初始概率性质：绝对概率和初始概率性质： ( )( ) ( ),(0) ( )|(0) (0) ( ) j k I k I iij k I P tP X tj P X tj Xi P X tj Xi P Xi PP t = = = = 证明（3）:证明（3）: 同样方法可以证明性质（4）和（5）。同样方法可以证明性质（4）和（5）。 例题5-1:例题5-1: 证明证明: 泊松过程 X(t) 为连续时间齐次马尔可夫链。 （1）先证明马氏性 （2）再证明齐次性 : 泊松过程 X(t) 为连续时间齐次马尔可夫链。 （1）先证明马氏性 （2）再证明齐次性 1111
8、11 ()|( ),.( ) ()|( ) nnnn nnnn P X tiX tiX ti P X tiX ti + + = = ()|( ) ( ) ij P X stj X si P t += = 5.2 柯尔莫哥洛夫向前方程与向后方程5.2 柯尔莫哥洛夫向前方程与向后方程 引理5.1引理5.1 设齐次马尔可夫过程满足正则性条件，则对于任意固 定的 i,jI，p 设齐次马尔可夫过程满足正则性条件，则对于任意固 定的 i,jI，pij ij(t) 是 t 的一致连续函数。(t) 是 t 的一致连续函数。 定理5.3定理5.3 设 p设 pij ij(t) 是齐次马尔可夫过程的转移概率且满足
9、正则性 条件，则下列极限存在： （1） （2） q (t) 是齐次马尔可夫过程的转移概率且满足正则性 条件，则下列极限存在： （1） （2） q ij ij称为称为转移速率转移速率或或跳跃强度。跳跃强度。 = iii ii t qv t tp)(1 lim 0 jiq t tp ij ij t = , )( lim 0 若连续时间齐次马尔可夫链是具有有限状态空间 I=1,2, ,n，则其转移速率可构成以下形式的矩阵(称 为 若连续时间齐次马尔可夫链是具有有限状态空间 I=1,2, ,n，则其转移速率可构成以下形式的矩阵(称 为Q矩阵Q矩阵） = nnnn n n qqq qqq qqq ? ?
10、 ? ? 10 11110 00100 Q Q矩阵的每一行元素之和为0，对角线元素为负或 0，其余q Q矩阵的每一行元素之和为0，对角线元素为负或 0，其余qij ij00 利用Q矩阵可以推出任意时间间隔 t 的转移概率所 满足的方程组，从而可以 利用Q矩阵可以推出任意时间间隔 t 的转移概率所 满足的方程组，从而可以求解转移概率求解转移概率。 假设，则对一切 i,j 及 t 0，有假设，则对一切 i,j 及 t 0，有： ii ik ik qq = )()()(tpqtpqtp ijii ik kjikij = 证明：证明：由C-K方程可以知道：由C-K方程可以知道： =+ Ik kjiki
11、j tphphtp)()()( )()()()()()(tphp1tphptphtp ijii ik kjikijij =+ 柯尔莫哥洛夫向后方程柯尔莫哥洛夫向后方程 ( )( )( ) ( )( ) ijikkjiiij ki ptq ptq pt P tQP t = = 0h 两边除以h，取极限可以得到：两边除以h，取极限可以得到： (t)pq(t)pq (t)pq(t)p h (h)p (t)pq(t)p h (h)p tp h hp1 h tphp h tphtp ijiikj ik ik ijiikj ik ik 0h ijiikj ik ik 0h ij ii 0hik kjik
12、0h ijij 0h lim lim limlimlim = = = = + )( )( )()()()( 即即 在适当的正则条件下，则对一切 i,j 及 t0，有：在适当的正则条件下，则对一切 i,j 及 t0，有： ( )( )( ) ( )( ) ijikkjijjj k j p tp t qp t q P tP t Q = = 利用Kolmogorov向后方程或向前方程及下述初始条件， 可以解得 p 利用Kolmogorov向后方程或向前方程及下述初始条件， 可以解得 pij ij(t)。(t)。 ( 0 )1 ( 0 )0 , i i i j p pij = = 柯尔莫哥洛夫向前方程
13、柯尔莫哥洛夫向前方程 柯尔莫哥洛夫向后和向前方程柯尔莫哥洛夫向后和向前方程的矩阵表达形式为：的矩阵表达形式为： QPP QPP )()( (t)( tt t = = 连续时间马尔可夫链的转移概率的求解问题就是 矩阵微分方程的求解问题，其转移概率由其转移速率 矩阵Q决定。 连续时间马尔可夫链的转移概率的求解问题就是 矩阵微分方程的求解问题，其转移概率由其转移速率 矩阵Q决定。 向前方程 向后方程 向前方程 向后方程 柯尔莫哥洛夫向后方程柯尔莫哥洛夫向后方程的矩阵表达形式为：的矩阵表达形式为： (t)(QPP= t = nnnn n n qqq qqq qqq ? ? ? ? 10 11110 0
14、0100 Q = )()()( )()()( )()()( 0 0 0000 tPtPtP tPtPtP tPtPtP P(t) nnn1n 1n111 n1 ? ? ? ? 柯尔莫哥洛夫向前方程柯尔莫哥洛夫向前方程的矩阵表达形式为：的矩阵表达形式为： ( )(t)t=PPQ = nnnn n n qqq qqq qqq ? ? ? ? 10 11110 00100 Q = )()()( )()()( )()()( 0 0 0000 tPtPtP tPtPtP tPtPtP P(t) nnn1n 1n111 n1 ? ? ? ? 例题5-2：例题5-2： 考虑两个状态的连续时间马尔可夫链，在转
15、移到状态 1 之前在状态 0 停留的时间是参数为 的指数变量，而 在回到状态 0 之前它停留在状态 1 的时间是参数为 的 指数分布，求转移概率 考虑两个状态的连续时间马尔可夫链，在转移到状态 1 之前在状态 0 停留的时间是参数为 的指数变量，而 在回到状态 0 之前它停留在状态 1 的时间是参数为 的 指数分布，求转移概率 P P00 00(t), P (t), P01 01(t), P (t), P10 10(t), P (t), P11 11(t)。 (t)。 010 101 ( )1( ) ( )1( ) h uh phPheho h phPheuho h = =+ = 则称状态 i 和 j 是则称状态 i 和 j 是互通的互通的。若所有状态都是互通的， 则称此马尔可夫链为 。若所有状态都是互通的， 则称此马尔可夫链为不可约的不可约的。 互通的与不可约的定义：互通的与不可约的定义： 转移概率 p转移概率 pij ij(t) 在t时的性质及其平稳分布关系: 设连续时间的马尔可夫链是不可约的，则有下列性质： （1） 若它是正常返的，则极限存在且等于 (t) 在t时的性质及其
