《随机过程第五章》由会员分享，可在线阅读，更多相关《随机过程第五章（4页珍藏版）》请在金锄头文库上搜索。
1、连续时间的马氏链连续时间的马氏链11.定义：定义： 时间连续、状态离散的马尔科夫过程。设随机过程，状态空间,若对任意的 ,0X tt0,1,.I 110.ntt有121, ,.,ni iiI及 111111,.,nnnnnnnnp X tiX tiX tip X tiX ti则称其为连续时间马尔科夫链。 马尔可夫过程的任意有限维分布函数均可用它的初始分布和二维条件分布函数来确定。转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率: ,ijps tp X tsj X si齐次转移概率：( (转移概率与起始时刻s无关，只与时间间隔t有关) ) ,ijijps tpt转移概率矩阵： . ,
2、 ,0ijP tpti jIt2.2.齐次马尔科夫过程的性质：齐次马尔科夫过程的性质：； 0;1;ijijijikkj j Ik Iptptptspt ps P stP s P t3.3.转移概率的正则性条件转移概率的正则性条件: : 01,lim0,ijtijptij过程刚进入某状态不可能立即又跳跃到另一状态。4.4.初始概率初始概率 00,iippp XiiI5.5.绝对概率绝对概率 ,0jptp X tjjIt 11 211112110;1;.; nnjjjiij j Ii Ijiij i Inniiii iiinn i Iptptptp ptptp t pp X tiX tip pt
3、pttptt 6.6.初始分布初始分布,ip iI7.7.绝对分布绝对分布 ,0jptjIt连续时间的马氏链连续时间的马氏链28.8.停留时间的概率停留时间的概率：为过程在状态转移之前停留在状态i的时间，则对有：i,0s t 1;iiipstspt2服从参数为指数分布，；ii 1iixFxe 当无穷时：i 1,10 iiiFxpxFx 状态i的停留时间 超过x的概率为0，则称状态i为瞬时状态;i当=0时：i 0,11 iiiFxpxFx 状态i的停留时间 超过x的概率为0，则称状态i为吸收状态;i3当过程离开状态时，接着以概率进入j状态.ijp在状态i过程停留的时间与下一个到达的状态必须是相互
4、独立的随机变量。 9.9.科尔莫戈罗夫微分方程科尔莫戈罗夫微分方程齐次马尔可夫过程满足正则性条件，则对于任意i,jI,是t的一致连续函数 ijpt科尔莫戈罗夫向后方程：； P tQP t科尔莫戈罗夫向前方程：为的导数。 P tP t Q P t P t= P t ijpt ijdptdt 初始条件： 1;00;ijijpij若Q为一个有限矩阵则有： 0!jQtjQtP tej1010转移速率：转移速率：是齐次马尔可夫过程的转移概率，在下列极限存在： ijpt1）； 01limii iiitptqt 2）。 0lim.ij ijtptqijt 连续时间的马氏链连续时间的马氏链33）为齐次马尔可夫
5、过程从状态i到状态j的转移速率；ijq4）对有限齐次马尔可夫过程；iiij ijqq 5）对状态空间无限的齐次马尔可夫过程。iiij ijqq11Q11Q矩阵矩阵 0 ; 0 ; 0iiiiijijQPqpqp 1212绝对概率绝对概率齐次马尔可夫过程在t时刻处于状态的绝对概率 满足方程: :jI jpt ;jkkjjjj kjptpt qpt q ;jiij i Iptp pt ;ijikkjijjj kjptpt qpt q13.13.互通互通设是连续时间马尔可夫链的转移概率，若存在时刻，使得， ijpt1 2t t 10ijpt，则称状态i与j是互通的。若所有状态都是互通的，则称此马尔可
6、夫链为不可 20ijpt约的。 14.14.渐近性质渐近性质 设时间连续的马尔可夫链为不可约的，具有如下性质：1）若其为正常返的则。为方程组 lim0,ijjtptjI j的唯一非负解，此时称是该过程的平稳分布并且有 1jjjkkj kjj i Iqq ,jjI limjjtpt 2）若其为零常返或非常返的，则 limlim0,i,ijjttptptjI 1515生灭过程生灭过程设其次马尔科夫过程的状态空间为，转移概率为如果： ,0X tt1,2,.I ijpt。则称其为生灭过程为出生率为死亡率。 ,1,10,j;0;0,01;,2i iiii iiii iiiiphhhphhhphhhphhij ooooii连续时间的马氏链连续时间的马氏链4为正常数，则称其为线性生灭过程。, .iiii 若=0则为纯生过程。若=0则为纯灭过程ii平稳分布存在的充要条件：011112.jjj 11j jj j
