《随机过程5.2》由会员分享，可在线阅读，更多相关《随机过程5.2（21页珍藏版）》请在金锄头文库上搜索。
1、河南理工大学数信学院5.2 5.2 5.2 5.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程（1）直接由一步转移概率矩阵的）直接由一步转移概率矩阵的k次方得到（次方得到（2）写出概率转移图，然后计算）写出概率转移图，然后计算k步转移矩阵的 各个元素步转移矩阵的 各个元素pij（k）回顾离散时间齐次马尔可夫链离散时间齐次马尔可夫链( )( ) ijp()kk ijPPp=? （ ）已知一步转移概率矩阵已知一步转移概率矩阵k步转移概率矩阵步转移概率矩阵方法方法:河南理工大学数信学院转移速率转移速率转移速率转移速率引理 设齐次马尔可夫过程满足正则性条件，则对于
2、任意固定的设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,j I , pij(t)是是t的一致连续函数。的一致连续函数。思考：如何求如何求pij(t)?河南理工大学数信学院转移速率转移速率转移速率转移速率定理5.3 设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在是齐次马尔可夫过程的转移概率，则下列极限存在01()1 limii iiitptqt = （）j j0()lim,i itptqijt =0, pji(t2)0,则称状态则称状态i与与j是是互通互通的。的。若所有状态都是互通的，则称此马尔可夫链为若所有状态都是互通的，则称此马尔可夫链为不可约不可约的。的。状态的常返性与
3、非常返性等概念与离散马尔可夫链相似。状态的常返性与非常返性等概念与离散马尔可夫链相似。河南理工大学数信学院极限分布与平稳分布极限分布与平稳分布极限分布与平稳分布极限分布与平稳分布 定理5.7定理5.7设连续时间的马尔可夫链是不可约的，则有下列性质：设连续时间的马尔可夫链是不可约的，则有下列性质：1jjjkkj kjj j Iqq= =lim( )ijtp t （1）若它是正常返的，则极限存在且等于（1）若它是正常返的，则极限存在且等于j0,jI. I. j是下面方程组的唯一非负解是下面方程组的唯一非负解河南理工大学数信学院极限分布与平稳分布极限分布与平稳分布极限分布与平稳分布极限分布与平稳分布
4、此时称此时称j，jII是该过程的平稳分布，并且有是该过程的平稳分布，并且有lim( )jjtp t =（2）若它是零常返的或非常返的，则lim( )lim( )0, ,ijjttp tp ti jI =河南理工大学数信学院例题例题例题例题例：考虑两个状态的连续时间马尔可夫链，在转移 到状态考虑两个状态的连续时间马尔可夫链，在转移 到状态1之前在状态之前在状态0停留的时间是参数为的指数变量，而在回到状态停留的时间是参数为的指数变量，而在回到状态0之前它停留在状态之前它停留在状态1的时间是参数为的指数变量，求其转移概率，以及极限分布和平稳分布。的时间是参数为的指数变量，求其转移概率，以及极限分布和
5、平稳分布。解解：由题意知，该链是一个齐次马尔可夫链，其转移概率为：由题意知，该链是一个齐次马尔可夫链，其转移概率为河南理工大学数信学院例题例题例题例题由定理5.3知由定理5.3知0110( )( ) ( )( )phho h phho h =+ =+0001 0001001001( )( )limlim( )|h hhphphdqphqhhdh=1011 111001000( )1( )limlim( )|h hhphphdqphqhhdh=河南理工大学数信学院例题例题例题例题由柯尔莫哥洛夫向前方程得由柯尔莫哥洛夫向前方程得 00010000( )( )( )()( )ptptptpt= +其
6、中最后一个等式来自其中最后一个等式来自0100( )1( )ptpt= 因此因此 ()() 0000( )()( )tteptpte +=或或()() 00( )ttdeptedt +=河南理工大学数信学院例题例题例题例题于是于是()() 00( )tteptec +=+由于由于00(0)1p=可见可见c=/+则则() 00( )tpte +=+若记若记00=+，则则河南理工大学数信学院例题例题例题例题() 0000( )tpte +=+类似的类似的 010001( )( )( )ptptpt=() 010( )1tpte +=由对称性知由对称性知() 1100( )tpte +=+() 100( )1tpte +=
