《中科院随机过程课件第7-8讲》由会员分享，可在线阅读，更多相关《中科院随机过程课件第7-8讲（17页珍藏版）》请在金锄头文库上搜索。
1、中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 第二章第二章 Markov 过程过程 7参数连续状态离散的马氏过程参数连续状态离散的马氏过程 （一）参数连续状态离散的马氏过程的转移概率（一）参数连续状态离散的马氏过程的转移概率 定义：设定义：设0, )(ttX是取值于状态空间是取值于状态空间S的随机过程，的随机过程，S是有限或无限可 列的，如果对于任意的正整数，任意的 是有限或无限可 列的，如果对于任意的正整数，任意的0n 12+1 =+ tSjiptptp Sk jkkiji 连续性条件：连续性条件： = = ji ji tp jiji t ,0 , 1 )(lim 0 满
2、足连续性条件的马氏过程称为随机连续的马氏过程。满足连续性条件的马氏过程称为随机连续的马氏过程。 注：注：i固定时，可以证明齐次纯不连续，并且随机连续的马氏过程的转移 概率是关于 固定时，可以证明齐次纯不连续，并且随机连续的马氏过程的转移 概率是关于 j, )(tp ji t的一致连续函数，并且是可微的。的一致连续函数，并且是可微的。 （二）无穷小转移率及转移率矩阵（矩阵）（二）无穷小转移率及转移率矩阵（矩阵） ji qQ 取任意充分小的取任意充分小的0t，由连续性条件及上面的注，我们有：，由连续性条件及上面的注，我们有： )()()0()(ttqttqptp jijijijiji +=+= 即
3、：即： t tp q jiji t ji = )( lim 0 我们称我们称q为从状态为从状态i到状态的无穷小转移率或跳跃强度，显然有：到状态的无穷小转移率或跳跃强度，显然有： ji j 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 = = ji t tp ji t tp q i i t ji t ji , 1)( lim , )( lim 0 0 即有：即有： )( ,0),( ,0jiqjiq jiji = 由由1)(= Sj ji tp 及上面的式子，有：及上面的式子，有： = + += SjSj ji SjSj ji t t qttq )( )(11 两边求极限，即
4、有：两边求极限，即有： 0= Sj ji q 当状态有限的时候，我们可以定义一个矩阵如下：当状态有限的时候，我们可以定义一个矩阵如下： )1()1( 210 1121110 0020100 + = nn nnnnn n n qqqq qqqq qqqq Q L MMMM L L 称称Q为转移率矩阵或为转移率矩阵或Q矩阵。矩阵。 注：当状态为无限可列时，也可以定义形式上的注：当状态为无限可列时，也可以定义形式上的Q矩阵。矩阵。 （三）（三）KolmogrovFeller 前进方程前进方程 由由 CK 方程，取任意充分小的方程，取任意充分小的0t，有：，有： )()()()()( )()()( ,
5、 Sitptptptp tptpttp jkSk jkkijjji Sk jkkiji += =+ 由：由： 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 += += )(1)( )()( ttqtp jkttqtp jjjj jkjk 有：有： += =+ jkSk jkkijjji ji ttqtpttqtp ttp , )()()(1)( )( 即有：即有： t t qtp t tpttp Sk jkki jiji += + )( )( )()( 令令0t，我们有：，我们有： 0,)( )( = tSjiqtp td tpd Sk jkki ji 由初始条件：由初始条
6、件： = = 1)0( 0)0( i i ji p jip 即可求解上面的方程组。即可求解上面的方程组。 当状态有限时，我们令：当状态有限时，我们令： ()(,),(),()( 10 tptptpt iniii L= 则有：则有： () = = 0, 1 , 0 , 0)0( , 2 , 1 , 0)( )( LL L i i i niQt td td 进一步，若记：进一步，若记： )1()1( 10 11110 00100 1 0 )()()( )()()( )()()( )( )( )( )( + = = nn nnnn n n n tptptp tptptp tptptp t t t t
7、P L MMM L L M 则有：则有： 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 = = +)1()1( )0( )( )( nn IP QtP td tPd 此即为此即为 KolmogrovFeller 前进方程。前进方程。 （四）（四）KolmogrovFeller 后退方程后退方程 根据根据 CK 方程，取任意充分小的方程，取任意充分小的0t，有：，有： )()()()()( )()()()( , Sitptptptp tptpttpttp ikSk jkkijii i Sk jkkijiji += =+=+ 由：由： += += )(1)( )()( ttqt
8、p ikttqtp i ii i kiki 得：得： t t tpqtpq t tpttp ikSk jkkijii i jiji += + )( )()( )()( , 令令0t，我们有：，我们有： 0,)( )( = tSjitpq td tpd Sk jkki ji 当状态有限时，记：当状态有限时，记： = )( )( )( )( 1 0 tp tp tp tS jn j j j M 则有：则有： njtSQ td tSd j j , 2 , 1 , 0)( )( L= 初始条件为：初始条件为： 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 ) 1( 0 1 0 )0
9、(+ =jS j M M 上面的方程组即为上面的方程组即为 KolmogrovFeller 后退方程后退方程 （五）（五）Fokker-Planck 方程方程 讨论有限状态的情形，令：讨论有限状态的情形，令：)()(jtXPtpj= 过程的初始分布为：过程的初始分布为： ()0(,),0(),0()0( 10n ppppL r = 设在设在t时刻时，过程所处各状态的概率分布为：时刻时，过程所处各状态的概率分布为： ()(,),(),()( 10 tptptptp n L r = 则有：则有： = = = = n j jj n j jj n j tppptp jXPjXtXPtXptp 0 0
10、0 0 0 0 )()0()0()( )0()0(0)(0)()( 即有：即有： )()0()(tPptp rr = 即有：即有： QtpQtPp td tPd p td tpd )()()0( )( )0( )(rrr r = 因此，得：因此，得： Qtp td tpd )( )(r r = 此即为此即为 Fokker-Planck 方程，其初始条件为方程，其初始条件为 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 ()0(,),0(),0()0( 10n ppppL r = 解此方程可得任意时刻该过程的一维概率分布。解此方程可得任意时刻该过程的一维概率分布。 （六）例子
11、（六）例子 例例 1 假设某服务台有一部电话，如果在假设某服务台有一部电话，如果在t时刻电话正被使用，置时刻电话正被使用，置1)(=tX， 否则置 ， 否则置0)(=tX，因此，因此0; )(ttX为一纯不连续马氏过程。假设此过程的转 移概率矩阵为： 为一纯不连续马氏过程。假设此过程的转 移概率矩阵为： + + = 8 7 8 1 8 77 8 71 )( 88 88 tt tt ee ee tP 初始分布为：初始分布为： 10/91)0(;10/10)0( 10 =XPqXPq （1） 计算矩阵） 计算矩阵)0(P； （2） 计算概率：） 计算概率：0)2 . 0(=XP；0)0(0)2 .
12、 0(=XXP； 0)0(1) 1 . 1 (, 1)6 . 0(, 0) 1 . 0(=X , 1)6 . 0(, 0 X 0) 1 . 0( XXP ) 1 . 1 ( ； =XXXP； （3） 计算） 计算t时刻的一维分布；时刻的一维分布； （4） 计算） 计算t时刻的转移率矩阵；时刻的转移率矩阵； 例例 2 设有参数连续、状态离散的马氏过程设有参数连续、状态离散的马氏过程0),(ttX，状态空间为：，状态空间为： , 2 , 1mSL=， 当， 当imjij, 2 , 1,L=时 ，时 ，1= ji q， ，求。，求。 ),1(=mq i i mi, 2 , 1L=)(tp ji 解：
13、由解：由 KF 前进方程，可知：前进方程，可知： += Skjk ikij ij tptpm td tpd )()() 1( )( 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 由由 1)(= Sk ik tp 可知可知 )(1)(tptp ji Skjk ik = 因此，我们有：因此，我们有： mjitpmtptpm td tpd ijjiij ij , 2 , 1,)(1)(1 )() 1( )( L=+= 解此微分方程，得：解此微分方程，得： mji m cetp mt ji , 2 , 1, 1 )(L=+= 利用初始条件：利用初始条件： )(0)0(,1)0(ji
14、pp jii i = 可得：可得： ), 2 , 1,()1 ( 1 )( ), 2 , 1( 11 1)( mjijie m tp mi m e m tp mt ji mt i i L L = =+ = 注意：关于指数分布（Exponential distribution）的性质注意：关于指数分布（Exponential distribution）的性质 定义：若连续型随机变量的概率密度函数为： 定义：若连续型随机变量的概率密度函数为： X = 其它,0 0, )( x x e xf 其中其中0，则称服从参数为，则称服从参数为X的指数分布，记作的指数分布，记作)(ExX。 。 性质：若 性质：若)(ExX，则，则/1)(=XE 性质（无记忆性） ：对于 性质（无记忆性） ：对于0, ts，我们有： ，我们有： tXPsXtsXP=+ 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 例例 3 （排队问题） 设有一服务台，（排队问题） 设有一服务台
