《中科院随机过程课件第9-10讲》由会员分享，可在线阅读，更多相关《中科院随机过程课件第9-10讲（13页珍藏版）》请在金锄头文库上搜索。
1、中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 第二章第二章 Markov 过程过程 9应用问题应用问题 （一） 几种重要的纯不连续马氏过程（一） 几种重要的纯不连续马氏过程 （1） ） Poission 过程（专门讲解）过程（专门讲解） （2） 纯增殖过程（人口问题） 纯增殖过程（人口问题） 纯增殖过程的转移概率为：纯增殖过程的转移概率为： =+ + +=+ =+ nkttt nknnkt nkttt ntXkttXP n n , )()(1 , 1, )( 1, )()( )()( 即在纯不连续增殖过程中，如果在即在纯不连续增殖过程中，如果在), 0 t内出现个个体内出现
2、个个体nntX=)(的条件下，在的条件下，在 ),ttt+内出现一个新个体的概率为内出现一个新个体的概率为)()(ttt n +， 出现二个或二个以上新 个体的概率为 ， 出现二个或二个以上新 个体的概率为)( t，没有出现新个体的概率为，没有出现新个体的概率为1) t() tt( n +。 纯增殖过程的状态空间为纯增殖过程的状态空间为, 2 , 1 , 0L=S，表示群体某时所拥有的个体数目。，表示群体某时所拥有的个体数目。 关心的问题是：在关心的问题是：在t时刻，系统具有个个体的概率是多少，即要求：时刻，系统具有个个体的概率是多少，即要求： n SntpntXP n =?)()( 假定初始
3、 （假定初始 （0=t） 时系统有个个体，） 时系统有个个体，mSm， 即， 即1)0()0(= m pmXP， 并假定 ， 并假定 nn t=)(（与（与t无关） ，我们来求无关） ，我们来求)(ntX)(tpnP=。 我们注意到： 在我们注意到： 在), 0tt+ ), 0 内出现个个体可以等价于下列不相容的 情况之和： （ 内出现个个体可以等价于下列不相容的 情况之和： （a）在）在 )(mnn t内出现个个体，在内出现个个体，在n),ttt+内出现内出现 0 个个体； （个个体； （b）在）在 ), 0t内出现内出现n个个体， 在个个体， 在1),ttt+内出现内出现 1 个个体；（个
4、个体；（c） 在） 在), 0t内出现 个个体或 内出现 个个体或n个体以下， 在个体以下， 在 2n 2),ttt+内出现内出现 2 个个体或个个体或 2 个个体以上， 因此有：个个体以上， 因此有： )()()(1)( )()()()()()( 11 110 mntttpttp ttptptptpttp nnnn nnn += +=+ 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 因此有：因此有： mntptp td tpd nnnn n += )()( )( 11 同理，有：同理，有： )0()(1)()( )0()(1)()( 000 +=+ =+=+ mtttpt
5、tp mtttpttp mmm 即有：即有： = = 0, )( )( 0, )( )( 00 0 mtp td tpd mtp td tpd mm m 用用 Laplace 变换解此微分方程可得：变换解此微分方程可得： = = = n mi n ijmj ji t nm mn n e tp , 1 )( ) 1()( 1 L （3） 生灭过程） 生灭过程 定义：纯不连续马氏过程定义：纯不连续马氏过程0),(ttX如果满足：如果满足： （a） 过程中状态转移仅限于从一个状态向其邻近状态转移；） 过程中状态转移仅限于从一个状态向其邻近状态转移； （b） 若） 若ntX=)(，则在，则在),ttt
6、+内产生由状态转移到内产生由状态转移到(状态的 概率为： 状态的 概率为： n) 1+n )( t)(t n t+； 产生由状态转移到； 产生由状态转移到n) 1( n状态的概率为：状态的概率为： ) t() tt+( n ； （c） 若） 若ntX=)(，则在，则在),ttt+内转移二个或二个以上状态的概率为内转移二个或二个以上状态的概率为 ) t(。 则称此纯不连续马氏过程则称此纯不连续马氏过程0),(ttX为生灭过程。为生灭过程。 状态空间为状态空间为, 2 , 1 , 0L=S 由定义，可得生灭过程的由定义，可得生灭过程的Q（生灭矩阵）矩阵为：（生灭矩阵）矩阵为： 中科院研究生院 20
7、062007 第一学期 随机过程讲稿 孙应飞 + + + = OOOLLL LOOOMMM LL OOOOM LL LL LL 00 0 0)(00 00)(0 000)( 0000 2222 1111 00 nnnn Q 在条件在条件0,0i i ，1,0i i ， （， （0 0 =）下，有：）下，有： ) 1(11+iiii 因此，可知对因此，可知对Sji,，有，有ij，从而这样的生灭过程是不可约的。，从而这样的生灭过程是不可约的。 由生灭矩阵可以写出由生灭矩阵可以写出 KF 前进方程：前进方程： += += += += + + 1)()()()( )( )()( )( 1)()()()
8、( )( )()( )( 1111 1100 0 1010101 0 011000 00 ntptptp td tpd tptp td tpd ntptptp td tpd tptp td tpd ninninnnin in ii i nnnnnnn n (A) Fokker-Planck 方程：方程： += += +1111 1100 / 0 )()()()( )()()( jjjjjjjj ptptptp tptptp 其中。以上的其中。以上的LL, 2 , 1, 2 , 1 , 0=ji nn ,（L, 2 , 1 , 0=n）均可以是）均可以是t的 函数。 的 函数。 如果如果0),(
9、ttX的极限分布存在，即的极限分布存在，即)(limtpp ji t j =，且与，且与i无关，则有 ，因此在 无关，则有 ，因此在 Fokker-Planck 方程中令方程中令)(0t)(=tpjt，有：，有： =+ =+ + 10)( 0 1111 1100 jppp pp jjjjjjj 解以上代数方程组得：解以上代数方程组得： 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 0 21 110 0 21 10 20 1 0 1 ,pppppp k k k L L L = 利用：利用：，我们有：，我们有： 1= Sk k p 1 1 21 110 0 1 = += k k
10、 k p L L 由此可知，当由此可知，当 = 1 21 110 k k k L L 时，时，0，因此可得以下定理： ，因此可得以下定理： ) 1(10,1 0 i i ，0 0 =， 则 ， 则0),(ttX存在唯一的平稳分布（它就等于极限分布）的充要条件为：存在唯一的平稳分布（它就等于极限分布）的充要条件为： ji时，时，p， 在其它的 ， 在其它的i时是任意的正数，对于每个，满足：时是任意的正数，对于每个，满足： 0= ij j, ij p0j 1 11 =+ +jjjjjj ppp 当时，满足：当时，满足： 0=j 1 0100 =+ pp 试求该链为正常返的条件。试求该链为正常返的条
11、件。 给定起始状态给定起始状态SiX=)0(，就可以求得过程在，就可以求得过程在t时刻的转移概率及时刻的转移概率及)(tpin 中科院研究生院 20062007 第一学期 随机过程讲稿 孙应飞 处于状态的概率处于状态的概率n)()(ntXPtpn= p in in jin ，初始条件分别为：，初始条件分别为： pin = =, ,0 ,1 n n n (),(tntn nn = n n = )t M M 0 0 0 0 + + L MM L OO 0 0 )(22 ) 00 d d d )(t = += = ()() 1( 2)()( )( 1 1 1 ntpn tp tp n =)()(tp
12、ntX ijjXP=, 1)0()0()0( 如果如果 n ,均是均是t的函数，则上述过程称为非齐次生灭过程；的函数，则上述过程称为非齐次生灭过程； 如果如果 n ,均是均是t的线性函数，则称为非齐次线性生灭过程；的线性函数，则称为非齐次线性生灭过程； 如果如果 n ,均与均与t的无关，则上述过程称为齐次生灭过程。的无关，则上述过程称为齐次生灭过程。 特别地，假设特别地，假设)，此时过程是非齐次生灭过程，关于 此情况时的微分方程（ ，此时过程是非齐次生灭过程，关于 此情况时的微分方程（A）的解法（用母函数求解法）可以参看）的解法（用母函数求解法）可以参看 P179（课后阅 读） 。 （课后阅
13、读） 。 当当n n ,（与（与t无关） ， 此时过程是齐次线性生灭过程， 对于此时， 我们可以求 无关） ， 此时过程是齐次线性生灭过程， 对于此时， 我们可以求(XE，具体求法如下：，具体求法如下： 此时的生灭矩阵为此时的生灭矩阵为 + = OOOLL LOOO L OO LL LL LL 0 0)( 002 000( 000 nnn Q 写出福克普朗克方程：写出福克普朗克方程： + + )() 1()() )( )( )( )( 1 2 1 0 tpntp td tp tp td tp td tp nn n M 令：令： = = 10 )( n n n nX tpnEM 中科院研究生院
14、20062007 第一学期 随机过程讲稿 孙应飞 则有：则有： = + = = = = += = = 1 1 1 2 1 1 11 )() 1()()()() 1( )( )( )( n n n n n n n n n n X tpnntpntpnn td tpd ntpn td d td tMd 由于：由于： = = = +=+= 101 1 )() 1()() 1()() 1( m m m m n n tpmmtpmmtpnn = = = + =+ 121 1 )() 1()() 1()() 1( m m m m n n tmpmtmpmtpnn 因此：因此： )()()()( )() 1()()()() 1( )( 1 11 2 1 tMtpn tnpntpntpnn td tMd X n n n n n n n n X
