《南邮 随机过程课件 4》由会员分享，可在线阅读，更多相关《南邮 随机过程课件 4（9页珍藏版）》请在金锄头文库上搜索。
1、第四章第四章第四章第四章 马尔可夫链马尔可夫链马尔可夫链马尔可夫链1.马尔可夫链定义马尔可夫链定义马尔可夫链定义马尔可夫链定义1.马尔可夫链定义马尔可夫链定义马尔可夫链定义马尔可夫链定义2.一步转移概率及多步转移概率一步转移概率及多步转移概率一步转移概率及多步转移概率一步转移概率及多步转移概率3.Chapman-Kolmogorov方程方程方程方程4.初始概率及绝对概率初始概率及绝对概率初始概率及绝对概率初始概率及绝对概率5.马尔可夫链状态分类马尔可夫链状态分类马尔可夫链状态分类马尔可夫链状态分类15.马尔可夫链状态分类马尔可夫链状态分类马尔可夫链状态分类马尔可夫链状态分类6.遍历的马尔可夫链
2、及平稳分布遍历的马尔可夫链及平稳分布遍历的马尔可夫链及平稳分布遍历的马尔可夫链及平稳分布4.1 马尔可夫链的概念及转移概率马尔可夫链的概念及转移概率马尔可夫链的概念及转移概率马尔可夫链的概念及转移概率一一一一、马尔可夫链的概念马尔可夫链的概念马尔可夫链的概念马尔可夫链的概念( ) ( )()LLLLL，n，aaXnXnttXaaItXn , 2 , 1 , 0,)(, 2 , 1 , 0,2121=移可列个时刻发生状态转且过程只在之一，则所能取的状态必为所处状态记为：在每一时刻而的状态空间为假定马尔可夫过程2LL nT, 2 , 1 , 0=即参数空间为：即条件概率满足：时刻以前的状态无关过程
3、在而与时刻的状态有关只与过程在的概率时刻处在任一状态在定义：若过程,)(. 1mmakmtXkmi+即条件概率满足：时刻以前的状态无关过程在,m mkmmmkmimikmiimimikm aXaXPaXaXaXaXP=+ /,/ 1111L为马尔可夫链则称此随机过程，nXn0,3简称马氏链。为马尔可夫链则称此随机过程，nXn0,2、马氏链的转移概率马氏链的转移概率马氏链的转移概率马氏链的转移概率iajamkm+称条件概率称条件概率称条件概率称条件概率()kmmpaXaXPijimjkm+=+,/()kmmpakmkamijji +,：状态的转移概率，记为转移到时刻步，在状态经时刻处于为马氏链在
4、4()()氏链。下面我们仅讨论齐次马次的，无关，则称马氏链为齐与若有关，与一般均为正整数mkmmpkmjikmmpkmjiijij +,3、一步转移概率及矩阵一步转移概率及矩阵一步转移概率及矩阵一步转移概率及矩阵即得一步转移概率在上面转移概率中，取1=k ()/1aXaXPmmpp=+=()/1,1imjmijijaXaXPmmpp=+=+构成的矩阵由所有的一步转移概率ijp =LLLLnn ppppppP21222112115称为马氏链的一步转移概率矩阵称为马氏链的一步转移概率矩阵称为马氏链的一步转移概率矩阵称为马氏链的一步转移概率矩阵 LLLLLjiijij Iaapp,0) 1 (具有性
5、质：=IjaiijIap1)2(性质的、，满足和为即矩阵中任一行元素之个状态是必然事件转移到状态空间的某一即从) 2() 1 (1ia6矩阵称为随机矩阵。)()(4.多步转移概率的确定多步转移概率的确定多步转移概率的确定多步转移概率的确定( )()=+=+ ：aXaXPnmmpnpnnkimjnmijij/,) 1 (步转移概率矩阵为对应的步转移概率：即得时、在转移概率中取( )( )( )( ) ( )( )( )=MMMLLLLnpnpnpnpnpnpnP：nnn2222111211步转移概率矩阵为对应的7LL ：，nP即也满足性质也为随机矩阵)( ( ) ( )IanpIaanpi Ia
6、ijjiijj= . 1)2(,. 0) 1 (通常我们还规定通常我们还规定通常我们还规定通常我们还规定：( )() =jijimmppijijij01,0、切普曼切普曼切普曼切普曼柯尔莫哥洛夫方程柯尔莫哥洛夫方程柯尔莫哥洛夫方程柯尔莫哥洛夫方程(2)、切普曼切普曼切普曼切普曼柯尔莫哥洛夫方程柯尔莫哥洛夫方程柯尔莫哥洛夫方程柯尔莫哥洛夫方程 （Chapman-Kolmogorov） ( )() =IarjirijjinrknpkpnpI，aan，nX)(, 00,有：整数则对任意的为齐次马氏链定理：设( )( ) ()kPkPP或8方程。简称柯尔莫哥洛夫方程，此乃有名的切普曼kc ( )( )
7、 ()knPkPnP=或rajamjaiakm+nm+直观解释对照图9直观解释对照图( ) imjnmij aXaXPaXaXPnp=+/马尔可夫性有：证明：利用概率公式及 imIajnmrkmimimjnmimaXaXaXPaXaXPaXPaXaXaXPaXPaXaXPr= = +/,10imIarkmimjnmrkmimaXPaXaXaXPaXaXPr = = +,/,( )()knpkpaXaXPaXaXPrj Iairrkmjnm Iaimrkmrr =+ +/用矩阵形式表示为：( )( )()knPkPnP=PPPPnPPPPnnPPn，Pk=)2() 1 () 3(3) 1 ()
8、1 ()2(2) 1()(132时：时有：则在上式取11nPnPn=)(为任意整数时有：一般当表明一步转移概率是最基本的，它确定了 马氏链的状态转移的统计规律。5、初始概率与绝对概率初始概率与绝对概率初始概率与绝对概率初始概率与绝对概率 ，和分别称为马尔可夫链定义：设)()()0(,0,) 1 (IaaXPnpaXPpnXn= 。和为和分布和绝对分布，简记为马氏链的初始和绝对概率，并分别称为马氏链的初始概率和，和)()0(),(),0()()()0(0nppIanpIapIaaXPnpaXPpjjjjjjjjnjjj=写成向量形式:12写成向量形式:() ()LLrLLr),(,),(),()
9、(),0(,),0(),0()0(2121 npnpnpnpppppjj =(2) 绝对概率与初始概率的关系绝对概率与初始概率的关系绝对概率与初始概率的关系绝对概率与初始概率的关系具有性质：，绝对概率和意的为马尔可夫链，则对任定理：设)(10,npnIanXjjn )()0()()()0()() 1 (nPpnpnppnpIaijiijrr=或具有性质：，绝对概率和)(1npnIajjPnpnppnpnpIaijiji)1()()1()()2(=rr或Mja131a2aM01nn)()0(/,)() 1 (000nppaXaXPaXPaXaXPaXPnpij Iaiijn IaiIajnijn
10、jiii =证：IaIaii表明表明表明表明n时刻的绝对概率分布完全由初始分布时刻的绝对概率分布完全由初始分布时刻的绝对概率分布完全由初始分布时刻的绝对概率分布完全由初始分布 和和和和n步转移概率所确定步转移概率所确定步转移概率所确定步转移概率所确定。( ) =IajninjnjiaXaXPaXPnp,)2(114 =Iaijiinjn Iainii pnPaXaXaXP) 1(/11（3）马氏链的有限维分布马氏链的有限维分布马氏链的有限维分布马氏链的有限维分布 iiinnnIaaa，nX211,0,L有：和则对任意的为齐次马氏链定理：设( ) =Iaiiiiiiniiiiiinnnn ppp
11、aXaXaXP 112121 0,21LL=iniiIainiininXPXXPXPaXaXaXUPaXaXaXP121/,1021 LL证：15 =Iaiiiiiiiiniiiniiiii IaiinnnnippppaXaXaXaXPaXaXaXPaXaXPaXP121111121)0(,/,/110102010LLL nnnnnniiiiiiniiiiiiiinii ppaXaXaXaXPpppaXaXaXP：11002111001002110 /,)2()0(,) 1 ( =LLLL推论总结： 1）齐次马氏链多步转移概率可由一步转移概率确定；nPnP=)( 2) 绝对概率可由初始概率及n
12、步转移概率确定16 =Iaijijinppnp)()0()(3)有限维分布可完全由初始概率及一步转移概率确定。为随机游动。则称有相同的分布，令变量序列，且是整数值独立随机例：随机游动，设0,0210210= nXXnkknLL为随机游动。则称0,nXn，于是次移动的长度为整数间质点移动一次，第，每隔一个单位时为运动的质点，初始位置上作点在直线上的整数格点随机游动可以解释为质00= kXk17是时齐马氏链。随机游动，随机游动是质点的位置，则表示在时刻0,0,0 = nXnXnXnnnkkn 110011110010,/,1 =nnnnnnniXiXiXPiXiXiXPiXiXiXiXPiii，n
13、LLL和整数对任意的111100,=nniXiXiXPL .,121101100101100=nnnnnnnnniiPiiiiiPiiiiiP LL18111/=nnnnnnniiPiXiXP同理：ijnnnijpijPiXjXPp=1/一步转移概率为：向左移一或以概率右移动一格到达向，则下一步质点以概率如某一时刻质点位于，点在直线上作随机游动无限制的随机游动：质例11.=+pq，ipi几种特殊的随机游动是一随机过程。时质点的位置，则表示时刻若以格到达向左移一或以概率右移动一格到达0,111=+nXnX，ipq，inn次向左移动一格第，次向右移动一格第令 =kkk 1,119LL，I21012
14、 =其状态空间为：齐次马氏链为随机游动，它是一个则次向左移动一格第， =nknnXk01()IjiijpIipqppp ：iiiiii+=+, 1, 110 ,01,1, 一步转移概率为)(npnij步转移概率下面求它的次，则次，向左次转移中向右如果，次转移的结果是从，而向右的概率为，向左的概率为可能已知每次转移只有两种21mmnjinpq，20次，则次，向左次转移中向右如果21mmn =+=+ ijmmnmm ) 1(12121 2,221ijnmijnm+=+=12121)(,mCmmnijnmm：是任意的，选取方法为步向左步向右，哪步中哪偶数，且在必须是只能取整数，所以由于+1m nC：是任意的，选取方法为() ()+=为偶数为奇数为偶数nqpCijnijnqpCnpnnnmmm n ij0,)(22112221= 为奇数为偶数 nnqpCnpnii 0,)(22例 带一个吸收壁的随机游动时，就点一旦到达仅作一点改变，即当质其规律如上例，这里动质点在直线上作随机游0,=Xn它的一步
