《随机过程Ch4马尔可夫链》由会员分享，可在线阅读，更多相关《随机过程Ch4马尔可夫链（129页珍藏版）》请在金锄头文库上搜索。
1、第四章第四章 马尔可夫链马尔可夫链14.1 马尔可夫链与转移概率马尔可夫链与转移概率 定义定义 设设 X(t)，t T 为随机过程，若对任为随机过程，若对任意正整数意正整数n及及t1 t20，且条件分布且条件分布PX(tn) xn|X(t1)=x1, X(tn- -1)=xn- -1= PX(tn) xn|X(tn- -1)=xn- -1，则称则称 X(t)，t T 为为马尔可夫过程马尔可夫过程。若若t1,t2,tn- -2表示过去，表示过去，tn- -1表示现在，表示现在，tn表示表示将来，马尔可夫过程表明：在已知现在状态将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状
2、态无关。的条件下，将来所处的状态与过去状态无关。24.1 马尔可夫链与转移概率常见马尔可夫过程通常有三类：常见马尔可夫过程通常有三类：(1)时间、状态都是离散的，称为时间、状态都是离散的，称为马尔可夫链马尔可夫链(2)时间连续时间连续、状态离散的，称为连续时间状态离散的，称为连续时间马尔马尔可夫链可夫链(3)时间、状态都是连续的，称为时间、状态都是连续的，称为马尔可夫过程马尔可夫过程（时间离散时间离散、状态连续的状态连续的马尔可夫过程，通常马尔可夫过程，通常用泛函中二元函数的范数进行研究）用泛函中二元函数的范数进行研究）3随机过程随机过程 Xn，n T ，参数参数T=0, 1, 2, , ,状
3、态空间状态空间I=i0, i1, i2, 定义定义 若随机过程若随机过程 Xn，n T ，对任意，对任意n T和和i0,i1,in+1 I，条件概率条件概率PXn+1=in+1|X0=i0,X1=i1,Xn=in = PXn+1=in+1|Xn=in， 则称则称 Xn，n T 为为马尔可夫链马尔可夫链，简称，简称马氏链马氏链。4.1 马尔可夫链与转移概率44.1 马尔可夫链与转移概率马尔可夫链与转移概率马尔可夫链的马尔可夫链的性质性质 PX0=i0, X1=i1, , Xn=in=PXn=in|X0=i0, X1=i1, , Xn- -1=in- -1 PX0=i0, X1=i1, , Xn-
4、 -1=in- -1= PXn=in|Xn- -1=in- -1 PXn- -1=in- -1 |X0=i0,X1=i1,Xn- -2=in- -2 PX0=i0,X1=i1,Xn- -2=in- -2=PXn=in|Xn- -1=in- -1PXn- -1=in- -1 |Xn- -2=in- -2 PX0=i0,X1=i1,Xn- -2=in- -254.1 马尔可夫链与转移概率马尔可夫链与转移概率=PXn=in|Xn- -1=in- -1PXn- -1=in- -1 |Xn- -2=in- -2 PX1=i1|X0=i0PX0=i0 马尔可夫链的统计特性完全由条件概率马尔可夫链的统计特性
5、完全由条件概率PXn+1=in+1|Xn=in确定。确定。64.1 马尔可夫链与转移概率定义定义 称条件概率称条件概率pij(n)= PXn+1=j|Xn=i 为为马尔可夫链马尔可夫链 Xn，n T 在时刻在时刻n的的一步转移一步转移概率概率，简称简称转移概率转移概率，其中其中i, ,j I。定义定义 若对任意的若对任意的i, ,j I，马尔可夫链马尔可夫链 Xn,n T 的转移概率的转移概率pij(n)与与n无关，则称无关，则称马尔可夫链是齐次的马尔可夫链是齐次的，并记，并记pij(n)为为pij。齐次马尔可夫链具有平稳转移概率，齐次马尔可夫链具有平稳转移概率，状态空间状态空间I=1, 2,
6、 3, ，一步一步转移概率为转移概率为74.1 马尔可夫链与转移概率马尔可夫链与转移概率转移概率转移概率性质性质(1) (2) P称为随机矩阵称为随机矩阵8MarkovMarkov过程过程状态为已知的条件下状态为已知的条件下, , 过程在时刻过程在时刻t tt t0 0所处状态的条件所处状态的条件分布与过程在时刻分布与过程在时刻t t0 0之前所处的状态无关之前所处的状态无关. . 无后效性亦称无后效性亦称马尔可夫性马尔可夫性. . 无后效性是说无后效性是说, ,在已知过程在已知过程“现在现在”的条件下的条件下, , 过程的过程的“将来将来”与过程的与过程的“过去过去”无关无关, ,只只与与“
7、现在现在”有关有关. .如何辨识马尔可夫过程如何辨识马尔可夫过程? ?1.1.若若X(t),tTX(t),tT是一独立随机过程是一独立随机过程, ,且对于且对于n n个个t t1 1,t,t2 2,t tn nT,T,随机变量随机变量X(tX(t1 1),X(t),X(t2 2),X(t),X(tn n) )总体独立总体独立, ,则则X(t),X(t),tTtT是马尔可夫过程是马尔可夫过程. . 因为因为由条件由条件, ,随机事件随机事件X(tX(t1 1)=x)=x1 1,X(t,X(t2 2)=x)=x2 2,X(t,X(tn n)=x)=xn n, ,X(t)xX(t)x相互独立相互独立
8、, ,故有故有PX(t)x|X(tPX(t)x|X(t1 1)=x)=x1 1,X(t,X(t2 2)=x)=x2 2,X(tX(tn n)=x)=xn n=PX(t)x=PX(t)x|X(t=PX(t)x=PX(t)x|X(tn n)=x)=xn n. 类似以上的讨论类似以上的讨论, ,还有还有9MarkovMarkov过程过程2. 2. 设状态空间设状态空间I I为实数集合为实数集合R,Y(n),n1R,Y(n),n1是独立随机序是独立随机序列列, ,令令X(1)=Y(1),X(n)= Y(k),X(1)=Y(1),X(n)= Y(k),则则X(n),n1X(n),n1是马尔可是马尔可夫过
9、程夫过程. .3.3. 若若X(t),tTX(t),tT是一独立增量过程是一独立增量过程, , 且且PX(0)=xPX(0)=x0 0=1(=1(是常数是常数),),则则X(t),tTX(t),tT是马尔可夫过程是马尔可夫过程. .马尔可夫链的概念马尔可夫链的概念. .泊松过程泊松过程, ,维纳过程维纳过程都是都是时间连续时间连续的的马尔可夫过程马尔可夫过程. .4.4. 马尔可夫过程马尔可夫过程XXn n,nT,nT的参数集的参数集T=0,1,2,T=0,1,2,状态状态集集I=iI=i1 1,i,i2 2,可以是可以是0,1,2,0,1,2,或或0,1,2,0,1,2,或或0,1,2,n.
10、0,1,2,n. 在以上设定下在以上设定下, ,称随机过程称随机过程XXn n,nT,nT为为马尔可夫链马尔可夫链或或马马氏链氏链, ,如果对于任意的整数如果对于任意的整数nTnT和任意的和任意的i i0 0,i,i1 1,i,in+1n+1I,I,10MarkovMarkov过程过程有有PXPXn+1n+1=i=in+1n+1|X|X0 0=i=i0 0,X,X1 1=i=i1 1,X,X2 2=i=i2 2,X,Xn n=i=in n=PX=PXn+1n+1=i=in+1n+1| |X Xn n=i=in n.5.5. 条件概率条件概率p pijij(m)=PX(m)=PXm+1m+1=j
11、|X=j|Xm m=i=i称为马氏链称为马氏链XXn n,nT,nT在时刻在时刻m m的的一步转移概率一步转移概率. . 条件概率条件概率p pijij(k)(k)(m)=PX(m)=PXm+km+k=j|X=j|Xm m=i=i称为马氏链称为马氏链XXn n,n,nTT在时刻在时刻m m的的k k步转移概率步转移概率. .6.6.马尔可夫链马尔可夫链XXn n,nT,nT的转移概率的转移概率p pijij(k)(k)(m)(m)具有性质具有性质: : (1) p (1) pijij(k)(k)(m)0, i,jI;(m)0, i,jI; (2) p (2) pijij(k)(k)(m)=1,
12、 i,jI(m)=1, i,jI且规定且规定p pijij(0)(0)(m)=(m)=7.7. 如果对于任意的如果对于任意的i,jI,i,jI,马尔可夫链马尔可夫链XXn n,nT,nT的转移的转移概率只与概率只与i,ji,j有关有关, ,而与时刻而与时刻n n无关无关, ,则称则称XXn n,nT,nT是是时齐时齐的的或或齐次的齐次的, ,并记并记p pijij(m)=p(m)=pijij. .1, i=j,1, i=j,0, ij.0, ij.11MarkovMarkov过程过程8.8. 一步转移概率一步转移概率p pijij所排成的矩阵所排成的矩阵称为称为转移概率矩阵转移概率矩阵. .
13、转移概率矩阵转移概率矩阵具有性质具有性质: : (1) P (1) P(n)(n)=PP=PP(n-1)(n-1); (2) P; (2) P(n)(n)=P=Pn n. .9.9. 切普曼切普曼- -柯尔莫哥洛夫柯尔莫哥洛夫( (C Chapman-hapman-K Kolmogorov)olmogorov)方程方程: : 对于任意正整数对于任意正整数s,ts,t有有 p pijij(s+t)(s+t)(u+v)= p(u+v)= pirir(s)(s)(u)p(u)prjrj(t)(t)(v).(v).10.10. 设设XXn n,nT,nT为马尔可夫链为马尔可夫链, ,称称 p pj j
14、=PX=PX0 0=j=j和和p pj j(n)=PX(n)=PXn n=j,jI=j,jI为为XXn n,nT,nT的的初始初始概率概率和和绝对概率绝对概率, , 并分别称并分别称ppj j,jI,jI和和ppj j(n),jI(n),jI为为XXn n,nT,nT的的初始分布初始分布和和绝对分布绝对分布, ,简记为简记为ppj j 和和ppj j(n).(n).p p1111 p p12 12 p p1n 1n p p2121 p p2222 p p2n2n p pn1n1 p pn2n2 p pnnnn P=P=12MarkovMarkov过程过程称概率向量称概率向量P PT T(n)=
15、(p(n)=(p1 1(n),p(n),p2 2(n),), n(n),), n0,0,为为n n时刻的时刻的绝绝对概率向量对概率向量. . 称称P PT T(0)=(p(0)=(p1 1,p,p2 2,),)为为初始概率向量初始概率向量. . 对于任意对于任意jIjI和和n1,n1,绝对概率绝对概率p pj j(n)(n)具有性质具有性质: : p pj j(n)= p(n)= pi i(n-1)p(n-1)pijij. .绝对概率向量具有性质绝对概率向量具有性质: : (1) P (1) PT T(n)=P(n)=PT T(0)P(0)P(n)(n); (2) P; (2) PT T(n)
16、=P(n)=PT T(n-1)P.(n-1)P.11.11.设设XXn n,nT,nT为马尔可夫链为马尔可夫链, ,则对任意的则对任意的i i1 1,i,i2 2,i,in nII和和n1n1有有 PXPX1 1=i=i1 1,X,X2 2=i=i2 2,X,Xn n=i=in n= .= .134.1 4.1 马尔可夫链与转移概率马尔可夫链与转移概率例例4.1 赌博问题。甲乙二人进行一系列赌赌博问题。甲乙二人进行一系列赌博，甲有博，甲有a元，乙的赌本无限，每赌一元，乙的赌本无限，每赌一局输者给赢者局输者给赢者1元，没有和局，如果甲元，没有和局，如果甲输光，再输则赌本为负。设在每一局中，输光，
17、再输则赌本为负。设在每一局中，甲赢的概率为甲赢的概率为p，输的概率为，输的概率为q=1-p。设。设Xn表示第表示第n次赌博结束后甲的赌本，则次赌博结束后甲的赌本，则Xn，n1是马尔科夫链，求是马尔科夫链，求Xn的转移矩阵的转移矩阵144.1 4.1 马尔可夫链与转移概率马尔可夫链与转移概率例例4.1 无限制随机游动无限制随机游动q p- -1 0 1 i-1 i i-1 i i i+1 +1 一步转移概率一步转移概率: :154.1 4.1 马尔可夫链与转移概率马尔可夫链与转移概率n步转移概率步转移概率: :i经过经过k步进入步进入j, ,向右移了向右移了x步步, ,向左移了向左移了y步步则则
18、164.1 马尔可夫链与转移概率马尔可夫链与转移概率例例4.4 具有吸收壁和反射壁的随机游动具有吸收壁和反射壁的随机游动状态空间状态空间1,2,3,4，1为吸收壁，为吸收壁，4为反射为反射壁壁 状态转移图状态转移图 状态转移矩阵状态转移矩阵174.1 马尔可夫链与转移概率马尔可夫链与转移概率定义定义 称条件概率称条件概率 = PXm+n=j|Xm=i 为为马尔可夫链马尔可夫链 Xn，n T 的的n步转移概步转移概率率(i, ,j I, m 0, n 1)。n步转移矩阵步转移矩阵其中其中 P(n)也为也为随机矩阵随机矩阵184.1 马尔可夫链与转移概率马尔可夫链与转移概率定理定理4.1 设设 X
19、n，n T 为为马尔可夫链，马尔可夫链，则对任意整数则对任意整数n 0,0 l0 (最大公约数最大公约数greatest common divisor)如果如果d1，就称就称i为周期的，为周期的，如果如果d=1，就称就称i为非周期的为非周期的484.2 马尔可夫链的状态分类马尔可夫链的状态分类例例4.6 设马尔可夫链的设马尔可夫链的状态空间状态空间I=1,2,9，转移概率如下图转移概率如下图 从状态从状态1出发再返回状态出发再返回状态1的可能步数为的可能步数为T=4,6,8,10, ，T的的最大公约数为最大公约数为2，从，从而而状态状态1的周期为的周期为2494.2 马尔可夫链的状态分类马尔可
20、夫链的状态分类注注(1)如果如果i有周期有周期d，则对一切非零的则对一切非零的n, , n 0 mod d，有有 （若若 ，则，则n=0 mod d ） (2)对充分大的对充分大的n， （引理引理4.1）例题中当例题中当n=1时，时， 当当n1时，时，504.2 马尔可夫链的状态分类马尔可夫链的状态分类例例4.7 状态空间状态空间I=1,2,3,4，转移概率如图转移概率如图， 状态状态2和状态和状态3有相同的周期有相同的周期d=2，但状态但状态2和状态和状态3有显著的区别。当状态有显著的区别。当状态2转移到状转移到状态态3后，再不能返回到状态后，再不能返回到状态2，状态，状态3总能总能返回到状
21、态返回到状态3。这就要引入常返性概念。这就要引入常返性概念。514.2 马尔可夫链的状态分类马尔可夫链的状态分类由由i出发经出发经n步首次到达步首次到达j的概率的概率(首达概率首达概率)规定规定由由i出发经有限步终于到达出发经有限步终于到达j的概率的概率524.2 马尔可夫链的状态分类马尔可夫链的状态分类 若若fii=1，称状态称状态i为为常返的常返的； 若若fii1，称状态称状态i为为非常返的非常返的i为非常返，则以概率为非常返，则以概率1- - fii不返回到不返回到ii为常返，则为常返，则 构成一概率分布，构成一概率分布，期望值期望值 表示由表示由i出发再出发再返回到返回到i的平均返回时
22、间的平均返回时间定义定义534.2 马尔可夫链的状态分类马尔可夫链的状态分类 若若 i ，则称常返态则称常返态i为正常返的为正常返的; 若若 i = ，则称常返态则称常返态i为零常返的，为零常返的， 非周期的正常返态称为遍历状态。非周期的正常返态称为遍历状态。例：判断下面马氏链各状态的类型例：判断下面马氏链各状态的类型定义定义设设i为常返为常返544.2 马尔可夫链的状态分类马尔可夫链的状态分类引理引理4.2 周期的等价定义周期的等价定义G.C.D =G.C.D例例4.8 设马尔可夫链的状态空间设马尔可夫链的状态空间I=1,2,3，转移概率矩阵为转移概率矩阵为 求从状态求从状态1出发经出发经n
23、 步转移首次到达各状步转移首次到达各状态的概率态的概率554.2 马尔可夫链的状态分类马尔可夫链的状态分类解解 状态转移图如下状态转移图如下 ，首达概率为，首达概率为 564.2 马尔可夫链的状态分类马尔可夫链的状态分类同理可得同理可得574.2 马尔可夫链的状态分类马尔可夫链的状态分类首达概率首达概率 与与n步转移概率步转移概率 有如下有如下关系式关系式定理定理4.4 对任意状态对任意状态i, j及及1 n ，有有584.2 马尔可夫链的状态分类马尔可夫链的状态分类证证P(A,B|C)= P(B|A,C) P(A|C)5912311例：已知马氏链转移图如下，求从状态例：已知马氏链转移图如下，
24、求从状态1出出发再返回发再返回1的的n步转移概率，步转移概率，n=1,2,8604.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类定理定理4.5 状态状态i常返的充要条件为常返的充要条件为如如i非常返，则非常返，则以下讨论常返性的判别与性质以下讨论常返性的判别与性质614.2 马尔可夫链的状态分类马尔可夫链的状态分类数列的母函数与卷积数列的母函数与卷积an,n 0为实数列，母函数为实数列，母函数bn,n 0为实数列，母函数为实数列，母函数则则an与与bn的卷积的卷积的母函数的母函数624.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类定理定理4.5 状态状态i常返的充要条件为常返的
25、充要条件为如如i非常返，则非常返，则证证: 规定规定 ，则由定理，则由定理4.4634.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类644.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类对对0 s1654.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类664.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类定理定理4.7 设设i常返且有周期为常返且有周期为d，则则其中其中 i为为i的平均返回时间，当的平均返回时间，当 i= 时时推论推论 设设i常返，则常返，则(1) i零常返零常返(2) i遍历遍历6712311例：已知马氏链转移图如下，求从状态例：已知马氏链转移图如下
26、，求从状态1出出发再返回发再返回1的的n步转移概率，步转移概率，n=1,2,8684.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类证证(1)i零常返，零常返， i= ，由定理由定理4.7知，知，对对d的非整数倍数的的非整数倍数的n， 从而子序列从而子序列 i是零常返的是零常返的694.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类(2) 子序列子序列所以所以d=1，从而从而i为非周期的，为非周期的，i是遍历的是遍历的i是遍历的，是遍历的，d=1， i ，704.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类(2)当且仅当当且仅当p q，4pq0,使使状态状态i与状态与状态j
27、互通互通，ij：ij且且ji 定理定理4.8 可达关系与互通关系都具有传可达关系与互通关系都具有传递性，即递性，即(1)若若ij ，jk，则则ik(2)若若i j ，j k，则则i k4.3 状态空间的分解状态空间的分解754.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类证证 (1)ij ，存在，存在l 0，使使 jk，存在存在m 0，使使由由C-K方程方程所以所以ik(2)由由(1)直接推出直接推出764.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类定理定理4.9 如如ij，则，则 (1) i与与j同为常返或非常返，如为常返，同为常返或非常返，如为常返，则它们同为正常返或零常
28、返则它们同为正常返或零常返(2) i与与j有相同的周期有相同的周期774.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 例例4.9 设马氏链设马氏链Xn的状态空间为的状态空间为 I=0,1,2,，转移概率为转移概率为考察状态考察状态0的类型的类型784.2 4.2 马尔可夫链的状态分类马尔可夫链的状态分类 可得出可得出0为正常返的为正常返的由于由于 ，所以，所以0的周期为的周期为d=10为非周期的，从而为遍历状态为非周期的，从而为遍历状态对于其它状态对于其它状态i,由于由于i0,所以也是遍历的所以也是遍历的 794.3 状态空间的分解定义定义 状态空间状态空间I 的子集的子集C称为称为
29、闭集闭集，如，如对任意对任意i C及及k C都有都有pik=0; 闭集闭集C称为称为不可约的不可约的，如，如C的状态互通；的状态互通； 马氏链马氏链Xn称为称为不可约的不可约的，如其状态空，如其状态空间不可约间不可约引理引理4.4 C是闭集的充要条件为对是闭集的充要条件为对i C及及k C都有都有804.3 4.3 状态空间的分解状态空间的分解证证 充分性显然成立充分性显然成立必要性（数学归纳法）必要性（数学归纳法）设设C为闭集，由定义当为闭集，由定义当n=1时结论成立时结论成立设设n=m时，时， ，i C及及k C ，则，则注：如注：如pii=1，称状态称状态i为吸收的，等价于为吸收的，等价
30、于 单点集单点集i为闭集。为闭集。814.3 4.3 状态空间的分解状态空间的分解 例例4.11 设马氏链设马氏链Xn的状态空间为的状态空间为 I=1, 2, 3, 4, 5，转移概率矩阵为转移概率矩阵为状态状态3是吸收的，故是吸收的，故3是闭集，是闭集，1,4，1,3,4，1,2,3,4都是闭集，其中都是闭集，其中3，1,4是不可约的。是不可约的。I含有闭子集，含有闭子集，故故Xn不是不可约的链。不是不可约的链。824.3 4.3 状态空间的分解状态空间的分解 例例4.12 无限制随机游动为不可约马氏无限制随机游动为不可约马氏链，各状态的周期为链，各状态的周期为2，当，当p=q=1/2时，时
31、，是零常返的，当是零常返的，当p q时，是非常返的。时，是非常返的。834.3 4.3 状态空间的分解状态空间的分解定理定理4.10 任一马氏链的状态空间任一马氏链的状态空间I，可可唯一地分解成有限个或可列个互不相交唯一地分解成有限个或可列个互不相交的子集的子集D,C1,C2,之和，使得：之和，使得：(1)每一每一Cn是常返态组成的不可约闭集；是常返态组成的不可约闭集；(2)Cn中的状态同类型，或全是正常返，中的状态同类型，或全是正常返，或全是零常返，它们有相同的周期，且或全是零常返，它们有相同的周期，且fij=1，i,j Cn；(3)D由全体非常返态组成，自由全体非常返态组成，自Cn中状态不
32、中状态不能到达能到达D中的状态。中的状态。844.3 4.3 状态空间的分解状态空间的分解 例例4.13 马氏链的状态空间马氏链的状态空间I =1,2,3,4,5,6,状态转移矩阵为状态转移矩阵为分解此链并指出各状态的常返性及周期性。分解此链并指出各状态的常返性及周期性。854.3 4.3 状态空间的分解状态空间的分解解解 由状态转移图知由状态转移图知可见可见1为正常返状态且周期为为正常返状态且周期为3，含，含1的基的基本常返闭集为本常返闭集为 C1=k:1k=1,3,5，从从而状态而状态3及及5也为正常返状态且周期为也为正常返状态且周期为3。同理可知同理可知6为正常返状态，为正常返状态， 6
33、=3/2，周期为周期为1。含。含6的基本常返闭集为的基本常返闭集为 C2=k:6k =2,6，可见，可见2，6为遍历状态。为遍历状态。864.3 4.3 状态空间的分解状态空间的分解 于是于是I可分解为可分解为 I=DC1C2 =41,3,52,6定义定义4.10 称矩阵称矩阵A=(aij)为随机矩阵，若为随机矩阵，若显然显然k步转移矩阵步转移矩阵 为随机矩阵。为随机矩阵。874.3 4.3 状态空间的分解状态空间的分解引理引理4.5 设设C为闭集，为闭集，G是是C上所得的上所得的k步转移子矩阵，则步转移子矩阵，则G仍是仍是随机矩阵。随机矩阵。证证 任取任取i C，由引理由引理4.4有有从而从
34、而且且 ，故，故 是随机矩是随机矩阵。阵。884.3 4.3 状态空间的分解状态空间的分解注：对注：对I的一个闭子集，可考虑的一个闭子集，可考虑C上的原上的原马氏链的子马氏链，其状态空间为马氏链的子马氏链，其状态空间为C，转移矩阵为转移矩阵为G=(pij)，i,j C是原马氏链的是原马氏链的转移矩阵为转移矩阵为P=(pij)，i,j I的子矩阵。的子矩阵。894.3 4.3 状态空间的分解状态空间的分解定理定理4.11 周期为周期为d的不可约马氏链，其的不可约马氏链，其状态空间状态空间C可唯一地分解为可唯一地分解为d个互不相交个互不相交的子集之和，即的子集之和，即 且使得自且使得自Gr中任一状
35、态出发，经一步转中任一状态出发，经一步转移必进入移必进入Gr+1中中(Gd = G0)。注：任取一状态注：任取一状态i，对每一对每一r=0,1,d- -1定义定义集集9012311例：已知马氏链转移图如下，求从状态例：已知马氏链转移图如下，求从状态1出出发再返回发再返回1的的n步转移概率，步转移概率，n=1,2,8914.3 4.3 状态空间的分解状态空间的分解 例例4.14 设不可约马氏链的状态空间为设不可约马氏链的状态空间为C=1, 2, 3, 4, 5, 6，转移矩阵为转移矩阵为924.3 4.3 状态空间的分解状态空间的分解934.3 4.3 状态空间的分解状态空间的分解由状态转移图可
36、知各状态的周期由状态转移图可知各状态的周期d=3,固定状态固定状态i=1，令令故故C=G0G1G2 =1,4,63,52944.3 4.3 状态空间的分解状态空间的分解定理定理4.12 设设Xn,n 0是周期为是周期为d的不可的不可约马氏链，则在定理约马氏链，则在定理4.11的结论下有的结论下有(1)如只在如只在0,d,2d,上考虑上考虑Xn，即得一新，即得一新马氏链马氏链Xnd ，其转移矩阵，其转移矩阵 ，对此新链，每一，对此新链，每一Gr是不可约闭集，且是不可约闭集，且Gr中的状态是非周期的；中的状态是非周期的；(2)如原马氏链如原马氏链Xn常返，则新马氏链常返，则新马氏链Xnd也常返。也
37、常返。954.3 4.3 状态空间的分解状态空间的分解 例例4.15 设设Xn为例为例4.14中的马氏链，已中的马氏链，已知知d=3，则则Xnd, n 0的转移矩阵为的转移矩阵为964.3 4.3 状态空间的分解状态空间的分解由子链由子链 X3n的状态转移图可知的状态转移图可知 G0=1,4,6，G1=3,5，G2=2各形成不可约闭集，周期为各形成不可约闭集，周期为197984.3 状态空间的分解状态空间的分解994.4 渐近性质与平稳分布渐近性质与平稳分布考虑考虑 渐近性质渐近性质 定理定理4.13 如如j非常返或零常返，则非常返或零常返，则 证证 若若j非常返，则由定理非常返，则由定理4.
38、5， 从而从而若若j零常返，则由定理零常返，则由定理4.7推论，推论，1004.4 4.4 渐近性质与平稳分布渐近性质与平稳分布由定理由定理4.4，对，对N0, pi +ri+qi=1。此马尔可夫链为生灭链，它此马尔可夫链为生灭链，它是不可约的。记是不可约的。记a0=1， 证此马尔可夫链存在平稳分布的充要条证此马尔可夫链存在平稳分布的充要条件为件为1214.4 4.4 渐近性质与平稳分布渐近性质与平稳分布证证 设设 j , j I是平稳分布是平稳分布1224.4 4.4 渐近性质与平稳分布渐近性质与平稳分布1234.4 4.4 渐近性质与平稳分布渐近性质与平稳分布 例例4.18 设马尔可夫链转
39、移概率矩阵为设马尔可夫链转移概率矩阵为求每一个不可约闭集的平稳分布。求每一个不可约闭集的平稳分布。1244.4 4.4 渐近性质与平稳分布渐近性质与平稳分布解解 从状态转移图从状态转移图看出，状态空间可看出，状态空间可分解为两个不可约分解为两个不可约常返闭集常返闭集C1=2,3,4和和C2=5,6,7，一个一个非常返集非常返集N=1。在常返集上求平稳在常返集上求平稳分布。分布。1254.4 4.4 渐近性质与平稳分布渐近性质与平稳分布在在C1上，对应的转移概率矩阵为上，对应的转移概率矩阵为C1上的平稳分布为上的平稳分布为0, 0.4, 0.2, 0.4, 0, 0, 0同理可求得同理可求得C2上的平稳分布为上的平稳分布为 0, 0, 0, 0, 1/3, 1/3, 1/3126127马尔可夫过程马尔可夫过程 （无后效性） 马尔可夫链马尔可夫链（状态、时间离散） 齐次马尔可夫链齐次马尔可夫链（转移概率与时间无关）128 I 初始概率、绝对概率初始概率、绝对概率 i pi(0) pi(t) t t+ T129
