《二节离散时间马尔可夫链的几个质》由会员分享，可在线阅读，更多相关《二节离散时间马尔可夫链的几个质（22页珍藏版）》请在金锄头文库上搜索。
1、第二节第二节离散时间马尔可夫链的几个性质离散时间马尔可夫链的几个性质1 互通性2 周期性3 常返性4 遍历性11 .1互通性互通性若对某一n1，有，则称系统X可以自状态I到达状态j，并记ij。如果ij，并且ji，则状态i与j互通，并记为ij若对一切n1，有或，或两式均成立，则称状态i与j不通（书 第18页）21 .2互通性互通性互通性的性质自反律： i i (假定每个状态0步转移到自己)对称律： i j 当且仅当j i传递律： i k 且k j，则i jiji与j不通ikji，j，k互通31.3互通性举例互通性举例考察具有两个吸收壁的随机游动，E0,1,2,3,a它的一步转移概率矩阵为a0pq
2、=(1-p)ii-1i+141.4互通性举例互通性举例考察具有两个吸收壁的随机游动，E0,1,2,3,a它的一步转移概率矩阵为01i-1ii+1a-1a.qqqqqqqppppppp状态转移图1151.5不可约不可约若一个马氏链的任意两个状态都互通，则此马氏链称为不可约马氏链；否则称为可约的马氏链。不可约的马氏链：在排队论中，用到的马尔可夫链大多是不可约的011101121/21/21/32/3（书 第24页）61.6不可约不可约可约的马氏链：2，3 闭集4 闭集(吸收态)11/30112312/31/310112/3272 .1周期性周期性定义若记di为数集n: n1, 的最大公约数，则称它
3、为状态i的周期。若对一切n1有 ，则约定di=.当di1时，称i是有周期的状态，当di=1时，称i是非周期的状态。定理2.1若ij，则di=djijk111ijkl1111/32/3（书 第20页）82 .2周期性周期性如何判别一个状态是非周期的？若此状态带有自环，则必为非周期的（虽然非周期的状态不一定有自环）若此状态与一个非周期的状态互通，则必为非周期的以上是两个充分条件12我是非周期的，因为我有自环我也是非周期的，因为我与非周期状态1互通1/43/4193 .1常返性常返性常返性是考察马氏链由一个状态出发之后能否再次回归到本状态的特性常返性分三种正常返（必定会返回，平均返回时间为有限值）零
4、常返（必定会返回，平均返回时间为 ）非常返（可能不再返回）（书 第21页）103.2 常返性定义常返性定义引入符号 1.2. 3. 若fj=1，则称j是常返的；若fj1则称j是非常返的113.3 常返性定义常返性定义1. 平均返回时间若fj=1，同时Mj=，则称j是零常返的或消极常返的；若fj=1，同时Mj，则称j是正常返的或积极常返的。2. 若j是正常返且非周期的，则称j是遍历的 123.4 常返性举例常返性举例0123nppppppqqqqqqqp+q =1pq非常返133.5 常返性判定常返性判定判断马氏链的常返性经常使用如下定理：定理2.2对有限状态齐次马氏链，必有若此马氏链不可约，则
5、E全由常返态组成；不存在零常返态不可约马氏链均由正常返态组成1/3011231/212/31/2非常返常返143.4 常返性常返性定理2.3设X是不可约马氏链，那么其状态集E或者全由非常返态组成，或者全为零常返态，或者全为正常返态，且每个状态周期相同这个定理称作“不可约马氏链的状态一致性”154.1 遍历性遍历性定理2.4若马氏链X是齐次，不可约，非周期的，那么下列极限 总存在且与初始分布无关。此外，或者A）所有状态全为非常返或者全为零常返，这是对一切j，j=0，且不存在平稳分布。或者B）所有状态全为正常返，且对一切j有j0，这时j就是平稳分布，同时有 而且i可由下述关系式唯一地确定164.2
6、 遍历性遍历性如果齐次马氏链的一个状态j是非周期、正常返的，则此状态j为遍历的。如果一个不可约的马氏链所有状态均为遍历的，则此马氏链就是遍历链。（修正书 25页）遍历链平稳分布：存在、与初始分布无关、唯一、且全部都大于0175 .1离散时间马尔可夫链性质举例离散时间马尔可夫链性质举例S=0,1状态数有限不可约（两两互通）非周期（有自环）正常返（状态有限，不可约）遍历（不可约，非周期，正常返）01ba1-b1-a185 .2离散时间马尔可夫链性质举例离散时间马尔可夫链性质举例S=0,1,2,3.状态数无限不可约非周期常返性要看p的取值0123npppppp1-p1-p1-p1-p1-p1-p1-p195 .3离散时间马尔可夫链性质举例离散时间马尔可夫链性质举例有可约（ 为吸收态）非周期非常返 正常返遍历的此马氏链不是遍历的01231205.4离散时间马尔可夫链性质举例离散时间马尔可夫链性质举例S=0,1,2,3状态个数有限不可约周期 d0=d1=d2=d3=3正常返不是遍历链0123215.5离散时间马尔可夫链性质举例离散时间马尔可夫链性质举例S=0,1,2,3状态个数有限不可约非周期的正常返遍历链012322
