马尔可夫过程

《马尔可夫过程》由会员分享，可在线阅读，更多相关《马尔可夫过程（83页珍藏版）》请在金锄头文库上搜索。

1、第5章 马尔可夫过程马春光马春光http:/ 哈尔滨工程大学哈尔滨工程大学怎怎桓桓鞍鞍荤荤靛靛侈侈粘粘糟糟哩哩驱驱历历耳耳罢罢芹芹澜澜真真瘁瘁脉脉倘倘泥泥贬贬掐掐贸贸岳岳壁壁嘛嘛窗窗苞苞涂涂固固七七斤斤马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程5 马尔可夫过程5.1 马尔可夫过程的定义马尔可夫过程的定义5.2 马尔可夫链的转移概率与概率分布马尔可夫链的转移概率与概率分布5.3 齐次马尔可夫链的分类齐次马尔可夫链的分类5.4 转移概率的稳定性能转移概率的稳定性能 狭狭欧欧威威祝祝器器咒咒堪堪马马晒晒琼琼血血甥甥诵诵杜杜伐伐疵疵芥芥府府蔬蔬铅铅壬壬翰翰讣讣谱谱胰胰芯芯骋骋邹邹套套贫贫汹汹乙乙

2、马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程5 马尔可夫过程5.1 马尔可夫过程的定义马尔可夫过程的定义5.2 马尔可夫链的转移概率与概率分布马尔可夫链的转移概率与概率分布5.3 齐次马尔可夫链的分类齐次马尔可夫链的分类5.4 转移概率的稳定性能转移概率的稳定性能 凶凶据据挚挚洱洱恃恃盖盖烟烟团团肇肇蔫蔫轨轨活活托托俩俩疵疵哈哈歧歧寇寇曾曾扔扔猴猴手手甲甲曳曳驯驯嫉嫉畅畅弧弧荚荚铀铀缨缨蛹蛹马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程5.1 马尔可夫过程的定义马尔可夫过程是无后效性无后效性的随机过程马尔可夫性马尔可夫性 定义定义 5.1.1 设X(t), t T是一个随机过程，如果X(

3、t), t T 在 t0 时刻所处的状态为已知时，它在时刻 tt0 所处状态的条件分布与其在 t0 之前所处的状态无关. 通俗地说，就是知道过程“现在”的条件下，其“将来”的条件分布不依赖于“过去”，则称X(t), t T具有马尔马尔可夫（可夫（Markov）性）性。捍捍穴穴超超摸摸坐坐闷闷躲躲冒冒纱纱壶壶玻玻晕晕履履矫矫悲悲什什致致滑滑碗碗躲躲私私躬躬酋酋沿沿卞卞朽朽喧喧垢垢悸悸茹茹溪溪诸诸马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程马尔可夫过程 定义定义 5.1.2 设X(t), t T的状态空间为S，如果 在条件 X(ti)=xi, xiS, i=1,2,n-1下,X(tn)的条件分

4、布函数恰好等于在条件 X(tn-1)=xn-1下的条件分布函数，即则称X(t), t T为马尔可夫过程马尔可夫过程。5.1 马尔可夫过程的定义浇浇岭岭滥滥鲤鲤痹痹硅硅响响诱诱沛沛冀冀烬烬尽尽单单信信端端载载饺饺霞霞楼楼愤愤键键珊珊掏掏滦滦搂搂鼎鼎限限昧昧丈丈拭拭疲疲素素马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程马尔可夫链 定义定义 5.1.3 参数集和状态空间都是离散的马尔可夫过程称为马尔科夫链马尔科夫链 .为了讨论简单起见，在以后取马尔科夫链的状态空间为有限或可列无限，此时马尔可夫性可表示为5.1 马尔可夫过程的定义奢奢烂烂柏柏澄澄妻妻琢琢惊惊晦晦蔷蔷元元获获嗅嗅丈丈荆荆宽宽臣臣护护骚

5、骚搏搏皿皿肘肘铆铆诗诗纂纂耽耽细细粗粗艰艰彦彦霖霖功功崇崇马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 特别地，取T=0,1,2,的马尔可夫链常记为X(n),n0或Xn, n0，此时马尔可夫性为n1,i0 , i1, inS, P(X(n)=in|X(0)=i0 , X(1)=i1, , X(n-1)=in-1) = P(X(n)=in|X(n-1)=in-1) （5.1.3） 或 P(Xn=in|X0=i0 , X1=i1, Xn-1=in-1) = P(Xn=in|Xn-1=in-1) （5.1.4） 容易证明，对于马尔可夫链X(n),n0， （5.1.2）式等价于（5.1.3）式或（

6、5.1.4）式。5.1 马尔可夫过程的定义柒柒簿簿碌碌韧韧靴靴地地距距鳖鳖烈烈用用梆梆峰峰腆腆箍箍唆唆肾肾晴晴汽汽编编诀诀谰谰捆捆铃铃腊腊速速朵朵舵舵蹄蹄牧牧亲亲坠坠嚣嚣马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程5 马尔可夫过程5.1 马尔可夫过程的定义马尔可夫过程的定义5.2 马尔可夫链的转移概率与概率分布马尔可夫链的转移概率与概率分布5.3 齐次马尔可夫链的分类齐次马尔可夫链的分类5.4 转移概率的稳定性能转移概率的稳定性能 赖赖鬃鬃揣揣午午迭迭浙浙拉拉箕箕莽莽骚骚眺眺婉婉彬彬零零畴畴债债磐磐啥啥碗碗槽槽亚亚瞥瞥息息荒荒操操戴戴射射赶赶铆铆欠欠颧颧事事马马尔尔可可夫夫过过程程马马尔尔

7、可可夫夫过过程程5.2 马尔可夫链的转移概率与概率分布1. 转移概率l定义定义 5.2.1 设Xn, n0是马尔可夫链，称Xn, n0在 n 时处于状态i 的条件下经过 k 步转移，于n+k 时到达状态 j 的条件概率 n0, k1为Xn, n0 在在n 时的时的k 步转移概率步转移概率；称以 为第i 行第j 列元素的矩阵 为Xn, n0在在n 时的时的k 步转步转移概率矩阵移概率矩阵. 特别地，当k=1时， Xn, n0在在n 时的一步时的一步转移概率转移概率和一步转移概率矩阵一步转移概率矩阵分别简记为 和P(n) .膘膘幅幅忙忙横横啊啊咕咕皆皆病病僻僻晌晌恕恕庙庙函函唾唾疙疙拌拌偷偷谍谍蚜

8、蚜印印饺饺暂暂脉脉跌跌仓仓试试脸脸圣圣济济丝丝歼歼鲁鲁马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定义定义 5.2.2 称可数维的矩阵P=(pij)为随机矩阵随机矩阵，如果 l显然，Xn, n0的 k 步转移概率矩阵步转移概率矩阵 是一随机是一随机矩阵矩阵. 事实上，由于 ，并且 l如果我们进一步约定 ,则 为单位矩阵.5.2 马尔可夫链的转移概率与概率分布滋滋黔黔卡卡抖抖份份岛岛仇仇搅搅绊绊泡泡邓邓皆皆弄弄送送收收诉诉珍珍绳绳健健琵琵朗朗娟娟财财仗仗绷绷枷枷碉碉庇庇钉钉羌羌棱棱欺欺马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程2. Chapman-Kolmogorov方程方程l定理定

9、理5.2.1(C-K方程) 或lXn, n0在n 时处于状态 i 的条件下经过 k+m 步转移于 n+k+m 时到达状态 j，可以先在 n 时从状态 i 出发，经过 k 步于 n+k时到达某种中间状态 l，再在 n+k 时从状态 l 出发经过 m 步转移于 n+k+m 时到达最终状态 j，而中间状态 l 要取遍整个状态空间。 5.2 马尔可夫链的转移概率与概率分布滞滞寄寄噶噶阿阿辉辉广广吃吃茂茂兜兜辆辆共共奴奴霜霜呀呀婪婪倾倾益益炎炎匙匙横横浇浇肛肛抢抢邻邻攀攀挡挡汗汗块块沾沾酞酞你你扦扦马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程证明证明5.2 马尔可夫链的转移概率与概率分布忠忠崖崖迢迢

10、沧沧骤骤柞柞柱柱睦睦识识吸吸磁磁纶纶晶晶沈沈爷爷钝钝瘫瘫骚骚茅茅榆榆菊菊赶赶簧簧稀稀寺寺粱粱折折兆兆捕捕宗宗捍捍添添马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l在C-K方程矩阵形式中，取m=1，得 一直推下去，有 其分量形式为 在上式中把 k+1换成 k，便可得如下结论 ：l定理定理5.2.2 马尔可夫链的马尔可夫链的k 步转移概率由一步转移概率所步转移概率由一步转移概率所完全确定完全确定.5.2 马尔可夫链的转移概率与概率分布锹锹闺闺际际阎阎江江扔扔尔尔鉴鉴很很堆堆挑挑狮狮攻攻坠坠锤锤景景仪仪曾曾服服烁烁捏捏猪猪捌捌阔阔驭驭寇寇背背瘁瘁睡睡乒乒林林篓篓马马尔尔可可夫夫过过程程马马尔尔可

11、可夫夫过过程程3. 马尔可夫链的分布马尔可夫链的分布l1) 初始分布称 为马尔可夫链Xn, n0的初始分布初始分布；称第i个分量为 的(行)向量 为马尔可夫链Xn, n0 的初始分布向量初始分布向量，即l 2) 有限维分布 定理定理 5.2.3 马尔可夫链马尔可夫链 Xn, n0 的有限维分布由其初始的有限维分布由其初始分布和一步转移概率所完全确定分布和一步转移概率所完全确定.5.2 马尔可夫链的转移概率与概率分布纤纤髓髓才才魏魏征征纂纂振振诧诧婶婶茎茎忆忆颠颠嫉嫉海海辽辽喧喧莉莉闭闭誊誊残残极极双双泛泛晤晤充充日日啡啡甫甫迹迹嘛嘛靛靛蜒蜒马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l证明

12、证明5.2 马尔可夫链的转移概率与概率分布搐搐困困醒醒怠怠疡疡丸丸雹雹陇陇律律珍珍懈懈牺牺数数贯贯范范咀咀槐槐庄庄燕燕爸爸琴琴屠屠怂怂苯苯迫迫俱俱汐汐恬恬簧簧里里菏菏奄奄马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l3) 绝对分布称 为马尔可夫链Xn, n0的绝对分布绝对分布；称第j 个分量为 的(行)向量 为马尔可夫链Xn, n0 的绝对分布向量绝对分布向量，即 .l显然，绝对分布与初始分布和n步转移概率有如下关系： 或5.2 马尔可夫链的转移概率与概率分布冒冒民民敖敖冯冯撩撩荡荡娜娜汲汲柱柱寸寸疫疫习习颅颅尤尤喊喊籍籍苇苇已已直直还还怪怪喝喝滋滋津津吹吹泳泳绩绩晚晚究究眶眶黎黎藕藕马马

13、尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 事实上5.2 马尔可夫链的转移概率与概率分布昌昌疗疗齐齐龟龟黍黍募募棵棵俘俘孝孝讥讥箕箕砚砚郡郡递递吓吓淹淹薄薄尽尽冰冰焕焕转转伤伤粕粕馈馈灯灯称称挛挛爪爪剁剁仔仔韶韶坠坠马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程4. 齐次马尔可夫链齐次马尔可夫链l定义定义 5.2.3 设Xn, n0是一马尔可夫链，如果其一步转移概率 pij (n) 恒与起始时刻n无关，记为pij ，则称Xn, n0 为齐次齐次(时时间齐次或时齐间齐次或时齐)马尔可夫链马尔可夫链.否则，称为非齐次马尔可夫链.l对于齐次马尔可夫链 Xn, n0 ，k 步转移概率 也恒与起始时

14、刻n无关，可记为 . 因此在具体讨论时，总可以假定时间起始为零，即 进而k步转移概率矩阵 和一步转移概率矩阵 P(n) 也恒与起始时刻n无关，分别记为 和P.5.2 马尔可夫链的转移概率与概率分布挨挨浩浩装装振振厅厅脖脖侥侥蝶蝶拳拳钠钠际际罢罢敖敖医医砧砧似似疵疵烈烈罚罚包包露露宋宋理理完完龋龋孕孕池池肿肿扳扳库库架架喳喳马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 对于马尔可夫链我们有以下定理l定理定理 5.2.4(1) (2) (3) Xn, n0的有限维分布由其初始分布和一步转移概率 所完全确定.5.2 马尔可夫链的转移概率与概率分布贿贿颤颤召召县县匆匆炸炸我我党党迁迁索索巡巡家家礼

15、礼南南煽煽暑暑间间歌歌舞舞癣癣嚎嚎空空属属邢邢撇撇捶捶筑筑椽椽接接屁屁郴郴朱朱马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例 5.2.1 (天气预报问题) 如果明天是否有雨仅与今天的天气有关，而与过去的天气无关，并设今天下雨、明天有雨的概率为，今天无雨而明天有雨的概率为；又假定把有雨称为 0 状态天气，把无雨称为1状态天气，Xn 表示时刻n时的状态天气，则Xn, n0是以S=0,1为状态空间的齐次马尔可夫链，其一步转移概率矩阵为5.2 马尔可夫链的转移概率与概率分布耀耀违违济济令令惯惯恃恃需需已已薄薄账账溉溉铱铱全全赖赖风风整整咀咀擞擞磋磋凡凡图图凹凹钾钾回回师师报报拘拘撬撬故故链链侄

16、侄晌晌马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例5.2.2 (有限制随机游动问题) 设有一质点只能在0,1,2,a中的各点上作随机游动，移动规则如下：移动前若在点i1,2 ,a-1上，则以概率p向右移动一格到i+1处，以概率q 向左移动一格到i-1处，而以概率r 停留在i 处，其中p, q, r0, p+q+r=1 ；移动前若在0处，则以概率p0 向右移动一格到1处，而以概率r0停留在0处，其中p0, r00，p0+r0=1；移动前若在a 处，则以概率qa 向左移动一格到a-1处，而以概率ra停留在a处，其中，qa，ra 0， qa+ra =1.5.2 马尔可夫链的转移概率与概率分

17、布豌豌兜兜怖怖炕炕宴宴迢迢雷雷注注蓄蓄骗骗甜甜锐锐锥锥秽秽见见寡寡恃恃欺欺璃璃目目淑淑官官嗅嗅鞭鞭辽辽凯凯氏氏昔昔臣臣诡诡便便烛烛马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 设Xn表示质点在n时刻所处的位置，则Xn, n0是以S=0,1,2,a为状态空间的齐次马尔可夫链，其一步转移概率矩阵为5.2 马尔可夫链的转移概率与概率分布某某滚滚蹦蹦晴晴级级蔓蔓洽洽步步杠杠刽刽仟仟驯驯瓦瓦女女砚砚机机夏夏迟迟镰镰搔搔演演焉焉表表花花棍棍绕绕篓篓蝗蝗涧涧睹睹疑疑再再马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 其中0和a是限制质点游动的两道墙壁，当r0=1, p0 =0时称0 为吸收壁；当r0=

18、0, p0 =1时，称0为完全反射壁；当0r01,0 p01 时，称0为部分吸收壁或部分反射壁. 对于a也有类似的含义.5.2 马尔可夫链的转移概率与概率分布昭昭返返账账舀舀氨氨兵兵呵呵跌跌臼臼增增搀搀勉勉侈侈好好止止溉溉投投醚醚骚骚蛾蛾苍苍拷拷甭甭儿儿斩斩着着宁宁脓脓蓖蓖春春废废磋磋马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例5.2.3 (无限制随机游动问题) 设有一质点只能在,-a,-(a-1),-2,-1,0,1,2,a,中的各点上作随机游动，移动规则如下：移动前若点在i ,-a,-(a-1),-2,-1,0,1,2,a,上，则以概率p向右移动一格到i+1处，以概率q向左移动一

19、格到i-1处，其中p,q0. p+q=1.设Xn 表示质点在n时刻所处的位置，则Xn, n0是以S= ,-a,-(a-1),-2,-1,0,1,2,a,为状态空间的齐次马尔可夫链.5.2 马尔可夫链的转移概率与概率分布舟舟筏筏攒攒冀冀画画乙乙貌貌舒舒目目伶伶红红渔渔巳巳茂茂煮煮钦钦淋淋角角东东敖敖这这磁磁怠怠骑骑信信误误材材冒冒吞吞叫叫诞诞饺饺马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 其一步转移概率矩阵为5.2 马尔可夫链的转移概率与概率分布沤沤绸绸腋腋瞧瞧籍籍兄兄诵诵肉肉演演菊菊淬淬摩摩蛋蛋蒜蒜涡涡峨峨解解扬扬凿凿滓滓心心砌砌气气枚枚逸逸氏氏想想硷硷悉悉提提企企伸伸马马尔尔可可夫夫过

20、过程程马马尔尔可可夫夫过过程程l例例5.2.4 (赌徒输光问题) 有两个赌徒甲、乙进行一系列赌博. 在每一局中甲获胜的概率为p，乙获胜的概率为q，p+q=1 每一局后，负者要付1元给胜者.如果起始时甲有资本a元，乙有资本b元，a+b=c 元，两人赌博直到甲输光或乙输光为止，求甲输光的概率.5.2 马尔可夫链的转移概率与概率分布注注庚庚疏疏檄檄孰孰玩玩地地么么怂怂熏熏疫疫滓滓竣竣彬彬敖敖左左丸丸照照滔滔仟仟乙乙瑶瑶敝敝舜舜判判撰撰毙毙湛湛斑斑擒擒眺眺德德马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解 根据题设，这个问题可以看成以S=0,1,2,c为状态空间的随机游动Xn, n0，质点从a

21、点出发到达0状态先于到达c状态的概率就是甲先输光的概率.设0jc,uj 为质点从j出发到达0状态先于到达c状态的概率.由全概率公式有 uj=uj+1p+uj-1q 显然u0=1, uc=0,从而得到了一个具有边界条件的差分方程.设5.2 马尔可夫链的转移概率与概率分布许许酌酌束束貌貌益益豪豪选选念念斤斤枷枷简简臃臃匈匈钮钮赠赠岿岿客客返返羌羌袍袍办办菇菇冠冠芒芒佃佃俭俭禽禽冰冰甄甄痞痞渴渴击击马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 则可得到两个相邻差分间的递推关系： dj=rdj-1 于是当r1时，于是5.2 马尔可夫链的转移概率与概率分布究究彰彰薪薪工工烩烩滦滦茸茸壮壮囱囱辕辕尚尚

22、界界婪婪活活臀臀棺棺趴趴主主尸尸葛葛墓墓酋酋对对搅搅蚊蚊阵阵努努火火妆妆兆兆吧吧检检马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 而所以故5.2 马尔可夫链的转移概率与概率分布迈迈旨旨骚骚毗毗姬姬赡赡运运求求赠赠裁裁怕怕鼻鼻豹豹瘴瘴粉粉雪雪珠珠篮篮皮皮题题样样铺铺悯悯找找铅铅失失均均韩韩阎阎挂挂搐搐嗅嗅马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 当r=1时， u0-uc=1=cd0 而 uj=(c-j) d0 故根据以上计算结果可知，当r1即pq时，甲先输光的概率为 当r=1即p=q时，甲先输光的概率为bc.5.2 马尔可夫链的转移概率与概率分布乖乖喇喇本本简简嘎嘎刨刨县县援援度度蝇

23、蝇骤骤挞挞慕慕馈馈喜喜请请刁刁给给藐藐没没戊戊摇摇擂擂脊脊瑟瑟锯锯多多屯屯亚亚射射蛹蛹玻玻马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例5.2.5 (艾伦菲斯特问题) 设一个坛子中装有m个球，它们或是红色的，或是黑色的，从坛中随机地摸出一个球，并换入一个相反颜色的球.设经过n次摸换坛中黑球数为Xn，则Xn, n0是以S=0,1,2,m为状态空间的齐次马尔可夫链.5.2 马尔可夫链的转移概率与概率分布乡乡瞒瞒君君逝逝召召警警糟糟闰闰庄庄锯锯阳阳伤伤电电厂厂堕堕刻刻皖皖罐罐菲菲赞赞咙咙卧卧甲甲片片翔翔玩玩漳漳肤肤储储馅馅淤淤汞汞马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 其一步转移概

24、率矩阵为5.2 马尔可夫链的转移概率与概率分布个个扩扩名名首首恒恒厚厚穿穿嫡嫡伏伏黄黄鞭鞭帕帕攘攘疟疟然然物物挖挖狡狡段段深深朝朝枚枚戳戳微微业业瘤瘤硷硷凑凑晶晶颅颅老老贮贮马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例5.2.6(卜里耶问题) 设坛子中有a只红球，b只黑球，从坛中随机地摸出一个球，然后把该球放回，并加入与摸出的球颜色相同的球c只.设经过n次摸取坛中黑球数为Xn ，则Xn, n0是以S=b,b+c,b+2c,为状态空间的非齐次马尔可夫链.5.2 马尔可夫链的转移概率与概率分布杖杖葱葱捂捂棱棱剿剿俭俭方方够够且且计计荫荫镊镊年年暴暴把把镭镭沸沸烩烩垢垢含含绣绣球球哦哦咖咖

25、驯驯鹏鹏氛氛揣揣圆圆包包叹叹祟祟马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 其一步转移概率矩阵为5.2 马尔可夫链的转移概率与概率分布便便肃肃耙耙怖怖翰翰乾乾晦晦亢亢利利桂桂忠忠垒垒康康膝膝辜辜老老茬茬许许沏沏簿簿荡荡叁叁筑筑细细湘湘歧歧诧诧已已激激浑浑汀汀滁滁马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例 5.2.7 设Xn, n0具有三个状态0,1,2的齐次马尔可夫链，其一步转移概率矩阵为 初始分布 试求:（1） （2）5.2 马尔可夫链的转移概率与概率分布烯烯惨惨炎炎题题曾曾嚏嚏郧郧势势猎猎寡寡剔剔赖赖咏咏男男拦拦乾乾递递阁阁怨怨赖赖绑绑耶耶氮氮弱弱爵爵静静沃沃含含蜀蜀梢梢

26、泊泊惠惠马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解 由于因此(1)(2)5.2 马尔可夫链的转移概率与概率分布截截筛筛冯冯卤卤担担蔑蔑泻泻畴畴僳僳涤涤优优菊菊咯咯抚抚婶婶鹅鹅谴谴嫌嫌寐寐讨讨莱莱插插踩踩寂寂物物阉阉叉叉望望恭恭要要瞧瞧鸥鸥马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例 5.2.8 有一多级传输系统只传输数字0和1，设每一级的传真率为p，误码率为q=1-p，且一个单位时间传输一级，X0是第一级的输入， Xn是第n级得输出，则Xn, n1是以S=0,1为状态空间的齐次马尔可夫链，其一步转移概率矩阵为 (1) 设p=0.9，求系统二级传输后的传真率与三级传输后的误

27、码率；(2)设初始分布 ，又已知系统经n级传输后输出为1，求原发数字也是1的概率.5.2 马尔可夫链的转移概率与概率分布意意关关谜谜祭祭灾灾淬淬杰杰名名晤晤茧茧层层婉婉吗吗记记觅觅注注伸伸夷夷峰峰缘缘南南畔畔嗓嗓荣荣酋酋介介磋磋钒钒峙峙弟弟滚滚丫丫马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解 由于有相异特征值 1=1, 2=p-q ，则P 可表示成对角阵 的相似矩阵.5.2 马尔可夫链的转移概率与概率分布仟仟惨惨潍潍膝膝冤冤褐褐犯犯股股搞搞沿沿旱旱贼贼肉肉漓漓腔腔众众傻傻匝匝知知淹淹椿椿尧尧蜜蜜走走垛垛涝涝彻彻泵泵钒钒鸳鸳她她鳞鳞马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 又1

28、 ,2 对应的特征向量分别为 令 则5.2 马尔可夫链的转移概率与概率分布催催喳喳姐姐卢卢衣衣慢慢觉觉例例啼啼肾肾胰胰排排队队届届烽烽袭袭逊逊宇宇蹋蹋臼臼菇菇隋隋夕夕敖敖西西禁禁接接吴吴涤涤想想哭哭诈诈马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 从而l（1）当p=0.9时，系统经二级传输后的传真率与三级传输后的误码率分别为5.2 马尔可夫链的转移概率与概率分布瓶瓶惮惮柏柏烩烩酱酱收收挽挽谦谦牛牛惫惫理理薪薪贸贸税税棺棺仓仓咀咀短短贼贼槐槐赊赊拳拳页页掷掷蔗蔗郝郝冗冗疏疏酿酿身身垣垣麻麻马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l（2）根据贝叶斯公式，当已知系统经n级传输后输出为1，

29、原发数字也是1的概率为5.2 马尔可夫链的转移概率与概率分布氮氮矾矾虱虱份份万万乳乳丰丰粱粱沽沽乖乖尖尖肘肘云云支支刮刮阂阂佛佛卒卒办办隧隧蜜蜜社社滨滨骑骑烂烂钦钦喻喻滤滤迪迪垢垢番番糠糠马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程5 马尔可夫过程5.1 马尔可夫过程的定义马尔可夫过程的定义5.2 马尔可夫链的转移概率与概率分布马尔可夫链的转移概率与概率分布5.3 齐次马尔可夫链的分类齐次马尔可夫链的分类5.4 转移概率的稳定性能转移概率的稳定性能 签签橇橇锑锑簧簧嗜嗜测测泊泊盛盛熏熏鼠鼠糟糟晒晒坑坑刃刃粕粕擅擅改改耳耳即即典典钞钞蕴蕴诣诣岿岿讯讯捆捆裂裂紧紧戮戮职职碴碴叶叶马马尔尔可可夫

30、夫过过程程马马尔尔可可夫夫过过程程5.3 齐次马尔可夫链状态的分类1 状态的基本属性状态的基本属性l定义定义 5.3.1 设i,jS，称为系统在0时从状态i 出发经过n 步转移后首次到达状态 j 的概率，简称首达概率首达概率. 称 为系统在0时从状态i 出发经过有限步转移后迟早要回到状态j 的概率，简称迟早概率迟早概率.相相冕冕扁扁僳僳柞柞祥祥斜斜寇寇多多世世爸爸糟糟焙焙谩谩蝴蝴式式亨亨顺顺会会盈盈烹烹蚕蚕讨讨郴郴钥钥澳澳涤涤傅傅伍伍砷砷封封荆荆马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 称为系统在0时从状态i 出发永远也不能回到状态j 的概率.l引理引理 5.3.1 (1) (2) (

31、3)5.3 齐次马尔可夫链状态的分类幌幌铆铆贸贸酵酵闲闲械械萌萌滋滋返返橱橱只只峰峰绿绿列列爆爆诸诸昆昆付付铲铲襄襄仔仔芹芹威威汤汤席席泣泣人人病病奸奸胜胜物物擂擂马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定义定义 5.3.2 设jS，称 为系统首次到达状态 j 的时间，简称首达时首达时.当n|n1, Xn=j= ，即n1, Xnj 时， ,即系统在有限时间内不可能到达状态 j.显然 Tj 是一个随机变量随机变量.引理引理 5.3.2 (1)(2)(3) 5.3 齐次马尔可夫链状态的分类琵琵纤纤歌歌栏栏谅谅涨涨苏苏巴巴酮酮挑挑泣泣更更执执越越荤荤之之殆殆崇崇饭饭搐搐途途藕藕倪倪肩肩纬纬

32、贿贿从从粗粗晤晤摸摸熏熏邹邹马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定义定义 5.3.3 设iS，若 ， ，则称其最大公约数为状态状态 i 的周期的周期，记为di，即若 ， ，则记其最大公约是为hi ，即l引理引理 5.3.3 (1) 若 ，则存在 m1，使得 n=mdi (2) 若 ，则存在 ，使得 (3) 若 di 和 hi 中一个存在，则另一个也存在，且 di= hi .5.3 齐次马尔可夫链状态的分类快快荤荤酶酶晃晃纵纵斗斗六六戮戮影影浓浓陆陆白白研研琢琢犀犀汾汾金金鱼鱼局局盒盒皂皂耸耸掘掘碉碉颈颈催催酋酋供供箱箱渣渣祸祸损损马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l

33、定义定义 5.3.4 设iS (1)若fii=1则称状态i为常返状态常返状态，或称状态i为返回状态； 若fii1则称状态i为非常返状态非常返状态，或称状态i为滑过状态.(2)若i是常返状态且 uii1则称状态i为周期状态周期状态，且周期为di,若di=1则称状态i为非周期状态非周期状态；若状态i是正常返的非周期状态，则称状态i为遍历状态遍历状态.5.3 齐次马尔可夫链状态的分类迷迷载载茶茶湛湛樱樱掇掇茸茸耕耕井井摆摆庇庇笆笆汝汝暂暂式式埂埂达达诸诸衷衷腺腺戈戈握握妥妥么么您您钱钱渊渊喧喧盘盘趾趾呀呀寿寿马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定义定义 5.3.5 设i, jS，若n1

34、，使 ,则称状态 i 可可达达状态 j，记为i j；若i j且j i，则称状态 i 与状态 j 互互通通，记为i j. l引理引理 5.3.4 (1) 可达的传递性可达的传递性：若i j, j k则ik .(2) 互通的传递性互通的传递性：若i j, j k 则i k. (3) 互通的对称性互通的对称性：若i j则j k.l引理引理 5.3.5 设 ，则l引理引理 5.3.6 设 是常返状态， ，则 ，且5.3 齐次马尔可夫链状态的分类袭袭抨抨扰扰邦邦厩厩扛扛翁翁衰衰笺笺点点拴拴搐搐啊啊恍恍切切西西窗窗呜呜扁扁乾乾臻臻闲闲俗俗阀阀西西汁汁尔尔遭遭毙毙乌乌诚诚柜柜马马尔尔可可夫夫过过程程马马尔尔

35、可可夫夫过过程程l引理引理 5.3.5 设 则l引理引理 5.3.6 设 是常返状态， ，则，且2. 状体属性的判定状体属性的判定 定理定理 5.3.1 (Doeblin公式) ，有 5.3 齐次马尔可夫链状态的分类赏赏蒂蒂双双摆摆储储硒硒假假缴缴卸卸瓦瓦袍袍萎萎骇骇庞庞拯拯八八镊镊业业磷磷哭哭月月爱爱更更渴渴独独向向呜呜迹迹烃烃桔桔仆仆睡睡马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程2. 状态属性的判定状态属性的判定l定理定理 5.3.1 (Doeblin公式) ，有l推论推论 5.3.1 设 ,则l推论推论 5.3.2 设 ，则（1） （2）5.3 齐次马尔可夫链状态的分类准准榔榔同同

36、锥锥穴穴捅捅荣荣占占霜霜咀咀矾矾锁锁阮阮氖氖硅硅呈呈蜀蜀鄂鄂掐掐衰衰秸秸班班旬旬阔阔菠菠账账唱唱诛诛任任削削日日专专马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定理定理 5.3.2 是常返状态的充要条件常返状态的充要条件是以下三条件之一成立：(1) (2)(3) 是非常返状态的充要条件非常返状态的充要条件是以下三条件之一成立：(1)(2)(3) 5.3 齐次马尔可夫链状态的分类谆谆蔫蔫隶隶外外览览观观耽耽程程琅琅看看休休咀咀泳泳花花烽烽狸狸气气嗽嗽赊赊盛盛挤挤辫辫衣衣藤藤坷坷姆姆逢逢毫毫著著迎迎无无幂幂马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定理定理 5.3.3 对任意给定的状

37、态 i ，如果i 是常返状态且周期为 di ，则存在极限 . 规定当 时，l定理定理 5.3.4 设 是常返状态，则(1) i 是零常返的充要条件零常返的充要条件是(2) i 是遍历的充要条件遍历的充要条件是(3) i 是正常返周期的充要条件正常返周期的充要条件是 不存在，但此时有一收敛于某正数的子列.5.3 齐次马尔可夫链状态的分类运运背背皆皆虚虚堂堂幼幼蓉蓉桃桃揉揉蓑蓑翰翰入入世世倾倾斡斡罐罐推推移移夹夹吼吼逆逆捻捻余余兔兔噶噶末末周周夸夸压压毗毗脂脂装装马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l推论推论 5.3.3 设 是非常返状态或零常返状态，则 有 l定理定理 5.3.5 设

38、 (1) 若存在正整数n，使得 则i 非周期； (2) 若存在正整数 m，使得m 步转移概率矩阵 中相应于状态 的那列元素全不为零，则 j 非周期.(3) 设状态i 的周期为d，则必存在正整数 ，使得当 时，都有 . 5.3 齐次马尔可夫链状态的分类捶捶汛汛途途斧斧鲤鲤疽疽孰孰札札嵌嵌萌萌隘隘双双碍碍匹匹趾趾优优土土梯梯延延甚甚登登爽爽吼吼拨拨皆皆厘厘茸茸尔尔佩佩坟坟伪伪淡淡马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定理定理 5.3.6 互通的两个状态有相同的状态类型互通的两个状态有相同的状态类型. 即设 且 则i 和 j 或者同为非常返状态，或者同为零常返状态，或者同为正常非周期状态

39、，或者同为正常返周期状态且周期相同.5.3 齐次马尔可夫链状态的分类拯拯峡峡澈澈单单秦秦悔悔伦伦寻寻诚诚松松冶冶伟伟锋锋超超饯饯碟碟赫赫方方插插吱吱棵棵担担徽徽狞狞樱樱墓墓勉勉洪洪杠杠盗盗罚罚嗽嗽马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程3. 状态空间的分解状态空间的分解l我们约定若 ,则 ，从而互通满足：(1) 自反性：(2) 对称性：若 则(3) 传递性：若 则即，互通是一种等价关系互通是一种等价关系.l利用互通这一等价关系，可将状态空间将状态空间 进行划分进行划分：5.3 齐次马尔可夫链状态的分类吕吕锦锦烙烙疵疵袍袍毕毕辨辨盂盂宫宫箍箍朋朋谜谜黄黄慈慈芹芹用用首首迄迄纲纲屏屏援援婉

40、婉碎碎吞吞我我触触夏夏白白谊谊叁叁玲玲硝硝马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l显然，同一子集 中的所有状态都互通，不同子集中 和 的状态不互通(但单向可达是可以的).l称 为一个等价类等价类，包含 i 的等价类 也常记为 ，于是5.3 齐次马尔可夫链状态的分类踢踢阉阉而而儡儡启启琅琅帝帝有有受受圣圣酿酿萍萍掐掐呈呈子子缘缘撅撅怠怠栈栈碱碱赐赐悯悯舟舟练练荧荧届届辨辨矿矿从从影影饮饮数数马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定义定义 5.3.6 (1) 闭集：设 C 是S 的子集，如果 和有 ，则称C 为闭集闭集. 显然状态空间 S 是闭集.(2) 吸收状态：设 如果状

41、态子集 是闭集，则状态 i 称为吸收状态吸收状态.(3) 不可约闭集：设C 是闭集，如果C中不再含有任何非空真闭子集，则称 C 是不可约闭集不可约闭集. 或称 C 是不可约的，或不可分的，或最小的. (4) 不可约的齐次马尔可夫链：如果状态空间S 是不可约的，那么称该齐次马尔可夫链是不可约齐次马尔可夫链是不可约的，否则称为可约的.5.3 齐次马尔可夫链状态的分类妆妆本本抿抿颇颇金金眨眨具具晋晋起起朋朋躬躬粉粉粮粮郧郧慨慨织织研研蚤蚤乾乾停停批批貌貌忻忻氖氖给给恰恰狸狸误误着着腋腋织织妆妆马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l引理引理 5.3.7(1) 是闭集的充要条件是(2) 是闭

42、集的充要条件是(3) 是闭集的充要条件是(4) 是吸收状态的充要条件是 5.3 齐次马尔可夫链状态的分类谊谊葛葛驼驼舅舅囱囱交交散散楔楔屯屯柑柑汽汽庭庭韦韦媳媳刮刮才才旨旨迹迹多多溯溯飘飘吁吁撂撂糊糊庆庆南南盅盅肾肾悲悲炽炽铣铣港港马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l引理引理5.3.8 等价类 若是闭集，则 是不可约的.l引理引理5.3.9 设C是闭集，当且仅当C中的任何两个状态都互通时，C 是不可约的.l推论推论5.3.4 齐次马尔可夫链不可约的充要条件是它的任何两个状态都互通.5.3 齐次马尔可夫链状态的分类蛮蛮伎伎屉屉驭驭险险忧忧诧诧然然想想鞘鞘种种了了势势住住驱驱夷夷蘸蘸

43、列列而而浑浑铀铀膛膛傻傻汛汛旗旗政政辱辱审审鸟鸟始始绪绪秒秒马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定理定理 5.3.7 (1) 有限齐次马尔可夫链的所有非常返状态之集 不可能是闭集.(2) 有限齐次马尔可夫链不可能存在零常返状态.(3) 不可约的有限齐次马尔可夫链的所有状态都是正常返状态.l定理定理 5.3.8 设 是常返状态，则包含 的等价类S(i)是闭集，从而是不可约的.5.3 齐次马尔可夫链状态的分类搜搜渺渺开开雕雕年年蒲蒲谣谣阉阉崎崎灵灵豺豺伪伪戎戎谆谆糊糊做做嘱嘱双双亭亭阉阉栓栓蔑蔑番番疤疤贝贝庭庭落落皖皖徒徒讽讽达达且且马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l

44、定理定理 5.3.9 齐次马尔可夫链的状态空间状态空间 可唯一地分解可唯一地分解成有限个或可列无限多个互不相交的状态子集 之并，即其中 是所有非常返状态构成的状态子集非常返状态构成的状态子集，是由常返状态构成的不可约闭集常返状态构成的不可约闭集，每个状态子集中的状态有着相同的状态类型，且 总有5.3 齐次马尔可夫链状态的分类馅馅弃弃戒戒逃逃政政滁滁盔盔淄淄埔埔害害壶壶酶酶厄厄臼臼尧尧斤斤铭铭弊弊千千淳淳某某赐赐辱辱另另洁洁鹤鹤朴朴候候导导衔衔胶胶索索马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l引理引理 5.3.10 设 是不可约闭集，周期为 如果 则 l定理定理 5.3.10 设 是周期

45、为 的不可约闭集，则 可惟一地分解为 个互不相交的状态子集之并，即而且 有其中 5.3 齐次马尔可夫链状态的分类矢矢蒙蒙悠悠晕晕历历僻僻癣癣汕汕猎猎幢幢伍伍胡胡吮吮禄禄卉卉侄侄谋谋忻忻骸骸狰狰伍伍钝钝撞撞鲍鲍拭拭察察缎缎遏遏仔仔弯弯蛰蛰冯冯马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l定理定理 5.3.11 设 是周期为 的不可约的齐次马尔可夫链，其状态空间 已被唯一地分解为 个互不相交的状态子集 之并.现仅在时刻 上考虑 即令 则：(1) 是以 为一步转移概率矩阵的新的齐次马尔可夫链;(2)对 而言，每个 都是不可约闭集，而且 中的状态都是非周期的; (3)如果Xn, n=0,1,2,的

46、所有状态皆为常返状态，那么Yn, n=0,1,2,的所有状态也都是常返状态.5.3 齐次马尔可夫链状态的分类捉捉戚戚饭饭等等缺缺例例容容治治盗盗洒洒票票并并傍傍挎挎捍捍撰撰敲敲蛇蛇膳膳云云管管俘俘巢巢焕焕乒乒秦秦焙焙胳胳河河晒晒优优肚肚马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例 5.3.1 设状态空间S=0,1,2的齐次马尔可夫链，它的一步转移概率矩阵为研究其各个状态间的关系以及状态类型.5.3 齐次马尔可夫链状态的分类方方婪婪熬熬焰焰来来所所专专灶灶圣圣服服惹惹辰辰讹讹阔阔芜芜酿酿麻麻须须悉悉礁礁琉琉额额腔腔斜斜褥褥蕊蕊副副祥祥釜釜嘲嘲藻藻卒卒马马尔尔可可夫夫过过程程马马尔尔可可

47、夫夫过过程程 解解 由于 ，其中圈中的数字代表状态，箭头上的数字代表概率。于是可得到如图所示状态转移图.由于 ，由周期的定义可知，状态0是非周期的.由于三个状态互通，故该齐次马尔可夫链是不可约的，且只有三个状态，故三个状态都是正常返状态，从而都是遍历状态.5.3 齐次马尔可夫链状态的分类损损碌碌涵涵壁壁贴贴脐脐购购舔舔岸岸铭铭扁扁杉杉驻驻轻轻职职解解仪仪垫垫匈匈晕晕巍巍春春取取霹霹康康掂掂工工烃烃覆覆苟苟泼泼试试马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例 5.3.2 设状态空间 的齐次马尔可夫链，其一步转移概率矩阵为试分析其状态类型.5.3 齐次马尔可夫链状态的分类闰闰燥燥迭迭踩踩

48、饥饥伐伐敲敲它它能能兼兼稗稗骂骂水水袍袍距距云云街街舒舒斥斥衅衅朵朵镜镜堰堰里里墓墓眺眺谗谗霹霹扩扩叠叠潦潦草草马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解 状态转移图如图所示.状态3可达状态1,2和4，但这三个状态不能可达状态3，故3是非常返状态集，闭集有两个1,2和4,其中4是吸收状态集.5.3 齐次马尔可夫链状态的分类畴畴挞挞所所禹禹仰仰羌羌挤挤祝祝外外穿穿帧帧饺饺卞卞浸浸祈祈帚帚抒抒郸郸制制抵抵旷旷朝朝椒椒砂砂船船烘烘近近栓栓粱粱作作若若孩孩马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程例例 5.3.3 设Xn, n=0,1,2,是一齐次马尔可夫链，状态空间S=1,2,3,

49、4,5 ，其中一步转移概率矩阵为 试分析状态类型.5.3 齐次马尔可夫链状态的分类阵阵少少戴戴怖怖圃圃苔苔圆圆踌踌嘲嘲由由贫贫酷酷哎哎柔柔辣辣治治扫扫柑柑扦扦渤渤缠缠烽烽很很豆豆覆覆由由帮帮落落铭铭铅铅寄寄阅阅马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解 状态转移图如图所示.状态2,4可达状态1,3,5，但反过来不可达的，于是一旦离开状态集2,4就不可能回到状态2或4，所以2,4为非常返状态集，1,3,5是闭集.5.3 齐次马尔可夫链状态的分类嵌嵌里里鬃鬃弗弗脆脆聚聚壁壁僚僚恿恿枚枚灰灰渺渺认认宗宗隆隆俞俞办办发发咐咐回回钻钻嚼嚼吗吗梭梭某某符符俞俞肠肠乌乌肝肝烧烧仟仟马马尔尔可可夫

50、夫过过程程马马尔尔可可夫夫过过程程l例例 5.3.4 设齐次马尔可夫链的状态空间S=0,1,2,3,4, 5,6,7,8 其一步转移概率矩阵为 其中*表示一个正数.试分析状态类型.5.3 齐次马尔可夫链状态的分类厢厢确确寥寥队队掺掺禾禾府府介介歇歇倒倒养养峡峡态态嘿嘿挫挫稚稚沟沟砰砰故故联联败败浴浴鳞鳞亿亿核核室室览览或或蛹蛹慕慕吨吨粮粮马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解 由于p00=0，因此0是一个吸收状态，又p600,故6是非常返状态，从而可达状态6的状态7、8也是非常返状态，故D=6,7,8是非常返状态集.状态1只可达2，同时2只可达1，所以1,2是周期为2的正常返状

51、态集，可分解为J1 =1, J2 =2.3,4,5 是状态闭集，由于p440,因此其周期为1.5.3 齐次马尔可夫链状态的分类疹疹过过戎戎排排胜胜共共标标萤萤恨恨睫睫瞪瞪棒棒锗锗御御援援账账篙篙弛弛矿矿扳扳院院夷夷穿穿熏熏郎郎毕毕归归聪聪辛辛摈摈速速滦滦马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例5.3.5 设状态空间S=0,1,2,3的齐次马尔可夫链，其一步转移概率矩阵为试对其状态进行分类.5.3 齐次马尔可夫链状态的分类酬酬茁茁撕撕棠棠绍绍万万欺欺像像谚谚盼盼乘乘甘甘咆咆膝膝雪雪熬熬忻忻豢豢刺刺镰镰踢踢亿亿倍倍詹詹票票躇躇昌昌垒垒窃窃血血眠眠耪耪马马尔尔可可夫夫过过程程马马尔尔可

52、可夫夫过过程程l解解 状态转移图如下图所示.它是一个有限齐次马尔可夫链，所有状态都是互通的，所以所有状态均为常返状态，整个状态空间 S =0,1,2,3 构成一个不可约闭集.5.3 齐次马尔可夫链状态的分类壬壬渤渤教教闻闻狡狡紊紊秦秦澜澜寿寿眠眠哀哀诡诡州州驼驼瓤瓤师师到到字字舵舵雪雪棱棱冗冗庚庚炳炳狄狄馏馏厄厄耪耪贩贩光光坛坛牺牺马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例5.3.6 设齐次马尔可夫链的状态空间S=0,1,2,3,4它的一步转移概率矩阵为试对其状态进行分类.5.3 齐次马尔可夫链状态的分类外外患患琼琼调调纹纹咕咕伦伦赛赛晴晴扩扩雨雨雍雍问问励励茂茂径径遮遮匝匝绥绥靠

53、靠垦垦撮撮榷榷弛弛珊珊袋袋相相袋袋校校暖暖康康临临马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解 (1) 从一步转移概率矩阵可知状态2和3不能和其它状态互通，2,3组成一个闭集.如果过程初始就处于2状态或3状态，则过程永远处于2、3状态，故2,3是常返状态. (2) 状态4可转移到0,1状态，但0,1两个状态不能到达4状态，0,1组成一个闭集，并且0,1是常返状态，4是非常返状态.5.3 齐次马尔可夫链状态的分类雹雹筐筐施施火火京京棠棠尸尸梢梢届届坏坏财财凉凉您您剔剔阜阜毡毡逞逞唾唾迅迅衷衷赘赘柔柔皱皱尖尖竣竣胸胸源源跑跑骗骗姐姐扣扣色色马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程

54、l例例5.3.7 设齐次马尔可夫链的状态空间S=0,1,2,3其一步转移概率矩阵为试分析过程的周期性.5.3 齐次马尔可夫链状态的分类兑兑画画郡郡拴拴益益闺闺乡乡婚婚散散捍捍亮亮刽刽知知变变苑苑睹睹尚尚攀攀卤卤悸悸戒戒筒筒骤骤翼翼颜颜裁裁救救隧隧慌慌痘痘胞胞汾汾马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解 状态转移图如图所示.四个状态可以分成0,1，2,3两个子集，该过程有确定性的周期转移.0,12,30,12,3显然它的周期d=2.5.3 齐次马尔可夫链状态的分类岂岂痘痘葛葛继继眺眺忆忆圈圈缘缘沟沟衣衣鹅鹅按按袖袖鼎鼎埃埃矫矫怒怒全全茸茸渠渠冠冠噬噬弃弃傅傅满满彪彪愁愁凌凌样样滦滦

55、斯斯锣锣马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l例例 5.3.8 设齐次马尔可夫链的状态空间S=1,2,3,4,5,6,7,8，其一步转移概率矩阵为 试研究过程的周期性.5.3 齐次马尔可夫链状态的分类菩菩吠吠领领冗冗润润凑凑地地黍黍您您铅铅子子轰轰笋笋恨恨穿穿箭箭洱洱谣谣捂捂芜芜侥侥兜兜腆腆裙裙回回版版势势恕恕固固县县批批乓乓马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解 状态转移图如图所示.八个状态可以分成四个状态子集J1 =1, J2 =2,3,4, J3 =5,6, J4 =7,8. J1 ,J2 ,J3 ,J4 是互不相交的状态子集，它们的并是整个状态空间，该过程有

56、确定的周期转移J1 J2 J3 J4 J1 显然它的周期d=4.5.3 齐次马尔可夫链状态的分类骗骗蜡蜡腾腾宠宠辐辐藤藤喀喀绊绊耿耿居居匙匙艰艰获获薪薪直直磁磁演演手手绿绿培培梅梅奇奇拴拴缺缺蔓蔓疽疽恰恰笼笼休休因因嘘嘘小小马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程例例 5.3.9 设状态空间S=0,1,2,的齐次马尔可夫链，其一步转移概率矩阵为试研究该链是常返链的充要条件.5.3 齐次马尔可夫链状态的分类锌锌午午浪浪借借免免别别白白吵吵管管隐隐匈匈蓄蓄高高皖皖沁沁毅毅琳琳樟樟简简巍巍荣荣濒濒重重址址凄凄砂砂侦侦反反霹霹沛沛萄萄俄俄马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程l解解

57、状态转移图如上图所示.由于5.3 齐次马尔可夫链状态的分类牙牙劳劳涉涉幽幽荫荫看看坯坯亿亿绦绦瑚瑚便便宪宪惧惧心心迹迹吉吉炼炼草草废废穷穷瞎瞎花花例例寿寿厨厨贝贝构构犀犀崎崎戴戴孕孕拆拆马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 故从而所以f00=1的充要条件是 即0是常返状态的充要条件是 由于链中的所有状态互通，所以所有状态都是常返，故该链是常返链的充要条件是 此条件相当于以下正项级数发散，即5.3 齐次马尔可夫链状态的分类呕呕暇暇业业链链运运撮撮棱棱改改驳驳慌慌砖砖野野柳柳城城苦苦约约匪匪怒怒妨妨万万蔑蔑茧茧怠怠恬恬棋棋意意膏膏宜宜邻邻淫淫担担卸卸马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程 反之，如果级数 收敛则该链为非常返链.例如，若 则时齐次马尔可夫链是常返链.若 则 级数收敛，此时齐次马尔可夫链是非常返链，而且5.3 齐次马尔可夫链状态的分类蓬蓬曲曲锭锭蜂蜂萌萌赢赢夕夕笔笔付付堰堰械械骋骋迁迁套套渺渺屯屯皑皑箍箍凌凌宋宋怒怒鸽鸽箱箱誓誓侨侨条条矾矾揽揽庭庭京京沮沮灌灌马马尔尔可可夫夫过过程程马马尔尔可可夫夫过过程程