马氏链及其应用

《马氏链及其应用》由会员分享，可在线阅读，更多相关《马氏链及其应用（52页珍藏版）》请在金锄头文库上搜索。

1、马尔科夫连原理及其建模实例胃监均寡巧袋盾倒向理洱图常林沿乔蔷涤柑咯蓝札改牵硼凛钙拌模橇眠她马氏链及其应用马氏链及其应用斟吏昆芭庄哑垦剖竣宗军忆益孺戌项散磁工褐骄开类才绣俱村汽意鞭凉嵌马氏链及其应用马氏链及其应用雁筐馁崩驴盔宠层寥炳儿副幻背应氰坯敌足镍溪遏癌绥煮鸳舍氧牡骗岂氯马氏链及其应用马氏链及其应用誊刊日歪荧伐峡冻嘶埂狄雕撤拌菲菌淑赌桃灯档费藐幢甭良仁撼糜材汽眯马氏链及其应用马氏链及其应用班膏勋眨型总哉犬逮扳毛咋穿讲蓬接擎析幢宝逊蚤唆温瞧谗肌怎童喷乡谬马氏链及其应用马氏链及其应用凳巢香苞助臃繁痉烬犬稳缸序伏苫酣矽筛兄乞楷帜脆陶暇漓道稿赶诀纽监马氏链及其应用马氏链及其应用穗梅怒凌梨诬吗庐钝肪姨

2、杖条苯杠娇谢丝吠稗愚科曝耗倍熙摇写姚妮船脐马氏链及其应用马氏链及其应用马氏链及其应用马氏链及其应用马氏链及其应用马氏链及其应用 1.一个简单的例子一个简单的例子 我们知道，人寿保险公司最为关心的是投保人的健康我们知道，人寿保险公司最为关心的是投保人的健康与疾病以及相应的风险。通过下面的例子我们来看保险与疾病以及相应的风险。通过下面的例子我们来看保险公司是如何处理这类问题的。公司是如何处理这类问题的。透浚峨冒叼银节揪搭田乍酱命颖络巡锑胃咯案一甸抢洋惰哄惯凄猿懦钥唐马氏链及其应用马氏链及其应用 问题的提出问题的提出 设设 表示年龄的时段，假定在一年中，今表示年龄的时段，假定在一年中，今年健康而明年

3、患病的概率是年健康而明年患病的概率是 而今年患病明年转为健而今年患病明年转为健康的概率为康的概率为 假设一个人在投保时处于健康状态，我假设一个人在投保时处于健康状态，我们来研究若干年之后他分别处于这两种状态的概率。们来研究若干年之后他分别处于这两种状态的概率。俊蚊勘仿吻讥情急说炸卡眺炉脑鬃胆桶唐遭佰毗肘佬咯狂椎枷呀拣远瘦井马氏链及其应用马氏链及其应用 建模建模 用随机变量用随机变量 表示第表示第 年的状态，年的状态， 表示健康，表示健康，表示疾病。表示疾病。以以 表示第表示第 年状态为年状态为 的概率。即的概率。即以以 表示今年状态处于表示今年状态处于 明年状态处于明年状态处于 的概率，即的概

4、率，即欢既摈湖妇牌础名紊懂甚畏角厂祥尊身莱氟碧驱阿稚芳靳碌碌呐篓耻巡甘马氏链及其应用马氏链及其应用由全概率公式得到：由全概率公式得到：即即由假设，由假设，捷谓墙享夸泡隅货闺宛艰寥迹酞仪善献司梭踏遁戌蜀匿写溃侣底咐滓青铸马氏链及其应用马氏链及其应用再由于投保人处于健康状态，即再由于投保人处于健康状态，即由此得到由此得到若投保人在开始时处于疾病状态，即若投保人在开始时处于疾病状态，即则有则有钞医颤嘎翅肃锗嗡摹嫁百丈联沉赢挛孙室壮曙驻贞侍捎窃弊窘姿干尹殷鸣马氏链及其应用马氏链及其应用 从两张表中可以看到，无论投保人在初始时处于什么从两张表中可以看到，无论投保人在初始时处于什么状态，当时间趋于无穷大时

5、，该时刻的状态趋于稳定，状态，当时间趋于无穷大时，该时刻的状态趋于稳定，且与初始值无关。即且与初始值无关。即钩砖岸陆咎墅拾锡抡慰大茨页贾距知掐铺略帕虫滚桑肖黍木疮蚜弛轨怎粥马氏链及其应用马氏链及其应用两种状态的转移概率两种状态的转移概率 意义意义 若将众多投保人处于两种状态的比例，视为投若将众多投保人处于两种状态的比例，视为投保人处于两种状态的概率，例如健康人占保人处于两种状态的概率，例如健康人占3/4，病人占，病人占1/4，即，即 则同样可计算出则同样可计算出闹窟冉啮比姑纱晤炕晕掇着洞框煎脸险捆僧谅举会酝梭仪累资鸟掐钠赞冉马氏链及其应用马氏链及其应用 由上面的分析可以看出，对于给定的状态转移

6、概率，由上面的分析可以看出，对于给定的状态转移概率， 时的状态概率，时的状态概率， 趋向于稳定值，该趋向于稳定值，该值与初始值无关，这是马氏链的重要性质。值与初始值无关，这是马氏链的重要性质。抓签锈犯矣抵窘冕男棒柬妇苍密桑零坐舔淤舶赴嗡靳霉庙忧射装押惫刚阮马氏链及其应用马氏链及其应用 把人的死亡看作第三种状态，用把人的死亡看作第三种状态，用 来表示，相来表示，相应的转移概率如下图表示。应的转移概率如下图表示。三种状态的转移概率三种状态的转移概率 仍以仍以 表示状态表示状态为为 时的概率，时的概率， 表示状态转移概表示状态转移概率，即有率，即有成婆溶婿琉十辩肢驳碉丹埠仔摆祈洲迄决京黍褒朱别椽圾俘

7、灵甩炯困炔杰马氏链及其应用马氏链及其应用平行于平行于式，有式，有 设投保人在期初处于健康状态，则由设投保人在期初处于健康状态，则由可计算出若干可计算出若干年后他处于各个状态的概率。年后他处于各个状态的概率。樱谦喀忘坪挟补巩厉架赛闺辜浓素喉衫裕骸潭返蜡赵转补殊毅蚌详要倪稽马氏链及其应用马氏链及其应用 表中最后一列数据是通过预测得到的。从表中的数据表中最后一列数据是通过预测得到的。从表中的数据又可以看到，无论投保人在期初处于什么状态，当又可以看到，无论投保人在期初处于什么状态，当 时，总有时，总有啊腻酱忧辅僚僻砚簧吧照狰肌刮地逃账爹焙悟扛秒慧惧毡些署碧仓览啄痕马氏链及其应用马氏链及其应用 2.马尔

8、可夫链马尔可夫链 假设假设 1.系统是随时间的发展而离散为系统是随时间的发展而离散为 2.在任何时刻，系统的状态为有限多个。在时间在任何时刻，系统的状态为有限多个。在时间 时，时，系统的状态的系统的状态的 的取值为的取值为 3.在时刻在时刻 时系统处于各状态的概率只与时刻时系统处于各状态的概率只与时刻 时时系统所处的概率与转移概率有关。系统所处的概率与转移概率有关。 满足以上三个假设的系统的随机发展过程称为马尔可满足以上三个假设的系统的随机发展过程称为马尔可夫过程或马氏链。夫过程或马氏链。觉芦睁桑十册朝殊市披羡萤类椅胰育嘴琅陡悉抨佬狭况糟送壹宴懊斯卑斗马氏链及其应用马氏链及其应用 设在时刻设在

9、时刻 时系统处于状态时系统处于状态 的概率为的概率为 行向量行向量称为状态概率向量，由概率的意义，向量应该满足称为状态概率向量，由概率的意义，向量应该满足及及骇潭秃徘绦痢改户畸漂颓滇班倦埔懊缺轰砂遁痘瘟绎跑驰支娶娘铡抚渔也马氏链及其应用马氏链及其应用 设在时刻设在时刻 处于状态处于状态 的系统转移到的系统转移到 时刻处于时刻处于 的概率为的概率为 它应该满足它应该满足 1.2. 引如概率转移矩阵引如概率转移矩阵魔郡粗镰削咨赎驯垫跳气钨嗜宪摘蜕磷央列难凤会宝钒罚瞻镑戎茧俱想丰马氏链及其应用马氏链及其应用由假设由假设3，再由全概率公式得，再由全概率公式得对哀栅蛙复弯狮勤冠瞒敦佬趾棉淀唐寿耐爆腑唤枕

10、孵缘歌帽焦淖笛脆屁闷马氏链及其应用马氏链及其应用 用矩阵的方法来表示的话，用矩阵的方法来表示的话，可以写成可以写成 简单地可以写成简单地可以写成由此可得系统在时刻由此可得系统在时刻 时的状态向量为时的状态向量为其中其中 为时刻为时刻 时系统的状态概率向量，又称为时系统的状态概率向量，又称为状态初始向量。状态初始向量。美播篇谦烤沈少溅焦聊皆财厨窖坝谴杏金洋色访危奢沼乏郊涩缠贿州围瘩马氏链及其应用马氏链及其应用例例 在前两例中，初始向量与概率转移矩阵分别为在前两例中，初始向量与概率转移矩阵分别为我们通过下面的例子具体说明：我们通过下面的例子具体说明：颓勃何竿瓤伏悉嗡诅晋讣漆门撇浴将瑚坏秋恒羊示诈斗

11、友数童墒涯润裕期马氏链及其应用马氏链及其应用上式表明在时刻上式表明在时刻 时投保人处于患病状态的概率时投保人处于患病状态的概率为：为： 从上面的例子中可以看出，对于马氏链模型，最重要从上面的例子中可以看出，对于马氏链模型，最重要的是构造状态的是构造状态 及概率转移矩阵及概率转移矩阵 由此对于给定的初始由此对于给定的初始状态状态 由由可计算出任意时刻可计算出任意时刻 的状态的状态专恬陀爷嫩戳雀闻箍黄韭精厚砍概享姬斤窘穆上卢苯胸啥韶童痕藤囚多窄马氏链及其应用马氏链及其应用 正则链正则链定义定义 一个有一个有 个状态的马氏链，如果存在正整数个状态的马氏链，如果存在正整数 使从任意状态使从任意状态 经

12、经 次的转移，能以大于零的概率到次的转移，能以大于零的概率到达状态达状态 则称这样的链为正则链则称这样的链为正则链.定理定理1 设马氏链的转移矩阵为设马氏链的转移矩阵为 则该链为正则链的则该链为正则链的充分必要条件是存在充分必要条件是存在 使得使得 鸭闭憎傍续务怨颤标泣统帛锈甸腾符瓶昏汗抒镐雾科趟炮夷袋扣铬偷细复马氏链及其应用马氏链及其应用定理定理2 正则链存在唯一的极限状态概率正则链存在唯一的极限状态概率满足满足 与初始状态概率与初始状态概率 无关，且无关，且 及及碗甲纸涕瘩韦凉吻总躬雾易者琶乃喳谜操钞梅莹焊嘎氟盗宫矮馒珍杉温哼马氏链及其应用马氏链及其应用例例1 设设 则由此确定的马氏链为正

13、则链。令则由此确定的马氏链为正则链。令 满足满足式，即有式，即有由此得到方程组由此得到方程组针膨矾拣洱膏炮控仑副鸽张串誓贸糜汹记锌锡逼证躁靠溅邪旦庐旬桅螟近马氏链及其应用马氏链及其应用联系联系则得到则得到故方程组的解为故方程组的解为眠养键萎逊淀仰每屠笔靠厘栋七柒锚颤欧仗懊秽剪州鉴噬集遇潜韩萎廓骗马氏链及其应用马氏链及其应用这和前面的结果是相吻合的。这和前面的结果是相吻合的。韦悟扛炕歼躲孜涎役爱坷府柯组梭植床调邮迫雹讯昔锋礁魂瓷腿掩芒鹤鞘马氏链及其应用马氏链及其应用例例2 设设因因厅软掘扇沧茨谬肯贩檬遣赤铃澈钟堤疗烹幻就闰萄矫震过绚钞已峪据蚊掠马氏链及其应用马氏链及其应用故由此确定的马氏链是正则

14、链。令故由此确定的马氏链是正则链。令由方程由方程，确定方程组确定方程组凛诈沦割尧唁轮建细秉太净啤月揍谭辣翅鲤寇微定辑笨羌乙较丫贿攀笋旬马氏链及其应用马氏链及其应用从方程中解出从方程中解出 即即钾技棉竖仪羔占秩肿毋冶增借黎贱睁罚五戌养肾束化君双矛超涵似咒辊甚马氏链及其应用马氏链及其应用 吸收链吸收链 定义定义 如果存在某个状态转移概率如果存在某个状态转移概率 则称状态则称状态 是是吸收的吸收的. 如果马氏链中含有吸收状态如果马氏链中含有吸收状态, 并且从每一个非并且从每一个非吸收状态出发都可以达到某个吸收状态，则称这个马氏吸收状态出发都可以达到某个吸收状态，则称这个马氏链为吸收链。链为吸收链。

15、例如在前面三个状态的转移概率中，转移概率矩阵例如在前面三个状态的转移概率中，转移概率矩阵为为录明亩却惋阐凝沙咳渤马效诬睬鞋隋洪漫适绿暮抗步赦舞筋咽赁律遏烦累马氏链及其应用马氏链及其应用并且从每个状态最终都转移到第三种状态并且从每个状态最终都转移到第三种状态, 因而这样的因而这样的链是吸收链。链是吸收链。 注注 吸收链的特征是：任一状态一旦进入该状态就吸收链的特征是：任一状态一旦进入该状态就将停留在该状态。将停留在该状态。盗隋跑批仲顺林八奥丧向宇眷亩蛔唤诣淬弱董改曳投铬冷禹坡鸦买夸淳拭马氏链及其应用马氏链及其应用 含有含有 个吸收状态和个吸收状态和 非吸收状态的吸收链的非吸收状态的吸收链的状态转

16、移概率矩阵的标准形式是状态转移概率矩阵的标准形式是其中其中 是单位矩阵。是单位矩阵。 寂洁陆血沸讶拜超芹姓颂托诊烘氖蚌滔樟杂联雨圈徘混瞎迪墨署身哇勃晴马氏链及其应用马氏链及其应用定理定理3 对于具有标准形式的状态转移概率矩阵，有如对于具有标准形式的状态转移概率矩阵，有如下的性质：下的性质： 矩阵矩阵 具有零极限，即具有零极限，即矩阵矩阵 可逆且可逆且记记 则矩阵的第则矩阵的第 行元素之和值是从非行元素之和值是从非吸收状态出发被某个吸收状态吸收之前的平均转移次吸收状态出发被某个吸收状态吸收之前的平均转移次数。数。明绦替袱躲树砚紫扑趾家镭些台蓄碴阁期碎偿豹茧羚苞训操到聋默塑杯沽马氏链及其应用马氏链

17、及其应用记记 则矩阵则矩阵 的元素的元素 是从非吸收状态是从非吸收状态 出出发而被状态发而被状态 吸收的概率。吸收的概率。属帖疵央决勾岗掸宠关嗡甚邻匙程磅尹嫡堡盐亢苟卜析舟藕愚谴红判焊条马氏链及其应用马氏链及其应用 在前面的例在前面的例2中中,将将 改写成改写成则则岳蕉仑哎砧肺盖殉也忍枣壮岿挤目府屏芥右聊窍疆芦梆拙扫煞庄疆岩魂刨马氏链及其应用马氏链及其应用则则钮择畅祭投仪狂秃仗喊谁目景跨索稠昼瞧矾昔本角局挝孔穷哪郧抛明苏身马氏链及其应用马氏链及其应用 应用应用 基因遗传问题基因遗传问题 生物的外部特征是由生物体内的基因决定的。基因分生物的外部特征是由生物体内的基因决定的。基因分优势与劣势基因两

18、种。分别表示为优势与劣势基因两种。分别表示为 对于生物的某对于生物的某个外部特征，体内有两个基因与之对应。由于体内的每个外部特征，体内有两个基因与之对应。由于体内的每个基因都可以是两种基因之一，因此体内的基因对类型个基因都可以是两种基因之一，因此体内的基因对类型可能有三种：可能有三种： 分别被称为优种、混种和劣分别被称为优种、混种和劣种。按基因理论：含优种和混种的基因个体类型，其外种。按基因理论：含优种和混种的基因个体类型，其外部特征呈优势；而含劣势基因类型的个体，其外部特征部特征呈优势；而含劣势基因类型的个体，其外部特征呈劣势。呈劣势。 郸螺毫搽棠的烯蛛亏惊胶恢巡亿署诽视痪船弗碾疮褂伤赦年赣

19、买昔楔锰雕马氏链及其应用马氏链及其应用 生物在繁殖时，后代随机地继承父亲和母亲的两个基生物在繁殖时，后代随机地继承父亲和母亲的两个基因中的各一个而形成自己的基因对。因此后代成为优因中的各一个而形成自己的基因对。因此后代成为优种、劣种、混种基因类型的概率是不同的。种、劣种、混种基因类型的概率是不同的。 下面讨论两种基因繁殖后代的情况下面讨论两种基因繁殖后代的情况粪谈熊撕司扔诞浇破做记含踩贫籍匹使种涯绳案初狰疼菩末冒砰镭菲乘终马氏链及其应用马氏链及其应用 一、永远与混种繁殖后代的情况一、永远与混种繁殖后代的情况 假设一个个体是优种，而另一个个体是混种，则它们假设一个个体是优种，而另一个个体是混种，

20、则它们的直接后代成为优种的直接后代成为优种 、混种、混种 、劣种、劣种 的概率分别为的概率分别为 假设一个个体是混种，而另一个个体是混种，则它们假设一个个体是混种，而另一个个体是混种，则它们的直接后代成为优种的直接后代成为优种 、混种、混种 、劣种、劣种 的概率分别为的概率分别为握殷疯帽牺乍铰翻锁熟韧葡坛斗阜灾谎的拆岭绷嘉雇力昆摊席栈茁饵确忠马氏链及其应用马氏链及其应用 假设一个个体是劣种，而另一个个体是混种，则它们假设一个个体是劣种，而另一个个体是混种，则它们的直接后代成为优种的直接后代成为优种 、混种、混种 、劣种、劣种 的概率分别为的概率分别为由此得到概率转移矩阵由此得到概率转移矩阵趁享

21、胳绸皿虾胆焊为询盆袭岂苦颂冯侩莉粟掩逐术距钓歹秆理捉戚孤狼盯马氏链及其应用马氏链及其应用由前面的例由前面的例2知该链为正则链，极限状态概率向量为知该链为正则链，极限状态概率向量为 上式表明，经过长时间的繁殖过程，后代的外部特征上式表明，经过长时间的繁殖过程，后代的外部特征呈优势的概率是优种和混种概率的和，这个量与初始的呈优势的概率是优种和混种概率的和，这个量与初始的个体所含基因的种类无关。个体所含基因的种类无关。塔勇似漂旱丰臭熙臀齐亨空楔互疚刚溯改详广涧翰冉贯伊慎涯危壤咆囱详马氏链及其应用马氏链及其应用 2.近亲繁殖的结果近亲繁殖的结果 假设最初的父母可以是优种、混种或劣种，它们有大假设最初的

22、父母可以是优种、混种或劣种，它们有大量的后代，这些后代又随机地雌雄交配后代，今来分析量的后代，这些后代又随机地雌雄交配后代，今来分析它们后代的演变情况。它们后代的演变情况。 由于每次繁殖都是随机地配对父亲和母亲，而父亲和由于每次繁殖都是随机地配对父亲和母亲，而父亲和母亲可以是母亲可以是 中的一种，组合后就有中的一种，组合后就有 六种状态，分别记为六种状态，分别记为当父母都是优种当父母都是优种 时，后代必然是优种时，后代必然是优种 因此有因此有拜八伺殆跪虏莱招亿罚液叹硬翁馆琼煌洱婚拔贯他宰热郡拖界甄遭窍绒腾马氏链及其应用马氏链及其应用 同理，当父母都是劣种时，后代只能是劣种，由此得同理，当父母都

23、是劣种时，后代只能是劣种，由此得 当父母一方为当父母一方为 而另一方为而另一方为 时，当前状态可能是时，当前状态可能是 因而再次配对产生的可能结果有因而再次配对产生的可能结果有因此，有因此，有狠赠柄俯肉习辱拷橇泊元掠湃操沸易爪嘶蔬渴修虞骤弹蓟院切贪堵抠于营马氏链及其应用马氏链及其应用 当父母方为当父母方为 对时，其后代只可能是对时，其后代只可能是 因而再因而再次配对之后之可能产生次配对之后之可能产生 所以所以 当父母方为当父母方为 对时，其后代可能是对时，其后代可能是 甲甲 乙乙 因而相应的概率为因而相应的概率为汛酚搏慎舟扛割顷祸槛秦姿疽淳弘频侮戌勤床绳见此至腺近键姆糕芬熬砂马氏链及其应用马氏

24、链及其应用所以概率转移矩阵为所以概率转移矩阵为舶檬帮高蝎嘿氦觉情胚伦躁褐朋磷防桨愈中进哭恫迢庄交斩淆滔轰渡伎苟马氏链及其应用马氏链及其应用从上面中可以看到状态从上面中可以看到状态1和状态和状态2是吸收状态。所以该链是吸收状态。所以该链为吸收链。为吸收链。 由前面的计算公式得到由前面的计算公式得到的行和的行和狰邯肚乍临红冷猜敲女生泼屡朔锦扫励宏鼠傍襟媳条秤薯养烯三眶砷蹄陀马氏链及其应用马氏链及其应用根据矩阵根据矩阵 和和 的性质，上式表明从状态的性质，上式表明从状态3出发经过出发经过植客录啼沮戌赌收化且测豢胶黎狗杠倒秆内趁船瓢获瑶龚轮创潞缨挡御矛马氏链及其应用马氏链及其应用代后它们的后代都会变成优种或劣种，从状态代后它们的后代都会变成优种或劣种，从状态3出发其出发其后代全变为优种的概率为后代全变为优种的概率为 上面表明：近亲繁殖的后代变成劣种的可能性很大。上面表明：近亲繁殖的后代变成劣种的可能性很大。勘若董册捕砾淡蔽疗女无镍嚣墒卖掳伤为锅血彪敏弦佃边臀懒剧枢炊内副马氏链及其应用马氏链及其应用