马氏链及其应用PPT演示课件

《马氏链及其应用PPT演示课件》由会员分享，可在线阅读，更多相关《马氏链及其应用PPT演示课件（52页珍藏版）》请在金锄头文库上搜索。

1、马尔科夫连原理及其建模实例1 12 23 34 45 56 67 7马氏链及其应用马氏链及其应用马氏链及其应用马氏链及其应用 1.一个简单的例子一个简单的例子 我们知道，人寿保险公司最为关心的是投保人的健康我们知道，人寿保险公司最为关心的是投保人的健康与疾病以及相应的风险。通过下面的例子我们来看保险与疾病以及相应的风险。通过下面的例子我们来看保险公司是如何处理这类问题的。公司是如何处理这类问题的。8 8 问题的提出问题的提出 设设 表示年龄的时段，假定在一年中，今表示年龄的时段，假定在一年中，今年健康而明年患病的概率是年健康而明年患病的概率是 而今年患病明年转为健而今年患病明年转为健康的概率为

2、康的概率为 假设一个人在投保时处于健康状态，我假设一个人在投保时处于健康状态，我们来研究若干年之后他分别处于这两种状态的概率。们来研究若干年之后他分别处于这两种状态的概率。9 9 建模建模 用随机变量用随机变量 表示第表示第 年的状态，年的状态， 表示健康，表示健康，表示疾病。表示疾病。以以 表示第表示第 年状态为年状态为 的概率。即的概率。即以以 表示今年状态处于表示今年状态处于 明年状态处于明年状态处于 的概率，即的概率，即1010由全概率公式得到：由全概率公式得到：即即由假设，由假设，1111再由于投保人处于健康状态，即再由于投保人处于健康状态，即由此得到由此得到若投保人在开始时处于疾病

3、状态，即若投保人在开始时处于疾病状态，即则有则有1212 从两张表中可以看到，无论投保人在初始时处于什么从两张表中可以看到，无论投保人在初始时处于什么状态，当时间趋于无穷大时，该时刻的状态趋于稳定，状态，当时间趋于无穷大时，该时刻的状态趋于稳定，且与初始值无关。即且与初始值无关。即1313两种状态的转移概率两种状态的转移概率 意义意义 若将众多投保人处于两种状态的比例，视为投若将众多投保人处于两种状态的比例，视为投保人处于两种状态的概率，例如健康人占保人处于两种状态的概率，例如健康人占3/4，病人占，病人占1/4，即，即 则同样可计算出则同样可计算出1414 由上面的分析可以看出，对于给定的状

4、态转移概率，由上面的分析可以看出，对于给定的状态转移概率， 时的状态概率，时的状态概率， 趋向于稳定值，该趋向于稳定值，该值与初始值无关，这是马氏链的重要性质。值与初始值无关，这是马氏链的重要性质。1515 把人的死亡看作第三种状态，用把人的死亡看作第三种状态，用 来表示，相来表示，相应的转移概率如下图表示。应的转移概率如下图表示。三种状态的转移概率三种状态的转移概率 仍以仍以 表示状态表示状态为为 时的概率，时的概率， 表示状态转移概表示状态转移概率，即有率，即有1616平行于平行于式，有式，有 设投保人在期初处于健康状态，则由设投保人在期初处于健康状态，则由可计算出若干可计算出若干年后他处

5、于各个状态的概率。年后他处于各个状态的概率。1717 表中最后一列数据是通过预测得到的。从表中的数据表中最后一列数据是通过预测得到的。从表中的数据又可以看到，无论投保人在期初处于什么状态，当又可以看到，无论投保人在期初处于什么状态，当 时，总有时，总有1818 2.马尔可夫链马尔可夫链 假设假设 1.系统是随时间的发展而离散为系统是随时间的发展而离散为 2.在任何时刻，系统的状态为有限多个。在时间在任何时刻，系统的状态为有限多个。在时间 时，时，系统的状态的系统的状态的 的取值为的取值为 3.在时刻在时刻 时系统处于各状态的概率只与时刻时系统处于各状态的概率只与时刻 时时系统所处的概率与转移概

6、率有关。系统所处的概率与转移概率有关。 满足以上三个假设的系统的随机发展过程称为马尔可满足以上三个假设的系统的随机发展过程称为马尔可夫过程或马氏链。夫过程或马氏链。1919 设在时刻设在时刻 时系统处于状态时系统处于状态 的概率为的概率为 行向量行向量称为状态概率向量，由概率的意义，向量应该满足称为状态概率向量，由概率的意义，向量应该满足及及2020 设在时刻设在时刻 处于状态处于状态 的系统转移到的系统转移到 时刻处于时刻处于 的概率为的概率为 它应该满足它应该满足 1.2. 引如概率转移矩阵引如概率转移矩阵2121由假设由假设3，再由全概率公式得，再由全概率公式得2222 用矩阵的方法来表

7、示的话，用矩阵的方法来表示的话，可以写成可以写成 简单地可以写成简单地可以写成由此可得系统在时刻由此可得系统在时刻 时的状态向量为时的状态向量为其中其中 为时刻为时刻 时系统的状态概率向量，又称为时系统的状态概率向量，又称为状态初始向量。状态初始向量。2323例例 在前两例中，初始向量与概率转移矩阵分别为在前两例中，初始向量与概率转移矩阵分别为我们通过下面的例子具体说明：我们通过下面的例子具体说明：2424上式表明在时刻上式表明在时刻 时投保人处于患病状态的概率时投保人处于患病状态的概率为：为： 从上面的例子中可以看出，对于马氏链模型，最重要从上面的例子中可以看出，对于马氏链模型，最重要的是构

8、造状态的是构造状态 及概率转移矩阵及概率转移矩阵 由此对于给定的初始由此对于给定的初始状态状态 由由可计算出任意时刻可计算出任意时刻 的状态的状态2525 正则链正则链定义定义 一个有一个有 个状态的马氏链，如果存在正整数个状态的马氏链，如果存在正整数 使从任意状态使从任意状态 经经 次的转移，能以大于零的概率到次的转移，能以大于零的概率到达状态达状态 则称这样的链为正则链则称这样的链为正则链.定理定理1 设马氏链的转移矩阵为设马氏链的转移矩阵为 则该链为正则链的则该链为正则链的充分必要条件是存在充分必要条件是存在 使得使得 2626定理定理2 正则链存在唯一的极限状态概率正则链存在唯一的极限

9、状态概率满足满足 与初始状态概率与初始状态概率 无关，且无关，且 及及2727例例1 设设 则由此确定的马氏链为正则链。令则由此确定的马氏链为正则链。令 满足满足式，即有式，即有由此得到方程组由此得到方程组2828联系联系则得到则得到故方程组的解为故方程组的解为2929这和前面的结果是相吻合的。这和前面的结果是相吻合的。3030例例2 设设因因3131故由此确定的马氏链是正则链。令故由此确定的马氏链是正则链。令由方程由方程，确定方程组确定方程组3232从方程中解出从方程中解出 即即3333 吸收链吸收链 定义定义 如果存在某个状态转移概率如果存在某个状态转移概率 则称状态则称状态 是是吸收的吸

10、收的. 如果马氏链中含有吸收状态如果马氏链中含有吸收状态, 并且从每一个非并且从每一个非吸收状态出发都可以达到某个吸收状态，则称这个马氏吸收状态出发都可以达到某个吸收状态，则称这个马氏链为吸收链。链为吸收链。 例如在前面三个状态的转移概率中，转移概率矩阵例如在前面三个状态的转移概率中，转移概率矩阵为为3434并且从每个状态最终都转移到第三种状态并且从每个状态最终都转移到第三种状态, 因而这样的因而这样的链是吸收链。链是吸收链。 注注 吸收链的特征是：任一状态一旦进入该状态就吸收链的特征是：任一状态一旦进入该状态就将停留在该状态。将停留在该状态。3535 含有含有 个吸收状态和个吸收状态和 非吸

11、收状态的吸收链的非吸收状态的吸收链的状态转移概率矩阵的标准形式是状态转移概率矩阵的标准形式是其中其中 是单位矩阵。是单位矩阵。 3636定理定理3 对于具有标准形式的状态转移概率矩阵，有如对于具有标准形式的状态转移概率矩阵，有如下的性质：下的性质： 矩阵矩阵 具有零极限，即具有零极限，即矩阵矩阵 可逆且可逆且记记 则矩阵的第则矩阵的第 行元素之和值是从非行元素之和值是从非吸收状态出发被某个吸收状态吸收之前的平均转移次吸收状态出发被某个吸收状态吸收之前的平均转移次数。数。3737记记 则矩阵则矩阵 的元素的元素 是从非吸收状态是从非吸收状态 出出发而被状态发而被状态 吸收的概率。吸收的概率。38

12、38 在前面的例在前面的例2中中,将将 改写成改写成则则3939则则4040 应用应用 基因遗传问题基因遗传问题 生物的外部特征是由生物体内的基因决定的。基因分生物的外部特征是由生物体内的基因决定的。基因分优势与劣势基因两种。分别表示为优势与劣势基因两种。分别表示为 对于生物的某对于生物的某个外部特征，体内有两个基因与之对应。由于体内的每个外部特征，体内有两个基因与之对应。由于体内的每个基因都可以是两种基因之一，因此体内的基因对类型个基因都可以是两种基因之一，因此体内的基因对类型可能有三种：可能有三种： 分别被称为优种、混种和劣分别被称为优种、混种和劣种。按基因理论：含优种和混种的基因个体类型

13、，其外种。按基因理论：含优种和混种的基因个体类型，其外部特征呈优势；而含劣势基因类型的个体，其外部特征部特征呈优势；而含劣势基因类型的个体，其外部特征呈劣势。呈劣势。 4141 生物在繁殖时，后代随机地继承父亲和母亲的两个基生物在繁殖时，后代随机地继承父亲和母亲的两个基因中的各一个而形成自己的基因对。因此后代成为优因中的各一个而形成自己的基因对。因此后代成为优种、劣种、混种基因类型的概率是不同的。种、劣种、混种基因类型的概率是不同的。 下面讨论两种基因繁殖后代的情况下面讨论两种基因繁殖后代的情况4242 一、永远与混种繁殖后代的情况一、永远与混种繁殖后代的情况 假设一个个体是优种，而另一个个体

14、是混种，则它们假设一个个体是优种，而另一个个体是混种，则它们的直接后代成为优种的直接后代成为优种 、混种、混种 、劣种、劣种 的概率分别为的概率分别为 假设一个个体是混种，而另一个个体是混种，则它们假设一个个体是混种，而另一个个体是混种，则它们的直接后代成为优种的直接后代成为优种 、混种、混种 、劣种、劣种 的概率分别为的概率分别为4343 假设一个个体是劣种，而另一个个体是混种，则它们假设一个个体是劣种，而另一个个体是混种，则它们的直接后代成为优种的直接后代成为优种 、混种、混种 、劣种、劣种 的概率分别为的概率分别为由此得到概率转移矩阵由此得到概率转移矩阵4444由前面的例由前面的例2知该

15、链为正则链，极限状态概率向量为知该链为正则链，极限状态概率向量为 上式表明，经过长时间的繁殖过程，后代的外部特征上式表明，经过长时间的繁殖过程，后代的外部特征呈优势的概率是优种和混种概率的和，这个量与初始的呈优势的概率是优种和混种概率的和，这个量与初始的个体所含基因的种类无关。个体所含基因的种类无关。4545 2.近亲繁殖的结果近亲繁殖的结果 假设最初的父母可以是优种、混种或劣种，它们有大假设最初的父母可以是优种、混种或劣种，它们有大量的后代，这些后代又随机地雌雄交配后代，今来分析量的后代，这些后代又随机地雌雄交配后代，今来分析它们后代的演变情况。它们后代的演变情况。 由于每次繁殖都是随机地配

16、对父亲和母亲，而父亲和由于每次繁殖都是随机地配对父亲和母亲，而父亲和母亲可以是母亲可以是 中的一种，组合后就有中的一种，组合后就有 六种状态，分别记为六种状态，分别记为当父母都是优种当父母都是优种 时，后代必然是优种时，后代必然是优种 因此有因此有4646 同理，当父母都是劣种时，后代只能是劣种，由此得同理，当父母都是劣种时，后代只能是劣种，由此得 当父母一方为当父母一方为 而另一方为而另一方为 时，当前状态可能是时，当前状态可能是 因而再次配对产生的可能结果有因而再次配对产生的可能结果有因此，有因此，有4747 当父母方为当父母方为 对时，其后代只可能是对时，其后代只可能是 因而再因而再次配

17、对之后之可能产生次配对之后之可能产生 所以所以 当父母方为当父母方为 对时，其后代可能是对时，其后代可能是 甲甲 乙乙 因而相应的概率为因而相应的概率为4848所以概率转移矩阵为所以概率转移矩阵为4949从上面中可以看到状态从上面中可以看到状态1和状态和状态2是吸收状态。所以该链是吸收状态。所以该链为吸收链。为吸收链。 由前面的计算公式得到由前面的计算公式得到的行和的行和5050根据矩阵根据矩阵 和和 的性质，上式表明从状态的性质，上式表明从状态3出发经过出发经过5151代后它们的后代都会变成优种或劣种，从状态代后它们的后代都会变成优种或劣种，从状态3出发其出发其后代全变为优种的概率为后代全变为优种的概率为 上面表明：近亲繁殖的后代变成劣种的可能性很大。上面表明：近亲繁殖的后代变成劣种的可能性很大。5252