《马尔科夫链的原理及其建模应用实例模型》由会员分享，可在线阅读，更多相关《马尔科夫链的原理及其建模应用实例模型（52页珍藏版）》请在金锄头文库上搜索。
1、马尔科夫连原理及其建模实例,马氏链及其应用,1.一个简单的例子,我们知道，人寿保险公司最为关心的是投保人的健康 与疾病以及相应的风险。通过下面的例子我们来看保险 公司是如何处理这类问题的。,问题的提出,设 表示年龄的时段，假定在一年中，今 年健康而明年患病的概率是 而今年患病明年转为健 康的概率为 假设一个人在投保时处于健康状态，我 们来研究若干年之后他分别处于这两种状态的概率。,建模,用随机变量 表示第 年的状态，,以 表示第 年状态为 的概率。即,以 表示今年状态处于 明年状态处于 的概率，即,由全概率公式得到：,即,由假设，,再由于投保人处于健康状态，即,由此得到,若投保人在开始时处于疾
2、病状态，即 则有,从两张表中可以看到，无论投保人在初始时处于什么 状态，当时间趋于无穷大时，该时刻的状态趋于稳定， 且与初始值无关。即,意义 若将众多投保人处于两种状态的比例，视为投 保人处于两种状态的概率，例如健康人占3/4，病人占 1/4，即 则同样可计算出,由上面的分析可以看出，对于给定的状态转移概率， 时的状态概率， 趋向于稳定值，该 值与初始值无关，这是马氏链的重要性质。,把人的死亡看作第三种状态，用 来表示，相 应的转移概率如下图表示。,仍以 表示状态 为 时的概率， 表示状态转移概 率，即有,平行于式，有,设投保人在期初处于健康状态，则由可计算出若干 年后他处于各个状态的概率。,
3、表中最后一列数据是通过预测得到的。从表中的数据 又可以看到，无论投保人在期初处于什么状态，当 时，总有,2.马尔可夫链,假设 1.系统是随时间的发展而离散为,2.在任何时刻，系统的状态为有限多个。在时间 时， 系统的状态的 的取值为,3.在时刻 时系统处于各状态的概率只与时刻 时 系统所处的概率与转移概率有关。,满足以上三个假设的系统的随机发展过程称为马尔可 夫过程或马氏链。,设在时刻 时系统处于状态 的概率为,行向量,称为状态概率向量，由概率的意义，向量应该满足,及,设在时刻 处于状态 的系统转移到 时刻处于 的概率为 它应该满足,1.,引如概率转移矩阵,由假设3，再由全概率公式得,用矩阵的
4、方法来表示的话，可以写成,简单地可以写成,由此可得系统在时刻 时的状态向量为,其中 为时刻 时系统的状态概率向量，又称为 状态初始向量。,例 在前两例中，初始向量与概率转移矩阵分别为,我们通过下面的例子具体说明：,上式表明在时刻 时投保人处于患病状态的概率 为：,从上面的例子中可以看出，对于马氏链模型，最重要 的是构造状态 及概率转移矩阵 由此对于给定的初始 状态 由可计算出任意时刻 的状态,正则链,定义 一个有 个状态的马氏链，如果存在正整数 使从任意状态 经 次的转移，能以大于零的概率到 达状态 则称这样的链为正则链.,定理1 设马氏链的转移矩阵为 则该链为正则链的 充分必要条件是存在 使
5、得,定理2 正则链存在唯一的极限状态概率,满足 与初始状态概率 无关，且,及,例1 设,则由此确定的马氏链为正则链。令 满足 式，即有,由此得到方程组,联系则得到,故方程组的解为,这和前面的结果是相吻合的。,例2 设,因,故由此确定的马氏链是正则链。令,由方程，确定方程组,从方程中解出 即,吸收链,定义 如果存在某个状态转移概率 则称状态 是 吸收的. 如果马氏链中含有吸收状态, 并且从每一个非 吸收状态出发都可以达到某个吸收状态，则称这个马氏 链为吸收链。,例如在前面三个状态的转移概率中，转移概率矩阵 为,并且从每个状态最终都转移到第三种状态, 因而这样的 链是吸收链。,注 吸收链的特征是：
6、任一状态一旦进入该状态就 将停留在该状态。,含有 个吸收状态和 非吸收状态的吸收链的 状态转移概率矩阵的标准形式是,其中 是单位矩阵。,定理3 对于具有标准形式的状态转移概率矩阵，有如 下的性质：,矩阵 具有零极限，即,矩阵 可逆且,记 则矩阵的第 行元素之和值是从非 吸收状态出发被某个吸收状态吸收之前的平均转移次 数。,记 则矩阵 的元素 是从非吸收状态 出 发而被状态 吸收的概率。,在前面的例2中,将 改写成,则,则,应用 基因遗传问题,生物的外部特征是由生物体内的基因决定的。基因分 优势与劣势基因两种。分别表示为 对于生物的某 个外部特征，体内有两个基因与之对应。由于体内的每 个基因都可
7、以是两种基因之一，因此体内的基因对类型 可能有三种： 分别被称为优种、混种和劣 种。按基因理论：含优种和混种的基因个体类型，其外 部特征呈优势；而含劣势基因类型的个体，其外部特征 呈劣势。,生物在繁殖时，后代随机地继承父亲和母亲的两个基 因中的各一个而形成自己的基因对。因此后代成为优 种、劣种、混种基因类型的概率是不同的。,下面讨论两种基因繁殖后代的情况,一、永远与混种繁殖后代的情况,假设一个个体是优种，而另一个个体是混种，则它们 的直接后代成为优种 、混种 、劣种 的概率分别为,假设一个个体是混种，而另一个个体是混种，则它们 的直接后代成为优种 、混种 、劣种 的概率分别为,假设一个个体是劣
8、种，而另一个个体是混种，则它们 的直接后代成为优种 、混种 、劣种 的概率分别为,由此得到概率转移矩阵,由前面的例2知该链为正则链，极限状态概率向量为,上式表明，经过长时间的繁殖过程，后代的外部特征 呈优势的概率是优种和混种概率的和，这个量与初始的 个体所含基因的种类无关。,2.近亲繁殖的结果,假设最初的父母可以是优种、混种或劣种，它们有大 量的后代，这些后代又随机地雌雄交配后代，今来分析 它们后代的演变情况。,由于每次繁殖都是随机地配对父亲和母亲，而父亲和 母亲可以是 中的一种，组合后就有 六种状态，分别记为 当父母都是优种 时，后代必然是优种 因此有,同理，当父母都是劣种时，后代只能是劣种，由此得,当父母一方为 而另一方为 时，当前状态可能是 因而再次配对产生的可能结果有,因此，有,当父母方为 对时，其后代只可能是 因而再 次配对之后之可能产生 所以,当父母方为 对时，其后代可能是,甲 乙,因而相应的概率为,所以概率转移矩阵为,从上面中可以看到状态1和状态2是吸收状态。所以该链 为吸收链。,由前面的计算公式得到,的行和,根据矩阵 和 的性质，上式表明从状态3出发经过,代后它们的后代都会变成优种或劣种，从状态3出发其 后代全变为优种的概率为,上面表明：近亲繁殖的后代变成劣种的可能性很大。,
