《稳态概率马氏链的两个重要类型w与a0无关Math课件》由会员分享，可在线阅读，更多相关《稳态概率马氏链的两个重要类型w与a0无关Math课件（23页珍藏版）》请在金锄头文库上搜索。
1、 Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Modeling 2008 Department of Mathematics HUST5.5 随机状态转移模型随机状态转移模型5.6 马尔可夫链的应用模型马尔可夫链的应用模型概率方法建模概率方法建模( (二）二） Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Modeling 2008 Department of Mathematics HUST马氏链模型
2、马氏链模型 系统在每个时期所处的状态是随机的。系统在每个时期所处的状态是随机的。 从一时期到下时期的状态按一定概率转移。从一时期到下时期的状态按一定概率转移。 下时期状态只取决于本时期状态和转移概率，下时期状态只取决于本时期状态和转移概率， 与以前的各时期状态无关。与以前的各时期状态无关。描述一类重要的描述一类重要的随机动态随机动态系统（过程）的模型系统（过程）的模型马氏链马氏链 (Markov Chain)时间、状态均为离散的随机转移过程时间、状态均为离散的随机转移过程已知现在，将来与过去无关（无后效性）已知现在，将来与过去无关（无后效性） Mathematical Modeling 200
3、8 Department of Mathematics HUST人的健康状态随着时间的推移会随机地发生转变人的健康状态随着时间的推移会随机地发生转变 ，保险公司要对投保人未来的健康状态作出估计保险公司要对投保人未来的健康状态作出估计, 以制定保险金和理赔金的数额。以制定保险金和理赔金的数额。 5.5 随机状态转移模型随机状态转移模型问题背景问题背景通过有实际背景的例子介绍马氏链的基本概念和性质。通过有实际背景的例子介绍马氏链的基本概念和性质。 Mathematical Modeling 2008 Department of Mathematics HUST例例1. 人的健康状况分为健康和疾病两
4、种状态，设对特人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率定年龄段的人，今年健康、明年保持健康状态的概率为为0.8, 而今年患病、明年转为健康状态的概率为而今年患病、明年转为健康状态的概率为0.7。若某人投保时健康若某人投保时健康, 问问10年后他仍处于健康状态的概率。年后他仍处于健康状态的概率。问题问题5.5 随机状态转移模型随机状态转移模型 Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Modeling 2008 Department of Mathe
5、matics HUST 状态与状态转移状态与状态转移随机变量随机变量Xn：第：第n年的状态年的状态今年处于状态今年处于状态i, 来年处于状态来年处于状态j的概率的概率 :转移概率转移概率状态概率状态概率0.80.20.3120.75.5 随机状态转移模型随机状态转移模型 Mathematical Modeling 2008 Department of Mathematics HUSTXn+1只取决于只取决于Xn和和pij , 与与Xn-1, 无关。无关。状态转移具状态转移具有无后效性有无后效性 状态与状态转移状态与状态转移第第n+1年的状态概率可由全概率公式得年的状态概率可由全概率公式得 随机
6、状态转移模型随机状态转移模型马氏链模型马氏链模型5.5 随机状态转移模型随机状态转移模型 Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Modeling 2008 Department of Mathematics HUST n 0a2(n) 0 a1(n) 1设投保设投保时健康时健康设投保设投保时疾病时疾病a2(n) 1 a1(n) 0 n时状态概率趋于稳定值时状态概率趋于稳定值,稳定值与初始状态无关稳定值与初始状态无关3 0.778 0.222 7/9 2/9 0.7 0.77 0.777 0.
7、3 0.33 0.333 7/9 2/9 10.80.220.780.22，给定，给定a(0), 预测预测 a(n), n=1,2注注5.5 随机状态转移模型随机状态转移模型 状态与状态转移状态与状态转移，给定，给定a(0), 预测预测 a(n), n=1,2 Mathematical Modeling 2008 Department of Mathematics HUST1230.10.0210.80.250.180.65例例2. 健康和疾病状态同上，健康和疾病状态同上，Xn=1 健康健康, Xn=2 疾病疾病 死亡为第死亡为第3种状态，记种状态，记 Xn=3 死亡死亡p11=0.8, p1
8、2=0.18, p13=0.02 p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1 问题问题5.5 随机状态转移模型随机状态转移模型 Mathematical Modeling 2008 Department of Mathematics HUSTn 0 1 2 3 a2(n) 0 0.18 0.189 0.1835 a3(n) 0 0.02 0.054 0.0880 a1(n) 1 0.8 0.757 0.7285 设投保时处于健康状态，预测设投保时处于健康状态，预测 a(n), n=1,2 不论初始状态如何，最终都要转到状态不论初始状态如何，最
9、终都要转到状态3 ； 一旦一旦a1(k)= a2(k)=0, a3(k)=1, 则对于则对于nk, a1(n)=0， a2(n)=0, a3(n)=1, 即从状态即从状态3不会不会转移到其它状态。转移到其它状态。001 50 0.1293 0.0326 0.8381 状态与状态转移状态与状态转移注注5.5 随机状态转移模型随机状态转移模型 Mathematical Modeling 2008 Department of Mathematics HUST基本方程基本方程 马氏链的基本方程马氏链的基本方程Pnana)()1(=+nPana)0()(=5.5 随机状态转移模型随机状态转移模型 Mat
10、hematical Modeling 2008 Department of Mathematics HUST 正则链正则链 : 从任一状态出发经有限次转移能以正从任一状态出发经有限次转移能以正概率到达另外任一状态（如例概率到达另外任一状态（如例1）。）。w 稳态概率稳态概率 马氏链的两个重要类型马氏链的两个重要类型w与与a(0)无关无关 Mathematical Modeling 2008 Department of Mathematics HUST 吸收链吸收链 存在吸收状态存在吸收状态(一旦到达就不会离开的状态一旦到达就不会离开的状态i, pii=1) , 且且从任一非吸收状态出发经有限次
11、转从任一非吸收状态出发经有限次转 移能以正概率到达吸收状态移能以正概率到达吸收状态(如例如例2)。有有r个吸收状态的吸收链个吸收状态的吸收链的转移概率阵标准形式的转移概率阵标准形式R必必有非零元素，有非零元素，Q的特征的特征值绝对值小于值绝对值小于1，所以，所以yi 表示从第表示从第 i 个非吸收个非吸收状态出发，被某个吸收状状态出发，被某个吸收状态吸收前的平均转移次数。态吸收前的平均转移次数。 马氏链的两个重要类型马氏链的两个重要类型 Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Modeling
12、 2008 Department of Mathematics HUST设状态设状态i是非吸收状态，是非吸收状态，j是吸收状态，则首达概率是吸收状态，则首达概率f ij (n)实际上是实际上是i经经n次转移被次转移被j吸收的概率。而吸收的概率。而则是从非吸收状态则是从非吸收状态i出发终将被吸收状态出发终将被吸收状态j吸收的概率。吸收的概率。记则F=f ijF=MR例如，可以算出前面第二种情况中例如，可以算出前面第二种情况中F=MR=(1 1)T, y=Me=(25.7575 28.1818)T即，从两个非吸收状态即，从两个非吸收状态“健康健康”和和“疾病疾病”出发终出发终将被吸收状态将被吸收状
13、态“死亡死亡”吸收的概率是吸收的概率是1, 且平均转移且平均转移次数分别为次数分别为26次和次和28次。次。fij = fij (1) + fij(2) + + fij(n) + 马氏链的两个重要类型马氏链的两个重要类型 Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Modeling 2008 Department of Mathematics HUST钢琴销售量很小，商店的库存量不大以免积压资金。钢琴销售量很小，商店的库存量不大以免积压资金。 一家商店根据经验估计，平均每周的钢琴需求为一家商店根据
14、经验估计，平均每周的钢琴需求为1架。架。存贮策略存贮策略：每周末检查库存量，仅当库存量为零：每周末检查库存量，仅当库存量为零 时，才订购时，才订购3架钢琴供下周销售；否则，不订购。架钢琴供下周销售；否则，不订购。 失去销售机会的可能性有多大？失去销售机会的可能性有多大？以及每周的平均销售量是多少？以及每周的平均销售量是多少？ 背景与问题背景与问题5. 6 马尔可夫链的应用模型马尔可夫链的应用模型估计在这种策略下估计在这种策略下 Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Modeling 2008
15、 Department of Mathematics HUST问题分析问题分析 顾客的到来相互独立，需求量近似服从泊松分布，其参数顾客的到来相互独立，需求量近似服从泊松分布，其参数由需求均值为每周由需求均值为每周1架确定，由此架确定，由此计算需求概率计算需求概率 。存贮策略是周末库存量为零时订购存贮策略是周末库存量为零时订购3架架 周末的库存量可周末的库存量可能是能是0, 1, 2, 3，周初的库存量可能是，周初的库存量可能是1, 2, 3。用用马氏链描述马氏链描述不同需求导致的周初库存状态的变化。不同需求导致的周初库存状态的变化。动态过程中每周销售量不同，失去销售机会（需求超过动态过程中每周
16、销售量不同，失去销售机会（需求超过库存）的概率不同。库存）的概率不同。 可按稳态情况（时间充分长以后）计算失去销售机会的可按稳态情况（时间充分长以后）计算失去销售机会的概率和每周的平均销售量。概率和每周的平均销售量。 5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Modeling 2008 Department of Mathematics HUST模型假设模型假设 1. 钢琴每周需求量服从泊松分布，均值为每周钢琴每周需求量服从泊松分布，均值为每周
17、1架。架。 2. 存贮策略存贮策略：当周末库存量为零时，订购：当周末库存量为零时，订购3架，下周架，下周初到货；否则，不订购。初到货；否则，不订购。 3. 以每周初的库存量作为状态变量，状态转移具以每周初的库存量作为状态变量，状态转移具 有无后效性。有无后效性。 4. 在稳态情况下计算该存贮策略失去销售机会的在稳态情况下计算该存贮策略失去销售机会的 概率，和每周的平均销售量。概率，和每周的平均销售量。 5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Department of Mathematics HUST模型建立模型建立 Dn第第n
18、周需求量，均值为周需求量，均值为1的泊松分布的泊松分布 状态转移规律状态转移规律 状态转移阵状态转移阵 假设假设(1)Sn第第n周初库存量周初库存量(状态变量状态变量 )Dn 0 1 2 3 3P 0.368 0.368 0.184 0.061 0.0195. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Department of Mathematics HUST 状态转移阵状态转移阵 状态转移矩阵的计算状态转移矩阵的计算模型建立模型建立 5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 20
19、08 Department of Mathematics HUST Mathematical Modeling 2008 Department of Mathematics HUST状态概率状态概率 正则链正则链 稳态概率分布稳态概率分布 w 满足满足 wP=w,模型建立模型建立 马氏链的基本方程马氏链的基本方程状态转移矩阵状态转移矩阵 n , 状态概率状态概率 已知初始状态已知初始状态,可可预测第预测第n周初库周初库存量存量Sn=i 的概率的概率5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Department of Mathema
20、tics HUST Mathematical Modeling 2008 Department of Mathematics HUST模型求解模型求解 从长期看，失去销售机会的可能性大约从长期看，失去销售机会的可能性大约 10%。估计在这种策略下失去销售机会的可能性估计在这种策略下失去销售机会的可能性第第n周失去销售机会的概率周失去销售机会的概率 Pn充分大充分大5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Modeling 2008 Depart
21、ment of Mathematics HUST第第n周平均售量周平均售量Rn从长期看，每周的平均销售量为从长期看，每周的平均销售量为 0.857(架架) 。 估计这种策略下每周的平均销售量估计这种策略下每周的平均销售量估计这种策略下每周的平均销售量估计这种策略下每周的平均销售量模型求解模型求解 n充分大充分大需求不超过存需求不超过存量量,销售需求销售需求需求超过存量需求超过存量,销售存量销售存量5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Department of Mathematics HUST Mathematical Mod
22、eling 2008 Department of Mathematics HUST敏感性分析敏感性分析 当平均需求在每周当平均需求在每周1(架架)附近波动时附近波动时,最终结果有多大变化？最终结果有多大变化？设设Dn服从均值服从均值为为 的泊松分布的泊松分布 状态转移阵状态转移阵 第第n周周(n充分大充分大)失去销售机会的概率失去销售机会的概率 模型分析模型分析 5. 6 马尔可夫链的应用模型马尔可夫链的应用模型 Mathematical Modeling 2008 Department of Mathematics HUST 0.80.91.01.11.2P0.0730.0890.1050.1220.139当平均需求增长（或减少）当平均需求增长（或减少）10%时，失去销售时，失去销售机会的概率将增长（或减少）约机会的概率将增长（或减少）约15%16% 。敏感性分析敏感性分析 当平均需求在每周当平均需求在每周1(架架)附近波动时附近波动时,最终结果有多大变化最终结果有多大变化模型分析模型分析 第第n周周(n充分大充分大)失去销售机会的概率失去销售机会的概率 5. 6 马尔可夫链的应用模型马尔可夫链的应用模型
