第6章-马尔可夫预测方法

《第6章-马尔可夫预测方法》由会员分享，可在线阅读，更多相关《第6章-马尔可夫预测方法（57页珍藏版）》请在金锄头文库上搜索。

1、第6章 马尔可夫预测方法,6.1 马尔可夫预测的基本原理 6.2 马尔可夫预测的应用 思考与练习,6.1 马尔可夫预测的基本原理,6.1.1 马尔可夫链 为了表征一个系统在变化过程中的特性（状态）,可以用一组随时间进程而变化的变量来描述。如果系统在任何时刻上的状态是随机的,则变化过程就是一个随机过程。 设有参数集T (-, +),如果对任意的tT,总有一随机变量Xt与之对应,则称Xt, tT为一随机过程。如若T为离散集（不妨设T=t0, t1, t2, , tn, ）,同时Xt的取值也是离散的,则称Xt, tT为离散型随机过程。,设有一离散型随机过程,它所有可能处于的状态的集合为S=1, 2,

2、 N,称其为状态空间。系统只能在时刻t0, t1, t2, 改变它的状态。为简便计,以下将Xtn等简记为Xn。 一般地说,描述系统状态的随机变量序列不一定满足相互独立的条件,也就是说,系统将来的状态与过去时刻以及现在时刻的状态是有关系的。在实际情况中,也有具有这样性质的随机系统： 系统在每一时刻（或每一步）上的状态,仅仅取决于前一时刻（或前一步）的状态。这个性质称为无后效性,即所谓马尔可夫假设。具备这个性质的离散型随机过程,称为马尔可夫链。用数学语言来描述就是： ,如果对任一n1,任意的i1, i2, , in-1, jS, 恒有 PXn=j|X1=i1, X2=i2, , Xn-1=in-1

3、=PXn=j|Xn-1=in-1 (6.1) 则称离散型随机过程Xt, tT为马尔可夫链。 例如,在荷花池中有N张荷叶,编号为1, 2, , N。假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动可看作一随机过程。在时刻tn,青蛙所在的那张荷叶,称为青蛙所处的状态。那么,青蛙在未来处于什么状态,只与它现在所处的状态i(i=1, 2, , N)有关,与它以前在哪张荷叶上无关。此过程就是一个马尔可夫链。 由于系统状态的变化是随机的,因此,必须用概率描述状态转移的各种可能性的大小。 ,6.1.2 状态转移矩阵 马尔可夫链是一种描述动态随机现象的数学模型,它建立在系统“状态”和“状态转移”的

4、概念之上。所谓系统,就是我们所研究的事物对象；所谓状态,是表示系统的一组记号。当确定了这组记号的值时,也就确定了系统的行为,并说系统处于某一状态。系统状态常表示为向量,故称之为状态向量。例如,已知某月A、B、C三种牌号洗衣粉的市场占有率分别是0.3、0.4、0.3,则可用向量P=(0.3, 0.4, 0.3)来描述该月市场洗衣粉销售的状况。,当系统由一种状态变为另一种状态时,我们称之为状态转移。例如,洗衣粉销售市场状态的转移就是各种牌号洗衣粉市场占有率的变化。显然,这类系统由一种状态转移到另一种状态完全是随机的,因此必须用概率描述状态转移的各种可能性的大小。如果在时刻tn系统的状态为Xn=i的

5、条件下,在下一个时刻tn+1系统状态为Xn+1=j的概率pij(n)与n无关,则称此马尔可夫链是齐次马尔可夫链,并pij=PXn+1=j|Xn=ii, j=1, 2, , N称pij为状态转移概率。显然,我们有,转移矩阵设系统的状态转移过程是一齐次马尔可夫链,状态空间S=1, 2, , N为有限,状态转移概率为pij,则称矩阵 为该系统的状态转移概率矩阵,简称转移矩阵。 为了论述和计算的需要,引入下述有关概念。,(6.2),概率向量 对于任意的行向量（或列向量）,如果其每个元素均非负且总和等于1,则称该向量为概率向量。 概率矩阵 由概率向量作为行向量所构成的方阵称为概率矩阵。对于一个概率矩阵P

6、,若存在正整数m,使得Pm的所有元素均为正数,则称矩阵P为正规概率矩阵。 例如,矩阵 中每个元素均非负,每行元素之和皆为1,行数和列数相同,为22方阵,故矩阵A为概率矩阵。,概率矩阵有如下性质： 如果A、B皆是概率矩阵,则AB也是概率矩阵；如果A是概率矩阵,则A的任意次幂Am(m0)也是概率矩阵。对k1,记 p (k) ij=PXn+k=j|Xn=i P(k) =(p (k) ij) NN 称p (k) ij为k步状态转移概率, P(k)为k步状态转移概率矩阵,它们均与n无关（从式(6.4)也可看出）。 特别地,当k=1时,p (1) ij=pij为1步状态转移概率。马尔可夫链中任何k步状态转

7、移概率都可由1步状态转移概率求出。 ,(6.3),由全概率公式可知, 对k1,有（其中P (0) 表示单位矩阵） p (k) ij=PXn+k=j|Xn=i = PXn+k-1=l| Xn =iPXn+k=j|Xn+k-1=l = p (k-1) ilplj i, j=1, 2, , N 其中用到马尔可夫链的“无记忆性”和齐次性。用矩阵表示,即为 p (k) =P (k-1) P,从而可得 p (k) =Pk k1 记t0为过程的开始时刻,pi(0)=PX0=X(t0)=i,则称 P(0)=(p1(0), p2(0), , pN(0),(6.4),为初始状态概率向量。 如已知齐次马尔可夫链的转

8、移矩阵P=(pij)以及初始状态概率向量P(0),则任一时刻的状态概率分布也就确定了： 对k1,记pi(k)=PXk=i,则由全概率公式有 pi(k)= pj(0)p (k) jii=1, 2, , N; k1 (6.5) 若记向量P(k)=(p1(k), p2(k), , pN(k),则上式可写为 P(k)=P(0)P (k) =P(0)Pk (6.6) 由此可得 P(k)=P(k-1)P (6.7),例6.1 考察一台机床的运行状态。机床的运行存在正常和故障两种状态。由于出现故障带有随机性,故可将机床的运行看作一个状态随时间变化的随机系统。可以认为,机床以后的状态只与其以前的状态有关,而与

9、过去的状态无关,即具有无后效性。因此,机床的运行可看作马尔可夫链。 设正常状态为1,故障状态为2,即机床的状态空间由两个元素组成。机床在运行过程中出现故障,这时从状态1转移到状态2；处于故障状态的机床经维修,恢复到正常状态,即从状态2转移到状态1。,现以1个月为时间单位。经观察统计,知从某月份到下月份机床出现故障的概率为0.2,即p12=0.2。其对立事件,保持正常状态的概率为p11=0.8。在这一时间,故障机床经维修返回到正常状态的概率为0.9,即p21=0.9；不能修好的概率为p22=0.1。机床的状态转移情形见图6.1。,图6.1 机床的状态转移,由机床的一步转移概率得状态转移概率矩阵

10、若已知本月机床的状态向量P(0)=(0.85, 0.15),现要预测机床两个月后的状态。先求出两步转移概率矩阵 矩阵的第一行表明,本月处于正常状态的机床,两个月后仍处于正常状态的概率为0.82，转移到故障状态的概率为0.18。第二行说明,本月处于故障状态的机床,两个月后转移到正常状态的概率为0.81,仍处于故障状态的概率为0.19。 ,于是,两个月后机床的状态向量 6.1.3 稳态概率矩阵 1 平稳分布 若存在非零概率向量X=(x1, x2, , xN),使得XP=X,其中P为一概率矩阵,则称X为P的固定概率向量。 特别地,设X=(x1, x2, , xN)为一状态概率向量,P为状态转移概率矩

11、阵。若 XP=X ,即 则称X为马尔可夫链的一个平稳分布。若随机过程某时刻的状态概率向量P(k)为平稳分布,则称过程处于平衡状态。一旦过程处于平衡状态,则过程经过一步或多步状态转移之后,其状态概率分布保持不变,也就是说,过程一旦处于平衡状态后将永远处于平衡状态。 对于我们所讨论的状态有限（即N个状态）的马尔可夫链,平稳分布必定存在。特别地,当状态转移矩阵为正规概率矩阵时,平稳分布惟一。此时,求解方程(6.8),即可得到系统的平稳分布。,j=1, 2, , N,2 稳态分布 对概率向量=(1, 2, , N),如对任意的i, jS, 均有 或 这也是称为稳态分布的理由。 设存在稳态分布=(1,

12、2, , N),则由于下式恒成立: P(k)=P(k-1)P,令k+,就得 =P (6.10) 即有限状态马尔可夫链的稳态分布如存在,那么它也是平稳分布。 对任一状态i,如果k|p (k) ii0的公约数为1,则称状态i为非周期状态。 如果一个马尔可夫链的所有状态均是非周期的,则称此马尔可夫链是非周期的。 对非周期的马尔可夫链,稳态分布必存在,对不可约非周期的马尔可夫链,稳态分布和平稳分布相同且均惟一。,例6.2 设一马尔可夫链的状态转移矩阵为 求其平稳分布及稳态分布。 解 （1） P不可约。 pij0,仅当i2且j2时。又p (2) 220,由定义可知,P是不可约的。,（2） P非周期。 由

13、p (1) 110, p (2) 110, 而1、2的公约数为1,故状态1为非周期状态。同理可得状态2、3均为非周期状态。故P是非周期的 （3）由于P不可约且是非周期的,求解如下方程组: 得X=0.4 0.2 0.4, 这就是该马尔可夫链的稳态分布,而且也是平稳分布。 ,6.2 马尔可夫预测的应用,6.2.1 市场占有率的预测 我们结合例题来说明如何预测市场占有率。 例6.3 伍迪公司、布卢杰.里维公司、雷恩公司(分别用符号 A、B、C代表)是美国中西部地区生产灭虫剂的三家主要厂商。根据历史资料得知,公司A、B、C产品销售额的市场占有率分别为50%、30%、20%。由于C公司实行了改善销售与服

14、务方针的经营管理决策,使其产品销售额逐期稳定上升,而A公司的产品销售额却在下降。通过市场调查发现三个公司间的顾客流动情况如表6.1所示。,其中产品销售周期是季度。现在的问题是,按照目前的趋势发展下去, A公司的产品销售额或客户转移的影响将严重到何种程度？ 更全面地,三个公司的产品销售额的占有率将如何变化？,表6.1 A、B、C三公司的顾客流动情况,将表6.1中的数据化为转移概率将对研究分析未来若干周期的顾客流向更为有利。表6.2列出了各公司顾客流动的转移概率。表6.2中的数据是每家厂商在一个周期中的顾客数与前一周期的顾客数相除所得。表中每一行表示某公司从一个周期到下一个周期将能保住的顾客数的百

15、分比,以及将要丧失给竞争对手的顾客数的百分比。表中每一列表示各公司在下一周期将能保住的顾客数的百分比,以及该公司将要从竞争对手那里获得顾客数的百分比。,表6.2 顾客流动的转移概率,如用矩阵来表示表6.2中的数据,就得到了如下的状态转移矩阵: P中数据表示一个随机挑选的某公司的顾客,到下一个周期购买该公司或另一公司产品的可能性或概率。如随机挑选一名A公司的顾客,他在下一周期仍购买A公司产品的概率为0.7,购买B公司产品的概率为0.1,购买C公司产品的概率为0.2。 ,(6.11),1. 未来各周期市场占有率的计算 以A、B、C公司作为我们要分析的系统的状态,那么状态概率向量就分别为三家公司的产品销售额的市场占有率。初始状态概率向量为 P(0)=(p1(0), p2(0), p3(0)=(0.5, 0.3, 0.2) 转移矩阵由式（6.11）给出。于是可用式（6.6）来计算未来各期的市场占有率。如状态转移一次后第1周期的市场占有率向量为,2. 稳态市场占有率 计算未来各期的市场占有率向量P(k)可以看出,A公司的市场占有率将逐期下降,而C公司的市场占有率则将逐期上升。从经营决策和管理的角度