《马尔可夫链模型》由会员分享，可在线阅读，更多相关《马尔可夫链模型（18页珍藏版）》请在金锄头文库上搜索。
1、马尔可夫链在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻t = t所处的状态，与该系统(或过程)在时刻t t所处的状态与时刻t 1中，设X (n ) 表示第 n 次掷一颗骰子时出现的点数，易见，今后出现的点数与过去出现的点数无关。在维纳过程x (t),t 0中，设X (t)表示花粉在水面上作布朗运动时所处的位置，易 见，已知花粉目前所处的位置，花粉将来的位置与过去的位置无关。在泊松过程N(t),t 0中，设N(t)表示时间段0,t内进入某商店的顾客数。易见,已知时间段0,t 内进入商店的顾客数N(t )，在时间段0,t(t t )内进入商店的顾客数 0 0 0
2、N(t)等于N(t )加上在时间段(t ,t内进入商店的顾客数N(t)-N(t )，而与时刻t前进 0 0 0 0 入商店的顾客无关。一、马尔可夫过程定义：给定随机过程(t),t E T o如果对任意正整数n 3 ，任意的t t t ,t e T,i = 1, ,n，任意的x , ,x e S,s是X (t)的状态空间，总有1 2n i1n -1PG x I X (t)= x，X (t )= x )n n 11n -1n -1=P(X 0, j = 1,2, n u = 1jii=1定义3：若方阵P的每行都为概率向量，则称此方阵为概率矩阵。可以证明，如果矩阵A和B皆为概率矩阵，则AB, Ak,
3、Bk也都是概率矩阵(k为正整数)由所有一步转移概率组成的矩阵称为一步转移概率矩阵表示为：PiiP21p12p22叮P2 nP丿nn(0.8 0.2 厂0.80.180.02、P=P=0.650.250.110.7 0.3 丿2 001丿pn2I Pn1转移矩阵必为概率矩阵，且具有以下两个性质：1)p (k) = p (k-i)p2) p(k) = pk下面主要学习正则链和吸收链1、正则链：这类马氏链的特点是，从任意状态出发经过有限次转移都能达到另外的任 意状态，有如下定义.定义4 一个有n个状态的马氏链如果存在正整数N,使从任意状态i经过N次转移都 已大于零的概率到达状态j C, j = 1,
4、2, n )，则称为正则链。正则链的判断方法：对于概率矩阵P,若幕次方Pm的所有元素皆为正数(指Pm的每一 元素大于零)，则矩阵 P 称为正规概率矩阵，此时马氏链称为正则链，或者称马氏链具有遍 历性。遍历性的直观含义：一个遍历的马尔可夫链经过相当长的时间后，它处于各个状态的概 率趋于稳定，且概率稳定值与初始状态无关。在工程技术中，当马尔可夫链的极限概率分布 存在时，它的遍历性表示一个系统经过相当长时间后趋于平衡状态，这时，系统处于各个状 态的概率分布即不依赖于初始状态，也不在随时间的推移而改变。设系统的极限分布(也是稳态分布)用行向量兀=(兀,兀,兀3，,兀丿来表示，一步转移概率矩阵为P,则有
5、兀P =兀，且工兀 =1ii=1从而可以解出系统的极限分布(或稳态分布)从状态i出发经k次转移，第一次到达状态j的概率称为i到j的首达概率，记做fij(n),于是卩=工nf (n)ijiji=1为由状态i第一次到达状态j的平均转移次数，特别的，卩是状态i首次返回的平均转移次ii数，卩与稳态概率有密切关系，即对于正则链，卩=1/兀iiiii马尔可夫链模型：设系统在k = 0时所处的初始状态S(o) = (s(o), S(o), , S(o)为已知，经过k次转移后12 n所处的状态向量 S (k) = Gk), S (k), S (k= 1,2,)，则12n丫1112p )k1S (k) = S
6、(0)Pk = S (0)p21p22 p2n1 =区Qs，记元素全s = 0为1的列向量e = (1,1, ,1)，则y = Me的第i分量是从第i个非吸收态出发，到某个吸收 状态吸收的平均转移次数。设状态i是非吸收态，j是吸收状态，那么首达概率 jn)实际上是i经n次转移被j 吸收的概率，而f =艺f (n)则是从非吸收状态i出发终被吸收状态j吸收的概率，记 ijijn=1F = f ，下面的定理给出了计算f.的方法。H (k-r)xrj定理2设吸收链的转移矩阵P表为标准形式(1),则F = MR例1、设马尔可夫链& (t), t o的状态空间E = 1,2,3 ，步转移概率矩阵为厂1/4
7、 3/40P = 1/3 1/31/3.01/4 3/4丿初始分布为 S(0)= (1/4,1/2,1/4 )，即P(X (0) = 1)=丄,P(X (0)= 2)=丄,P(X (0)= 3)=-424则P(2)=P(0)P2 =(113/576,230/576,233/576)用 Matlab 计算如下：s0=1/4 1/2 1/4; P=1/4 3/4 0;1/3 1/3 1/3;0 1/4 3/4;S2=s0*P.A2=(0.07120.21180.1962)稳态分布T=(t1,t2,t3),TP=T，变换后(P-E)T=0T=(0.16 0.36 0.48)附程序： liyiw.m设
8、有甲、乙、丙三家企业，生产同一种产品，共同供应1000家用户，各用户在各企业 间自由选购，但不超出这三家企业，也无新的客户。假定在10月末经过市场调查得知，甲、 乙、丙三家企业拥有的客户分别是： 250户， 300户， 450户，而11月份用户可能的流动情 况如表所示：甲乙丙为甲2301010250乙2025030300丙30104104502802704501000假定该产品用户的流动按上述方向继续变化下去(转移概率不变)，预测 12 月份三家企 业市场用户各自的拥有量，并计算经过一段时间后，三家企业在稳定状态下该种产品的市场 占有率。解：第一步：根据调查资料，确定初始状态概率向量，这里S(0) = ( S 0, Sb, S 丿=(250/1000,300/1000,)
